robots.txt

什么是robots.txt？ - 网站优化

robots.txt 是网站根目录下的一个纯文本文件，用来告诉搜索引擎蜘蛛哪些页面可以抓取、哪些不要访问。它...

阅读更多