Robots.txt 文件应放在哪里?


      robots.txt文件放在哪里
  robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。文章来源编辑由http://www.bjqdsd.com起点时代整理完成,转载请注明!

优惠活动进行中,咨询就送免费大礼包,还等什么!

咨询热线:010-56226902
看不清?点击更换

服务邮箱:bjqdsd@bjqdsd.com
欢迎联系北京起点时代网络科技有限公司
我们期待与您详细的沟通
服务咨询热线:010-56226902

京公网安备 11010502035404号

在线客服