标签：robots.txt协议

站长资源全栈工程师阅读(806)评论(0)

当你开启一个全新站点的时候，默认的情况下网站根目录中是没有Robots.txt文件的，这导致很多站长并不关心Robots协议，这为日后的运营，埋下隐患，比如：   ① 产生大量重复页面，动态链接被抓取。   ② 新站无内...