悦然建站分享：robots文件相关问题解答

robots文件可以用来控制搜索引擎蜘蛛抓取什么内容，这样我们就可以让蜘蛛不去抓取一个私密内容，避免一些安全风险。但是也是一些网站因为robots文件填写不正确，导致网站没法被抓取，这对网站的收录、排名都是有极大的影响。

下以是百度官方搜索资源平台问答中关于robots文件的相关回答，【悦然企业网站建设】把它整理出来了，希望对大家有所帮助。

为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？

在百度搜索资源平台使用Robots工具进行更新，并及时关注文件生效时间，若3三天后还未生效，建议提供具体问题截图和具体的URL在反馈中心反馈，以便排查问题。

另外开发者自查robots.txt文件是否书写错误，robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开。

网站误封了robots怎么办？

（1）修改Robots封禁为允许，然后到百度搜索资源后台检测并更新Robots。

（2）在百度搜索资源后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。

（3）在百度搜索资源后台抓取频次，申请抓取频次上调。

（4）前往平台反馈中心，反馈是因为误操作导致了这种情况的发生。

企业网站建设提高收录的方法：编写合理的robots文件

总结

因为robots文件导致网站收录、排名受影响是非常不划算的，这是一种低级错误，我们一定要尽量去避免。如果你不知道怎么编辑robots文件，可以参考一下我们之前发布的文章，里面有详细介绍robots文件的写法。