企业网站建设的小细节：robots文件

robots文件设置也是一个企业网站建设的小细节，值得我们注意。悦然网络工作室在之前的文章中其实已经讲过相关的问题。

如果你的企业网站是由公司内部技术人员制作的，那么你一定要要求技术人员核查一下，看看有没有设置，或者有没有设置正确。

如果你的企业网站建设是由建站公司完成的，其实robots.txt文件应该是由网站建设公司帮你设置好的，但实际上有很多建站公司都不会帮你设置，比如上图这个网站，robots.txt文件直接是空的！这样对网站其实也是不利的，虽然这样不会限制百度等搜索引擎蜘蛛的抓取，但这样蜘蛛可能会什么内容都抓取，甚至包括网站内的隐私文件，这样很容易引发安全问题。还有很多建站平台的网站也存在这个情况。

错误的写法

User-agent: *
Disallow: /

还有一些企业网站虽然有robots.txt文件，但是写法是错误的，如上图所示，这样表示你网站上的所有内容都被禁止抓取了，这样的情况下网站基本不会被收录，或者收录很少。

参考写法

User-agent: *
Disallow: /wp-admin/
Disallow: /404.htm
Sitemap: https://www.zsxxfx.com/sitemap.xml

不同的网站有不同的内容，目录结构可能也存在较大的差别，这个很多时候并不能直接参考网上的写法，如果你的企业网站需要重写robots.txt文件，最好是找当初做网站的人员协助，或者是找其它专业人士。如果你的企业网站建设是由wordpress完成的，那么也可以参考一下上面的写法。

总结

robots.txt文件虽然只是企业网站建设过程中的小细节，但它的影响可能会非常大，一定要重视哦。现在就去检查一下你的robots.txt文件有没有设置正确吧，如果有问题请及时修改。