企业网站建设提高收录的方法：编写合理的robots文件

企业网站建设好后，想要被收录，那就需要让搜索引擎蜘蛛来抓取，一般最理想的情况是可以不设限制，让蜘蛛抓取网站的全部内容。但是每个网站都有不希望展示出来的东西，比如用户数据、登陆信息等等，这个我们一般是要禁止蜘蛛抓取的，所以我们既要对蜘蛛放行，又要做出一定的限制。想要达到这个效果，那就需要使用到robots.txt文件，下面悦然网络工作室就给大家介绍一下robots.txt文件的规则写法。

一、不设限制，让蜘蛛自由抓取

如果你的网站没有需要隐藏的内容，那就可以不对蜘蛛做限制，这种情况下可以直接删除robots.txt，也可以在robots.txt文件中填写如下内容：

User-agent: *
Allow: /

二、限制部分内容

大多数情况我们是不可能让蜘蛛无限制的抓取的，这样会严重泄露网站的隐私，对安全不利。所以我们需要对某些目标做限制，一般情况下限制的内容有网站后台、用户数据等，这个会根据网站的类型，网站程序，写法会有一些不同，以wordpress制作的网站为例，一般情况下可以这样写robots.txt文件：

User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.zsxxfx.com/sitemap.xml

其实有很多网站之所以不被收录，与robots.txt文件设置错误是有很大关系的，比如有人网站可能是直接制作的别人的robots.txt文件，如果别人是错的，那你的也是错的，比如下面这样：

User-agent: *
Disallow: /

这样的写法是告诉搜索引擎蜘蛛禁止抓取网站的所有内容，这样网站自然就很难被收录了。

三、编写robots.txt

如果你robots.txt的写法比较了解，直接按你的需要编写就好了，如果你不会也没关系，你可以直接参考一下同行的写法，直接在浏览器输入同行的网址加下robots.txt回车就可以看到了，然后可以根据需要复制下来，保存到记事本，然后文件名robots.txt，再上传到网站根目录即可。

如果不确定同行的是否适合你，也可以使用一些在线robots.txt生成工具，比如这个网址tool.chinaz.com/robots/，按需填写和勾选里面的选择，然后点生成就可以了，最后把把文件复制到记事本，命名为robots.txt，最后上传上网站根目录即可。