crawler、TprAdsTxtCrawler是什么蜘蛛？

最近悦然企业网站建设官网的蜘蛛日志上出现了“crawler”、”TprAdsTxtCrawler“这种疑似蜘蛛的东西，查了很多资料也没找到确切的信息，不知道它是什么类型的蜘蛛，甚至都不确定它是不是一个蜘蛛程序。

在开源社区找到的答案如下：

Crawler 基于 Java 开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理。

TprAdsTxtCrawler应该也是类似的网络爬虫的程序。

至于crawler、TprAdsTxtCrawler有什么用目前还不得而知，也不知道他们是否遵守robots协议，至少目前它们对我们的网站几乎没什么用，但也没什么影响，其本也算是垃圾蜘蛛吧。

因为查不到更多的信息，所以目前不没有什么确切的方法对crawler、TprAdsTxtCrawler进行屏蔽，暂时先观察吧，之后如果有进一步消息再给大家分享。