- A+
今天给大家介绍一款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots。该插件就是记录各大搜索引擎爬虫抓取网站的记录，避免去看空间日志的麻烦，在蜘蛛访问过你的网站之后，会在网站的根目录出现robots_log.txt这个文件，它把蜘蛛访问的记录都记录到这个文件里面，我们只要在域名的后面加一个robots_log.txt就可以直接查看蜘蛛的来访记录了，非常的方便。不管你是做SEO的还是运营网站的，这款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots都有必要，我们大多数网站空间并不支持记录蜘蛛抓取日志的功能，即使有这个功能我们也不是很容易看懂，他记录的东西很多，需要借助专业的工具进行分析才能看懂。一些新站没有收录总感觉百度坑人不收自己的，借助此插件看一看每天百度的蜘蛛是不是来过，心里多少有个底不是吗。
wp-log-robots
安装方法：
到插件处搜索 wp-log-robots 第一个便是，点击安装或下载此插件到电脑，在插件处选上传安装选择下载的插件安装即可。安装好后启用就 ok！了无需任何设置。
下载地址：
官网下载：http://wordpress.org/extend/plugins/wp-log-robots/
查看日志的方法很简单，直接在浏览器地址栏：你的域名/robots_log.txt 这样你就会看到蜘蛛抓取的记录了，刚安装可能不会马上生效，需要等到蜘蛛抓取你网站的时候才会在你的空间根目录生成一个robots_log.txt。
演示：大家可以看一下我的很文博客的抓取记录：http://www.80mt.com/robots_log.txt
7月21题更新，现在发现可以用代码实现这个插件，需要的移步-不用插件，用代码生成wordpress蜘蛛爬行记录
