百度蜘蛛IP

 一、 简要介绍

  搜索引擎蜘蛛是一种通俗的叫法，一般指的是一种小程序。这种小程序是用来抓取网上的资源的。搜索引擎不同，蜘蛛的名称也不同。
  百度蜘蛛，即Baiduspider,是百度搜索引擎的一个自动程序，其作用是通过一些手段或者工具，对互联网上的网页、图片、视频等内容进行访问抓取并整理。
  百度不同IP段的常见蜘蛛，比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

 二、 百度蜘蛛IP的真假辨别方法

  1.很多站长都会看自己的网站爬行记录的IP是多少，以便来区分是百度的蜘蛛还是其他搜索引擎的蜘蛛。因为并不是所有的IP段都是百度IP段。
  2.区分：可以通过dos命令来查看，比如这两个IP段，220.181.108.140和117.28.255.37.
然后按照“开始-运行-输入cmd”这样的程序进行检验，用命令nslookup+IP查看。
  3.注意：只要是百度的IP段，代码中会有:name:baiduspider，如果没有出现，则是其他搜索引擎的蜘蛛IP段。

 三、 百度蜘蛛IP的分类

  由上可知，百度不同IP段的常见蜘蛛，比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

  百度蜘蛛IP造访，准备抓取东西。举例：

  1.抓取网页的百度蜘蛛

  60.172.229.61
  61.129.45.72
  61.135.162.*

  2.百度竞价蜘蛛

  61.135.165.134
  117.34.74.66
  125.39.78.185

  3.百度统计（百度联盟爬虫）

  61.135.186.*

  4.站长工具模仿的百度蜘蛛

  61.147.98.146
  113.98.154.145
  117.28.255.42

  5.114站长工具箱（在用户的网站不稳定时，蜘蛛常来）

  119.147.114.213
  121.10.141.*

  6.百度图片爬虫

  123.15.**.**（这个蜘蛛经常来，别的来的少，表示网站可能要进入沙盒了，或者被降权）

  7.搜外站长工具蜘蛛

  124.248.34.52

  8.伪装百度蜘蛛IP

  180.149.130.*

  9.降权蜘蛛

  220.181.68.*

四、经验总结

  1.从IP可以看出权重，而且还和网站处于什么情况有一定的关系。对于新站或是处于沙盒中的网站或是被降权的网站，一般百度蜘蛛IP是以123.125.68.*和123.125.71.*这两个为主，并且偶尔出现。
  2.对于百度蜘蛛的爬取的时候的返回值判断，正常返回是200，如果返回301，需要注意网站有没有301相关的重定向。若没有，需要进行排查；若跳转了，则是正常情况。