如何正确识别百度蜘蛛?只需做这两点

很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓 […]

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。

  那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛

  一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

正确识别百度蜘蛛

  (1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

版权声明:原创文章,作者(大鹏),如若转载,请注明出处。如何正确识别百度蜘蛛?只需做这两点:https://www.31seo.com/10.html

(0)
打赏 支付宝扫一扫 支付宝扫一扫
大鹏的头像大鹏
上一篇 2020-07-09 16:43:26
下一篇 2020-07-09 16:38:05

相关推荐

  • seo忌讳什么?SEO之十条兵家大忌

    早期,我们写过SEO关于战略与战术的文章,实际上我们非常清楚,SEO排名是一个综合因素,任何一个小细节的失误都有可能导致满盘皆输。  这就如同带兵打仗一样,兵者,诡道也,用兵在于千变万化,想要试图运筹帷幄,我们一定不能触犯兵家大忌,对于SEO而言亦是如此。

    2020-08-18
    2.2K0
  • SEO入门到精通需要这10个技巧(必看)

    网站的推广离不开SEO人员,但很多个人在网站开始运行之前,是没有资金聘请专业的SEO人员,那么,这个时候怎么办呢?今天小编给大家分享入门级的SEO学习方法,是学习SEO主要的流程

    2020-07-09
    3.0K0
  • 百度快排探究(一),Python selenium 实现自然搜索访问目标网站

    快排是现在比较火热的seo手段,快排即快速排名,相比传统的优化手段,尤其是企业站而言,快排能够快速占据排名,获取流量及客户,也是最热门的韭菜项目,可谓酸爽至极。 快排有没有用,据观…

    2021-07-15
    4.2K0
  • 百度搜索7月最新动态,有哪些内容值得关注?

    最近这一段时间周期,百度搜索频繁的进行相关性的调整,同时对于站长资源平台而言,也给出了一些相关性的消息推送给各大站长。  但由于大家工作时间相对比较忙,经常容易漏掉这些相关性的信息,我们认为如果你长期从事SEO工作,我们有必要时时关注百度最新动态。  根据以往

    2020-08-18
    2.8K0
  • 有用的金融seo推广方案

    坊间流传着一个观点:seo作用于网站的细化操作点是相同的,但不同的网站如金融网站的seo推广侧重点有所不同,在制定金融网站seo推广方案的时候,诸如网站安全就显得尤为重要,还

    2020-07-09
    2.7K0
  • 如何说服老网站和新站换链接?

    在很长一段时间里,很多人都在讲SEO是一个技术工作,而通过大量的实战经验,我们发现,有的时候快速的推进SEO项目,仍然需要很好的运营思维,比如:新老网站换链接的问题。  老网站平时非常不愿意很新站换链接,但我们都知道,如果你是新网站,能够得到老网站的投票权,实

    2020-08-18
    2.9K0

发表回复

登录后才能评论