如何正确识别百度蜘蛛?只需做这两点

很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓 […]

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。

  那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛

  一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

正确识别百度蜘蛛

  (1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

版权声明:原创文章,作者(大鹏),如若转载,请注明出处。如何正确识别百度蜘蛛?只需做这两点:https://www.31seo.com/10.html

(0)
打赏 支付宝扫一扫 支付宝扫一扫
上一篇 2020-07-10 16:36:49
下一篇 2020-07-09 16:38:05

相关推荐

  • 黑帽SEO和白帽SEO区别,白帽SEO技术怎么做?

    很多新人对于seo也许不是很了解,但在互联网上seo却处处可见,我们平时浏览的新闻、视频、网页等等,都是与SEO技术有关的,很多大型的网站都有SEO技术人员,他们的目标就是为网站

    2020-07-09
    2.3K0
  • SEO关键词排名不理想,写原创和发高质量外链有用么?

    随着百度算法不断的更新,很多朋友发现SEO越来越摸不着边际,而且排名很难做起来,经常会遇到这样一种情况:原创内容+高质量的外部链接,可关键词排名与收录仍旧没有什么起色,究竟是哪里出了问题呢?  1、标题与内容的关键词匹配  这里所说的标题与关键词的匹配,不是单

    2020-08-19
    2.7K0
  • SEO从头再来,你需要做的五件事儿!

    2020年,对于百度搜索而言,并不是一个“平凡”的一年,可谓是“波澜不惊”,百度搜索引擎算法,几乎每天都在不断的调整与修正。  对于任何一个网站而言,特定的关键词排名,经常是频繁的波动,而随着调整的尾声,貌似一切趋于平静,这对于站长而言,可谓几家欢喜,几家愁。

    2020-08-20
    3.3K0
  • 浅谈SEO优化的三大要素

    小编相信每个SEO的从业者都被搜索引擎折磨过!只有被搜索引擎打击过才能真正成长起来,而seo从业者也是经过搜索引擎折磨之后才能积累到丰富的SEO操作经验。他们可能不会开发程序

    2020-07-09
    2.7K0
  • seo和php哪个值得学

    今天看到一个有意思的问题:seo和php哪个值得学?从大方向考虑seo属于营销类范畴,php则属于编程类范畴,其不再一个对比面上。万物总有联系,seo与php是有很强的关联的,诸如很多的

    2020-07-09
    3.1K0
  • SEO与新媒体平台都喜欢的标题怎么写?(举例说明)

    标题党,这里先简述一下,大部分作者往往将标题党定义为那些利用浮夸标题吸引眼球的写手,基本上文不对题,但实际上我认为“标题党”这个词应该作为中性词。道理很简单,在任何时期,我们都得承认标题的作用,一篇好的文章被创作出来,最核心的目的就是推送给更多潜在的读者,而目

    2020-08-19
    1.7K0

发表回复

登录后才能评论