如何正确识别百度蜘蛛?只需做这两点

很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓 […]

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。

  那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛

  一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

正确识别百度蜘蛛

  (1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

版权声明:原创文章,作者(大鹏),如若转载,请注明出处。如何正确识别百度蜘蛛?只需做这两点:https://www.31seo.com/10.html

(0)
打赏 支付宝扫一扫 支付宝扫一扫
上一篇 2020-07-09 16:41:24
下一篇 2020-07-09 16:38:05

相关推荐

  • SEO对于网站的效果为什么见效慢?

    SEO为什么见效慢?很多刚刚接触seo优化的人,都会希望赶快见到效果,在对网站进行优化的过程中感到着急和焦虑,这可以说是很多新手都会遇到的问题,今天小编就来聊聊这个问题。希

    2020-07-09
    2.8K0
  • 黑帽SEO和白帽SEO区别,白帽SEO技术怎么做?

    很多新人对于seo也许不是很了解,但在互联网上seo却处处可见,我们平时浏览的新闻、视频、网页等等,都是与SEO技术有关的,很多大型的网站都有SEO技术人员,他们的目标就是为网站

    2020-07-09
    2.1K0
  • SEO从头再来,你需要做的五件事儿!

    2020年,对于百度搜索而言,并不是一个“平凡”的一年,可谓是“波澜不惊”,百度搜索引擎算法,几乎每天都在不断的调整与修正。  对于任何一个网站而言,特定的关键词排名,经常是频繁的波动,而随着调整的尾声,貌似一切趋于平静,这对于站长而言,可谓几家欢喜,几家愁。

    2020-08-20
    3.0K0
  • seo要学ps吗?

    今天看到一个有趣的问题:seo要学ps吗?这个问题显得深度不够,但对于刚接触seo的朋友来讲也许真是问题。自古有技多不压身这一个说法,学好ps能处理并制作包含大量劳动力的图片素

    2020-07-09
    3.5K0
  • 网站优化应该怎样提高客户黏性?

    我们在做SEO优化的时候,一个网站如何得到用户的喜欢呢?用户体验好,浏览量才会高,那么如何提高客户粘性呢?今天为大家介绍一下方法。 做到网页设计主题要鲜明。在一个网页内容凌乱不堪、…

    2020-08-21
    2.0K0
  • SEO优化中常见的四种html标签作用

    对于SEOer来说,在HTML代码中,使用一些标签,更利于搜索引擎蜘蛛的读取,适当布局一些优化标签,可能会有意想不到的结果。下面就列举几个标签的妙用。 1.标题标签。 在网页html代

    2020-07-09
    3.0K0

发表回复

登录后才能评论