如何正确识别百度蜘蛛?只需做这两点

很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓 […]

  很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。

  那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛

  一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

正确识别百度蜘蛛

  (1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  (3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

版权声明:原创文章,作者(大鹏),如若转载,请注明出处。如何正确识别百度蜘蛛?只需做这两点:https://www.31seo.com/10.html

(0)
打赏 支付宝扫一扫 支付宝扫一扫
大鹏的头像大鹏
上一篇 2020-07-09 16:41:24
下一篇 2020-07-09 16:38:05

相关推荐

  • 外链怎么发布?一箭双雕,外部链接策略

    目前,我们不可否认的是社交媒体对SEO的影响,特别是新媒体平台,很多比较成熟的公司都会在原有的SEO部门增加新媒体部,这就意味着,基础性的营销推广,不单单存在于SEO,以往通过SEO获取大量流量的操作,目前只成为渠道之一,所以作为SEO人员,我们有的时候应该一

    2020-08-18
    2.8K0
  • 个人对seo概念的理解

    个人认为与微信一样,搜索引擎有固定的用户群体,有人有流量的地方,就存在商机或者利益,seo的概念就是搜索引擎优化,其目的是在搜索引擎中获得精准用户,获得流量。从更深层

    2020-07-09
    3.1K0
  • 怎么获取搜索流量?海量长尾关键词排名策略!

    如果你刚开始入手建立一个站点,想要试图快速的建立影响力,获取流量,很多时候,SEO人员都会尝试利用长尾关键词排名,从竞争度低的流量开始抓起。 对于长尾关键词而言,想要获取排名的前提…

    2020-08-21
    3.6K0
  • SEO见到效果再付费,可信吗?

    对于初创企业而言,在官网上线的时候,大部分都不具备自有SEO团队,由于经费有限,通常大部分的企业都会与SEO机构进行合作,进而满足通过线上获取业务订单的需求。  在接洽一些相关SEO公司的时候,经常会谈论到一个问题:SEO见到效果再付费,这是一些中小企业初识S

    2020-08-18
    2.0K0
  • 企业网站怎么布局?企业网站布局是否成功的四点因素

    当用户进入一个网站时,他们首先关注网站的布局设计。如果网站的布局设计既舒适又美观,它会给用户留下一个网站值得关注的印象。因此,用户将愿意继续浏览。然而,如果网站的布局凌乱而不美观,…

    2020-08-21
    2.9K0
  • SEO与新媒体平台都喜欢的标题怎么写?(举例说明)

    标题党,这里先简述一下,大部分作者往往将标题党定义为那些利用浮夸标题吸引眼球的写手,基本上文不对题,但实际上我认为“标题党”这个词应该作为中性词。道理很简单,在任何时期,我们都得承认标题的作用,一篇好的文章被创作出来,最核心的目的就是推送给更多潜在的读者,而目

    2020-08-19
    1.9K0

发表回复

登录后才能评论