做好这几步即可识别百度蜘蛛seo小技巧

小初seo 2022年3月24日21:16:44seo技术评论218 次浏览1630字阅读5分26秒
今日干货带你简单两步即可识别百度蜘蛛

一、查看UA信息

如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛

目前UA分为移动、PC、和小程序三个应用场景,分别如下:

【移动UA】

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

【PC UA】

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
二、双向DNS解析认证

第一步:DNS反查IP

开发者可以对日志中访问服务器的IP地址进行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充

在Linux/Windows/OS三种平台下,验证方法分别如下:

1) 在Linux平台下,可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。

2) 在Windows平台或者IBM OS/2平台下,可以使用nslookup IP命令反解IP:打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

3) 在macOS平台下,可以使用dig命令反解IP:打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充

【示例】

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 

>hostbaiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69
以上就是识别百度蜘蛛的方法,有需要的同学速速收藏哦!

小初seo
  • 本文由 发表于 2022年3月24日21:16:44
  • 转载请务必保留本文链接:https://www.pkak.cn/jishu/7747.html
seo技术

图片SEO常用的5个技巧(百度图片seo)

图片SEO是网站内容优化重要的一个元素,但经常被站长所忽略,随着百度图腾的上线,图片版权的保护,将为站长提供更多的潜在流量。 但在多年的SEO工作中,图片SEO并没有一个统一的优化流程,所有的策略与技...
seo技术

SEO友好的无限滚动加载方案推荐

刚给朋友提供了移动端滚动加载对 SEO 友好的方案,于是顺便分享出来。 大家知道在列表页上,翻页是对 SEO 更友好的方式,因为可以让爬虫抓取到更多内容和链接;而滚动加载需要鼠标滚动来触发时,爬虫就无...
seo技术

怎样学习seo技术(seo推广怎么学)

怎样学习seo技术 其实学习SEO的门槛并不高,重要的是你要坚持、心中有一个大体的方向。下面将讲解怎样学习seo技术。 学习seo的方法: 1、从搜索引擎原理开始,学习seo要先从搜索引擎原理开始; ...
seo技术

seo核心技术(seo关键技术有哪些)

每一个像我咨询SEO培训的学员都问同一个问题,做SEO需要掌握哪些技术,SEO分为专职SEO跟兼职SEO,无技术也能做SEO,我认为掌握更多的技术是提高SEO的基本。做SEO优化不像做数学加减法,更像...
seo技术

什么是seo优化技术(关于seo如何优化)

什么是seo优化技术 seo是搜索引擎优化。是一种利用搜索引擎的规律提高网站在有关搜索引擎的排名,是一种网络营销方式。 seo包括哪些:站内优化和站外优化 站内优化 META标签的优化:例如:titl...
seo技术

seo优化技术学习(seo常见的优化技术)

seo优化技术学习 今天学点SEO和朋友们分享一下关于网站seo优化需要具备的技术操作技能的话题,网站关键词排名需要的条件是比较多,而且一个网站想要完全达到这些排名条件几乎也是不可能的,所以很多时候想...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: