• 欢迎访问老司机不开车的博客,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入 TG群 QQ群
  • 老司机提醒您:回复"666666"无需人工审核,即可查看文章!Gmail邮箱的都需要审核!
  • 禁止带HTTP连接和联系方式广告留言。所有含有日文以及英语的评论已经屏蔽。
  • 廣告招租!衹接受比特幣和萊特幣付款。廣告沒有限制!有意向聯係 TG_1024
  • 本站的目的是仅仅是科普知识,绝对没有其他任何用意!请遵守当地相关法律法规!
  • 禁止复读机行为!第一次删除账号,第二次封IP。

谷歌蜘蛛Googlebot的User-agent是什么?

SEO 老司机 3个月前 (01-21) 1713次浏览 0个评论

抓取工具”是一个统称,泛指通过跟踪从一个网页前往另一个网页的链接来自动发现并扫描网站的任何程序(如漫游器或“蜘蛛”程序)。Google 的主要抓取工具称为 Googlebot。下表列出了引荐来源网址日志中各种常见 Google 抓取工具的相关信息,以及在 robots.txt漫游器元标记和 X-Robots-Tag HTTP 指令中指定这些抓取工具的方式。

在下表中,用户代理令牌会用在 robots.txt 的 User-agent: 行中,以匹配特定的抓取工具。如表中所示,某些抓取工具会响应多个令牌;但无论对于哪一种抓取工具来说,您都只需使用 1 个匹配的令牌即可。

抓取工具 用户代理令牌(在 robots.txt 中使用) 完整的用户代理字符串(如网站日志文件中所示)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google
AdsBot 移动网络 Android

(检查 Android 网页广告质量)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot 移动网络

(检查 iPhone 网页广告质量)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot

(检查桌面设备网页广告质量)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0
Googlebot

(桌面设备)

  • Googlebot
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

或(很少使用):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(智能手机)

  • Googlebot
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense
  • Mediapartners-Google
(各种移动设备类型)(compatible; Mediapartners-Google/2.1+http://www.google.com/bot.html)
移动应用 Android

(检查 Android 应用页面广告质量。遵守 AdsBot-Google 漫游器规则。)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

 


博主在此发文(包括但不限于汉字、拼音、拉丁字母)均为随意敲击键盘所出,用于检验本人电脑键盘录入、屏幕显示的机械、光电性能,并不代表本人局部或全部同意、支持或者反对观点。如需要详查请直接与键盘生产厂商法人代表联系。挖井挑水无水表,不会网购无快递。博主只是一名普通的互联网从业者,不懂修电脑,不会卖电脑,不会帮你盗号,不会破解开机密码,找不回你丢失的手机等,如有这样的想法请绕道! 丨本网站采用CC BY 4.0协议进行授权 , 转载请注明谷歌蜘蛛Googlebot的User-agent是什么?
喜欢 (0)
发表我的评论
取消评论
表情 加粗 删除线 居中

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址