如何验证谷歌抓取机器人(Googlebot)
任何垃圾制造者都可以用Googlebot来命名他们的抓取机器人，并声称自己是谷歌的，那么，你应该信任哪些抓取机器人，又应该阻截哪些？
我们听到最普遍的要求是把Googlebot的IP地址列表公布给大家。这个做法的问题是，如果/当我们的抓取工具的IP地址范围改变时，并非每个人都知 道去检查。事实上，爬行组几年前搬迁过Googlebot的IP地址，他们遇到的一个真正的麻烦是提醒一些把Googlebot的IP范围写在他们的程序里的网管们。所以爬行组的成员们提供了另一种方法来验证Googlebot。这里是爬行组成员们提供的一个答案：最好的方法是使用域名解析服务器(DNS)来核实。我推荐的验证技术是做反向DNS查找，核实该名字是在googlebot.com域名内，然后使用该googlebot.com名做一个相应的正向DNS->IP的查找; 例如：（译者注：以下是Linux命令及执行结果）
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
（1.66.249.66.in-addr.arpa域名指针crawl-66-249-66-1.googlebot.com）
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
（crawl-66-249-66-1.googlebot.com的IP地址是66.249.66.1）
我认为只做反向DNS查找是不够的，因为一个垃圾制造者可以建立反向的DNS来指向crawl-a-b-c-d.googlebot.com。
这个答案也是我们内部的技术帮助中心提供给我的，所以我认为这是一个验证Googlebot的官方方法。为了从“官方的”Googlebot IP范围内抓取，抓取机器人要尊重robots.txt和我们内部的主机负荷惯例，从而使谷歌不过分爬行您的网站。
（感谢N.和J.为此文提供的帮助，他们介绍了爬行方面涉及的东西）。
转载自：谷歌中文网站管理员博客 原文：How to verify Googlebot
- 来源：转载
- 版权声明：请尊重原作者的版权，转载请注明作者、出处（老吧）。
- 本文链接地址：http://www.lao8.org/html/8/2008-3-6/200836145720.html
- 文章名：如何验证谷歌抓取机器人(Googlebot)
相关"谷歌 抓取机器人 Googlebot"文章
- Google（谷歌）给网站管理员的建议
- 如何查看百度谷歌等搜索引擎今天收录了那些内容
- rel="external nofollow" 对百度无效
- 老吧：对“谷歌博客搜索“的探讨
- 谷歌将停止中国Google AdSense推介
- 2008年1月1日 2:24:09 星期二
- 说说雅虎、谷歌的站长管理工具
- 谷歌搜索流量的变化
