什么是抓取UA? 百度UA禁封怎么办?

2014年06月18日 03:24 by:老修--走失的镜头盖

UA即为用户代理(User-Agent),User Agent是Http协议中的一部分。简单说,当访问网站的时候电脑会提交使用的浏览器类型、操作系统、浏览器内核等信息的标识。通过这个标识,用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计;

什么是百度抓取UA?

百度抓取UA是指百度搜索蜘蛛的类型: 百度抓取收录网页有多重类型, 常见的有专门抓取pc站点的蜘蛛, 专门抓取百度投放广告相关性的蜘蛛, 这些搜索引擎蜘蛛的类型一般简称抓取UA.

百度站长工具里提醒的UA禁封是什么意思?

UA禁封是指网站根目录下面的robots.txt文件中设置了针对搜索引擎蜘蛛的禁止抓取。

比如:

  1. User-agent: Baiduspider
  2. Disallow: /baidu

这个设置指的是禁止百度蜘蛛抓取网站根目录下面的名为baidu的文件。

在用百度站长工具检查网站的时候有的网站会被提醒: 您的网站对百度设置了UA封禁, 处理的方法比较简单, 在网站根目录下找到robots.txt文件, 删除里面相应的禁封即可.