零基础教你如何写robots文件的规范

2016-05-07 22:13 阅读 1,698 次 评论 0 条

今天有小伙伴来问我robots文件怎么写,这个问题不是一两句话能够说清楚,所以就写篇文章来说明robots文件怎么写:

什么是robots文件:

它是网站与搜索引擎的一种协议文件,Robots协议也称为爬虫协议、机器人协议等,Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;蜘蛛来爬取你网站首先是要爬取robots文件,如果你网站包含不希望被搜索引擎抓取的内容,才会用robots文件来屏蔽。

robots文件格式
文件写法格式:首字母大写的英文+英文状态下的冒号+英文空格+需要屏蔽的文件名

User-agent: 定义蜘蛛
Disallow 拒绝抓取
Allow  允许抓取
Sitemap  网站地图
User-agent: *  允许所有搜索引擎收录
Disallow: /*?*   禁止动态路径抓取
Disallow: /*.php$   不让蜘蛛抓取所有以php结尾的文件名后缀($ 结尾
 *  能匹配0或者所有英文字符
常见的蜘蛛
User-agent: ChinasoSpider 中搜
User-agent: Sosospider 搜搜
User-agent: yisouspider 一搜
User-agent: Baiduspider 百度蜘蛛
User-agent: 360Spider   360蜘蛛
User-agent: Googlebot   谷歌蜘蛛

 

 

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:零基础教你如何写robots文件的规范 | 重庆SEO【5年技术实力】重庆网站优化
分类:SEO知识分享 标签:

发表评论


表情