robots.txt文件的 作用和标准写法

  • 网站常识 2017-07-22 分享新闻到:
<返回列表

seo工作者应该不陌生,robots.txt文件是 每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对 搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引 擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文 件是被拒绝索引的,我们就 可以很方便地控制搜索索引网站内容了。

robots.txt文件的作用:

1、屏蔽网站内的死链接。2、屏蔽搜 索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜 索引擎索引网站隐私性的内容。

因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引 擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是 我们经常听到的“降低权重”,这样网 站的排名就不好了。

robots.txt文件需 要注意的最大问题是:必须放 置在一个站点的根目录下,而且文 件名必须全部小写。

robots.txt文件的 基本语法只有两条,第一条是:User-agent,即搜索 引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

下面我 们看一下撰写基本的robots.txt文件所 需要知道的一些语法和作用。

(1),允许所 有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

(2),禁止所 有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

(3),禁止百 度索引你的网站。

User-agent:BaiduspiderDisallow:/

(4),禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

(5),禁止除 百度以外的 一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

(6),禁止除Google以外的 一切搜索引擎索引你的网站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

(7),禁止和 允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/

(8),禁止和 允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

(9),禁止索 引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*Disallow:/*?*

 

最后,列出本博客robots.txt文件的 写法供大家参考:

User-agent:*Disallow: /wp-*Disallow: /*/trackbackDisallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/plugins/Disallow: /wp-content/themes/Disallow: /*?replytocom=Disallow: /*/comment-page-*Disallow: /comments/feed/Disallow: /?r=*Disallow: /?p=*Disallow: /?Disallow: /page/Disallow: /feedDisallow: /*.php$Disallow: /*.js$Disallow: /*.inc$Disallow: /*.css$Disallow: /category/Disallow: /tag/Allow: /wp-content/uploads/Sitemap:http://www.ddbing.com/sitemap.xmlSitemap:http://www.ddbing.com/sitemap.xml.gzSitemap:http://www.ddbing.com/sitemap_baidu.xml

分享新闻到:

更多阅读

哪种网站CMS适合建站,优化好

网络推广 2019-03-24
有部分cms建站系统天生对 搜索引擎友好 是有利于seo的,有利于seo的cms程序没有......查看全文

昆明网站建设,昆明网站建设

网站建设 2019-03-20
要说昆 明做网站建设公司哪家比较专业,哪家比较好,首先想 告诉大家什么样的......查看全文

昆明网 站建设公司哪家好?

网站建设 2019-03-20
个人或 者企业想要在互联网上以一个比较正规的方式出现,都免不了要有一个网......查看全文
返回全部新闻
扫描二 维码分享到微信
确 认

合作伙伴:

Copyright (c) 2014-2017 云南多 网科技有限公司 版权所有 滇ICP备14005946号

扫描二维码关注我们:多网科技
确 认
友情链接:    阳光棋牌电玩城   阳光棋牌   太阳城棋牌真钱   KG万人炸金花   彩票网上购买恢复了吗