25yicms利用ASP.NET(C#)+MSSQL技术全力打造功能最强大的营销型企业网站管理系统,企业做网站系统,做网站软件,提供div+css企业网站模板。
阅读内容

wordpress网站系统的robots.txt写法


时间:2014/11/22   来源:企业网站管理系统
   wordpress是一款非常流行的博客做网站程序,他的强大绝对不止是建立博客而已,而大家在使用过程就会遇到很多问题,而今天介绍的关于robots写法的问题就是非常重要的,尤其对于SEO优化来说,有着非常重要的意义。
 
  接下来通过这篇文章,企业网站管理系统会带领大家一起了解wordpress中robots要怎么写。
 
  robots.txt是一个放置在网站根目录的协议,它是搜索引擎进入网站的必经关卡,robots文件能告知进入网站的搜索引擎spider,这个网站中哪些网站是允许爬取的,哪些是禁止爬取的。
 
  robots的语法很丰富,最常用的两个命令有两个:User-Agent和Disallow。
 
  User-Agent:适用下列规则的漫游器,一般常写为:
 
  User-agent:*
 
  星号(*)表示面对所有搜索引擎爬虫spider程序,比如Google的“Googlebot”,百度的“Baiduspider”等。
 
  Disallow:要拦截的网页,即不允许搜索引擎访问和索引的目录。robots文件中至少要有一个Disallow,如果都允许收录,则写:
 
  Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。Disallow的用法非常多,具体如下:
 
  1、屏蔽spider捉取程序文件,同时也节约了搜索引擎蜘蛛资源。
 
  Disallow:/wp-admin/
 
  Disallow:/wp-content/
 
  Disallow:/wp-includes/
 
  2、每个默认的文章页面代码里,都有一段trackback的链接,如果不屏蔽让蜘蛛去捉取,网站会出现重复页面内容问题。
 
  Disallow:/*/trackback
 
  3、头部代码里的feed链接主要是提示浏览器用户可以订阅本站,而一般的站点都有RSS输出和网站地图,故屏蔽搜索引擎捉取这些链接,节约蜘蛛资源。
 
  Disallow:/feed
 
  Disallow:/*/feed
 
  Disallow:/comments/feed
 
  4、屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。
 
  Disallow:/?s=*
 
  Disallow:/*/?s=*
 
  5、屏蔽留言链接插件留下的变形留言链接。(没安装相关插件当然不用这条指令)
 
  Disallow:/?r=*
 
  6、屏蔽捉取任何图片文件,在这里主要是想节约点宽带,不同的网站管理员可以按照喜好和需要设置这几条指令。
 
  Disallow:/*.jpg$
 
  Disallow:/*.jpeg$
 
  Disallow:/*.gif$
 
  Disallow:/*.png$
 
  Disallow:/*.bmp$
 
  7、屏蔽捉取短链接。默认头部里的短链接,百度等搜索引擎蜘蛛会试图捉取,虽然最终短链接会301重定向到固定链接,但这样依然造成蜘蛛资源的浪费。
 
  Disallow:/?p=*
 
  8、屏蔽捉取留言信息链接。一般不会收录到这样的链接,但为了节约蜘蛛资源,也屏蔽之。
 
  Disallow:/*/comment-page-*Disallow:/*?replytocom*
 
  9、屏蔽其他的一些形形色色的链接,避免造成重复内容和隐私问题。
 
  Disallow:/a/date/
 
  Disallow:/a/author/
 
  Disallow:/a/category/
 
  Disallow:/?p=*&preview=true
 
  Disallow:/?page_id=*&preview=true
 
  Disallow:/wp-login.php
 
  Sitemap:如果说sitemap是给搜索引擎爬虫指路的地图,那么robots则是看守网站的一道门。
 
  sitemap在robots文件的写法如下:
 
  Sitemap:http://***.com/sitemap.txt
 
  切记S是大写的!如果读完这篇文章还不知道robots.txt文件是什么的,可以查看Robots.txt---对搜索引擎友好的网页设计
 
  当然以上介绍的Disallow和Sitemap并非全部必须,可以按您网站的具体情况写入,同时可以用google管理工具测试robots.txt是否合乎规范。
点击次数:       打印此页  关闭