wordpress是一款非常流行的博客做网站程序,他的强大绝对不止是建立博客而已,而大家在使用过程就会遇到很多问题,而今天介绍的关于robots写法的问题就是非常重要的,尤其对于SEO优化来说,有着非常重要的意义。
接下来通过这篇文章,
企业网站管理系统会带领大家一起了解wordpress中robots要怎么写。
robots.txt是一个放置在网站根目录的协议,它是搜索引擎进入网站的必经关卡,robots文件能告知进入网站的搜索引擎spider,这个网站中哪些网站是允许爬取的,哪些是禁止爬取的。
robots的语法很丰富,最常用的两个命令有两个:User-Agent和Disallow。
User-Agent:适用下列规则的漫游器,一般常写为:
User-agent:*
星号(*)表示面对所有搜索引擎爬虫spider程序,比如Google的“Googlebot”,百度的“Baiduspider”等。
Disallow:要拦截的网页,即不允许搜索引擎访问和索引的目录。robots文件中至少要有一个Disallow,如果都允许收录,则写:
Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。Disallow的用法非常多,具体如下:
1、屏蔽spider捉取程序文件,同时也节约了搜索引擎蜘蛛资源。
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/wp-includes/
2、每个默认的文章页面代码里,都有一段trackback的链接,如果不屏蔽让蜘蛛去捉取,网站会出现重复页面内容问题。
Disallow:/*/trackback
3、头部代码里的feed链接主要是提示浏览器用户可以订阅本站,而一般的站点都有RSS输出和网站地图,故屏蔽搜索引擎捉取这些链接,节约蜘蛛资源。
Disallow:/feed
Disallow:/*/feed
Disallow:/comments/feed
4、屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。
Disallow:/?s=*
Disallow:/*/?s=*
5、屏蔽留言链接插件留下的变形留言链接。(没安装相关插件当然不用这条指令)
Disallow:/?r=*
6、屏蔽捉取任何图片文件,在这里主要是想节约点宽带,不同的网站管理员可以按照喜好和需要设置这几条指令。
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
Disallow:/*.bmp$
7、屏蔽捉取短链接。默认头部里的短链接,百度等搜索引擎蜘蛛会试图捉取,虽然最终短链接会301重定向到固定链接,但这样依然造成蜘蛛资源的浪费。
Disallow:/?p=*
8、屏蔽捉取留言信息链接。一般不会收录到这样的链接,但为了节约蜘蛛资源,也屏蔽之。
Disallow:/*/comment-page-*Disallow:/*?replytocom*
9、屏蔽其他的一些形形色色的链接,避免造成重复内容和隐私问题。
Disallow:/a/date/
Disallow:/a/author/
Disallow:/a/category/
Disallow:/?p=*&preview=true
Disallow:/?page_id=*&preview=true
Disallow:/wp-login.php
Sitemap:如果说sitemap是给搜索引擎爬虫指路的地图,那么robots则是看守网站的一道门。
sitemap在robots文件的写法如下:
Sitemap:http://***.com/sitemap.txt
当然以上介绍的Disallow和Sitemap并非全部必须,可以按您网站的具体情况写入,同时可以用google管理工具测试robots.txt是否合乎规范。