室内桃源

Wordpress的Robots.txt该如何写

最近不断的换Wordpress主题，主要都是在进行SEO。另外还很重要的一点就是代码必须符合W3C规范。今天终于找到了个样式还不错，也完全符合W3C规范的主题，不过是个小日本人制作的。第一次不客气，直接把版权给它去掉了。

网站的Robots还一直没有写，今天特地查下资料，针对Wordpress如何写Robots文件。

最常用的写法：

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/

这个也是：

User-agent: *
Disallow: /blog/wp-admin/
Disallow: /wp-login.php
Disallow: /blog/page/
Disallow: /blog/wp-content/
Disallow: /blog/feed/


还有这个：

User-agent: Googlebot
# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
# Disallow parsing individual post feeds, categories and trackbacks..
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*

不过需要注意，根据自己定义的链接更改内容。我就用第一份最保守的写法吧。综合了一份，感觉应该不错。robots.txt，注意Robots文件必须小写，还必须放在一级目录下。再发誓次：这个小日本的主题奥运会之前不再换了！不然又是几天一换，反而对SEO不利。