首页 > 互联网资讯 > robots.txt 和 WordPress 博客中如何使用
2013
01-30

robots.txt 和 WordPress 博客中如何使用

什么是 robots.txt

robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的爬虫(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎获取的,哪些是可以被获取的。via 维基百科

为什么要使用 robots.txt

可能很多人都巴不得搜索引擎收录越多越好,为什么我们还禁止搜索引擎收录我们某些内容呢?第一是防止 Spider 去访问一些无关的页面,造成服务器的压力,第二,可以防止搜索引擎索引一些重复的页面,使网站的权重更加集中,提高网站的排名。

WordPress 博客怎么使用 robots.txt

下面这个是目前WordPress博客使用的 robots.txt 文件:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

简单说下,它只列了禁止访问的目录:

  • /cgi-bin/ 这个是服务器的 cgi 目录,所以肯定不能索引。
  • /wp-admin/ 和 /wp-includes/,一个是 WordPress 后台,一个是 WordPress 程序运行的一些必须库,都无需索引。
  • /wp-content/ 目录下,插件(/plugins/),主题(/themes/)和缓存(/cache/)都不应该索引的,剩下主要的是 /uploads/ 目录是存放图片和附件,是应该让搜索引擎,特别是图片搜索引擎索引。剩下你自定义的一些目录,就看你自己需求来设置是否让搜索引擎索引。
  • /author/是某个作者的所有文章列表,基本都是重复内容了,所以也不让索引。
  • /trackback/ 和 */trackback/,trackback 目录和原来的文字基本一样,完全的重复内容。
  • /feed/ 和 */feed/,Feed 中也是重复内容。
  • /comments/ 和 */comments/,留言页面也是重复内容。

robots meta

除了 robtos.txt 之外,WordPress 最好使用 robots meta 对一些页面进行限制,下面是我在主题 header.php 添加的代码:

 <?php if(is_single() || is_page() || is_category() || is_tag() || is_home()) { ?> 
<meta name="robots" content="all,noodp" /> <?php } elseif(is_archive()) { ?> 
<meta name="robots" content="noarchive,noodp" /> <?php } elseif(is_search() || is_404()) { ?> 
<meta name="robots" content="noindex,noarchive" /> <?php } ?> 
  • noodp:搜索结果不使用开放目录项目中对本网站的说明。
  • noindex:当前页面不被索引。
  • noarchive:防止所有搜索引擎显示您网站的快照