WordPressのrobot.txtの使用法とサンプル

以下のウェブサイトにRobots.txtの最適化という記事が出ていた。

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

これによると、サーチエンジンはyourserver.com/robots.txt ファイルを読んで、どこをアクセスしていいとかいけないとかを知ることができる。

ほんとうかどうかはわからないが、サーチエンジンが探してもいい場所を指定することによりサイトのランキングを上げることができると書かれており、

Googleやすべてのサーチエンジンにより推奨されている。

WordPress のrobots.txt ファイルの例は以下のようになります。

ただ、SitemixのブログのようにサブディレクトリーにWordPressを導入しているばあいには、ディレクトリーのパスが変わるので注意が必要です。

また、このファイルはドメインのルートに入れないといけないので、すべてのサイトで利用できるとは限りません。

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# digg mirror

User-agent: duggmirror

Disallow: /