robots.txt解析ツール：SEOwalker

robots.txt解析ツール

robots.txtといえば、サイトURLやトップディレクトリに入れて、検索エンジンクローラーに、このページはインデックスしないでください、巡回頻度はこうしてください、このクローラーは来ないでください等など要望をいうファイルです。


ロボットエンジンに対する要望として
<meta name="robots" content="index" />
<meta http-equiv="pragma" content="no-cache" />
というタグもあります。

書き方は、こちらでも参考にしてください。
http://www.hyperposition.com/ranking/robotstxt.html

robots.txtをチェックする方法としていくつかあります。

Ｇｏｏｇｌｅsitemap機能を活用する方法

firefoxのアドオンを活用して直接見る方法
SEOpenというSEOチェックツール：firefoxのアドオン

住さんのサイト、robots.txtのチェックツールを活用する方法

この記事（robots.txt解析ツール）を応援してください。

投稿時刻 18:30 SEO | 個別ページ 　 　RSSリーダーで購読する

この記事の概要もどうぞ。リンクコピペ用
　<a href="http://www.seowalker.net/2008/03/robotstxt-4f95.html">robots.txt解析ツール</a>・・robots.txtはロボットエンジンに要望をいうファイルです。
ボタンひとつでコピー（IEのみ）

　<a href="http://www.seowalker.net/2008/03/robotstxt-4f95.html">robots.txt解析ツール</a>
ボタンひとつでコピー（IEのみ）