robots.txt解析ツール
robots.txtといえば、サイトURLやトップディレクトリに入れて、検索エンジンクローラーに、このページはインデックスしないでください、巡回頻度はこうしてください、このクローラーは来ないでください等など要望をいうファイルです。
ロボットエンジンに対する要望として
<meta name="robots" content="index" />
<meta http-equiv="pragma" content="no-cache" />
というタグもあります。
書き方は、こちらでも参考にしてください。
http://www.hyperposition.com/ranking/robotstxt.html
robots.txtをチェックする方法としていくつかあります。
FXの口座開設+取引のキャッシュバックでSEO関連費用に充てよう
Googlesitemap機能を活用する方法
firefoxのアドオンを活用して直接見る方法
SEOpenというSEOチェックツール:firefoxのアドオン
住さんのサイト、robots.txtのチェックツールを活用する方法
FXの口座開設+取引のキャッシュバックでSEO関連費用に充てよう
この記事(robots.txt解析ツール)を応援してください。

コメント