robots.txt解析ツール
robots.txtといえば、サイトURLやトップディレクトリに入れて、検索エンジンクローラーに、このページはインデックスしないでください、巡回頻度はこうしてください、このクローラーは来ないでください等など要望をいうファイルです。
ロボットエンジンに対する要望として
<meta name="robots" content="index" />
<meta http-equiv="pragma" content="no-cache" />
というタグもあります。
書き方は、こちらでも参考にしてください。
http://www.hyperposition.com/ranking/robotstxt.html
robots.txtをチェックする方法としていくつかあります。
Ｇｏｏｇｌｅsitemap機能を活用する方法
firefoxのアドオンを活用して直接見る方法
SEOpenというSEOチェックツール：firefoxのアドオン
住さんのサイト、robots.txtのチェックツールを活用する方法
この記事（robots.txt解析ツール）を応援してください。
| 個別ページ
RSSリーダーで購読する
この記事の概要もどうぞ。リンクコピペ用
ボタンひとつでコピー（IEのみ）
ボタンひとつでコピー（IEのみ）
コメント