携帯サイト用インデックスクローラーについて
株式会社シーエー・モバイルが運営する携帯サイト検索SeafTyyでは、サービス向上のため定期的に検索エンジン用のロボットが、インターネット上で公開されているサイトを巡回しデータを収集しています。
このデータを収集するソフトウェア(ロボット)はインデックスクローラーと呼ばれています。
当社は自社サービスのために携帯サイト用インデックスクローラーを運用・管理しております。
公開している情報でも検索結果からは閲覧を制限したいという場合は、以下の方法で登録を拒否できます。
(1)WEBサーバーにrobots.txtを設置す方法
下記の記述を記したテキストファイルを"robots.txt"という名前で保存し、ドメイン直下に設置します。
例:http://yourdomain.jp/robots.txt
User-agent: *
Disallow: /
レンタルサーバーなどでこの位置に設置できない場合は、(2)の方法でご指定ください。
(2)公開中のページ内にMETAタグを入れる方法
検索結果へ登録したくないページのHTML内に、下記の記述で宣言します。
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
これらの設定は、インデックスクローラーの巡回を確実に停止するものではありません。あらかじめご了承ください。アクセス解析などでインデックスクローラーのアクセスを排除されたい場合は、下記文字列を含むUser-Agentをフィルタリングしてください。
[端末User-Agent](CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)
みなさまのご協力をよろしくお願い申し上げます。