ご自分のウェブサイトをキャッシュされたくない方へ
一般公開されているウェブサイトの場合、サイトをチェックされること自体を拒否することはできませんが、
キャッシュされたページを表示させないようにすることはできます。
SearchLabは、検索エンジンのクローラと同様にRobots.txtに対応しており、
今後ロボットがサイトをキャッシュしないようリクエストすることができます。
その場合、お手数ですが、サイト管理者が非表示にしたいご自身のサイトの サーバーのルートに次のrobots.txt ファイルを配置してください。
User-agent: *
Disallow: /
【注意】上記の設定を行うとすべてのロボットがサイトをクロールしなくなります。
SearchLabからのみサイトを削除し、今後 SearchLab にキャッシュされたページを表示されないようにするには、次の robots.txt ファイルをサーバーのルートに配置します。
User-agent: SearchLabbot
Disallow: /
また、User-agentに主要検索エンジンのロボットGooglebot、msnbot、Slurpが指定されていた場合も同様にキャッシュされたページを表示されないようになります。
この機能に関しては、http://www.robotstxt.org/に詳細な情報があります。そちらもあわせてご覧下さい。
すでにキャッシュ表示されているページをすぐに消すことはできませんがrobots.txtを設置することでキャッシュ表示されなくなります。
