robots. txtファイル

GoogleやBingとは異なり、サイト管理者とのコミュニケーションツールを用意していない検索エンジンもたくさんあります。そのような検索エンジンのために、robots.txt というファイルを利用し、囲ってきたクローラに指示を出して対応しましょう。 現在の日本では、 YahooもGoogleの検索技術を導入しているので、 Googleに対策をすれば80%以上の検索結果に対応できます。そして、Bingへの対応もすれば85%以上の検索結果に対応できるので十分といえるでしょう。 しかし、検索エンジンの利用状況が変わったり、新しい検索エンジンが出てきたりする可能性もあります。常に検索エンジンの状況を把握し、それぞれの提供するツー ルを確認し対応していくのは大変であり、またコミュ 二ケーションツールがない検索エンジンも多数あります。
対策としては、ますSearchConsoleとBingWebマスターツールに登録して85%以 上の検索結果に対応し、 そのほかの検索エンジンはとちがう申請に行かず、クローラが回ってきたときに適切な情報を伝えるようにするのが、すべて検索エンジンに対応しながらも、手間を大きく減らせる方法となりますrobots. txtファイルはWebサイトのルートディレクトリに配置し、検索エンジンのクローラにアクセスさせたくないページを指定するファイルです。基本的に、ショッピング力一ドやお問い合わせ後のサンクスページなど、検索エンジンにインデックス化
させたくないページの指定に利用しますが、使い方によっては、クローラにサイトマップの位置を伝えることなどもできます。