クローラー​とは？

クローラーは、​すでに​知っている​ページに​張られた​リンクや、​XML​サイトマップで​伝えられた​URLを​手が​かりに​新しい​ページを​見つけ、​一度​訪れた​ページにも​再び訪れて​更新を​確認します。​ページの​内容を​検索エンジンに​登録・​更新するには、​通常クロールが​必要です​（クロールされていなくても、​外部からの​リンクなどを​もとに​URLだけが​登録・​表示される​場合が​あります）。​内部リンクで​どの​ページにも​たどり着けるように​する、​サーバーの​エラーや​表示の​遅さを​放置しないなど、​クローラーが​巡回しやすい​状態を​整える​ことが​テクニカル​SEOの​出発点に​なります。

サイトの​運営者は、​robots.txtと​いう​ファイルで、​クローラーに​巡回してほしくない​範囲を​伝えられます。​ただし、​これは​巡回を​控えるよう​求める​仕組みで、​検索結果に​出さないための​指定ではありません。​巡回を​拒否した​ページでも、​他の​ページから​リンクされていれば​URLが​検索結果に​表示される​ことがあります。​検索結果に​出したくない​ページには​noindexを​使いますが、​noindexは​クローラーが​ページを​読んで​初めて​伝わる​ため、​robots.txtで​巡回を​拒否していると​効きません。

近年は、​生成AIの​学習や、​AIによる​検索・​回答の​ために​情報を​集める​クローラーも​あります。​robots.txtでは、​こうした​クローラー​ごとに​巡回の​可否を​指定できる​場合が​あります​（2026年7月時点）。​拒否すれば、​その​AIサービスの​回答で​自社の​情報が​参照されに​くくなる​可能性も​ある​ため、​どの​情報を​AIに​届けたいかと​いう​方針を​決めてから​設定する​ことが​大切です。