SEO・コンテンツマーケティング
Googleのクローラーとは？巡回申請の仕方や拒否方法を解説
Share
Googleのクローラーとは？巡回申請の仕方や拒否方法を解説
記載されている内容は2021年10月28日時点のものです。現在の情報と異なる可能性がありますので、ご了承ください。
また、記事に記載されている情報は自己責任でご活用いただき、本記事の内容に関する事項については、専門家等に相談するようにしてください。
初回公開日：2021年10月28日
更新日：2022年03月01日
そもそもクローラーとは？
クローラーとは、インターネット上にある情報を集めるロボットのことです。クローラーの語源は英語の「クロール（crawl）」、日本語では「這う」という意味で、その名前のとおり、クローラーはインターネット上にあるWebサイトを這うように進みながら情報を取得していきます。
また、クローラーの中には自動的に情報を集めるタイプも多く、「スパイダー」「ロボット」「ボット」などとも呼ばれています。
クローラーの種類や名称
有名なクローラーには、Googleが提供している「Googlebot」、Yahoo!が提供する「Yahoo Slurp」、Microsoftの検索エンジンであるbingが提供している「Bingbot」などがあります。
また、GoogleにはGooglebotの他にも画像検索専門の「Googlebot-Image」、モバイル検索専門の「Googlebot-Mobi」といった種類のクローラーがあります。
Googleのクローラーが重要な理由
ここまで紹介したとおり、Googleをはじめとしたさまざまな検索エンジンがクローラーを利用しています。その理由は、Webサイトの情報を把握するために必要であるからです。
検索エンジンはユーザーに有益な情報を提供するために、インターネット上にあるさまざまなWebサイトの情報を把握しておく必要があります。そのため、Webサイト運営者にとっても自身が管理しているWebサイトがクローリングされることは非常に重要になるでしょう。
Googleクローラーに巡回申請する3つの方法
自身が管理しているWebサイトがクローリングされなければ、いつまで経ってもGoogle検索結果に上がってこないという状況になります。そのため、そういった場合には自分からGoogleのクローラーに巡回申請を行い、自身のWebサイトにクローラーを呼び込む必要があります。
ここではGoogleクローラーに巡回申請する3つの方法を紹介していきますので、ぜひ参考にしてみてください。
1：サイトマップの作成と送信をする
XMLサイトマップを作成し、送信することによって巡回申請を行うことができます。
サイトマップを送信するには、まずサーチコンソールにログインしましょう。次にインデックスからサイトマップをクリックし、「新しいサイトマップの追加」によって作成したサイトマップをアップロードし、そのサイトマップのURLを記述して送信します。
サイトマップのURLを送信することにより、ファイル内のWebサイトのURLから各コンテンツにクローリングするように申請を行えます。
2：Google Search Consoleを使用する
Google Search Consoleを使用し、WebサイトのURLを検索データベースに登録することで巡回申請を行うことができます。Google Search Consoleの新しいWebサイトの登録画面を開き、URLを入力して「リクエストを送信」をクリックしましょう。
3：Fetch as Googleを使用する
Fetch as Googleを使用して、インデックス登録をリクエストする形で巡回申請を行うことができます。旧サーチコンソールにログインし、メニューにあるクロールの「Fetch as Google」をクリックし、WebページURLを入力して取得をクリックします。
情報取得が完了すれば「インデックス登録をリクエスト」のボタンが表示されるため、ボタンをクリックしましょう。
クローラーの巡回申請後にやっておきたいこと
クローラーに巡回申請を行うケースとしては、新しいWebサイトを開設した場合や、Webサイトの更新を行った場合などが該当します。そのため、クローラーの巡回申請を行ったら、問題なくインデックスが登録、更新されていることを確認しましょう。
ここではクローラーの巡回申請後にやっておきたいことを紹介します。
サイトが登録されたか調べる
新しく開設したWebサイトに対してクローラーの巡回申請を行った場合は、実際に新しいWebサイトのURLをGoogleで検索してみましょう。検索結果としてWebサイトが上がってくる場合は、問題なくサイトが登録されています。
「http://~に一致する情報は見つかりませんでした」と表示された場合は、サイトインデックスが登録されていないため巡回申請をもう一度やり直しましょう。
サイトが更新されているか調べる
内容を変更したWebサイトに対してクローラーの巡回申請を行った場合は、キャッシュの日付を確認することでインデックスが更新されているかどうかを確認しましょう。キャッシュは検索結果表示画面のURL右にある「▼」をクリックすると確認できます。
クローラーがWebサイトを訪問することでキャッシュが行われるため、キャッシュの日付を確認すればサイトの更新日付よりも後にキャッシュが行われているかどうかが確認できるでしょう。
Googleクローラーに効率よくクロールしてもらう4つのポイント
クローラーにWebサイトを適切に評価してもらうためには、クローラーが効率よくクロールできるように対策を行うことが大切です。
ここではGoogleクローラーに効率よくクロールしてもらう4つのポイントを紹介していきますので、参考にしてみてください。
1：サイトの階層を深くしないようにする
クローラーは全てのページを巡回するというわけではないため、サイトの階層が深くなるとクローラーが辿りつかないページが出てきてしまいます。そのため、クロールしてもらいたいページは2回程度のページ推移によってアクセスできるようにすることが大切です。
サイトの階層が深すぎる場合は、ディレクトリ構造の見直しを行うようにしましょう。
2：クローラーにも読みやすいコンテンツにする
クローラーに読みやすいように、できるだけテキストで記述されたコンテンツにすると効率よくクロールしてもらえます。クローラーはロボットのため、コンテンツの内容などが画像になっていると理解することができません。
そのため、画像を配置する場合はalt属性に説明文を記載し、重要なコンテンツはできるだけテキストで表示するようにしましょう。
3：外部だけでなく内部リンクも意識する
クローラーはWebサイトの内部リンクを辿ってクロールを行うため、内部リンクにも意識を向けましょう。具体的には、コンテンツ内のテキストに関連性の高いURLの内部リンクを張る、ユーザーが頻繁にクリックするような場所に内部リンクを張るといった対策が挙げられます。
このように内部リンクを最適化することで、クロールしやすくなるだけでなくページの評価の向上も期待できるでしょう。
4：重要なページのみクロールしてもらう
重要なページにのみクロールしてもらえるようにrobots.txtを記述しましょう。クローラーはクロール済みのリストとrobots.txtなどの情報を元にクロールします。
そのため、robots.txtでクロールする必要がないページを記述することで、不要なクロールを避けることができます。
Googleクローラーを拒否するには？
Googleクローラーを拒否したい場合はWebサイトのURLをブロックしましょう。ブロックすることでクローリングが行われなくなります。
また、HTMLコード内にメタタグを挿入することで検索エンジンに引っかからなくしたり、ディレクトにURLを保存することでクローラーが入れないようにしたりすることも可能です。
Googleクローラーを呼び込んで検索順位を上げよう
新規サイトを開設した場合などは必要に応じてGoogleクローラーに巡回申請を行うことが重要です。
ぜひ本記事で紹介したGoogleクローラーに巡回申請する方法やGoogleクローラーに効率よくクロールしてもらうポイントなどを参考に、Googleクローラーによるクローリングを活用して検索への露出をアップしてみてはいかがでしょうか。
Share
