SEO・コンテンツマーケティング
SEOの向上にクローラー対策する際のポイントや注意点｜仕組みについても解説
Share
SEOの向上にクローラー対策する際のポイントや注意点｜仕組みについても解説
記載されている内容は2022年02月01日時点のものです。現在の情報と異なる可能性がありますので、ご了承ください。
また、記事に記載されている情報は自己責任でご活用いただき、本記事の内容に関する事項については、専門家等に相談するようにしてください。
初回公開日：2022年02月01日
更新日：2022年03月01日
検索エンジンにおけるクローラーに関する基礎知識
検索結果の上位に表示させるためにはSEO対策を行いますが、自社サイトをユーザーに見つけてもらいやすくするためは、クローラーについて把握しておく必要があるでしょう。
はじめに、検索エンジンにおけるクローラーの基礎知識について紹介します。
クローラーの仕組みや役割
クローラーは、Webサイトを検索エンジンにインデックスさせるための情報収集を行う役割を担っています。
インターネット上に存在しているWebサイトのリンクを辿って移動していくさまから、クローラーと呼ばれており、移動先でのページ解析・収集・データ変換を行います。
いくらコンテンツが優れているサイトを構築しても、クロールされなければ検索エンジンに表示されることはありません。
クローリングの対象となるもの
クローリングの対象となるものは、HTTP/HTTPSで取得できる情報です。HTTP（Hypertext Transfer Protocol）とは、サーバとブラウザ間で情報をやりとりするプロトコルを指します。
具体的にはテキストファイルやCSSファイル、JavaScriptファイルや画像などに加え、FlashやPDFなども該当します。Webサイトを構成しているほとんどの要素がクロールの対象です。
有名な検索エンジンのクローラー名
GoogleによるGooglebotやマイクロソフトのBingbot、海外のYahoo!で使われているYahoo Slurp、BaiduによるBaiduspiderなどが有名なクローラーでしょう。
また、クローラーには情報収集するタイプも存在し、画像専門や広告専門などの1つの分野に特化したクローラーもあります。
SEOにおけるクローラーの重要性
検索エンジンのクローラーは、ユーザーに良質なコンテンツを提供するだけでなく、検索エンジンを運営している企業にも重要なサービスです。低品質なサイトが上位に表示されると、利用者数の低下を招くため、運営企業の赤字にもつながりかねません。
SEO対策の視点から、クローラーの重要性について解説します。
自分のWebサイトをユーザーに知ってもらえる
サイトのアクセスアップにはユーザーへのアピールが欠かせませんが、さまざまな媒体で広告を打つと一定の経済力を必要とし期間も限られています。
SEO対策を行いクロールされることでユーザーへの露出が高まるため、リスクなく自社サイトのアピールを行うことができるでしょう。
複数回のクローリングで検索順位の向上につながる
自社サイトを検索上位に表示させるためには、複数回クローリングをしてもらう必要があります。
クローラーの仕様上、一回のクロールだけではサイトの情報をすべて汲み上げることはできません。何回もクロールすることでページ内の情報を認識していき、良質なコンテンツであれば上位に表示させます。
SEO対策を行う場合は、クロールを意識したサイト運営を行うことが重要であると言えるでしょう。
SEOの向上にクローラー対策する際の7つのポイント
クローラーがWebページの情報を読み取ることをクローリングと呼び、クロールが行いやすいかを測る指標をクローラビリティと呼びます。
クローラビリティが高いページであれば、検索エンジンにインデックスされやすくなり、サイトへのユーザー流入が期待できるでしょう。
ここでは、クローラビリティを向上させる7つの対策を紹介します。
- URL階層を見直す
- URLを正規化する
- パンくずリストを使う
- テキストリンクを使う
- 関連性のある内部リンクを設置する
- 内容が分かりやすいアンカーテキストにする
- 数字でページネーションを設定する
1：URL階層を見直す
URL階層とはサイトのフォルダ構成を指し、階層が深くなればなるほど、そのページはクローリングされにくくなります。小規模のサイトでは深くなりにくいですが、大規模サイトになるほどURL階層が積み重なり、クロール漏れにつながるため注意が必要です。
Webサイトの構成をシンプルにし、クロールされやすいサイト設計を心がけましょう。
2：URLを正規化する
URLを正規化すると不要なクローリングを減らせるため、クローラビリティが向上します。複数のWebサイトが存在するとどのURLが正しいのかクローラーには判断できないため、余計なクローリングが増えてしまいます。
同じコンテンツが複数ある場合はURLの正規化を行い、最適なクローリングをしてもらいましょう。
3：パンくずリストを使う
パンくずリストとは、現在どのURL階層にいるのかを表示するものです。
パンくずリストを設置することで、サイト訪問者が現在位置を把握できるようになるうえ、クローラーにとっても情報収集しやすくなるというメリットがあります。
URL階層が深すぎるなど複雑なサイト設計には効果が薄くなるため、パンくずリストを設置する際にはサイト構造を整理しておきましょう。
4：テキストリンクを使う
テキストリンクとはHTML文書でリンクを行う文字列を指し、アンカーテキストとも呼ばれています。
SEO対策は外部だけでなく内部リンクの設置も重要で、検索エンジンによる評価に関わる要素の1つです。コンテンツ内にテキストリンクを入れることでクローリングしやすくなり、良質なサイトと認識されやすくなるでしょう。
ただし、過度なテキストリンクの使用は評価が下がりかねないため、注意が必要です。
5：関連性のある内部リンクを設置する
サイト内のリンク先ページと関連性が高いほど、検索エンジンからの評価は良くなります。
検索エンジンの仕様上、関連性が高いページリンクは専門性があり、ユーザーに有益であるサイトと判断されます。逆に、関係性が薄いコンテンツをリンク先にした場合には、逆の評価を受けやすくなります。
クローラーに良質なリンクと認識してもらうために、違和感なく関連しているページをリンク先に設定しましょう。
6：内容が分かりやすいアンカーテキストにする
内容が分かりやすいアンカーテキストはユーザーだけでなく、クローラーにも関連性があるリンクとして認識してもらえます。
アンカーテキストを設置する注意点は、テキストを詰め込みすぎないことです。過剰なテキスト量は検索エンジンから好まれないため、ページ内容に関連するものを記入しましょう。
また、アンカーテキストの数が多すぎてもペナルティに該当する恐れがあるため、適切な数を設置しましょう。
7：数字でページネーションを設定する
ページネーションとは、大量のページを無限スクロールさせずに分割して見やすくする機能を指します。
クローラーは、コンテンツが多いページほど読み込みに時間がかかり、正しく認識されない場合があります。SEOの視点で見た場合、ページの全てをクローリングされないことは致命的であり、サイト運営に悪影響を及ぼすでしょう。
ページを数字で分割し、ユーザビリティとクローラビリティの向上に努めましょう。
SEOにおけるGoogleのクローラー対策
これまで、検索エンジン全てを対象にしたクローラー対策に触れてきました。
日本国内で使われている検索エンジンはGoogleが主流であるため、ここからはGoogleのクローラー対策に絞って解説します。
301リダイレクトのステータスコードを使う
自社サイトをリニューアルした場合、301リダイレクトを行っていなければGoogleは旧URLと新URLを同一とみなしません。
古いURLが得ていた高い評価が引き継げないため、コンテンツが変わらなくても新URLの評価はゼロからスタートすることになります。そのためには、301リダイレクトを設定しURLの正規化を行う必要があります。
Webサイトがインデックスされているか確認する
基本的に一定の頻度でコンテンツを増やしている場合、インデックス数も比例して上がっていきます。仮に、サイト内の記事数に対してインデックスされた記事数が少なければ、該当ページに問題があると言えるでしょう。
インデックス数が多くなるとユーザーアピールにつながるため、定期的に確認することが肝要です。
URL検査ツールを使ってクローリングさせる
URL検査ツールは、自社サイトのコンテンツがGoogleにインデックスされているのか、Googleクローラーに認識されているのかを確認するツールです。
また、Googleにインデックス登録をリクエストする機能もあり、サイトの開設やページを追加した際に利用することで、早くクローラーに認識されやすくなります。
サイトマップをGoogleに送信してクローリングさせる
Webサイトを立ち上げたばかりでは被リンク数も少なく、クローラーの巡回が少ない状態にあります。Google Search Consoleに登録しサイトマップを送信することで、クローリングの頻度が上がり検索順位に反映されやすくなります。
サイトマップは、無料のツールやプラグインを使用して作ることができます。
クローラーの動きをチェックする
クローラーの動きを把握することで、どのページがインデックスされていないか、ページのダウンロードに時間がかかりすぎていないかなどの、自社サイトのSEOに不利な点を知ることができます。
ここからは、クローラーの動きを確認する方法を2つ紹介します。
ツールで確認する方法
Google Search Consoleを使うことで、自社サイトのクローリング状況を把握できます。
Google search consoleにアクセスして自社サイトのURLを入力します。画面が切り替わったら左上にある3本線のメニュー内からカバレッジをクリックしましょう。
カバレッジ画面ではサイト内ページのインデックスに関するデータが表示され、有効なページや除外されているページなどを確認できます。
URLやドメイン名の前に「site:」を入れて確認する方法
Google Search Consoleを使用しない場合は、確認したいページURLの先頭に「site:」を入れて検索してみましょう。該当URLがGoogleにインデックスされている場合、検索結果に表示され正しくクローリングされていることが確認できます。
何らかの理由で表示されない場合は、ページに問題がある可能性を示唆しているため、早急な改善を行う必要があります。
SEOの向上にクローラー対策するときの注意点
SEO対策に寄与するクローラー対策ですが、いくつかの注意点を押さえることで、より効果を発揮します。クローラーはリンクを辿ってページ情報を拾うため、サイト内の構造を見なおしたり正常なリンクであるか確認したりすることで、クローラビリティの向上につながるでしょう。
ここでは、クローラー対策の注意点を2つ紹介します。
クローリングされたくないサイトは専用ファイルをアップロード
クローリングされたくないコンテンツがある場合は、robots.txtファイルをアップロードします。一般的に、Webサイト内の全てのコンテンツはクローリングされることが良しとされていますが、中にはクロールされることでサイトの評価に悪影響を及ぼすものがあります。
会員限定のページや自動生成されてしまう重複ページなどが該当するため、robots.txtを使ってクロールを制御する必要があります。
リンク切れがないか確認
クローラーはリンクを辿って移動するため、リンクが切れているとそれ以上の情報を吸い上げることができません。
リンク切れの原因として、貼っているリンクのスペルミスやリンク先が閉鎖していたり削除されていたりすることが挙げられます。そのためリンク切れの確認を行う必要がありますが、手動では膨大な時間を要します。
リンク切れチェックツールを使うと、効率的にリンク切れの確認が可能です。
SEOの向上にはクローラー対策をしよう
SEOの向上には検索エンジンのクローラー対策が欠かせません。また、SEO対策と並行して内部リンクの設置を行いましょう。どちらか片方が欠けても検索エンジンに与える評価は良くなりません。
この記事を参考にクローラー対策をし、SEOの向上を図りましょう。
Share
