【SEO対策】クローラーとインデックスの重要性と対処法とは？

クローラーとインデックスはSEOには欠かせない知識です。検索エンジンに評価してもらった結果が検索順位になります。クローラーとインデックスを理解できていないと、なかなか検索結果画面に表示されない…ということになりかねません。クローラーとインデックスとは何か、上手くいかない時の対処法などもご紹介します。

SEOに重要なクローラーとは？

クローラーは、検索順位を決めるためにWebサイトを巡回するロボットのことです。語源は、クロール（crawl）＝這い回るの意味からきています。検索エンジンは、クローラーが収集してきた情報をもとにWebサイトの評価を行うのです。

クローラーの重要性

Webサイトは、クローラーに巡回してもらうことで初めて評価され、検索結果画面に表示されるようになります。クローラーがきていないWebサイトは、検索エンジンに表示されません。検索エンジンに表示されないと、Webサイトへの集客はなかなか見込めませんね。SEOではクローラーに巡回してもらうことが重要になるのです。

クロールされる対象は？

検索エンジンにクロールされるのは、WebサイトのHTML、テキスト、CSS、JavaScript、画像、PDF、などです。検索順位に反映される際の評価対象になるため、SEOを意識する必要があるでしょう。

クローラーの種類

クローラーは検索エンジンごとに異なります。代表的な検索エンジンとクローラーを下記に記載しました。

• Google：Googlebot
• Yahoo!：Yahoo! Slurp
• bing：Bingbot
• Baidu（百度）：baiduspider
• DuckDuckGo：duckduckgo-favicons-bot

GoogleとYahoo!は日本でもよく使われている検索エンジンです。bingは、Microsoft社の検索エンジンでアメリカでよく使われています。Baidu（百度）は、主に中国で利用されている検索エンジンです。DuckDuckGoは、アメリカで開発された検索エンジンで「あなたを追跡しない検索エンジン」と謳っています。検索結果やユーザー情報などが収集されにくいため、DuckDuckGoでは、ターゲティング広告も表示されないため、使いやすいと感じる人もいるでしょう。

検索エンジンのシェア率

日本の検索エンジンのシェア率を見てみましょう。日本では、GoogleとYahoo!が大半のシェア占めているため、SEOでは2つの検索エンジンを意識すればいいことがわかります。また、Yahoo!はGoogleの検索エンジンを採用しているため、SEOではGoogleの検索エンジンの対策を行うことが重要だと言えます。

インデックスとは？SEOへの影響とは？

インデックスとは、クロールされたWebサイトが検索エンジンに登録されることです。インデックスされたWebページは、検索エンジンの評価をもって検索結果に表示されるようになります。

SEO効果と重要性

インデックスされないWebサイトは、検索エンジンに表示されません。検索エンジンからの流入を獲得するためには、まずインデックスされる必要があるのです。Webサイトを公開したら、インデックスされているかを確認しましょう。

MFIやnoindexとは？

MFI（モバイルファーストインデックス）は、検索エンジンがWebサイトを評価する際に、モバイル向けのWebサイトを主に評価することです。スマートフォンの利用率が多くなったことで、スマートフォンでも見やすいWebサイトが評価されるようになりました。PCでの見やすさだけでなく、スマートフォンでも見やすいデザインにすることで、検索エンジンにも評価してもらえるでしょう。

noindexは、検索エンジンにWebサイトをインデックスさせないようにするためのタグです。noindexのタグを使うことで、検索エンジンがクロールしないように設定できます。一時的に公にしたくないWebページや、検索エンジンでヒットさせたくないWebページの場合、noindexを使いましょう。

クロール・インデックスされているか確認する方法

Webサイトが検索エンジンにクロールされているか確認する方法をご紹介します。

Google search consoleを使う方法

Google search consoleの「URL検査ツール」を使用すれば、クロールされているかを確認できます。方法は、Google search consoleで「URL検査ツール」を開き、WebサイトのURLを入力するだけ。インデックスに登録されているか（クロールされたか）を確認できます。

「site:」で検索する方法

「site:」なら簡単にインデックスされているかが確認できます。方法は、「site:ドメイン名」で検索するだけ。検索結果画面にWebサイトが表示されたら、インデックスされています。

インデックスされない時の原因と対処法

インデックスされない時の原因と対処法をご紹介します。

robots.textに「disallow」の記述

robots.textファイルの中に「disallow」が記述してある場合、クロールを拒否していることになります。robots.textファイル内の「disallow」記述を削除すれば、クローラーが巡回しに来てくれるため、インデックスされるでしょう。

noindexとは

noindexは、Webページをインデックスさせないために有効なタグです。Webページをインデックスさせたい場合、noindexタグは使用しないようにしましょう。一時的にnoindexを指定していたWebページをインデックスさせたい場合は、noindexを削除して対応しましょう。

重複ページがある

同じWebサイト内に内容の重複したWebページが存在すると、インデックスされにくくなります。検索エンジンは、ユーザーにとって有益なWebサイトをバランスよく評価し、検索結果に表示させています。そのため、内容の重複したWebページを検索結果画面に表示させることはしないでしょう。同じWebサイトに内容の重複したWebページはインデックスされにくくなります。Webサイト内の重複ページは、削除したり、リダイレクト設定をしたりして対処しましょう。

SEOに必要なクローラビリティを向上させる方法

クロールがWebページを巡回する際に、素早く正確に認識してもらうためには、クローラビリティ（Webページの巡回しやすさ）を向上させる必要があります。クローラビリティが向上することで、インデックスされやすくなるのです。Webサイト作成で、クローラビリティを向上させる方法をご紹介します。

内部リンクの設置

クローラーは検索エンジンに表示されているWebサイトから巡回します。新規作成したWebページは、検索エンジンに表示されているWebサイトに内部リンクを設置することで、クローラーに巡回してもらいやすくなるのです。

クローラーはユーザーがよくクリックする場所も巡回しやすいと言われています。見出しの関連性の高いWebページを内部リンクに設置したり、自然な文脈で内部リンクを設置することが重要です。

外部サイトからのリンクとは

他のWebサイトから自社のWebサイトにリンクされることでもクローラビリティを向上します。「ここのサイトが参考になった！」など他者からの評価は、Webサイトの評価に繋がりやすいです。外部リンクは、どんなサイトに設置されているかも評価されます。自社のWebサイトが質の低いサイトに外部リンクを設置されている場合は、外部リンクがマイナスに働くこともあるので注意が必要です。

テキストリンクの設置

クローラーはテキストも評価しています。リンクを設置する場合は、画像リンクよりテキストリンクの方が、有効な場合があります。画像リンクを設置する際は、Altタグを忘れずに記入しましょう。

Altタグは、Webサイト上の画像をテキストで説明するのに役立ちます。Altタグを使用すれば、検索エンジンに画像の意味を正確に伝えられるのです。また、画像が表示されない場合はAltタグに記入したテキストが表示されます。Altタグを記入しておけば、画像が表示されないユーザーにも、Webページの情報を正確に伝えやすくなりますよ。Altタグには、どのような画像かをテキストで記入し、検索エンジンやユーザーに画像の説明をすることが重要です。

アンカーテキストはわかりやすい内容に

テキストリンクを設置する際、アンカーテキストはリンク先の内容がわかりやすい文章にしましょう。アンカーテキストに記載した内容とリンク先の内容が異なっていたり、わかりにくかったりすると、クローラビリティも下がってしまいます。ユーザーにとっても親切になることは、クローラビリティの向上に繋がりますよ。

パンくずリストの整理

パンくずリストを整理することで、クローラーがwebサイトを巡回しやすくなります。パンくずリストが整理されているWebサイトは、全体の構造がわかりやすいです。ユーザーだけでなくクローラーもWebサイトを巡回しやすくなるメリットがあります。

XMLサイトマップの作成

XMLサイトマップは、Webサイトの記事一覧のような構造を記述したファイルになります。Webサイトの構造をわかりやすく伝えられるため、検索エンジンにクロールされやすくなるのです。

まず、インデックスされたいWebサイトのXMLサイトマップを作成しましょう。XMLサイトマップは、「sitemap.xml Editor」などの自動生成ツールを使い作成します。作成したXMLサイトマップのURLをGoogle search console＞メニュー＞インデックス＞サイトマップに追加することで、クロールされやすくなります。

URL検査ツールからリクエスト

Google search consoleのURL検査ツールを使用します。まず、インデックスされたいWebサイトがインデックスされているかを確認しましょう。URL検査ツールにインデックスされたいWebサイトのURLを入力します。「テスト」のボタンをクリックし、Webサイトがインデックスされているかを確認。インデックスされていない場合、「インデックス登録をリクエスト」をクリックすれば、クロールされやすくなりますよ。

まとめ

クローラーは、検索順位を決めるためにWebサイトの巡回をするロボットのこと。インデックスは、クローラーが巡回して検索エンジンに登録されることです。新規作成したWebサイトは、なかなかインデックスされないこともあるでしょう。検索エンジンのクローラーによりすばやく、正確に巡回してもらうためには、クローラビリティの高いWebサイトの作成を意識することも重要です。また、Google search consoleから自身でWebサイトのインデックス登録リクエストをすることもできます。Webサイトを公開したら、インデックスされているかもチェックし、検索エンジンの評価をモニタリングしていきましょう。