Googleサーチコンソールの
クロール済み – インデックス未登録
この現象が前々から気になっていたので、その原因と対策方法について調査しました。
クロール済み – インデックス未登録は、サーチコンソールのページから確認出来ます。
クロール済み – インデックス未登録とは、つまりその記事はクローラーにクロールしてもらえているにも関わらず、何らかの原因によって検索エンジンにインデックス登録されない状況です。
Googleの公式ページ(Search Console ヘルプ)では以下の様に説明されています。
クロール済み – インデックス未登録
ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。
インデックス カバレッジ レポート｜Google
この原因の1つとしてコンテンツの品質問題(低品質または記事内容の重複)が挙げられますが、この現象は開設して間もないブログでは、あまり品質に関係なく起こる可能性があります。
というのも、当ブログは今この記事の執筆時点で約100記事(運営歴は約3ヶ月半)を公開中なのですが、そのうち27記事がクロール済み – インデックス未登録で、ずっともやもやしていました。
↓記事の未登録が27件あるブログ↓
また、一度インデックス登録された記事でさえ、後から未登録になる現象も確認しました。ちょっとこれは何が原因なんだろうと思い、同じ悩みを持っているかもしれない方に向けて書いています。
ただ、これだけだと品質に問題があるのでは？と思われても仕方ないと思いますが、自分が運営している他のブログでは、580記事全てがインデックス登録されていて、記事の未登録は0件です。
↓記事の未登録が0件のブログ↓
ですのでそちらのブログを基準に考えるのであれば、多少内容のかぶりがあったりしても、この程度で問題があると思われるのはちょっと違うだろうなと思い、別の問題があると考えました。
そもそもブログは、特に特化ブログの場合は、記事ごとに内容が多少かぶるのは普通です。その記事の読者に対して最適化するなら、別の記事の内容を改めて説明することもありますよね。
例えばあるツールへの登録方法を紹介する記事を書き、その後便利なツールのまとめ記事(○○5選など)を書くと、そのどちらかがクロール済み – インデックス未登録になるようなイメージです。
結論から言うと、まだ記事数が少ないサイトではそもそもクローラーもあまり来ませんし、内部リンクも少ないですし、検索エンジンからの評価も低いので、このようなことが起きる可能性があります。
おそらく一番有効なのが、クロール済み – インデックス未登録の記事を改めてリライトして、内容を充実させて独自性を持たせたうえで、改めてクロールしてもらい評価を受けることです。
特に最近ではリライトをこまめに行っている記事の方が評価されやすい傾向にあります。新しい記事を書くことも大変重要なのですが、その中でこまめにリライトも取り入れたいところです。
悩ましい所ですが、検索エンジンの評価システムとは上手く付き合っていくしかありません笑
ここからは、記事のリライト以外の部分で、クロール済み – インデックス未登録に関係していそうな要素について、特にブログ初心者の方に当てはまりそうな部分をいくつか挙げていきたいと思います。
なお、こちらは現時点で検証中の内容を書いた記事ですので、改めて分かったことがあれば追記をしていきたいと思います。なので今度の追記も含め完成させていくので予めご了承ください。
クロール済み – インデックス未登録の原因と対策
まず初めに、改めてクロール済み – インデックス未登録の主な原因となるポイントをまとめます。
もしクロール済み – インデックス未登録にお悩みの方は以下のポイントを確認してみてください。
- ①記事が低品質または重複していること
- ②クローラーが定期的に来ていないこと
- ③内部リンクが充実していないこと
これらは特に開設して間もない頃のブログでは当てはまる可能性があります。
次にこれら①②③の原因それぞれの詳細と当てはまる時にできる対策をまとめます。
①記事の内容が低品質または重複していること
まずは記事の最初でも申し上げた通り、記事の内容が低品質と思われていること、または他の記事の内容と重複しているとみなされると、クロール済み – インデックス未登録となる可能性があります。
これに関しては、正直自分も思い当たる節があります。なのでその場合はリライトが必要です。
なるべく内容や書き方が被らないように、改めてリライトして記事の質を上げる必要があります。
ただ、そもそもブログは数記事にわたって1つのことを説明したかったり、キーワードを変えて改めて説明したいことがあります。それは人によって検索の仕方が異なる場合があるからです。
例えばあるツールの使い方を知りたい方に向けて、その導入方法の紹介記事を書く際に
ダウンロード方法 と検索する人もいれば
インストール方法 と検索する人もいます。
自分がブログを始めた2016年頃は、これを2つの記事に分けてそれぞれ別の記事として公開しても、2つとも別の記事としてインデックス登録されたと思いますが、今は少し違うかもしれません。
Googleもここ数年でどんどん進化していることを自分も感じていますので、例えば『ブログ 作り方』と検索しても、作り方というワードがタイトルにも入っていない記事が上位表示されます。
↓ブログ 作り方の検索結果↓
1位の記事のタイトルには
“始め方”は含まれていますが
“作り方”は含まれていません
自分がブログを始めた頃は、タイトル(見出し1)にキーワードを含ませるのは絶対という雰囲気でしたが、今は作り方を含ませなくても関連記事が上位表示されることもあるということです。
つまり”始め方”と”作り方”はほぼ同じ意味であることや検索意図をGoogleは理解しているため、それらも含めた関連記事から検索エンジン利用者に情報提供できる仕組みに進化しています。
なので上位表示をさせたいキーワードを見つけて記事を書いたとしても、他のキーワードで似たような記事を既に書いている場合は、それが未登録に影響する可能性があることが分かります。
ですのでこれからのブログ作りにおいては、こういったキーワードを変えた同様の記事を増やしてもあまり意味はないかもしれないので、まったく別のキーワードの記事を増やす方が賢明です。
ただ、インデックス未登録となってもブログの中から辿って閲覧することは可能ですので、記事を書くことが全く無意味にはなりません。それも含めてサイト設計を考えると良いでしょう。
特に特化ブログだとこの辺の構成は少し難しいですね。タイトルには要素がないのに、見出し2(H2)以降から読み取って検索結果に影響する傾向を感じるので、カニバリの回避も難しいです。
ただ、自分のブログの場合は、これで他の記事と被っているとみなされるのは納得がいかない、と思う記事もあります。それが気になるのです。なので他の原因もあると考えるのが自然です。
②クローラーが来る頻度
そもそもブログは、開設して間もない頃は検索エンジンからの評価が低いものです。
どんなに高品質な記事を書いたとしても、自分のブログよりも記事数が多く運営歴の長いブログで同じような記事が書かれていれば、そちらの記事の方が上位表示されるでしょう。
ブログを始めてしばらくの間は、検索エンジンからの評価を得られるように地道に続けるしかありません。ここで多くの方が挫折してしまいますが、これを乗り切るとアクセスが増え始めます。
例えば、最初はまったくアクセスが無いとしても、以下の様に増え始めます。
さて、では話を戻しますが、既に歴史のあるブログと、開設して間もないブログでは、クローラーが来る頻度が異なることがクロール済み – インデックス未登録に関係する可能性があります。
作ったばかりのブログは、インデックス登録以前にあまりクローラーが来ないのです。リクエストすると来ますが、それ以外の時間になかなか記事の内容を読み取りにきてくれません。
例えば当ブログ(青と柚子と)のインデックス登録されている71件の記事の中で、最もクロールされたのが古いものに注目してみると、今この記事を書いている日より3ヶ月以上も前でした。
↓当ブログ(青と柚子と)の場合↓
ちなみに今はこちらのブログに力を入れているので、ほぼ毎日新しい記事を更新しています。
一方で580記事あるブログは、この1ヶ月間で580記事リライトしたわけでもないのに、580記事全てが1か月以内にクロールされています。これだけで全然クロール頻度が違うことが分かります。
↓別のブログの場合↓
今までいくつかのブログを作ってきて、改めて今このブログを作っていて思うのですが、ブログを始めて数か月くらいの時期は、あまり検索エンジンからかまってもらえない感があります笑
なので、クロール済み – インデックス未登録とされている記事も、もしかすると品質とかリライトに関係なく、ブログが大きく成長していくにつれて、自然と解消されていくかもしれません。
ブログを開設して間もない頃は、何より記事を増やしてサイトのボリュームを充実させていった方が良いので、サーチコンソールに時間をかけすぎずにどんどん記事を書いた方が良いかもしれません。
インデックスの部分に関しても、この時期は気にしすぎない方が良いかも、とも思えました。
サイトをどんどん成長させていくことが、未登録の一番の対策になってくれるかもしれません。
③内部リンクの充実度
ブログを開設初期は、外部からの被リンクも少ないですし、内部リンクも充実していません。
この両方が大切ですが、自分でもある程度初期から対策できるのが内部リンク対策の方です。
内部リンクとは、ブログ内にある関連記事同士で繋ぐリンクのことです。なんでもかんでも繋げば良い訳ではなく、必ず関連性の高い記事同士で繋ぐことがSEO的にも重要になってきます。
そしてそもそもクローラーは、そのブログの中の内部リンクを辿って巡回するため、まだクローラーが全体を辿れるだけの道が用意されていない場合はインデックス登録に影響する可能性があります。
クロール済み – インデックス未登録はクロールされているのに未登録の現象なので、内部リンクが影響しているかどうかは未知数な部分が多いですが、この辺りは検証を重ねる必要があります。
実際内部リンクが充実してくると、いちいちサーチコンソールからインデックス登録のリクエストをしなくてもすぐに新しい記事もインデックス登録されるので、本当に全然違うんですよね。
クロール済み – インデックス未登録の対策と検証
単純にクロール済み – インデックス未登録に登録されている記事を全てリライトして再度インデックス登録のリクエストを行えば、問題は改善されて全て登録してもらえるかもしれません。
しかし中には、絶対に品質が問題ではなさそうな記事もあります。なのでまずは、今のまま気にせず続けてサイトを大きくしていった時に、自然と登録されるか検証したいと思います。
自然にと言っても、ブログを育てていくうちに内部リンクも増えていきますし、クロールの頻度も増えます。まずはこれだけで解決していけば、記事の質が原因ではないことが分かります。
そしてブログ開設初期はあまり気にせず、ブログを育てることが対策になることが分かります。
もしそのような結果が得られれば検証は成功で、特にブログ初心者の方でまだ規模の小さいサイトで同じ悩みを抱えているような方が、未登録にそれほど頭を悩ませなくて良いことになります。
なのでここからは、なるべく重複とみなされないような記事作りを徹底しながら、新しい記事のインデックス登録の傾向と、今後のブログの成長で未登録がどう変化するか検証したいと思います。
ただしそれでも解消されない場合は、品質に問題があると判断されているということですね。
また、200記事近くになっても解消されない場合は、全体のリライトをしたいと思います。笑
クロール済み – インデックス未登録でも問題ないもの
記事冒頭で、当サイトのクロール済み – インデックス未登録は41件で、うち27件がインデックス登録してほしい記事URLであり、残りの14件は登録されずとも良いものとお伝えしました。
その残りの14件に多かったのが記事URLの最後にfeedとつくタイプのものです。
こちらのfeedは検索エンジンに対してWebサイトの更新状況を伝えるために加工された文書であり、人間が読み取るものではないため、feedに関しては未登録でも大きな問題はありません。
また、ページを分割されている方はその2ページ目以降も未登録となる可能性があります。
その他にも
画像・カテゴリー・タグページなどが、何らかの原因により未登録となることがあります。
そして、そもそも検索されることがほぼないようなページは、インデックス登録されるかは最終的に検索エンジン側の判断となることから、未登録となっていても特に問題はないでしょう。
後は無いとは思いますが、wwwの有り無し、またはhttpとhttpsの正規化などが出来ておらず、ページが二重に存在してしまっているようなケースでは未登録が発生する可能性があります。
今後サイトの成長とともに未登録がどう変化していくのか、改めて追記していきたいと思います。
また、この記事は特にブログを開設して間もない方向けに書いておりますが、初心者のTwitterなどで自分の記事がなかなかインデックス登録されないとつぶやいている方を見かけることがあります。
ブログ開設初期は記事をネット上に公開しても、クローラーが来るのがとても遅く、ブログの成長にも関係してくるので、記事を公開したら必ずインデックス登録のリクエストをしましょう。
インデックス登録のリクエストの方法についてはこちらを参考にしてみてください。
最後まで読んで頂きありがとうございました。
