ほぼ毎日記事を書いていると、ほぼ定期的にGooglebotがサイトに訪問してくれて、記事をインデックスしてくれるようになります。
しかし、サイトを開設したばかりのときや、不定期に記事を更新し、前回書いた記事と今回書いた記事の更新期間長いと、なかなかGooglebotがサイト訪問してくれなかったりします。
そんなときに有効なのがGoogle Consoleにある「Fetch as Google」という機能です。
Google Consoleの「Fetch as Google」で書いた記事をGooglebotに報告しよう！
まず最初にGoogle Consoleを開いて［クロール］－［Fetch as Google］を開きます。
Fetch as Googleを開いたら、URLを入力する欄があるので、そこにGooglebotに知らせたい記事のURLを入力します。
次に、「取得してレンダリング」をクリックすると、下の欄にあるレンダリングリクエストのステータス欄に、先ほど入力したURLが表示され、ステータスが「保留」となります。
この「取得してレンダリング」というのは、指定したURLにあるページが、Googlebotにどのように認識されているのかを画像で表示してくれる機能です。
以下の画像のように、左側がGooglebotから見たページの状態、右側が普通にサイトを閲覧したときの状態が表示され、例えば画像にアクセス制限などがかかっていると、Googlebotでは表示されていない状態になります。
とりあえず、「保留」と表示されていたステータスはしばらくすると「インデックスに送信」という状態に変わるので、このボタンをクリックします。
「送信方法の選択」という画面が表示されるので、「このURLのみをクロールする」を選択して「送信ボタン」をクリックします。
これで、Googlebotに対して、指定した記事が報告されたことになりますが、その報告に対して、すぐにGooglebotが訪問・確認しに来てくれるわけではありません。
数時間で訪問に来てくれる場合もあれば、数日かかる場合もありますが、なかなか来てくれないからといって何度もFetch as Googleを使って送信すると、スパムと判断されてしまう可能性があるので、送信するのは基本的に１度だけにしておきましょう。
なお、送信後、ステータスが「一部」または「完了と表示されますが、「完了」の場合は、内容のすべてがGooglebotに正常認識されたことを表し、「一部」の場合は、内容の一部がアクセス制限などがかかっているためにGoogleboがアクセスできなかったことを表します。
Fetch as Googleのステータスで「一部」と表示された場合の対処方法
Fetch as Googleのステータスが「一部」と表示される場合は、robots.txt ファイルによってブロックされていてページまたはページの一部にアクセスできないことが多いので、robots.txtの内容を確認するようにします。
robots.txtの内容を確認したい場合、［クロール］－［robots.txtテスター］をクリックします。
そうするとrobots.txtに記述されている内容が表示されるので、アクセス制限などが設定されていないかをチェックします。
Googlebotからのアクセスが制限されている箇所は「Disallow」と表示されますが、「Disallow」が表示されているからダメだというわけではありません。
他人から検索されたくないページやセキュリティ上アクセスされたくない場合などは、「Disallow」を設定するからです。
robots.txt内の記述を変更したら、［送信］ボタンをクリックすると、新たな設定が反映されます。
