Search Consoleのクロールエラーに四苦八苦

ブログ運営

このサイトを始めるにあたって、”Google Search Console”の設定をしておいたことを思い出し、どんなことになっているのだろう?と覗きに行きました。そしたら、「クロールエラー」の文字が・・・。

エラーって表記・・・何か良くない気がする・・・

そう思ったものの、対象方法が全くわからずばたばたとしたので、その一部始終をお伝えしたいと思います。

クロールエラーって何?

クロールエラーとは、Googleのクローラーがサイトを読み込みに来た時に、何らかの理由で「読み込めない」時に起こるエラーのようです。

クローラー(Crawler)とは、Googleなどのロボット型検索エンジンがWEB上のファイル(HTML文書だけでなく、画像・PDFまで含む全般)を収集するためのプログラムのことです。
引用元:SEO HUCKS(クローラーとは)
https://www.seohacks.net/basic/terms/crawler/

今回読み込めずにエラーになっていたのは、ワードプレスのログイン画面(wp-login.php)。「アクセスが拒否されました」という名前のエラーが・・・

それはアクセスされたら困るよ・・・

しかも、Search Consoleによると、毎日読み込みに来ていてエラーになっている模様。見に来なくて良い場所を教えてあげる術は無いのか、「対処方法を探してみよう!」と奮い立ちました。

クロールエラーに対処方法を探る

さて、奮い立ったものの、何をどうしたらよいか現状では全くわかりません。
困った時はGoogle先生に相談です。

”クロールエラー ワードプレス ログイン” で 検索!

すると、こんなサイトが…

robots.txt テスターを活用してSEOの改善につなげる方法
ここではウェブマスターツールの robots.txt テスターの使い方をご紹介しています。このツールが活用できると、クローラーをしっかり制御して重要なコンテンツに巡回を集中させ、結果的にSEO対策の改善につながります。

それによると、”robots.text”にクロールして欲しくないURLを指定すると、クローラーがそのページを読み込まなくなるらしい、と…。

光が見えました!ありがとうございます!

こちらのサイトの通りに以下の手順を勧めます。

【クロールエラー対策実行手順】

  1. Google Search Console内の”robot.txtテスター”をクリック
  2. 対象URLを加筆(”Disallow: /wp-login.php”)し、内容を検証
  3. 無事にアクセス制限ができたところで”robots.txt”ファイルを送信
  4. 更新されたコードをPCにダウンロード
  5. robots.txtをサーバーにアップ
  6. ・・・

しかしここで問題が・・・。

”robots.txt”のアップロード場所がわからない…!

こちらのサイトにも、「サーバーによって異なるのでご自分でどうぞ」というような表記に・・・。
あと一歩なのに・・・。Google先生~(泣)

”robots.txt エックスサーバー” で 検索!

※わっぺんはエックスサーバーを使っています。

すると次はこんな記事が・・・。

https://bibabosi-rizumu.com/robots-txt-syoho/

ありがとうございます(涙)親切な方はいらっしゃるんですね。助けられておりますです。

さて、こちらのサイトによると、どうやら、ドメインの下層の”public_html”という階層にアップすれば良いとのこと。Word Pressが格納されている階層はここなんですね。

さっき落とした”robots.txt”をアップして、手順に戻ります。

【クロールエラー対策実行手順】

  1. Google Search Console内の”robot.txtテスター”をクリック
  2. 対象URLを加筆(”Disallow: /wp-login.php”)し、内容を検証
  3. 無事にアクセス制限ができたところで”robots.txt”ファイルを送信
  4. 更新されたコードをPCにダウンロード
  5. (!ここまで終了済み!)robots.txtをサーバーにアップ
  6. Google Search Consoleに戻り、”アップロードされたバージョンを確認ボタン”を押す
  7. Googleに更新をリクエストの”送信”ボタンを押す
  8. Search Consoleのrobots.txtテスターに更新されているか確認

更新できました!さて、反映されるまで1日はかかるようなので、しばらくしてまた様子を見に来ることにします。

数日たってもエラーのまま

数日経過しました!気になって何度かSearch Consoleを覗きに行ったのですが、変わらずエラーのままでした・・・。

サーバーにアップする場所が違っていたのか、どこか私のやり方が違っていたのか・・・。いずれにせよエラーから抜け出ることができませんでした。無念・・・!

また時間を見つけて対処していきたいと思いますが、今回はこのあたりで終わりにします。SEOに影響がないことを祈りながら・・・。

どなたかもし対処方法をご存知の方がいらっしゃったら教えてください!

追記:2~3ヶ月でエラーが消えました!

9月~10月頃思い返して見直してみたところ、エラー表記が消えていました

思ったよりも反映まで時間がかかるのかな??なにはともあれ、ほっと一息です。

ありがとうございました!

コメント

タイトルとURLをコピーしました