「このブログ記事の誤字脱字を確認して」
先日、AIアシスタントにそうお願いしたところ、思いがけない返事が返ってきました。
「サイトへの自動アクセスがrobots.txtによってブロックされています」
最初はAIアシスタントの一時的なエラーだと思いました。
Google検索では普通に上位表示されているし、アクセス解析を見ても訪問者は増え続けている。
見た目には何の問題もないサイトだったからです。
ところが、いつからこの状態だったのかを遡って調べてみると、どうやら5〜6ヶ月ほど前からずっとこの状態が続いていたらしいことが分かりました。つまり、半年近くもの間、気づかないままAI検索クローラーに弾かれ続けていた可能性があるということです。
さらに調べていくと、これはGoogle検索には影響しないけれど、AI検索(ChatGPT・Perplexity・Claudeなど)には確実に悪影響を与えていた不具合だったことが分かりました。
この記事では、その発見から解決までの経緯を実体験として共有します。
きっかけは、AIにサイトをチェックしてもらおうとしたことだった
公開したばかりのブログ記事に問題がないか、AIアシスタントに直接URLを見てもらおうとしたのが発端でした。ところが返ってきたのは、記事の内容についての感想ではなく「robots.txtによってアクセスがブロックされている」という予想外の指摘でした。
自社のrobots.txt(検索エンジンやAIのクローラーに対して、サイトのどこを読んでよいかを伝えるファイル)を人間が直接確認する機会は、正直なところほとんどありません。
設定さえしてしまえば、あとは意識することのないファイルだからです。
今回のように「AIに直接見てもらう」という機会がなければ、気づかないままだった可能性が高いです。
調べてわかったこと|Google検索とAI検索で明暗が分かれていた
実際にrobots.txtの中身を確認してみると、本来は1行ごとに区切られているはずのルールが、なぜか改行が全て消えて1行につながった状態になっていました。
まず気になったのは、Google検索への影響です。
Google Search Consoleで確認したところ、こちらは特に問題なく認識されており、クロールも継続していました。
Googleのパーサーは、こうした崩れた形式でもある程度寛容に解釈してくれていたようです。
一方で、AIクローラーの多くは、パースに失敗した(正しく解釈できない)robots.txtに遭遇すると、安全側に倒して「サイト全体をクロール禁止」と判断する傾向があります。
つまり、Google検索では表面化しなかった不具合が、AI検索では確実にマイナスに働いていたということです。
原因はサーバーでもキャッシュプラグインでもなかった
ここから原因の切り分けが始まりました。
robots.txtの中身自体はSEOプラグインの管理画面上では正しく複数行で表示されている。ということは、生成されたあとの、どこかの段階で改行が失われている、ということになります。
疑わしい候補は次々に出てきました。
- サーバー側の高速化機能(アクセラレータ)
- キャッシュプラグイン
- SEOプラグインの出力設定
- .htaccessの記述
一つずつオフにしたり、無効化したりして検証しましたが、どれを試しても改行は戻りませんでした。
テーマファイルのコードまで遡って確認し、怪しい処理を見つけては修正する、ということを繰り返しましたが、それでも直りません。
最終的に、AIに全ファイルを横断的に調べてもらったところ、原因はあるプラグインが、サイトの全レスポンスを問答無用でHTML解析処理にかけていたことでした。
そのプラグイン自体は画像のalt属性を自動生成するためのものでしたが、実装が乱暴で、robots.txtのようなプレーンテキストのページまで巻き込んで、改行をスペースに置き換えてしまっていたのです。
しかもこの問題は、robots.txtだけでなく、サイト全体のHTMLソースにも同様に発生していました。
この経験から分かったこと
今回の件で改めて実感したのは、「サイトが正常に表示されている」ことと「AIに正しく読まれている」ことは、必ずしもイコールではないということです。
ブラウザで見た目を確認する限り、サイトには何の異常もありませんでした。
Google検索での順位にも変化はありませんでした。
それでも、水面下ではAIクローラーからのアクセスが弾かれ続けていた可能性があります。
AI検索経由の流入や指名検索が、知らないうちに機会損失していたかもしれません。
そしてもう一つ、原因の特定には相応の技術的な調査(サーバー設定、プラグインの挙動、テーマのコードまで含めた横断的な切り分け)が必要だったという点も、実感として大きかったです。
自社サイトは大丈夫か、確認する方法
今回のような問題に気づく、簡単なセルフチェック方法を紹介します。
①robots.txtを直接ブラウザで開いてみる
自社サイトのURLの末尾に「/robots.txt」を付けてアクセスしてみてください(例:https://example.com/robots.txt)。内容が1行にまとまってしまっている場合、AIクローラーに正しく解釈されていない可能性があります。
②ページのソースを確認してみる
ブラウザで対象ページを開き、右クリック→「ページのソースを表示」を選択してください。
HTMLがきちんと複数行に整形されて表示されていれば問題ありません。
今回のケースでは、これも1行に潰れていました。
まとめ
今回のようなrobots.txtやHTML出力の不具合は、見た目には一切分からず、通常のSEOチェックでも発見しにくいという特徴があります。
原因の切り分けには、サーバー・プラグイン・テーマのコードまで横断した専門的な調査が必要になることも珍しくありません。
「AI検索対策を意識しているのに、なぜか効果が出ている実感がない」「自社サイトが正しくクロールされているか不安」という場合は、お気軽にご相談ください。
今回のような技術的な原因の切り分けから、対応まで一緒に進めます。
ホームページ制作
弊社では専門チームが徹底したヒアリングを元にお客さまの「ここが違う」「ここが強い」を明確にし、「届けたいターゲット」にアプローチするホームページを制作します。
経験に基づく導線設計でお客さまを取りこぼさない。売れるホームページをご提供します。
アクセス解析
弊社では「なぜ上手くいかないのか？」の原因を解明し、サイトの営業力を向上させるアクセス解析サービスを提供しています。
売上向上の手段を「（感覚で）こうした方がいい」「デザインかっこよくすれば・・」から脱却したいのであれば、数字向上90％オーバーの実績を誇るSIBLABのアクセス解析サービスをご利用ください。
