更新または新しいRobots.txtファイルを再送信する方法

robots txt

私たちの代理店が処理します オーガニック検索コンサルティング 業界のいくつかのSaaSベンダー向け。 私たちが最近仕事を始めたクライアントは、かなり標準的な方法で、アプリケーションをサブドメインに配置し、パンフレットサイトをコアドメインに移動していました。 これは、生産チームとマーケティングチームの両方が、他方に依存することなく、必要に応じて更新を行うことができるため、標準的な方法です。

彼らのオーガニック検索の健全性を分析する最初のステップとして、パンフレットとアプリケーションの両方のドメインをウェブマスターに登録しました。 そのとき、当面の問題を特定しました。 すべてのアプリケーションページは、検索エンジンによるインデックス作成がブロックされていました。 ウェブマスターのrobots.txtエントリに移動し、すぐに問題を特定しました。

移行の準備をしている間、開発チームはアプリケーションサブドメインが検索によってインデックスに登録されることを望まなかったため、検索エンジンへのアクセスを許可しませんでした。 robots.txtファイルは、サイトのルートにあるファイルです– yourdomain.com/robots.txt –これにより、検索エンジンはサイトをクロールする必要があるかどうかを知ることができます。 サイト全体または特定のパスでのインデックス作成を許可または禁止するルールを作成できます。 行を追加して、サイトマップファイルを指定することもできます。

世界 robots.txtの ファイルには次のエントリがあり、検索結果のランキングでサイトがクロールされてインデックスに登録されるのを防ぎました。

User-Agent:*のDisallow:/

次のように書く必要があります。

ユーザーエージェント:*許可:/

後者は、サイトをクロールする検索エンジンに、サイト内の任意のディレクトリまたはファイルにアクセスできる許可を提供します。

素晴らしい…だから今、 robots.txtの ファイルは完璧ですが、Googleはどのようにしてサイトを再確認し、いつ再確認するのでしょうか。 そうですね、Googleにrobots.txtのチェックを絶対に要求することはできますが、直感的ではありません。

に移動します Google SearchConsole検索コンソール クロール> robots.txtテスター。 テスター内で最近クロールされたrobots.txtファイルの内容が表示されます。 robots.txtファイルを再送信する場合は、[送信]をクリックすると、ポップアップにいくつかのオプションが表示されます。

robots.txtを再送信する

最後のオプションは Googleに更新を依頼する。 そのオプションの横にある青い[送信]ボタンをクリックしてから、 クロール> robots.txtテスター ページをリロードするためのメニューオプション。 更新されたrobots.txtファイルと、再度クロールされたことを示す日付スタンプが表示されます。

更新されたバージョンが表示されない場合は、[送信]をクリックして選択できます アップロードされたバージョンを表示 実際のrobots.txtファイルに移動します。 多くのシステムがこのファイルをキャッシュします。 実際、IISは、ユーザーインターフェイスから入力されたルールに基づいてこのファイルを動的に生成します。 ほとんどの場合、新しいrobots.txtファイルを公開するには、ルールを更新してキャッシュを更新する必要があります。

robots-txt-tester

どう思いますか?

このサイトはAkismetを使用して迷惑メールを減らします。 コメントの処理方法を学ぶ.