検索エンジンはどのようにしてコンテンツを検索、クロール、インデックス付けしますか?

検索エンジン最適化

今日必要とされている目に見えない拡張性オプションのすべてのために、クライアントが独自のeコマースまたはコンテンツ管理システムを構築することをお勧めしません-主に検索と社会的最適化に焦点を当てています。 に記事を書きました CMSを選択する方法 そして、私が一緒に仕事をしている企業に、独自のコンテンツ管理システムを構築したいということを今でも示しています。

ただし、カスタムプラットフォームが必要な状況は絶対にあります。 それが最適なソリューションである場合でも、検索やソーシャルメディア向けにサイトを最適化するために必要な機能を構築するようにクライアントに働きかけています。 基本的に必要なXNUMXつの重要な機能があります。

  • robots.txtの
  • XMLサイトマップ
  • メタデータ

Robots.txtファイルとは何ですか?

robots.txtの ファイル– robots.txtの fileは、サイトのルートディレクトリにあるプレーンテキストファイルであり、検索エンジンに何を含め、検索結果から除外するかを指示します。 近年、検索エンジンは、ファイル内にXMLサイトマップへのパスを含めることも要求しました。 これが私の例です。これにより、すべてのボットが私のサイトをクロールし、XMLサイトマップに誘導することができます。

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

XMLサイトマップとは何ですか?

XMLサイトマップ – HTMLがブラウザで表示するためのものであるように、XMLはプログラムで消化されるように記述されています。 XMLサイトマップは基本的に、サイトのすべてのページと最後に更新された日時のテーブルです。 XMLサイトマップはデイジーチェーン接続することもできます…つまり、XNUMXつのXMLサイトマップが別のサイトマップを参照できます。 これは、サイトの要素(FAQ、ページ、製品など)を論理的に整理し、独自のサイトマップに分類する場合に最適です。

サイトマップは、作成したコンテンツと最後に編集された日時を検索エンジンに効果的に知らせるために不可欠です。 検索エンジンがサイトにアクセスするときに使用するプロセスは、サイトマップとスニペットを実装しないと効果的ではありません。

XMLサイトマップなし、あなたはあなたのページが決して発見されないという危険を冒しています。 内部または外部にリンクされていない新製品のランディングページがある場合はどうなりますか。 Googleはどのようにそれを発見しますか? 簡単に言えば…リンクが見つかるまで、あなたは発見されません。 ありがたいことに、検索エンジンを使用すると、コンテンツ管理システムとeコマースプラットフォームでレッドカーペットを展開できます。

  1. Googleは、サイトへの外部リンクまたは内部リンクを検出します。
  2. Googleはページにインデックスを付け、そのコンテンツと、参照リンクのサイトのコンテンツと品質に応じてページをランク付けします。

XMLサイトマップを使用、あなたはあなたのコンテンツの発見やあなたのコンテンツの更新を偶然に任せているのではありません! あまりにも多くの開発者が、自分たちを傷つけるようなショートカットをとろうとします。 彼らはサイト全体に同じリッチスニペットを公開し、ページ情報に関係のない情報を提供します。 彼らはすべてのページで同じ日付のサイトマップを公開し(またはXNUMXページが更新されるとすべてが更新され)、システムをゲームしている、または信頼できないというキューを検索エンジンに与えます。 または、検索エンジンにpingを送信しないため、検索エンジンは新しい情報が公開されたことを認識しません。

メタデータとは何ですか? Microdata? リッチスニペット?

リッチスニペットは慎重にタグ付けされたmicrodata これはビューアには表示されませんが、検索エンジンやソーシャルメディアサイトが利用できるようにページに表示されます。 これはメタデータとして知られています。 Googleはに準拠しています Schema.org 画像、タイトル、説明などのほか、価格、数量、位置情報、評価など、その他の有益なスニペットを多数含めるための標準として。スキーマにより、検索エンジンの視認性とユーザーがクリックする可能性が大幅に向上します。使って。

Facebookは OpenGraph プロトコル(もちろん同じにすることはできません)、TwitterにはTwitterプロファイルを指定するためのスニペットもあります。 ますます多くのプラットフォームがこのメタデータを使用して、公開時に埋め込みリンクやその他の情報をプレビューしています。

あなたのウェブページには、人々がウェブページを読んだときに理解する根本的な意味があります。 しかし、検索エンジンはそれらのページで何が議論されているかについての理解が限られています。 WebページのHTMLに「検索エンジンねえ、この情報はこの特定の映画、場所、人物、またはビデオを説明している」というタグを追加することで、検索エンジンやその他のアプリケーションがコンテンツをよりよく理解できるようになります。便利で適切な方法で表示します。 Microdataは、HTML5で導入されたタグのセットであり、これを実行できます。

Schema.org、MicroDataとは何ですか?

もちろん、これらは必須ではありません…しかし、私はそれらを強くお勧めします。 たとえば、Facebookでリンクを共有しても、画像、タイトル、説明が表示されない場合、興味を持って実際にクリックする人はほとんどいません。 また、スキーマスニペットが各ページにない場合でも、もちろん検索結果に表示できますが、追加情報が表示されている場合、競合他社があなたを打ち負かす可能性があります。

XMLサイトマップをSearchConsoleに登録する

独自のコンテンツまたはeコマースプラットフォームを構築している場合は、検索エンジンにpingを送信し、microdataを公開して、コンテンツまたは製品情報を検索するための有効なXMLサイトマップを提供するサブシステムを用意することが不可欠です。

robots.txtファイル、XMLサイトマップ、リッチスニペットがサイト全体でカスタマイズおよび最適化されたら、各検索エンジンのSearch Console(ウェブマスターツールとも呼ばれます)に登録することを忘れないでください。ここで、の状態と可視性を監視できます。検索エンジンのサイト。 何もリストされていない場合はサイトマップパスを指定して、検索エンジンがそれをどのように消費しているか、問題があるかどうか、さらにはそれらを修正する方法を確認することもできます。

レッドカーペットを検索エンジンとソーシャルメディアに展開すると、サイトのランキングが向上し、検索エンジンの結果ページのエントリがより多くクリックされ、ページがソーシャルメディアでより多く共有されるようになります。 それはすべて合計されます!

Robots.txt、サイトマップ、メタデータがどのように連携するか

これらすべての要素を組み合わせるのは、サイトにレッドカーペットを展開するのとよく似ています。 これは、ボットが実行するクロールプロセスと、検索エンジンがコンテンツにインデックスを付ける方法です。

  1. サイトには、XMLサイトマップの場所も参照するrobots.txtファイルがあります。
  2. CMSまたはeコマースシステムは、XMLサイトマップを任意のページで更新し、日付を公開したり、日付情報を編集したりします。
  3. CMSまたはeコマースシステムが検索エンジンにpingを送信して、サイトが更新されたことを通知します。 それらに直接pingするか、RPCと次のようなサービスを使用できます。 ピンオマチック すべての主要な検索エンジンにプッシュします。
  4. 検索エンジンはすぐに戻ってきて、Robots.txtファイルを尊重し、サイトマップを介して新しいページまたは更新されたページを見つけて、ページにインデックスを付けます。
  5. ページのインデックスを作成するときは、リッチスニペットのmicrodataを利用して、検索エンジンの結果ページを拡張します。
  6. 他の関連サイトがあなたのコンテンツにリンクしているので、あなたのコンテンツはより良くランク付けされます。
  7. コンテンツはソーシャルメディアで共有されるため、指定されたリッチスニペット情報は、コンテンツを適切にプレビューし、ソーシャルプロファイルに誘導するのに役立ちます。