GooglePlay実験でのA / Bテストのヒント

デビッド・ベル10月（月曜日）14、2019

0 1,622 3 分で読み終われます

Androidアプリ開発者の場合、 GooglePlayの実験貴重な洞察を提供し、インストールの増加に役立ちます。適切に設計され、適切に計画されたA / Bテストを実行すると、アプリをインストールするユーザーと競合他社のアプリを区別できます。ただし、テストが不適切に実行された場合が多くあります。これらの間違いはアプリに悪影響を及ぼし、そのパフォーマンスを損なう可能性があります。

こちらが使用ガイドです GooglePlayの実験 for A / Bテスト.

GooglePlay実験の設定

GooglePlayデベロッパーコンソールのアプリダッシュボードからExperimentコンソールにアクセスできます。に移動 ストアプレゼンス 画面の左側で、を選択します ストアリストの実験。そこから、「新しい実験」を選択してテストを設定できます。

実行できる実験にはXNUMXつのタイプがあります。 デフォルトのグラフィック実験 および ローカライズされた実験。デフォルトのグラフィックスエクスペリメントは、デフォルトとして選択した言語のリージョンでのみテストを実行します。一方、ローカライズされたエクスペリメントは、アプリが利用可能な任意の地域でテストを実行します。

前者ではアイコンやスクリーンショットなどのクリエイティブ要素をテストでき、後者では短い説明と長い説明をテストすることもできます。

テストバリアントを選択するときは、テストするバリアントが多いほど、実用的な結果が得られるまでに時間がかかる可能性があることに注意してください。バリアントが多すぎると、変換への影響の可能性を決定する信頼区間を確立するために、テストに多くの時間とトラフィックが必要になる可能性があります。

実験結果を理解する

テストを実行すると、初回インストーラーまたは保持インストーラー（XNUMX日）に基づいて結果を測定できます。初回インストーラーは、バリアントに関連付けられたコンバージョンの合計であり、保持インストーラーは、初日以降にアプリを保持したユーザーです。

コンソールには、Current（アプリをインストールしているユーザー）とScaled（テスト期間中にバリアントがトラフィックの100％を受信した場合に仮想的に獲得したインストール数）に関する情報も表示されます。

90％信頼区間は、実用的な洞察を得るのに十分な時間テストが実行された後に生成されます。バリアントがライブでデプロイされた場合にコンバージョンが理論的にどのように調整されるかを示す赤/緑のバーが表示されます。バーが緑の場合は正のシフト、負の場合は赤、および/または両方の色はどちらの方向にもスイングできることを意味します。

GooglePlayでのA / Bテストを検討するためのベストプラクティス

A / Bテストを実行しているときは、信頼区間が確立されるまで待ってから結論を出す必要があります。バリアントごとのインストールはテストプロセス全体でシフトする可能性があるため、信頼レベルを確立するのに十分な時間テストを実行しないと、ライブで適用した場合にバリアントのパフォーマンスが異なる可能性があります。

信頼区間を確立するのに十分なトラフィックがない場合は、コンバージョンの傾向を週ごとに比較して、一貫性が生じているかどうかを確認できます。

また、展開後の影響を追跡することもできます。信頼区間でテストバリアントのパフォーマンスが向上すると記載されている場合でも、特に赤/緑の間隔があった場合は、実際のパフォーマンスが異なる可能性があります。

テストバリアントを展開した後、インプレッションを監視し、それらがどのように影響を受けるかを監視します。実際の影響は、予測とは異なる場合があります。

どのバリアントが最もパフォーマンスが高いかを判断したら、繰り返して更新する必要があります。 A / Bテストの目標の一部は、改善するための新しい方法を見つけることです。何が機能するかを学んだ後、結果を念頭に置いて新しいバリアントを作成できます。