Optimizely Intelligence Cloud:統計エンジンを使用してA / Bテストをよりスマートかつ高速に行う方法

Optimizely StatsEngineおよびA / Bテスト戦略

ビジネスのテストと学習に役立つ実験プログラムの実行を検討している場合は、使用している可能性があります Optimizely Intelligence Cloud –または少なくともそれを見たことがあります。 Optimizelyはゲームで最も強力なツールのXNUMXつですが、そのようなツールと同様に、その動作を理解していないと、間違って使用する可能性があります。 

Optimizelyがこれほど強力な理由は何ですか? その機能セットの中核には、サードパーティツールの最も情報に基づいた直感的な統計エンジンがあり、結果を誤って解釈していることを心配することなく、重要なテストをライブで実行することに集中できます。 

医学における伝統的な盲検研究のように、 A / Bテスト ランダムに異なる表示されます トリートメント 次に、各治療の有効性を比較するために、さまざまなユーザーにサイトを紹介します。 

次に、統計は、その治療が長期的にどれほど効果的であるかについて推測するのに役立ちます。 

ほとんどのA / Bテストツールは、頻度論的統計またはベイズ統計のXNUMX種類の統計的推定のいずれかに依存しています。 各学校にはさまざまな長所と短所があります。頻度論的統計では、実験を実行する前にサンプルサイズを修正する必要があります。ベイズ統計では、XNUMXつの例を挙げれば、影響の単一の数値を指定するのではなく、主に方向性を適切に決定することに関心があります。 Optimizelyの超大国は、それが今日の市場で唯一のツールであるということです。 両方の長所 アプローチで回避できます。

最終結果は? Optimizelyを使用すると、ユーザーは実験をより速く、より確実に、より直感的に実行できます。

ただし、それを最大限に活用するには、舞台裏で何が起こっているのかを理解することが重要です。 ここでは、プロのようにOptimizelyの機能を使用するための5つの洞察と戦略を紹介します。

戦略#1: すべての指標が同じように作成されているわけではないことを理解する

ほとんどのテストツールでは、一般的に見過ごされている問題は、テストの一部として追加および追跡するメトリックが多いほど、ランダムな偶然による誤った結論が表示される可能性が高くなることです(統計では、これは「多重検定問題」と呼ばれます」)。 結果の信頼性を維持するために、Optimizelyは一連の制御と修正を使用して、発生する可能性を可能な限り低く抑えます。 

Optimizelyでテストを設定する場合、これらの制御と修正にはXNUMXつの意味があります。 まず、あなたがあなたとして指定するメトリック 一次メトリック 他のすべてのものは一定で、統計的有意性に最も早く到達します。 次に、実験に追加する指標が多いほど、後の指標が統計的有意性に達するまでにかかる時間が長くなります。

実験を計画するとき、 意思決定プロセスでどのメトリックが真北になるかを確認し、それをプライマリメトリックにします。 次に、余分なものや接線方向のものを削除して、残りの指標リストを無駄のない状態に保ちます。

戦略#2: 独自のカスタム属性を作成する

Optimizelyは、実験結果をセグメント化するためのいくつかの興味深く役立つ方法を提供するのに優れています。 たとえば、特定の処理がデスクトップとモバイルのどちらで優れているかを調べたり、トラフィックソース間の違いを観察したりできます。 ただし、実験プログラムが成熟するにつれて、新しいセグメントがすぐに必要になります。これらは、XNUMX回限りの購入とサブスクリプションの購入のセグメントなど、ユースケースに固有の場合もあれば、「新規訪問者とリピーター」のように一般的な場合もあります(率直に言って、それが箱から出して提供されない理由をまだ理解できません)。

幸いなことに、OptimizelyのProject Javascriptフィールドを介して、Optimizelyに精通しているエンジニアは、訪問者を割り当ててセグメント化できる興味深いカスタム属性をいくつでも作成できます。 Cro Metricsでは、Project Javascriptを介してすべてのクライアントにインストールする多数のストックモジュール(「新規訪問者とリピーター」など)を構築しました。 この能力を活用することは、実行を支援する適切な技術リソースを持っている成熟したチームと、実験の可能性を最大限に引き出すのに苦労しているチームとの間の重要な差別化要因です。

戦略#3: OptimizelyのStatsAcceleratorを探索する

しばしば誇張されているテストツールの機能のXNUMXつは、実験中にトラフィックが割り当てられる場所を動的に変更する機械学習アルゴリズムの一種である「多腕バンディット」を使用して、できるだけ多くの訪問者を「勝利」に送る機能です。可能な限りバリエーション。 多腕バンディットの問題は、その結果が長期的なパフォーマンスの信頼できる指標ではないことです。そのため、これらのタイプの実験のユースケースは、販売促進などの時間に敏感なケースに限定されます。

ただし、Optimizelyには、より高いプランのユーザーが使用できる別のタイプのバンディットアルゴリズムがあります。StatsAccelerator(現在はBandits内で「AccelerateLearnings」オプションとして知られています)。 この設定では、トラフィックを最もパフォーマンスの高いバリエーションに動的に割り当てようとする代わりに、Optimizelyは、統計的有意性に最も早く到達する可能性が最も高いバリエーションにトラフィックを動的に割り当てます。 このようにして、より速く学習し、従来のA / Bテスト結果の再現性を維持できます。

戦略#4:メトリック名に絵文字を追加する

一見すると、このアイデアはおそらく場違いに聞こえます。 ただし、正しい実験結果を読んでいることを確認するための重要な側面は、聴衆が質問を理解できることを確認することから始まります。 

最善の努力にもかかわらず、指標名が混乱する場合があります(待機–注文が受け入れられたとき、またはユーザーがお礼ページを押したときにその指標が起動しますか?)、または実験に非常に多くの指標があり、結果を上下にスクロールするページは完全な認知的過負荷につながります。

指標名(ターゲット、緑色のチェックマーク、大きなお金の袋でも機能する可能性があります)に絵文字を追加すると、ページがはるかにスキャンしやすくなる可能性があります。 

私たちを信頼してください-結果を読むことははるかに簡単に感じるでしょう。

戦略#5: 統計的有意水準を再検討してください

結果は、Optimizely実験のコンテキストで、到達したときに決定的であると見なされます。 統計的有意性。 統計的有意性は難しい数学用語ですが、本質的には、偶然の偶然ではなく、XNUMXつの母集団間の実際の違いの結果である確率です。 

Optimizelyの報告された統計的有意水準は、と呼ばれる数学的概念のおかげで「常に有効」です。 逐次テスト –これにより、実際には、他のテストツールよりもはるかに信頼性が高くなります。他のテストツールは、読むのが早すぎると、あらゆる種類の「ピーク」の問題が発生しやすくなります。

テストプログラムにとって重要と思われる統計的有意性のレベルを検討する価値があります。 科学界では95%が慣例ですが、ワクチンではなくWebサイトの変更をテストしています。 実験の世界でのもう90つの一般的な選択:85%。 しかし、実験をより速く実行し、より多くのアイデアをテストするために、もう少し不確実性を受け入れても構わないと思いますか? 80%またはXNUMX%の統計的有意性を使用できますか? リスクと報酬のバランスについて意図的に考えると、時間の経過とともに指数関数的な配当が支払われる可能性があるため、慎重に検討してください。

Optimizely IntelligenceCloudについてもっと読む

これらのXNUMXつの簡単な原則と洞察は、Optimizelyを使用する際に覚えておくと非常に役立ちます。 他のツールと同様に、基本的には、舞台裏のすべてのカスタマイズを十分に理解していることを確認することで、ツールを効率的かつ効果的に使用していることを確認できます。 これらの理解により、必要なときに、探している信頼できる結果を得ることができます。 

どう思いますか?

このサイトはAkismetを使用して迷惑メールを減らします。 コメントの処理方法を学ぶ.