マーコムの評価:A / Bテストの代替手段
だから私たちはいつも方法を知りたい マルコム (マーケティングコミュニケーション)は、手段としても個々のキャンペーンのためにも実行されています。 マーコムの評価では、単純なA / Bテストを採用するのが一般的です。 これは、キャンペーン処理のためにランダムサンプリングがXNUMXつのセルに入力される手法です。
一方のセルはテストを受け、もう一方のセルは受けません。 次に、応答率または純収入がXNUMXつのセル間で比較されます。 テストセルがコントロールセルよりも優れている場合(リフト、信頼度などのテストパラメータ内)、キャンペーンは有意でポジティブであると見なされます。
なぜ他のことをするのですか?
ただし、この手順には洞察の生成がありません。 それは何も最適化せず、真空中で実行され、戦略に影響を与えず、他の刺激に対する制御もありません。
第二に、非常に頻繁に、セルの少なくともXNUMXつが他のオファー、ブランドメッセージ、通信などを誤って受信したという点でテストが汚染されています。テスト結果が決定的でなく、無意味であると見なされた回数はどれくらいですか。 それで彼らは何度も何度もテストします。 テストが機能しないことを除いて、彼らは何も学びません。
そのため、通常の回帰を使用して他のすべての刺激を制御することをお勧めします。 回帰モデリング また、ROIを生み出すことができるマーコムの評価についての洞察を提供します。 これは真空中では行われませんが、予算を最適化するためのポートフォリオとしてオプションを提供します。
例
テストとコントロールのXNUMXつのメールをテストしていて、結果が無意味に戻ってきたとしましょう。 次に、ブランド部門が誤ってダイレクトメールを(ほとんど)コントロールグループに送信したことがわかりました。 この作品は(私たちによって)計画されておらず、テストセルをランダムに選択する際に考慮されていませんでした。 つまり、通常のビジネスグループは通常のダイレクトメールを受信しましたが、実施されたテストグループは受信しませんでした。 これは、あるグループが別のビジネスユニットと連携したり通信したりしない企業では非常に一般的です。
したがって、各行が顧客であるかどうかをテストする代わりに、期間ごと、たとえば毎週データをロールアップします。 送信されたテストメール、コントロールメール、ダイレクトメールの数を週ごとに合計します。 また、季節を説明するために、この場合は四半期ごとにバイナリ変数を含めます。 表1は、10週目から始まる電子メールテストの集計の部分的なリストを示しています。次に、モデルを作成します。
上で定式化された通常の回帰モデルは、表2の出力を生成します。 関心のある他の独立変数を含めます。 特に注目すべきは、(正味)価格が独立変数として除外されていることです。 これは、純収益が従属変数であり、次のように計算されるためです。 (正味)価格*数量.
テーブル1
週間 | em_test | em_cntrl | ディレクトリメール | net_rev | |||
---|---|---|---|---|---|---|---|
9 | 0 | 0 | 55 | 1 | 0 | 0 | $1,950 |
10 | 22 | 35 | 125 | 1 | 0 | 0 | $2,545 |
11 | 23 | 44 | 155 | 1 | 0 | 0 | $2,100 |
12 | 30 | 21 | 75 | 1 | 0 | 0 | $2,675 |
13 | 35 | 23 | 80 | 1 | 0 | 0 | $2,000 |
14 | 41 | 37 | 125 | 0 | 1 | 0 | $2,900 |
15 | 22 | 54 | 200 | 0 | 1 | 0 | $3,500 |
16 | 0 | 0 | 115 | 0 | 1 | 0 | $4,500 |
17 | 0 | 0 | 25 | 0 | 1 | 0 | $2,875 |
18 | 0 | 0 | 35 | 0 | 1 | 0 | $6,500 |
価格を独立変数として含めることは、方程式の両側に価格があることを意味しますが、これは不適切です。 (私の本、 マーケティング分析:実際のマーケティング科学への実用的なガイドは、この分析問題の広範な例と分析を提供します。)このモデルの調整済みR2は64%です。 (ダミートラップを回避するためにq4を削除しました。)emc =制御電子メールおよびemt =テスト電子メール。 すべての変数は95%レベルで有意です。
テーブル2
dm | emc | EMT | 定数 | ||||
---|---|---|---|---|---|---|---|
係数 | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
セントエラー | 474.1 | 487.2 | 828.1 | 2.5 | 22.4 | 30.8 | |
t比 | -2 | -2.88 | -2.77 | 4.85 | 1.97 | 2.49 |
電子メールテストに関しては、テスト電子メールは対照電子メールを77対44で上回り、はるかに重要でした。 したがって、他のことを考慮して、テスト電子メールは機能しました。 これらの洞察は、データが汚染されている場合でも得られます。 A / Bテストではこれは生成されませんでした。
表3は、係数を使用して、純利益の観点から各車両の貢献度であるマーコム評価を計算します。 つまり、ダイレクトメールの値を計算するには、係数12に109のダイレクトメールの平均送信数を掛けて、$ 1,305を取得します。 顧客は平均4,057ドルを費やしています。 したがって、 1,305ドル/ 4,057ドル= 26.8%。 これは、ダイレクトメールが総純収入の27%近くを占めたことを意味します。 ROIに関しては、109のダイレクトメールが$ 1,305を生成します。 カタログの価格が45ドルの場合、 ROI =($ 1,305 – $ 55)/ $ 55 = 2300%!
価格は独立変数ではなかったため、通常、価格の影響は定数に埋もれていると結論付けられます。 この場合、5039の定数には、価格、その他の欠落している変数、およびランダムエラー、または純収益の約83%が含まれます。
テーブル3
dm | emc | EMT | 定数 | ||||
---|---|---|---|---|---|---|---|
係数 | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
意味する | 0.37 | 0.37 | 0.11 | 109.23 | 6.11 | 4.94 | 1 |
$4,875 | - $ 352 | - $ 521 | - $ 262 | $1,305 | $269 | $379 | $4,057 |
値 | -7.20% | -10.70% | -5.40% | 26.80% | 5.50% | 7.80% | 83.20% |
まとめ
通常の回帰は、企業のテストスキームでよくあることですが、ダーティデータに直面して洞察を提供するための代替手段を提供しました。 回帰は、ROIのビジネスケースだけでなく、純収益への貢献も提供します。 通常の回帰は、マーケティングコミュニケーションの評価に関する代替手法です。