| 組別 | 流量佔比 | Paywall 設計 | 預設選項 |
|---|---|---|---|
| A(Control) | 60% | 只顯示年方案 | 年方案(唯一) |
| B(Test) | 20% | 年 + 月雙方案 | 年方案預選 |
| C(Test) | 20% | 年 + 月雙方案 | 月方案預選 |
| 平台 | 組別 | 曝光人數 | Trial 人數 | CVR | vs Control |
|---|---|---|---|---|---|
| Android | A(Control) | 79,888 | 834 | 1.04% | — |
| Android | B | 23,814 | 240 | 1.01% | ▼ -0.03pp (-2.9%) |
| Android | C | 23,660 | 243 | 1.03% | ≈ 持平 (-1.0%) |
| iOS | A(Control) | 69,876 | 2,930 | 4.19% | — |
| iOS | B | 21,141 | 826 | 3.91% | ▼ -0.28pp (-6.7%) |
| iOS | C | 21,217 | 847 | 3.99% | ▼ -0.20pp (-4.8%) |
| 平台 | 組別 | Annual | Monthly | Annual 佔比 | 分布視覺化 |
|---|---|---|---|---|---|
| Android | B | 201 | 41 | 83% | |
| Android | C | 127 | 119 | 52% | |
| iOS | B | 699 | 129 | 84% | |
| iOS | C | 413 | 436 | 49% |
Android A 組 CVR 1.04%,iOS A 組 4.19%,兩者差距約 4 倍,符合歷史數據預期(Android 付費意願結構性低於 iOS)。兩平台在各組間的相對表現一致,實驗流量分配正常(A:B:C ≈ 3:1:1)。
iOS 三組 CVR 差距僅 0.2–0.28pp;Android 三組差距更小(<0.03pp)。以現有樣本量(iOS ~21K / Android ~24K per test group),統計顯著性不足,尚不宜據此做設計決策。建議繼續積累 1-2 週數據後再評估。
B 組(年方案預選)年方案佔比高達 83–84%;C 組(月方案預選)年/月接近 50/50 split,iOS 49% annual / 51% monthly,兩平台表現一致。預設選項對用戶選擇有明顯影響,UI 機制本身有效。Trial CVR 幾乎持平,說明增加方案選項不會明顯損傷 trial 轉換率。
| 優先級 | 行動 |
|---|---|
| P1 | 繼續積累樣本 1–2 週,iOS 數據達到統計顯著後再評估 A/B/C 設計優劣 |
| P2 | C 組 SKU split 已確認可引導用戶選月方案(約 50/50);若後續評估月方案對 LTV 的影響,可在 iOS 數據顯著後加做 revenue 分析 |
| P3 | 若 iOS 最終 A/B/C 三組差異仍不顯著,可考慮設計其他 paywall 變數(價格呈現方式、折扣文案等)再測 |