| 組別 | 流量佔比 | Paywall 設計 | 預設選項 |
|---|---|---|---|
| A（Control） | 60% | 只顯示年方案 | 年方案（唯一） |
| B（Test） | 20% | 年 + 月雙方案 | 年方案預選 |
| C（Test） | 20% | 年 + 月雙方案 | 月方案預選 |
✦ 修正方式：trial 事件須發生在首次曝光之後（排除實驗前歷史 trial 數據）
| 平台 | 組別 | 曝光人數 | Trial 人數 | CVR | vs Control |
|---|---|---|---|---|---|
| Android | A（Control） | 79,888 | 834 | 1.04% | 原始誤值：4.24% |
| Android | B | 23,814 | 240 | 1.01% | ▼ -0.03pp (-2.9%) |
| Android | C | 23,660 | 243 | 1.03% | ≈ 持平 (-1.0%) |
| iOS | A（Control） | 69,876 | 2,930 | 4.19% | — |
| iOS | B | 21,141 | 826 | 3.91% | ▼ -0.28pp (-6.7%) |
| iOS | C | 21,217 | 847 | 3.99% | ▼ -0.20pp (-4.8%) |
| 平台 | 組別 | Annual | Monthly | Annual 佔比 | 分布視覺化 |
|---|---|---|---|---|---|
| Android | B | 201 | 41 | 83% | |
| Android | C | 127 | 119 | 52% | |
| iOS | B | 699 | 129 | 84% | |
| iOS | C | 413 | 436 | 49% |
| 假設 | 狀態 | 說明 |
|---|---|---|
| 假設 1：user_pseudo_id JOIN 跨平台混入 | ❌ 排除 | 跨組污染率 Android 0.036%、iOS <0.001%，可忽略不計 |
| 假設 2：A 組 page_name 不具排他性 | ❌ 排除 | V1 + V3 確認各組用戶完全分離，無交叉污染 |
| 假設 3：Trial 無時間窗，撈到歷史數據 | ✅ 確認根因 | Android A CVR 從 4.24% → 1.04%（下降 75%）；iOS 不受影響（4.19% → 4.19%） |
Android 上存在大量在 2026-04-15 實驗開始前就已 trial 過的用戶。他們進入實驗後被曝光記錄，但 trial 事件早在曝光前就已發生。原始 SQL 未排除這批人，導致 Android A 組 CVR 被嚴重高估（4.24% 實為混入 iOS 水準的假象）。iOS 不受影響，因歷史 trial 重複進入實驗的比例極低。
修正後 Android A 組 CVR 1.04%，iOS A 組 4.19%，兩者差距約 4 倍，完全符合歷史數據預期（Android 付費意願結構性低於 iOS）。原本懷疑的「Android B/C bug」已排除——Android 所有組別 CVR 均在 1.01–1.04%，相互一致。
iOS 三組 CVR 差距僅 0.2–0.28pp；Android 三組差距更小（<0.03pp）。以現有樣本量（iOS ~21K / Android ~24K per test group），統計顯著性不足，不宜據此做設計決策。建議繼續積累 1-2 週數據。
B 組年方案佔比 83–84%；C 組年/月接近 50/50 split（iOS 49%、Android 52%），兩平台表現一致。C 組設計有效引導用戶選月方案——UI 機制本身有效，但 CVR 幾乎持平，說明增加方案選項不會明顯提升或損傷 trial 轉換率。
| 優先級 | 行動 |
|---|---|
| P1 | 統一 SQL 口徑：所有 A/B test 分析加入時間窗條件（trial_ts ≥ first_exposure_ts），避免歷史 trial 用戶干擾 CVR |
| P2 | 繼續積累樣本 1–2 週，iOS 達到統計顯著後再評估 A/B/C 設計優劣 |
| P2 | C 組 SKU split 已確認可引導用戶選月方案（50/50），若後續要評估月方案對 LTV 影響，可在 iOS 數據顯著後再做 revenue 分析 |
| P3 | Android 無需特別 debug——三組 CVR 一致在 1.01–1.04%，表現正常 |