🌱 New User Paywall A/B/C 實驗分析

實驗期間:2026-04-15 ~ 2026-04-28(13 天)|雙平台分析

📋 實驗設定

組別流量佔比Paywall 設計預設選項
A(Control) 60% 只顯示年方案 年方案(唯一)
B(Test) 20% 年 + 月雙方案 年方案預選
C(Test) 20% 年 + 月雙方案 月方案預選

📊 各平台各組曝光與 Trial CVR

平台組別曝光人數Trial 人數CVRvs Control
Android A(Control) 79,888 834 1.04%
Android B 23,814 240 1.01% ▼ -0.03pp (-2.9%)
Android C 23,660 243 1.03% ≈ 持平 (-1.0%)
iOS A(Control) 69,876 2,930 4.19%
iOS B 21,141 826 3.91% ▼ -0.28pp (-6.7%)
iOS C 21,217 847 3.99% ▼ -0.20pp (-4.8%)

🎯 B/C 組 SKU 分布(年方案 vs 月方案)

平台組別AnnualMonthlyAnnual 佔比分布視覺化
Android B 201 41 83%
Android C 127 119 52%
iOS B 699 129 84%
iOS C 413 436 49%
Annual 年方案 Monthly 月方案

🔍 核心發現

📊 Android vs iOS CVR 差距 4x,符合平台慣例

Android A 組 CVR 1.04%,iOS A 組 4.19%,兩者差距約 4 倍,符合歷史數據預期(Android 付費意願結構性低於 iOS)。兩平台在各組間的相對表現一致,實驗流量分配正常(A:B:C ≈ 3:1:1)。

⚠️ A/B/C 三組 CVR 差異目前不顯著

iOS 三組 CVR 差距僅 0.2–0.28pp;Android 三組差距更小(<0.03pp)。以現有樣本量(iOS ~21K / Android ~24K per test group),統計顯著性不足,尚不宜據此做設計決策。建議繼續積累 1-2 週數據後再評估。

✅ C 組成功引導用戶選月方案(SKU split 有效)

B 組(年方案預選)年方案佔比高達 83–84%;C 組(月方案預選)年/月接近 50/50 split,iOS 49% annual / 51% monthly,兩平台表現一致。預設選項對用戶選擇有明顯影響,UI 機制本身有效。Trial CVR 幾乎持平,說明增加方案選項不會明顯損傷 trial 轉換率。

✅ 行動建議

優先級行動
P1 繼續積累樣本 1–2 週,iOS 數據達到統計顯著後再評估 A/B/C 設計優劣
P2 C 組 SKU split 已確認可引導用戶選月方案(約 50/50);若後續評估月方案對 LTV 的影響,可在 iOS 數據顯著後加做 revenue 分析
P3 若 iOS 最終 A/B/C 三組差異仍不顯著,可考慮設計其他 paywall 變數(價格呈現方式、折扣文案等)再測