為什麼計算樣本數很重要？
在 A/B 測試啟動前，事先計算所需的樣本數是實驗設計中最關鍵的步驟之一。它的核心目的是確保你最終得到的測試結果具備統計上的可靠性，能準確反映事實，而非隨機噪音。如果忽略這一步，直接開始跑測試並等待「感覺有差異」才停止，你將面臨兩種主要風險：一是因樣本量太小而無法偵測到實際存在的差異，導致你錯過了一個有效的改進方案（假陰性）；二是因為過早查看結果並停止，大大增加你誤將隨機波動當作真實差異的機率（假陽性）。明確樣本數，就是為你的實驗設定一個清晰的終點線，讓決策建立在穩固的數據基礎上。
計算樣本數的四大關鍵參數
要計算一份 A/B 測試需要多少訪客樣本，你必須輸入四個核心統計參數。這些參數共同決定了測試的敏銳度與可靠性，是進行任何估算的基礎。
- 基準轉換率 (Baseline Conversion Rate)：這是你目前（控制組）的表現數值。例如，你的網站結帳頁面的轉換率是 2%。你需要先知道這個數字，才能評估新版的表現。
- 最小可偵測效應 (Minimum Detectable Effect, MDE)：這是你期望新版（實驗組）能帶來的最小提升幅度。它可以是相對值（如提升 10%）或絕對值（如從 2% 提升到 2.2%）。MDE 越小，代表你想偵測越細微的變化，所需的樣本數就越多。
- 信心水準 (Confidence Level)：這代表你願意承擔多少風險，去錯誤地宣稱「兩者有差異」。業界慣例通常設為 95%，意味著你接受有 5% 的機率會犯錯（假陽性）。
- 統計檢定力 (Statistical Power)：這代表如果新版真的有效，你有多大的機率能成功偵測到這個差異。業界慣例通常設為 80%，代表你願意承擔 20% 的風險，去漏掉一個真實的改善效果（假陰性）。
樣本數怎麼算？公式與邏輯拆解
最常用於二元轉換率（例如：轉換/未轉換）的 A/B 測試樣本數計算，基於兩樣本比例 Z-檢定。其核心邏輯是比較兩組比例的差異是否大於隨機波動的範圍。一個簡化的公式能幫助理解：n ≈ 16 * σ² / δ²，其中 n 是每組所需樣本數，σ 是標準差（與基準轉換率相關），δ 是你設定的 MDE（效應大小）。數字「16」源自於 95% 信心水準與 80% 檢定力的常見設定。多數線上計算器採用完整的 Z-檢定公式，例如：n = (Zα/2 + Zβ)² * [p1(1-p1) + p2(1-p2)] / (p1-p2)²。工具通常預設為雙尾檢定 (two-tailed test)，因為我們在測試前並不知道新版會更好還是更差。
線上計算器使用指南：以電商轉換率為例
理論公式聽起來複雜，但實務上你可以藉助公開的線上樣本數計算器來快速估算。以下以一個常見的電商結帳轉換率情境為例，演示操作步驟：
- 步驟一：確定你的基準轉換率。查看你的分析工具，假設目前的結帳轉換率為 2.0%。
- 步驟二：設定你期望的提升幅度 (MDE)。你希望新版能帶來相對 10% 的提升，因此新版的目標轉換率為 2.2%。這等於 0.2 個百分點的絕對差異。
- 步驟三：維持預設的信心水準與檢定力。採用業界常見的 95% 信心水準與 80% 統計檢定力。
- 步驟四：獲得計算結果。將上述數值輸入計算器（例如，Optimizely 的樣本數計算器），它將告訴你每一組（控制組與實驗組）大約需要 150,000 個訪客樣本。這意味著你的總測試樣本數需約為 300,000 個訪客。
從樣本數回推測試時長與實戰考量
計算出每組所需的樣本數（例如各 150,000）後，下一步是根據你的網站流量來推估測試需要跑多久。一個簡單的公式是：測試所需天數 = 每組所需樣本數 / (每日訪客量 / 2)。這裡除以 2 是因為流量會平均分配給兩個版本。例如，若你的網站每天有 20,000 名訪客，則每天每組約可獲得 10,000 個樣本，完成 150,000 個樣本的測試大約需要 15 天。
實戰中必須考慮流量穩定性。避開大型促銷檔期或節假日等流量異常波動的時期，否則樣本的品質與代表性會受到影響。不同流量級別的網站，測試時長差異很大：日均 1,000 訪客的網站可能需要數個月，而日均 10,000 訪客的網站則可能兩週內完成。
樣本數夠了，然後呢？結果判讀與下一步
達到預先計算的樣本數，代表你的測試收集了足夠的證據來進行統計推斷，但這不等於結論已經出爐。你還需要檢視幾個關鍵指標：第一，p-value 是否小於你設定的 α（如 0.05）？若是，代表差異在統計上顯著。第二，查看差異的自信區間是否包含 0。若不包含，進一步支持了差異的存在。然而，統計顯著性不等於商業意義。你必須綜合評估觀察到的效應大小是否值得投入資源去實施。若結果不顯著，可能的原因包括 MDE 設定得太小、實際效應微弱、測試期間有特殊事件幹擾，或流量品質不純。此時需回頭分析實驗設計，而非強行下結論。想要更完整地理解實驗設計與判讀流程，可以參考數據分析怎麼做 A/B 測試？8 步驟掌握實驗設計與判讀。
常見問題 (FAQ)
A/B 測試樣本數是越多越好嗎？
不是。樣本數需足夠以達到統計顯著性，但過大的樣本可能使微小、無實際商業意義的差異也變得「顯著」，造成資源浪費與決策困惑。重點是根據你的 MDE 和風險承受度，計算出「足夠」的樣本數，而非盲目追求最多。
為什麼不能一邊跑測試一邊看結果，覺得有差異就停？
這種做法稱為「窺探 (peeking)」，會大幅增加假陽性的風險（即你以為有差異，但其實沒有）。統計檢定的原理建立在樣本量固定的前提下。頻繁查看並根據初步結果決策，會破壞這個前提，導致錯誤結論。正確做法是事先計算好所需樣本數與測試時間，到期後才分析最終結果。
如果我網站的流量很小，怎麼辦？
可以嘗試以下策略：
- 放寬最小可偵測效應 (MDE)，接受能偵測較大的差異。
- 延長測試時間以累積足夠樣本，但需注意季節性因素可能影響結果的代表性。
- 考慮使用更敏感的統計方法或專注於更容易觀察到變化的指標。
信心水準和統計檢定力為什麼通常設成 95% 和 80%？
這是學術界與業界長期形成的慣例與平衡點。95% 信心水準意味著願意接受 5% 的犯錯機率（誤以為有效果）；80% 檢定力意味著若真有效果，有 80% 的機率能偵測到。調整這些參數需要權衡風險（犯錯的代價）與資源（測試所需的時間與成本）。
線上計算器給出的樣本數結果準確嗎？
在輸入正確參數的前提下，這些工具基於標準統計公式計算，結果是準確的。但「準確」不代表「適用」，你必須確保輸入的基準轉換率、MDE 等參數符合你的實際業務場景，否則結果會失去意義。工具提供的是計算能力，判斷的責任在使用者。
除了轉換率，樣本數計算還能用在其他指標上嗎？
原則上可以，但計算公式會因指標類型而異。例如，若指標是平均訂單金額（連續變數）而非轉換率（二元變數），則需使用基於 t-檢定的樣本數公式，其關鍵參數會是標準差而非比例。通用的計算器多數針對二元轉換率設計。
如果測試跑完所需樣本數，但 p 值是 0.06，該怎麼解讀？
這表示在統計上，你沒有足夠的證據（在95%信心水準下）證明兩版本有差異。建議：勿武斷地採用新版，因其表現可能與原版無異。應分析是否 MDE 設定過小、測試期間有特殊事件、或流量品質問題。可考慮延長測試或優化實驗設計後再進行。
以官方文件、實際設定與量測結果整理 SEO 數據、網站追蹤與分析方法，並標示資料來源與判讀限制。