Materi 18 - Digital Marketing Lanjutan

A/B Testing for Marketers

Test bukan hanya untuk developer. Marketer juga butuh skill A/B testing untuk optimize campaign, email, dan landing page.

Durasi 26 Menit Level intermediate Kurikulum 30 Materi

1. Apa Itu A/B Test

Bandingkan 2 atau lebih variasi (A vs B) dengan random assignment. Lihat mana yang perform lebih baik secara statistical. Bukan opini, tapi data. Skill wajib marketer modern di 2026.

2. Apa yang Bisa Di-Test

Subject line email (impact 30 persen open rate). Headline landing page. Hero image. CTA copy dan warna. Pricing display (monthly vs annual). Form length. Visual style. Audience targeting di ads. Setiap element bisa di-test.

3. Sample Size Wajib

Test dengan 100 visitor tidak valid. Pakai calculator: Evan Miller, Optimizely, atau VWO. Input: baseline conversion rate, MDE (minimum detectable effect), confidence level (biasanya 95 persen), power 80 persen. Output: berapa visitor minimum per varian.

4. Statistical Significance

p-value kurang dari 0.05 artinya 95 persen confidence bahwa perbedaan bukan kebetulan. Stop test terlalu awal sebelum hit significance = false positive. Aturan emas: minimal 1-2 minggu untuk capture variasi hari kerja.

5. Common Mistakes

Test 5 variasi sekaligus tanpa correction (multiple testing problem). Cherry-pick hasil. Tidak hitung effect size, hanya p-value. Tidak segment hasil. Implementasi tanpa documenting learning. Test trivial change yang impact kecil.

Tugas Praktik

  1. Setup A/B test untuk subject line email
  2. Pelajari calculator sample size Evan Miller
  3. Test 1 element di landing page
  4. Dokumentasi hasil test di knowledge base
  5. Pelajari multiple testing correction

Rangkuman