Materi 05 · Decision Making

Data-Driven Decision Making

Framework lengkap untuk mengambil keputusan berbasis data: dari rumusan masalah, A/B testing, sampai mengenali bias kognitif yang sering merusak analisis. Materi penutup yang menyatukan semuanya.

⏱ 26 Menit Baca 🎯 Intermediate 🧠 Strategy

1. Apa Itu Data-Driven Decision?

Data-Driven Decision Making (DDDM) adalah praktik mendasarkan keputusan bisnis pada bukti empiris dari data, bukan pada intuisi, hierarki ("kata bos"), atau kebiasaan ("biasanya begitu").

Beda dengan "Data-Informed"

Data-driven = data dominasi keputusan. Data-informed = data salah satu input, dipadukan dengan judgment, intuisi pengalaman, dan konteks. Untuk sebagian besar perusahaan, data-informed lebih realistis — data sempurna jarang ada, dan pengalaman manusia tetap penting.

2. Framework DECIDE

Enam langkah sistematis untuk memandu setiap keputusan penting:

Define

Rumuskan masalah & kriteria sukses

Establish

Tetapkan kriteria pengambilan keputusan

Consider

Identifikasi opsi & alternatif

Identify

Kumpulkan data untuk evaluasi opsi

Develop

Pilih opsi terbaik & rencana eksekusi

Evaluate

Ukur dampak setelah eksekusi

3. A/B Testing — Cara Paling Jujur Validasi Keputusan

A/B test (atau split test) membandingkan dua versi (A & B) di audiens acak untuk melihat mana yang lebih baik secara statistik. Cara paling kuat untuk membuktikan sebab-akibat di lingkungan produk.

Contoh A/B Test Sederhana

Tim mengubah tombol checkout dari "Bayar Sekarang" menjadi "Selesaikan Pesanan". Apakah berdampak ke conversion?

Original — "Bayar Sekarang"

3.4%

Conversion · 12,500 visitor

Variant — "Selesaikan Pesanan"

4.1%

Conversion · 12,400 visitor

Tapi Apakah Ini Significant?

4.1% vs 3.4% terlihat lebih baik (+20% relatif), tapi tanpa uji statistical significance, hasil bisa kebetulan. Pakai p-value < 0.05 dan minimum sample size yang dihitung sebelum eksperimen mulai.

4. Tahapan A/B Test yang Benar

Hipotesis jelas: "Mengubah copy tombol akan meningkatkan conversion checkout sebesar ≥10%."
Tentukan metric utama (primary): Conversion rate. Plus 1-2 guardrail metric (jangan turun) seperti AOV.
Hitung sample size: Pakai kalkulator (mis. Evan Miller) berdasarkan baseline, MDE, power 80%, α=0.05.
Random assignment: User dibagi 50/50 secara acak. Konsisten — user yang sama selalu di varian yang sama.
Run minimum 1-2 minggu penuh: Tangkap variasi hari kerja vs weekend.
Jangan peek hasil: Berhenti early karena angka "sudah signifikan" → false positive.
Analisis lengkap: Statistical significance + segmen + guardrail. Baru putuskan.

Sampel Minimum (Approx) n ≈ 16 × p(1-p) / (MDE)²
p = baseline conversion rate
MDE = minimum detectable effect (mis. 0.005 = 0.5pp)

Lift Relatif Lift = (Variant - Control) / Control × 100%

5. Kesalahan Umum dalam A/B Test

Sample size kecil. 200 user × 2 = data terlalu noise untuk decision.
Test terlalu banyak hal sekaligus. Ubah copy + warna + posisi → kamu nggak tahu mana yang ngaruh.
Multiple testing tanpa correction. Test 20 hal → ada 1 yang "signifikan" 5% — bisa jadi cuma kebetulan.
Stop test saat menang sebentar. Hasil bisa berbalik kalau diteruskan. Komit sample size dulu.
Variant beda secara teknis. Halaman B lebih lambat 200ms → bukan copy yang berdampak, tapi performance.
Lupa segment. Variant B menang overall, tapi turun di mobile. Perlu dipotong.

6. Bias Kognitif yang Wajib Diwaspadai

Walaupun pakai data, otak manusia punya bias bawaan yang bisa membelokkan kesimpulan. Kenali musuhnya:

Confirmation Bias

Mencari data yang mendukung opini yang sudah ada, mengabaikan yang menentang.

"Saya yakin fitur baru bagus" → cuma melihat metric yang naik, tutup mata yang turun.

Survivorship Bias

Menganalisis hanya yang "selamat" atau berhasil, melupakan yang gagal.

Belajar dari startup unicorn doang, padahal 99% startup mati — pelajarannya bias.

Selection Bias

Sample tidak mewakili populasi sebenarnya.

Survey kepuasan hanya ke user aktif → user yang sudah churn tidak terdengar suaranya.

Anchoring

Terjebak pada angka pertama yang dilihat sebagai patokan.

Target awal 100K, dapat 80K — terasa gagal. Padahal kalau target 70K, terasa sukses.

Hindsight Bias

"Saya kan sudah bilang." Setelah hasil keluar, terasa obvious — padahal sebelumnya tidak.

Setelah saham naik: "memang harusnya beli." Padahal sebelumnya ragu.

Simpson's Paradox

Tren di agregat berlawanan dengan tren di tiap segmen. Klasik di analitik.

Strategi A menang overall, tapi kalah di setiap segmen — karena distribusi sample berbeda.

7. Studi Kasus Real World

Real World · E-Commerce

Diskon Besar yang Justru Merugikan

Sebuah e-commerce eksperimen kasih diskon 30% untuk akuisisi user baru. Setelah 1 bulan, akuisisi naik 45%, revenue total naik 12%. Tim mau lanjut.

"Sebentar — coba kita lihat cohort retention dan LTV-nya."

Setelah cohort analysis 90 hari: user dari kampanye diskon punya M2 retention hanya 14% vs organic 41%. LTV mereka 3.2× lebih rendah.

Hitungan ulang: short-term revenue +12%, tapi proyeksi 12 bulan: rugi Rp 4.8M. Diskon dihentikan, dialihkan ke referral incentive yang menghasilkan user lebih sticky.

Pelajaran: Data agregat awal terlihat hijau — tanpa cohort dan LTV, tim akan ambil keputusan salah. Selalu lihat dampak jangka panjang.

8. Membangun Budaya Data-Driven di Tim

Praktik	Cara
Decision Log	Catat keputusan + data pendukung + ekspektasi. Review 3 bulan kemudian.
Pre-mortem	Sebelum eksekusi, tanyakan "kalau gagal, apa penyebabnya?" → buka mata ke risiko.
Post-mortem Tanpa Salahkan	Setelah hasil keluar, fokus belajar bukan menyalahkan.
Definisi Metric Baku	Apa itu "user aktif"? Disepakati lintas tim, didokumentasi.
Akses Data Terbuka	Tim bisa explore data sendiri (self-service BI) — bukan bergantung 1 analyst.
Hipotesis Sebelum Data	Tulis ekspektasi sebelum lihat angka. Cegah confirmation bias.

📝 Tugas Akhir

Bayangkan kamu adalah Product Analyst. Tim CEO ingin tahu apakah promo "Free Shipping ≥ 200K" sebaiknya dilanjutkan setelah berlaku 3 bulan. Lakukan:

Tuliskan hipotesis yang jelas dan kriteria sukses.
Buat 3 metric primary + 2 guardrail metric yang akan kamu lihat.
Rancang struktur A/B test (atau holdout test) jika kebijakan ini bisa dieksperimen ulang.
Identifikasi 2 bias yang berpotensi mengganggu analisis ini.
Tuliskan rekomendasi akhir kamu dalam 3 kalimat — clear, defensible, actionable.

Ini latihan paling lengkap. Tanggapi seperti kamu sedang menulis memo ke CEO.

Rangkuman

Data-driven ≠ tanpa intuisi. Data-informed lebih realistis dan kuat untuk sebagian besar konteks.
Framework DECIDE: Define → Establish → Consider → Identify → Develop → Evaluate.
A/B test = cara paling jujur. Komit pada sample size, jangan stop awal, periksa segment.
Bias kognitif (confirmation, survivorship, selection, anchoring, hindsight, Simpson's) bisa memutarbalikkan kesimpulan paling logis sekalipun.
Dampak jangka pendek ≠ dampak jangka panjang. Selalu validasi pakai cohort & LTV.
Budaya tim yang sehat: decision log, pre-mortem, akses data terbuka, definisi metric baku.