Mengapa hasil pengujian A/B Anda mungkin disembunyikan oleh "efek bola salju"

Dalam dunia analisis data, kita sering tertarik pada model pembelajaran mesin yang kompleks dan arsitektur deep learning, namun mengabaikan alat yang sederhana namun kuat: regresi linear. Hari ini mari kita mulai dari sebuah skenario nyata dan lihat bagaimana alat ini dapat mengubah pemahaman kita terhadap hasil pengujian A/B.

Skenario: Pengujian Banner di platform e-commerce

Bayangkan sebuah retailer online meluncurkan desain banner halaman baru dengan tujuan mengevaluasi pengaruhnya terhadap durasi sesi rata-rata pengguna. Mereka melakukan eksperimen dan mengumpulkan data. Sekarang pertanyaannya adalah: menggunakan uji T atau regresi linear untuk menganalisis hasil ini?

Jawaban dari uji T

Dengan menggunakan alat uji T tradisional, kita mendapatkan angka yang tampak cukup menarik:

Estimasi peningkatan sebesar 0.56 menit (yaitu pengguna menghabiskan 33 detik lebih lama secara rata-rata). Ini adalah perbedaan antara rata-rata sampel kelompok kontrol dan perlakuan. Tampak cukup jelas.

Temuan menarik: regresi linear juga mengatakan hal yang sama

Tapi jika kita menggunakan regresi linear untuk melakukan hal yang sama, menjadikan apakah banner ditampilkan sebagai variabel independen dan durasi sesi rata-rata sebagai variabel dependen, apa yang akan terjadi?

Hasilnya mengejutkan: koefisien variabel perlakuan tepat sebesar 0.56—sama persis dengan uji T.

Ini bukan kebetulan. Kedua metode memiliki hipotesis nol yang sama, sehingga saat menghitung statistik t dan p-value, kita mendapatkan hasil yang konsisten.

Namun ada satu hal yang perlu diperhatikan: R² hanya sebesar 0.008, yang berarti model kita hanya menjelaskan kurang dari 1% varians. Masih banyak hal yang tidak kita tangkap.

Kekuatan tersembunyi: bias seleksi dan kovariat

Di sinilah titik kunci: Hanya menjelaskan perilaku pengguna dengan variabel perlakuan mungkin terlalu sederhana.

Dalam pengujian A/B nyata, mungkin ada bias seleksi—yaitu, jika tidak dihasilkan oleh mekanisme acak, terdapat perbedaan sistematis antara kedua grup yang dibandingkan. Misalnya:

• Pengguna lama lebih sering melihat banner baru
• Beberapa kelompok pengguna secara alami cenderung menghabiskan lebih banyak waktu di platform

Meskipun distribusi acak membantu mengurangi masalah ini, sulit untuk menghilangkannya sepenuhnya.

Model yang diperbaiki: menambahkan kovariat

Bagaimana jika kita menambahkan kovariat—misalnya, durasi sesi rata-rata pengguna sebelum eksperimen—apa yang akan terjadi?

Performa model tiba-tiba membaik. R² melonjak ke 0.86, sekarang kita menjelaskan 86% varians. Efek perlakuan juga menjadi 0.47 menit.

Perbedaan ini penting. Dalam data simulasi ini, efek perlakuan sebenarnya adalah 0.5 menit. Jadi, 0.47 (model dengan kovariat) lebih mendekati kenyataan daripada 0.56 (model sederhana).

Fenomena ini kadang disebut sebagai efek “snowballing”—variabel tersembunyi awalnya memperbesar atau memperkecil estimasi efek, sehingga hasil awal yang kita lihat menyimpang dari kenyataan.

Mengapa memilih regresi linear

Jadi, di antara 0.47 dan 0.56, mana yang benar?

Ketika kita tahu efek nyata, model regresi linear yang memasukkan kovariat yang tepat biasanya memberikan estimasi yang lebih akurat. Ini karena model tersebut:

1. Memberikan gambaran lengkap tentang kualitas fit model: R² menunjukkan berapa banyak varians yang dijelaskan, penting untuk menilai keandalan
2. Memungkinkan kontrol terhadap variabel confounder: Dengan menambahkan kovariat, kita dapat mengisolasi efek perlakuan yang sebenarnya dan mengurangi bias seleksi
3. Meningkatkan ketepatan estimasi: Terutama dalam skenario dunia nyata yang memiliki perbedaan sistematis

Pemikiran lanjutan

Prinsip ini tidak hanya berlaku untuk uji T. Kamu juga bisa memperluas kerangka regresi linear ke uji Welch T, uji chi-kuadrat, dan metode statistik lain—meskipun setiap kasus memerlukan penyesuaian teknis.

Pesan utama adalah: Jangan terjebak oleh hasil yang tampak sederhana. Selami data, cari variabel tersembunyi yang mungkin menyebabkan efek “snowballing”, dan kamu akan menemukan kebenaran yang lebih akurat.