tipsusahaonline — Mengganti warna tombol 'beli' lalu penjualan naik keesokan harinya, apakah karena tombol baru? Belum tentu. Penjualan harian naik turun secara alami. Uji A/B adalah cara ilmiah untuk membedakan efek nyata dari kebetulan.
1Prinsip dasar uji A/B
Pengunjung dibagi secara acak menjadi dua kelompok. Kelompok A melihat versi lama, kelompok B melihat versi baru. Karena pembagiannya acak, perbedaan hasil yang cukup besar kemungkinan disebabkan oleh perubahan yang diuji.
Ubah satu hal pada satu waktu agar Anda tahu apa yang menyebabkan perbedaan.
2Ukuran sampel dan durasi
Dengan sedikit pengunjung, perbedaan besar bisa muncul hanya karena kebetulan. Tentukan jumlah pengunjung yang dibutuhkan sebelum memulai, menggunakan kalkulator ukuran sampel yang banyak tersedia.
Jalankan uji minimal satu hingga dua minggu penuh untuk menangkap perbedaan perilaku antara hari kerja dan akhir pekan.
3Signifikansi statistik
Signifikansi statistik menunjukkan seberapa kecil kemungkinan hasil terjadi secara kebetulan jika sebenarnya tidak ada perbedaan. Batas yang sering dipakai adalah 5 persen, artinya hasil dianggap meyakinkan jika peluang kebetulannya kurang dari itu.
Signifikan secara statistik belum tentu penting secara bisnis. Kenaikan yang sangat kecil mungkin tidak sebanding dengan biaya perubahannya.
4Kesalahan umum
Menghentikan uji begitu hasil terlihat bagus adalah kesalahan paling umum. Mengintip hasil berulang kali dan berhenti saat menguntungkan meningkatkan peluang kesimpulan keliru.
Catat semua uji beserta hasilnya, termasuk yang gagal. Uji yang tidak menunjukkan perbedaan tetap memberikan pelajaran berharga.