Ujian A/B yang menghormati trafik anda
Kebanyakan eksperimen kedai terlalu kecil untuk menyimpulkan apa-apa, dan kebanyakan "pemenang" ialah hingar yang merosot bulan depan. Menguji dengan baik bermakna menguji lebih sedikit.
Ujian A/B ada rahsia kotor dalam e-dagang: di bawah volum trafik yang besar, kebanyakan ujian tidak dapat mengesan saiz kesan yang realistiknya dihasilkan perubahan halaman. Aliran kerja jujurnya ialah membaiki masalah nyata secara terus, mengkhaskan eksperimen untuk keputusan yang benar-benar tidak pasti pada halaman dengan volum mencukupi, dan mensaizkannya supaya kesimpulan benar-benar mungkin. Para ejen menguatkuasakan tepat disiplin itu.
Apa yang layak diuji — dan apa yang tidak
Susun atur mudah alih yang rosak tidak perlukan eksperimen; ia perlukan pembaikan. Pengujian untuk keputusan di mana orang berakal tidak bersetuju dan data boleh menyelesaikannya.
Baiki-terus: kecacatan jelas, masalah kelajuan, maklumat hilang, aliran rosak
Uji: persembahan harga, pembingkaian tawaran, pilihan struktur halaman dengan trade-off sebenar
Analyst memeriksa lebih awal sama ada trafik anda dapat mengesan saiz kesan yang munasabah
Ujian yang tidak boleh menyimpulkan tidak dimulakan — trafik itu dibelanjakan di tempat lain
Hipotesis daripada corong, bukan fail contekan
Ujian yang baik datang daripada data keciciran anda sendiri: halaman spesifik, segmen spesifik, keraguan spesifik. Analyst menjana hipotesis daripada tempat corong sebenarnya bocor, yang menghasilkan eksperimen yang lebih sedikit dan lebih baik daripada meminjam idea ujian daripada artikel.
Kesimpulan jujur, termasuk "tiada perbezaan"
Ujian yang menunjukkan tiada kesan ialah maklumat — ia bermakna keputusan itu tidak penting dan anda patut berhenti berbahas mengenainya. Para ejen melaporkan keputusan dengan ketidakpastian utuh, memanggil mengintip dengan namanya, dan merekodkan setiap keputusan dalam memori kongsi supaya hujah yang sama tidak dibicarakan semula suku depan.
Cara ia berfungsi
Tapis senarai tunggu
Kecacatan nyata dihalakan ke Builder sebagai pembaikan terus; hanya ketidakpastian tulen menjadi calon ujian.
Saizkan sebelum mula
Analyst mengira sama ada trafik anda dapat mengesan kesan yang munasabah — ujian kurang kuasa tidak dijalankan.
Jalankan, simpulkan, rekodkan
Keputusan dilaporkan dengan jujur, termasuk keputusan nol, dan disimpan supaya keputusan kekal selesai.
Apa yang anda dapat
Trafik dibelanjakan pada ujian yang benar-benar boleh mencapai kesimpulan
Masalah nyata dibaiki serta-merta dan bukan beratur di belakang eksperimen
Hipotesis berakar pada data corong anda sendiri
Sejarah keputusan yang direkodkan, termasuk yang nol
Dikendalikan oleh ejen ini
Berfungsi dengan
Soalan lazim
Berapa banyak trafik saya perlukan untuk ujian A/B?
Ia bergantung pada saiz kesan yang cuba anda kesan — kesan kecil perlukan sampel sangat besar. Ejen mengiranya per ujian sebelum mula, iaitu tepat langkah yang dilangkau kebanyakan pasukan.
Apa patut dibuat kedai trafik rendah sebagai ganti?
Baiki kecacatan terus, buat perubahan lebih besar dan lebih berani di mana kesannya cukup besar untuk kelihatan, dan bergantung pada pengukuran sebelum/selepas dengan kaveat jujur. Berpura-pura menjalankan eksperimen ialah pilihan paling buruk.
Mengapa ujian yang menang berhenti menang?
Biasanya kerana keputusan asal ialah hingar, atau diintip dan dihentikan awal. Saiz yang betul dan peraturan henti tetap mencegah kebanyakannya — dan itulah yang dikuatkuasakan ejen.
Bolehkah ia menguji e-mel dan juga halaman?
Boleh, dan e-mel sering ada keadaan statistik lebih baik — sampel lebih besar, atribusi lebih bersih. Disiplin saiz yang sama terpakai melalui ejen Retention.
Teruskan membaca
Pengoptimuman kadar penukaran
Cari di mana corong bocor, baiki puncanya, dan ukur sama ada ia benar-benar bergerak.
Pengoptimuman halaman produk
Bina semula halaman yang menentukan sama ada lawatan menjadi pesanan, disusun mengikut hasil yang dipertaruhkan.
Tingkatkan penukaran mudah alih
Tutup jurang mudah alih: realiti capaian ibu jari, kelajuan pada peranti sebenar, dan geseran checkout.
Automasi merchandising
Susunan koleksi, produk pilihan, dan promosi dipandu stok dan prestasi, bukan ingatan.
Biar pasukan ini mengendalikan kedai anda
Sambungkan storefront, analitik dan e-mel anda, tetapkan matlamat, dan biarkan ejen menjalankan kerja dari awal hingga akhir. Pelan percuma boleh dimulakan dengan kunci model anda sendiri.