Kiat-kiat Dalam Merancang Eksperimen Produk

Jaman dahulu kala, orang memiliki gagasan berbeda tentang bagaimana Bumi ini bekerja. Beberapa kelompok percaya bahwa dunia ini bergantung pada sebuah pohon besar atau gunung. Sementara, yang lainnya berpikir bahwa Bumi itu datar dan ada tiga gajah menggotong-nya tinggi-tinggi (Terkadang, gajah diganti dengan ular atau kura-kura).

Berkas:PSM V10 D562 The hindoo earth.jpg - Wikipedia bahasa ...

Kemudian, para filsuf Yunani memperkenalkan konsep astronomi geosentris, cara berpikir ini membuka jalan bagi pencerahan ke depannya. Tetapi dalam model ini, Bumi masih dianggap sebagai pusat alam semesta, dan Matahari dan planet-planet lain berputar di sekitarnya

Pada abad ke-16, ketika era Renaissance, konsepsi tentang tempat Bumi di alam semesta berubah lagi. Kali ini, astronom dan ahli matematika Nicolaus Copernicus menempatkan Matahari pada pusat model semesta-nya, dengan planet-planet lain, termasuk Bumi, mengelilinginya. Dia juga membuktikan bahwa Bumi berputar pada poros-nya.

Nicolaus Copernicus | Somewhere in Warsaw, Poland | Gabriela Fab ...

Lalu datanglah era Sir Isaac Newton, dengan penemuannya tentang hukum gravitasi universal, diikuti oleh pengembangan sistem mekanika serta perumusan hukum dinamika. Ini adalah penemuan yang membentuk dasar fisika klasik. Newton menegaskan tiga prinsip Laws of Motion, menguraikan teori yang awalnya dibentuk Johannes Kepler dan menyatakan bahwa alam semesta tidak terbatas.

Pada tahun 1687, karyanya “Mathematical Principles of Natural Philosophy” merangkum hasil-hasil karya pendahulunya dan merumuskan metode untuk membuat model alam semesta menggunakan analisis matematika.


Ketika suatu tim mengembangkan sebuah produk baru, gagasan awal mereka tentang pasar dan kebutuhan pengguna sangat mirip dengan keseimbangan planet di belakang penyu raksasa: biasanya jauh dari kenyataan.

Secara bertahap, tim bekerja dan memahami lebih dalam berbagai aspek pengguna dan pasar, memperoleh informasi baru, lalu memperbarui konsepsi produknya. Prosesnya sangat mirip dengan bagaimana persepsi umat manusia tentang Bumi ber-evolusi, mengarah ke model-model baru.

girl in pink sweatshirt

Pahami Perbedaan antara Hipotesis dan Fakta

Mengetahui perbedaan antara hipotesis dan fakta adalah salah satu skill paling penting dalam ilmu product management.

Jika Anda mendasarkan aktivitas pengembangan produk pada hipotesis yang tidak ter-verifikasi, maka semua kesimpulan dan rencana menjadi berisiko. Hipotesis tidak terbukti yang di-asumsikan sebagai fakta menjadi sangat berbahaya, terutama jika itu sifatnya mendasar. Misalnya, jika Anda tidak menguji hipotesis value proposition dari produk yang dibuat, artinya Anda mempertaruhkan semua yang Anda miliki (uang, waktu, orang, reputasi) dengan asumsi yang tidak terbukti.

Menciptakan produk baru adalah aktivitas yang sangat berisiko. Itulah sebabnya tim produk harus mengubah semua hipotesis utama menjadi fakta untuk menghilangkan risiko utama sedini mungkin. Jika Anda melakukannya dengan benar, kepercayaan diri Anda pada produk juga akan terus meningkat.

Jika ada beberapa hipotesis penting di belakang produk yang akan dibuat, Anda harus mengubahnya menjadi fakta sebelum melanjutkan ke tahap pengembangan lebih lanjut. Melakukan hal ini membantu untuk meningkatkan peluang keberhasilan produk Anda.


Beberapa Pola dari Informasi yang bukan fakta

Berikut adalah hal-hal yang seringkali keliru dianggap sebagai fakta:

  • Informasi fitur serupa dari produk lain: Sesuatu yang bekerja untuk satu produk belum tentu bekerja untuk yang lain.
  • Informasi dari artikel blog: Mungkin Anda pernah membaca artikel yang mengklaim pernyataan seperti: “Menambahkan emoji ke Push Notification meningkatkan click-thru rate sebesar 53%.”
    Pernyataan seperti ini terdengar seperti fakta, tetapi ini belum tentu benar pada kasus Anda.
  • Pernyataan apa pun yang tidak didukung oleh data akurat

Namun, bila ada informasi yang sepertinya relevan, Anda dapat memasukan-nya ke dalam daftar eksperimen. Ini adalah satu-satunya cara untuk membuktikan hipotesis tersebut.


Eksperimen merupakan cara untuk mempelajari suatu produk

clear flask tubes lot

Eksperimen adalah satu-satunya cara untuk mengubah hipotesis menjadi fakta. Ketika Anda mengerjakan produk baru, Anda menghadapi dunia yang sama sekali baru, dengan aturan dan formula yang tidak diketahui.

Mungkin Anda dapat menerapkan permodelan sederhana yang ada dalam pikiran Anda mengenai produk ini, tetapi itu tidak bisa banyak membantu. Seringkali, kenyataan menjadi sangat berbeda dengan teori awal. Maka, satu-satunya cara untuk mempelajari lebih lanjut adalah dengan merumuskan hipotesis, mengujinya dan belajar dari hasilnya.

Tim yang tidak menjalankan eksperimen biasanya berpikir bahwa mereka sudah paham mengenai produk yang akan dibuat, mengenai pengguna mereka, dan apa saja yang harus dilakukan untuk mencapai hasil yang diinginkan. Sebaliknya, tim yang menggunakan eksperimen mengakui bahwa mereka hanya tahu sedikit tentang produk dan pengguna mereka. Cara berpikir ini memberi tim sebuah kesempatan untuk berkembang.

Kiat-kiat merancang Eksperimen

Semua eksperimen selalu dimulai dengan sebuah hipotesis. Tim merumuskan asumsi tentang teori yang diharapakan bisa mendapat hasil yang ingin dicapai.

woman biting pencil while sitting on chair in front of computer during daytime

Langkah selanjutnya dalam proses ini adalah menentukan metode spesifik untuk menguji hipotesis. Anda perlu memahami apa yang sebenarnya akan dijalankan pada eksperimen. Lalu, Anda juga harus memilih pengguna yang akan dilibatkan dalam eksperimen. Anda perlu membagi pengguna menjadi 2 kelompok, test dan control. Grup kategori test akan menjalankan rangkaian eksperimen, sementara grup dalam kategori control akan mendapatkan fitur standar. Pastikan bahwa distribusi-nya acak.

Kemudian, Anda perlu menentukan metric yang dipakai untuk mengukur dampak perubahan. Setelah percobaan berakhir, Anda juga harus mencari tahu penyebab detail bagaimana perubahan memengaruhi metric tersebut. Intinya, konsep dari hipotesis-nya harus dipikirkan secara matang di awal. Hal ini berguna untuk memperkirakan efek yang diharapkan dari eksperimen. Anda juga perlu menentukan tingkat perubahan yang diharapkan. Misalnya, jika perubahan dalam metric X kurang dari N%, maka eksperimen dianggap gagal dan fitur tidak layak ditambahkan.

Acuan dasar dalam menjalankan eksperimen

Daftar pertanyaan berikut bisa dijadikan acuan untuk rancangan eksperimen Anda:

  1. Apa hipotesis yang dibuat? (Jelaskan teori-nya bagaimana kita bisa mencapai hasil yang diinginkan!)
  2. Apa fitur yang diubah pada produk? (Jelaskan bagaimana perbedaan fitur yang dirasakan kelompok test dan control!)
  3. Segmen Pengguna seperti apa yang akan disertakan dalam pengujian?
  4. Apa metric utama yang menentukan hasil eksperimen (tentukan bagaimana Anda akan mengukur perubahan itu)?
  5. Berapa ukuran sampel yang dibutuhkan untuk dapat mengukur dampak yang diharapkan?
  6. Jelaskan action plan setelah Anda mendapatkan hasil eksperimen! (jika hasilnya X, maka kita akan melakukan Y, jika kita mendapatkan A, maka kita akan melakukan B)?

Bagaimana menentukan jumlah sampel pengguna yang tepat untuk Eksperimen

Untuk bisa melihat hasil eksperimen yang tepat, Anda perlu memperkirakan ukuran sampel yang diperlukan untuk menguji hipotesis. Dengan mengetahui ukuran sampel, Anda dapat menentukan waktu dan sumber daya yang dibutuhkan untuk mencapai hasil yang bisa dipercaya. Sangat penting untuk membuat perkiraan seperti itu. Mengingat pentingnya hasil eksperimen terhadap proses pembuatan keputusan, anda perlu melakukan perhitungan ini dengan seksama

Untuk itu, Anda bisa menggunakan kalkulator ukuran sampel pada tool berikut

Untuk memperkirakan ukuran sampel:

  1. Masukkan tingkat konversi dasar (Misalnya 17,4%).
  2. Masukkan efek perubahan minimum yang ingin kita lihat (Misalnya, 17,4% ± 2%).
  3. Tetapkan tingkat kepercayaan yang diinginkan. Misalnya, kita ingin mendapat tingkat kepercayaan 95%. Perhatikan bahwa dalam kalkulator ini, alih-alih tingkat kepercayaan, kami menetapkan parameter Alpha yang sama dengan perbedaan antara 100% dan tingkat kepercayaan, yaitu 100 – 95 = 5%.

Nah, sekarang Anda sudah paham kan betapa pentingnya menjalankan eksperimen untuk lebih memahami produk yang kalian kembangkan. Selanjutnya, waktunya untuk membawa produk Anda ke level selanjutnya! 🙂

Leave a Reply

Your email address will not be published. Required fields are marked *