Reviewing and Extending the Five-User Assumption: A Grounded Procedure for Interaction Evaluation

Penulis : SIMONE BORSCI, ROBERT D. MACREDIE, dan JULIE BARNETT, Brunel University

JENNIFER MARTIN, University of Nottingham

JASNA KULJIS dan TERRY YOUNG, Brunel University

URL doi : http://dx.doi.org/10.1145/2506210

Abstrak : The debate concerning how many participants represents a sufficient number for interaction testing is well established and long-running, with prominent contributions arguing that five users provide a good benchmark when seeking to discover interaction problems. We argue that adoption of five users in this context is often done with little understanding of the basis for, or implications of, the decision. We present an analysis of relevant research to clarify the meaning of the five-user assumption and to examine the way in which the original research that suggested it has been applied. This includes its blind adoption and application in some studies, and complaints about its inadequacies in others. We argue that the five-user assumption is often misunderstood, not only in the field of Human-Computer Interaction, but also in fields such as medical device design, or in business and information applications. The analysis that we present allows us to define a systematic approach for monitoring the sample discovery likelihood, in formative and summative evaluations, and for gathering information in order to make critical decisions during the interaction testing, while respecting the aim of the evaluation and allotted budget. This approach – which we call the Grounded Procedure – is introduced and its value argued.

Pengkaji : Ammar Imron Muhammad (G64120099)

Kajian :

Paper ini membahas tentang evaluasi terhadap interaksi yang terdapat di bidang Interaksi Manusia dan Komputer (IMK). Di bidang IMK, suatu evaluasi didefinisikan dan diintegrasikan ke dalam proses desain, dan digunakan untuk memastikan sifat interaksi teknologi tertentu. Pendekatan Return on Investment (ROI) digunakan untuk hal tersebut agar dapat mempertimbangkan berapa banyak kesalahan yang baru dari setiap subjek yang diamati. ROI mengasumsikan kebebasan stochastic dari subjek pada evaluasi yang dilakukan untuk suatu produk. Model ROI tersebut bertujuan untuk menyimpulkan jumlah subjek yang diperlukan untuk dapat melebihi ambang batas berdasarkan jumlah masalah baru atau masalah diidentifikasi oleh masing-masing subjek tambahan. ROI model tersebut diterapkan untuk menganalisis set data dari teknik protokol verbal dan evaluasi berbasis ahli serta menunjukkan bahwa sampel terdiri dari tiga sampai lima subjek dengan keterampilan yang sesuai dan umumnya cukup untuk menilai interaksi antarmuka web dan mengidentifikasi setidaknya 80% masalah antarmuka. Hal tersebut dikenal sebagai five-user assumption. Model ROI tersebut pada dasarnya adalah sebuah aplikasi dari Formula Kesalahan Distribusi. Formula tersebut memiliki beberapa karakteristik. Pertama, dapat diakses dan memberikan wawasan distribusi kesalahan yang dapat membimbing evaluasi serta mudah diterapkan. Kedua, menyediakan cara mengefektifkan biaya dari evaluasi. Ketiga, memberikan sebuah standarisasi evaluasi terhadap industri. Keempat, menyediakan dasar untuk evaluasi yang berguna dalam banyak kasus. Kelima, relatif tidak sensitif terhadap variasi kecil dalam nilai-nilai parameter yang muncul dari pengguna pada konteks evaluasi yang diberikan.

Untuk menghasilkan laporan evaluasi ketika hasil proses keputusan, dibutuhkan sampel yang lebih besar dari lima. Evaluator harus mengikuti serangkaian langkah-langkah yang disebut sebagai Grounded Procedure (GP). Prosedur tersebut berguna ketika five-user assumption diterima saat pengujian keandalan dari penilaian suatu produk. Prosedur tersebut menyatakan bahwa praktisi dapat memperoleh perkiraan ukuran sampel yang akurat untuk tujuan penemuan masalah mulai dari 70% sampai 95% dengan membuat perkiraan awal ukuran sampel yang diperlukan setelah menjalankan dua evaluasi, kemudian menyesuaikan perkiraan setelah mendapat data dari dua evaluasi lainnya.

Secara garis besar, five-user assumption dapat digunakan sebagai titik awal yang baik untuk menganalisis antarmuka sistem web. Namun, asumsi tersebut belum tentu cukup untuk dipakai dalam evaluasi karena pilihan nomor sampel tergantung pada kemungkinan ditemukannya sampel. Dibalik kekurangan tersebut five-user assumption juga menyediakan probabilitas tinggi (tapi tidak pasti) yang menyatakan bahwa sampel tersebut memiliki tingkat kemungkinan penemuan yang tinggi. Di sisi lain, penggunaan Grounded Procedure dapat membantu evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi yang telah dilakukan setelah five-user assumption diterapkan. Dalam konteks ini, GP menawarkan cara untuk mengendalikan biaya evaluasi dan menjamin keterwakilan sampel serta kualitas yang terkait dari data evaluasi.

Oleh karena itu, dapat disimpulkan bahwa five-user assumption menyediakan titik awal yang baik untuk mengevaluasi teknologi tertentu (misalnya, situs web) dengan teknik evaluasi tertentu (misalnya, thinking aloud). Selain itu, lima sampel subjek juga dapat diandalkan jika memiliki tingkat tertentu dalam penemuan kemungkinan (≥ 0,30). Konsep lima pengguna tersebut dapat dikatakan cukup atau tidak dalam keandalan evaluasi tergantung pada perilaku sampel  karena hal tersebut mempengaruhi keandalan penilaian dan keterwakilan data yang dikumpulkan. Di sisi lain, Grounded Procedure hadir untuk memungkinkan praktisi dalam menganalisis keandalan data dari usability test yang dilakukan. Selain itu, GP memungkinkan praktisi dalam memperkirakan ukuran sampel yang dibutuhkan untuk mengidentifikasi proporsi tertentu masalah interaksi. Metode ini memberikan perspektif baru pada kemungkinan penemuan dan merancang studi evaluasi dan memberikan desainer atau produsen sarana untuk menggunakan data evaluasi mereka dalam menginformasikan keputusan terhadap sistem ataupun produk serta memberikan dukungan keputusan ketika akan memperbesar sampel, mendesain ulang, atau menjual produk. Hal tersebut juga memungkinkan keandalan evaluasi yang akan dihitung dan akan membantu desainer atau produsen untuk melakukan studi evaluasi yang efisien dalam mengendalikan biaya dan juga memungkinkan mereka untuk menunjukkan objektivitas keandalan evaluasi mereka kepada regulator dan pembeli.

Blog yang telah dikomentari :

http://drbears.blogspot.com/2015/06/lets-jam-reactable-peer-learning-during.html?showComment=1434923085323#c6701361976999621508

http://nurdeviilkom49.blogspot.com/2015/06/motivation-as-lens-to-understand-online.html?showComment=1434923179432#c3775595980838695119

http://el247.blogspot.com/2015/06/take-home-test-3-kajian-artikel-ilmiah.html?showComment=1434923429114#c5087218078733504976