Reviewing and Extending the Five-User Assumption: A Grounded Procedure for Interaction Evaluation

Penulis : SIMONE BORSCI, ROBERT D. MACREDIE, dan JULIE BARNETT, Brunel University

JENNIFER MARTIN, University of Nottingham

JASNA KULJIS dan TERRY YOUNG, Brunel University

URL doi : http://dx.doi.org/10.1145/2506210

Abstrak : The debate concerning how many participants represents a sufficient number for interaction testing is well established and long-running, with prominent contributions arguing that five users provide a good benchmark when seeking to discover interaction problems. We argue that adoption of five users in this context is often done with little understanding of the basis for, or implications of, the decision. We present an analysis of relevant research to clarify the meaning of the five-user assumption and to examine the way in which the original research that suggested it has been applied. This includes its blind adoption and application in some studies, and complaints about its inadequacies in others. We argue that the five-user assumption is often misunderstood, not only in the field of Human-Computer Interaction, but also in fields such as medical device design, or in business and information applications. The analysis that we present allows us to define a systematic approach for monitoring the sample discovery likelihood, in formative and summative evaluations, and for gathering information in order to make critical decisions during the interaction testing, while respecting the aim of the evaluation and allotted budget. This approach – which we call the Grounded Procedure – is introduced and its value argued.

Pengkaji : Ammar Imron Muhammad (G64120099)

Kajian :

Paper ini membahas tentang evaluasi terhadap interaksi yang terdapat di bidang Interaksi Manusia dan Komputer (IMK). Di bidang IMK, suatu evaluasi didefinisikan dan diintegrasikan ke dalam proses desain, dan digunakan untuk memastikan sifat interaksi teknologi tertentu. Pendekatan Return on Investment (ROI) digunakan untuk hal tersebut agar dapat mempertimbangkan berapa banyak kesalahan yang baru dari setiap subjek yang diamati. ROI mengasumsikan kebebasan stochastic dari subjek pada evaluasi yang dilakukan untuk suatu produk. Model ROI tersebut bertujuan untuk menyimpulkan jumlah subjek yang diperlukan untuk dapat melebihi ambang batas berdasarkan jumlah masalah baru atau masalah diidentifikasi oleh masing-masing subjek tambahan. ROI model tersebut diterapkan untuk menganalisis set data dari teknik protokol verbal dan evaluasi berbasis ahli serta menunjukkan bahwa sampel terdiri dari tiga sampai lima subjek dengan keterampilan yang sesuai dan umumnya cukup untuk menilai interaksi antarmuka web dan mengidentifikasi setidaknya 80% masalah antarmuka. Hal tersebut dikenal sebagai five-user assumption. Model ROI tersebut pada dasarnya adalah sebuah aplikasi dari Formula Kesalahan Distribusi. Formula tersebut memiliki beberapa karakteristik. Pertama, dapat diakses dan memberikan wawasan distribusi kesalahan yang dapat membimbing evaluasi serta mudah diterapkan. Kedua, menyediakan cara mengefektifkan biaya dari evaluasi. Ketiga, memberikan sebuah standarisasi evaluasi terhadap industri. Keempat, menyediakan dasar untuk evaluasi yang berguna dalam banyak kasus. Kelima, relatif tidak sensitif terhadap variasi kecil dalam nilai-nilai parameter yang muncul dari pengguna pada konteks evaluasi yang diberikan.

Untuk menghasilkan laporan evaluasi ketika hasil proses keputusan, dibutuhkan sampel yang lebih besar dari lima. Evaluator harus mengikuti serangkaian langkah-langkah yang disebut sebagai Grounded Procedure (GP). Prosedur tersebut berguna ketika five-user assumption diterima saat pengujian keandalan dari penilaian suatu produk. Prosedur tersebut menyatakan bahwa praktisi dapat memperoleh perkiraan ukuran sampel yang akurat untuk tujuan penemuan masalah mulai dari 70% sampai 95% dengan membuat perkiraan awal ukuran sampel yang diperlukan setelah menjalankan dua evaluasi, kemudian menyesuaikan perkiraan setelah mendapat data dari dua evaluasi lainnya.

Secara garis besar, five-user assumption dapat digunakan sebagai titik awal yang baik untuk menganalisis antarmuka sistem web. Namun, asumsi tersebut belum tentu cukup untuk dipakai dalam evaluasi karena pilihan nomor sampel tergantung pada kemungkinan ditemukannya sampel. Dibalik kekurangan tersebut five-user assumption juga menyediakan probabilitas tinggi (tapi tidak pasti) yang menyatakan bahwa sampel tersebut memiliki tingkat kemungkinan penemuan yang tinggi. Di sisi lain, penggunaan Grounded Procedure dapat membantu evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi yang telah dilakukan setelah five-user assumption diterapkan. Dalam konteks ini, GP menawarkan cara untuk mengendalikan biaya evaluasi dan menjamin keterwakilan sampel serta kualitas yang terkait dari data evaluasi.

Oleh karena itu, dapat disimpulkan bahwa five-user assumption menyediakan titik awal yang baik untuk mengevaluasi teknologi tertentu (misalnya, situs web) dengan teknik evaluasi tertentu (misalnya, thinking aloud). Selain itu, lima sampel subjek juga dapat diandalkan jika memiliki tingkat tertentu dalam penemuan kemungkinan (≥ 0,30). Konsep lima pengguna tersebut dapat dikatakan cukup atau tidak dalam keandalan evaluasi tergantung pada perilaku sampel  karena hal tersebut mempengaruhi keandalan penilaian dan keterwakilan data yang dikumpulkan. Di sisi lain, Grounded Procedure hadir untuk memungkinkan praktisi dalam menganalisis keandalan data dari usability test yang dilakukan. Selain itu, GP memungkinkan praktisi dalam memperkirakan ukuran sampel yang dibutuhkan untuk mengidentifikasi proporsi tertentu masalah interaksi. Metode ini memberikan perspektif baru pada kemungkinan penemuan dan merancang studi evaluasi dan memberikan desainer atau produsen sarana untuk menggunakan data evaluasi mereka dalam menginformasikan keputusan terhadap sistem ataupun produk serta memberikan dukungan keputusan ketika akan memperbesar sampel, mendesain ulang, atau menjual produk. Hal tersebut juga memungkinkan keandalan evaluasi yang akan dihitung dan akan membantu desainer atau produsen untuk melakukan studi evaluasi yang efisien dalam mengendalikan biaya dan juga memungkinkan mereka untuk menunjukkan objektivitas keandalan evaluasi mereka kepada regulator dan pembeli.

Blog yang telah dikomentari :

http://drbears.blogspot.com/2015/06/lets-jam-reactable-peer-learning-during.html?showComment=1434923085323#c6701361976999621508

http://nurdeviilkom49.blogspot.com/2015/06/motivation-as-lens-to-understand-online.html?showComment=1434923179432#c3775595980838695119

http://el247.blogspot.com/2015/06/take-home-test-3-kajian-artikel-ilmiah.html?showComment=1434923429114#c5087218078733504976

User Control and Freedom - posindonesia.co.id

User Control and Freedom merupakan kebebasan yang diberikan kepada user untuk mengubah state yang mereka inginkan seperti melakukan suatu kontrol atau membatalkan suatu perintah. Berikut ini beberapa contoh kekurangan terhadap masalah User Control and Freedom pada posindonesia.co.id :

Link kembali yang tidak berfungsi ketika menemui pesan error 404 not found

Ketika user mendapatkan pesan error 404 not found setelah memasuki link weselpos internasional, user diberikan pilihan untuk kembali atau ke homepage. Namun, jika user memilih kembali, user tidak dapat kembali ke posisi user tersebut sebelumnya.

Rekomendasi perbaikan : Seharusnya user diberi kebebasan untuk kembali ke posisi sebelumnya atau arahkan saja user langsung ke homepage.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Pemilihan asal dan tujuan hanya dapat menggunakan kodepos pada menu tarif kiriman pos

Ketika user ingin mengetahui tarif kiriman pos, user dapat menggunakan fitur tarif kiriman pos dengan memasukkan daerah asal dan tujuan pengiriman. Namun, pada kotak isian daerah asal dan tujuan tersebut hanya dapat dimasukkan kode pos sehingga kebebasan user menjadi terbatasi.

Rekomendasi perbaikan : Seharusnya user diberi kebebasan untuk memilih memasukkan kodepos atau daerah. Seringkali user akan lebih merasa mudah jika dapat memasukkan nama daerah dibandingkan kodepos.

Severity rating : 2
karena hal tersebut jika diperbaiki akan memberikan kenyamanan kepada user sehingga akan lebih baik jika segera diperbaiki.

Help and Documentation - posindonesia.co.id

Help and Documentation merupakan suatu fasilitas bantuan bagi user untuk menjalankan fungsi pada suatu aplikasi. Informasi yang diberikan fasilitas bantuan tersebut seharusnya mudah untuk dicari dan diikuti oleh user. Berikut ini beberapa contoh kekurangan terhadap masalah Help and Documentation pada posindonesia.co.id :

FAQ yang tidak langsung terintegrasi dengan fungsi-fungsi yang ada di website posindonesia.co.id

FAQ yang terdapat pada posindonesia.co.id memberikan sedikit penjelasan mengenai website tersebut. Hal tersebut sudah cukup memberikan bantuan kepada user. Namun, FAQ tersebut tidak langsung terintegrasi dengan fungsi-fungsi yang ada pada website tersebut sehingga kurang memberikan kemudahan kepada user.

Rekomendasi perbaikan : Seharusnya FAQ langsung terintegrasi dengan fungsi-fungsi yang ada pada website tersebut dengan cara memberikan link langsung terhadap fungsi yang bersangkutan.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Fitur Bantuan yang tidak berisi dan diletakkan pada pelanggankorporat.posindonesia.co.id

Pada halaman awal pelanggankorporat.posindonesia.co.id diletakkan fitur bantuan yang tidak berisi apapun. Hal tersebut tidaklah berguna jika tidak memiliki isi apapun.

Rekomendasi perbaikan : Seharusnya fitur bantuan yang kosong tidak perlu dipakai.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

Consistency and Standard - posindonesia.co.id

Consistency and Standard merupakan kekonsistenan dan penggunaan standar pada suatu aplikasi agar memudahkan user dalam berinteraksi sehingga tidak membutuhkan pembelajaran khusus. Hal tersebut dapat memberikan kenyamanan dan kemudahan kepada user. Berikut ini beberapa contoh kekurangan terhadap masalah Consistency and Standard pada posindonesia.co.id :

Penggunaan teks berwarna biru pada judul artikel sehingga terlihat seperti link

Teks dengan warna biru sudah menjadi standar dan dikenal oleh banyak orang sebagai hyperlink. Namun judul artikel pada posindonesia.co.id diberi warna biru sehingga dapat mengakibatkan salah interpretasi sebagai hyperlink (padahal bukan merupakan suatu hyperlink).

Rekomendasi perbaikan : Seharusnya judul artikel diberi warna selain biru, misalnya hitam.

Severity rating : 1
karena bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Beberapa artikel memiliki lebar preview yang tidak sama

Atikel-artikel yang ditampilkan pada halaman awal dalam bentuk preview seharusnya ditampilkan dengan lebar yang sama agar enak untuk dilihat. Namun, pada posindonesia.co.id tidak semua preview artikel ditampilkan dengan lebar yang sama dan bahkan ada beberapa artikel yang langsung ditampilkan keseluruhan tanpa preview sehingga menyebabkan halaman awal menjadi panjang dan terlihat kurang konsisten.

Rekomendasi perbaikan : Seharusnya setiap artikel ditampilkan dalam bentuk preview yang ukurannya sama.

Severity rating : 1
karena bukanlah hal yang sangat penting untuk segera diperbaiki.

Help User Recognize, Diagnose, and Recover from Errors - posindonesia.co.id

Help User Recognize, Diagnose, and Recover from Errors merupakan upaya pengenalan, pendiagnosaan, dan pemulihan terhadap kesalahan yang telah terjadi. Sistem seharusnya memberikan petunjuk atau pesan secara detail, membantu, dan mudah dimengerti kepada user agar user dapat memperbaiki kesalahan yang telah terjadi tersebut. Berikut ini beberapa contoh kekurangan terhadap masalah Help User Recognize, Diagnose, and Recover from Errors pada posindonesia.co.id :

Pesan error 404 not found tanpa penjelasan tambahan apapun yang muncul ketika memasuki link weselpos domestik

Ketika user mengakses link weselpos domestik, muncul pesan error 404 not found tanpa penjelasan tambahan apapun. Hal tersebut dapat membuat user menjadi bingung jika tidak diberikan penjelasan apapun.

Rekomendasi perbaikan : Seharusnya pesan error tersebut ditambahkan penjelasan dan petunjuk mengenai alternatif apa yang dapat dilakukan oleh user.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Pesan error yang tidak mudah dipahami muncul ketika salah memasukkan username pada fitur lupa kata sandi

Ketika user ingin login pada kodepos.posindonesia.co.id dan lupa kata sandi, user akan cenderung untuk menggunakan fitur lupa kata sandi. Di dalam fitur tersebut user dapat me-recover kata sandi dengan memasukkan email atau username. Namun, jika user memilih berdasarkan username dan salah memasukkan username, maka akan muncul pesan error dengan penjelasan yang tidak mudah dipahami yaitu "parameter tidak valid".

Rekomendasi perbaikan : Seharusnya pesan error yang muncul diberi penjeasan yang lebih mudah dipahami seperti "username tidak valid".

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

Error Prevention - posindonesia.co.id

Error Prevention merupakan pencegahan terhadap kesalahan yang mungkin saja terjadi. Sistem seharusnya memberikan suatu usaha pencegahan ketika user akan melakukan kesalahan terhadap sistem sehingga user akan berhati-hati dalam melakukan tindakan selanjutnya. Berikut ini beberapa contoh kekurangan terhadap masalah Error Prevention pada posindonesia.co.id :

Tidak terdeteksinya kesalahan penulisan alamat email pada form pengaduan dan informasi pelanggan dengan tujuan permintaan informasi

Ketika user ingin melakukan pengaduan, maka user dapat mengisi form pengaduan beserta identitas diri. Pada form tersebut terdapat kotak isian email. Ketika user mengisikan email yang tidak sesuai, sistem tetap menerima inputan tersebut dan memasukkan pengaduan tersebut ke database.

Rekomendasi perbaikan : Seharusnya sistem memberikan batasan format input email yang diperbolehkan untuk diisi pada kotak isian tersebut sehingga ketika user mengisi dengan format yang tidak sesuai, sistem akan memberikan pesan error dan user tidak dapat melakukan submit sebelum memperbaiki format penulisan emailnya.

Severity rating : 3
karena apabila hal tersebut tidak segera diperbaiki, maka berbagai pengaduan palsu akan dengan mudah masuk ke database. Akibatnya database akan dipenuhi dengan pengaduan yang tidak sesuai.

--------------------------------------------------------------------------------------------------------------------------

Tidak terdeteksinya kesalahan penulisan nomor kiriman pada form pengaduan dan informasi pelanggan dengan tujuan keluhan permintaan pos

Ketika user ingin melakukan keluhan kiriman pos, maka user dapat mengisi form pengaduan dengan mencantumkan nomor kiriman. Namun, ketika user mengisikan nomor kiriman dengan tidak sesuai, sistem tetap menerima inputan tersebut dan memasukkan pengaduan tersebut ke database.

Rekomendasi perbaikan : Seharusnya sistem memberikan batasan format input nomor kiriman yang diperbolehkan untuk diisi pada kotak isian tersebut sehingga ketika user mengisi dengan format yang tidak sesuai, sistem akan memberikan pesan error dan user tidak dapat melakukan submit sebelum memperbaiki format penulisan emailnya.

Severity rating : 3
karena apabila hal tersebut tidak segera diperbaiki, maka berbagai pengaduan dengan nomor kiriman yang tidak sesuai akan masuk ke database. Akibatnya database akan dipenuhi dengan pengaduan yang tidak sesuai.

Visualisasi Informasi

Visualisasi Informasi merupakan suatu metode rekayasa dalam pembuatan diagram, gambar, atau animasi untuk menampilkan suatu informasi. Visualisasi informasi tersebut merepresentasikan suatu data yang disajikan dalam berbagai bentuk visualisai. Oleh karena itu, pemilihan bentuk visualisasi informasi sangatlah penting agar dapat memberikan pemahaman secara langsung kepada pembaca.

Kali ini saya mencoba untuk memvisualisasikan data Ekspor Komoditas Perairan Indonesia Tahun 2009-2013 yang diambil dari buku Statistika Indonesia 2014 halaman 508, 512, dan 513. Tools yang saya gunakan untuk memvisualisasikan data tersebut adalah infogr.am.

Berikut hasil visualisasinya :

Ekspor Komoditas perairan Indonesia | Create infographics