Reviewing and Extending the Five-User Assumption: A Grounded Procedure for Interaction Evaluation

Penulis : SIMONE BORSCI, ROBERT D. MACREDIE, dan JULIE BARNETT, Brunel University

JENNIFER MARTIN, University of Nottingham

JASNA KULJIS dan TERRY YOUNG, Brunel University

URL doi : http://dx.doi.org/10.1145/2506210

Abstrak : The debate concerning how many participants represents a sufficient number for interaction testing is well established and long-running, with prominent contributions arguing that five users provide a good benchmark when seeking to discover interaction problems. We argue that adoption of five users in this context is often done with little understanding of the basis for, or implications of, the decision. We present an analysis of relevant research to clarify the meaning of the five-user assumption and to examine the way in which the original research that suggested it has been applied. This includes its blind adoption and application in some studies, and complaints about its inadequacies in others. We argue that the five-user assumption is often misunderstood, not only in the field of Human-Computer Interaction, but also in fields such as medical device design, or in business and information applications. The analysis that we present allows us to define a systematic approach for monitoring the sample discovery likelihood, in formative and summative evaluations, and for gathering information in order to make critical decisions during the interaction testing, while respecting the aim of the evaluation and allotted budget. This approach – which we call the Grounded Procedure – is introduced and its value argued.

Pengkaji : Ammar Imron Muhammad (G64120099)

Kajian :

Paper ini membahas tentang evaluasi terhadap interaksi yang terdapat di bidang Interaksi Manusia dan Komputer (IMK). Di bidang IMK, suatu evaluasi didefinisikan dan diintegrasikan ke dalam proses desain, dan digunakan untuk memastikan sifat interaksi teknologi tertentu. Pendekatan Return on Investment (ROI) digunakan untuk hal tersebut agar dapat mempertimbangkan berapa banyak kesalahan yang baru dari setiap subjek yang diamati. ROI mengasumsikan kebebasan stochastic dari subjek pada evaluasi yang dilakukan untuk suatu produk. Model ROI tersebut bertujuan untuk menyimpulkan jumlah subjek yang diperlukan untuk dapat melebihi ambang batas berdasarkan jumlah masalah baru atau masalah diidentifikasi oleh masing-masing subjek tambahan. ROI model tersebut diterapkan untuk menganalisis set data dari teknik protokol verbal dan evaluasi berbasis ahli serta menunjukkan bahwa sampel terdiri dari tiga sampai lima subjek dengan keterampilan yang sesuai dan umumnya cukup untuk menilai interaksi antarmuka web dan mengidentifikasi setidaknya 80% masalah antarmuka. Hal tersebut dikenal sebagai five-user assumption. Model ROI tersebut pada dasarnya adalah sebuah aplikasi dari Formula Kesalahan Distribusi. Formula tersebut memiliki beberapa karakteristik. Pertama, dapat diakses dan memberikan wawasan distribusi kesalahan yang dapat membimbing evaluasi serta mudah diterapkan. Kedua, menyediakan cara mengefektifkan biaya dari evaluasi. Ketiga, memberikan sebuah standarisasi evaluasi terhadap industri. Keempat, menyediakan dasar untuk evaluasi yang berguna dalam banyak kasus. Kelima, relatif tidak sensitif terhadap variasi kecil dalam nilai-nilai parameter yang muncul dari pengguna pada konteks evaluasi yang diberikan.

Untuk menghasilkan laporan evaluasi ketika hasil proses keputusan, dibutuhkan sampel yang lebih besar dari lima. Evaluator harus mengikuti serangkaian langkah-langkah yang disebut sebagai Grounded Procedure (GP). Prosedur tersebut berguna ketika five-user assumption diterima saat pengujian keandalan dari penilaian suatu produk. Prosedur tersebut menyatakan bahwa praktisi dapat memperoleh perkiraan ukuran sampel yang akurat untuk tujuan penemuan masalah mulai dari 70% sampai 95% dengan membuat perkiraan awal ukuran sampel yang diperlukan setelah menjalankan dua evaluasi, kemudian menyesuaikan perkiraan setelah mendapat data dari dua evaluasi lainnya.

Secara garis besar, five-user assumption dapat digunakan sebagai titik awal yang baik untuk menganalisis antarmuka sistem web. Namun, asumsi tersebut belum tentu cukup untuk dipakai dalam evaluasi karena pilihan nomor sampel tergantung pada kemungkinan ditemukannya sampel. Dibalik kekurangan tersebut five-user assumption juga menyediakan probabilitas tinggi (tapi tidak pasti) yang menyatakan bahwa sampel tersebut memiliki tingkat kemungkinan penemuan yang tinggi. Di sisi lain, penggunaan Grounded Procedure dapat membantu evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi yang telah dilakukan setelah five-user assumption diterapkan. Dalam konteks ini, GP menawarkan cara untuk mengendalikan biaya evaluasi dan menjamin keterwakilan sampel serta kualitas yang terkait dari data evaluasi.

Oleh karena itu, dapat disimpulkan bahwa five-user assumption menyediakan titik awal yang baik untuk mengevaluasi teknologi tertentu (misalnya, situs web) dengan teknik evaluasi tertentu (misalnya, thinking aloud). Selain itu, lima sampel subjek juga dapat diandalkan jika memiliki tingkat tertentu dalam penemuan kemungkinan (≥ 0,30). Konsep lima pengguna tersebut dapat dikatakan cukup atau tidak dalam keandalan evaluasi tergantung pada perilaku sampel  karena hal tersebut mempengaruhi keandalan penilaian dan keterwakilan data yang dikumpulkan. Di sisi lain, Grounded Procedure hadir untuk memungkinkan praktisi dalam menganalisis keandalan data dari usability test yang dilakukan. Selain itu, GP memungkinkan praktisi dalam memperkirakan ukuran sampel yang dibutuhkan untuk mengidentifikasi proporsi tertentu masalah interaksi. Metode ini memberikan perspektif baru pada kemungkinan penemuan dan merancang studi evaluasi dan memberikan desainer atau produsen sarana untuk menggunakan data evaluasi mereka dalam menginformasikan keputusan terhadap sistem ataupun produk serta memberikan dukungan keputusan ketika akan memperbesar sampel, mendesain ulang, atau menjual produk. Hal tersebut juga memungkinkan keandalan evaluasi yang akan dihitung dan akan membantu desainer atau produsen untuk melakukan studi evaluasi yang efisien dalam mengendalikan biaya dan juga memungkinkan mereka untuk menunjukkan objektivitas keandalan evaluasi mereka kepada regulator dan pembeli.

Blog yang telah dikomentari :

http://drbears.blogspot.com/2015/06/lets-jam-reactable-peer-learning-during.html?showComment=1434923085323#c6701361976999621508

http://nurdeviilkom49.blogspot.com/2015/06/motivation-as-lens-to-understand-online.html?showComment=1434923179432#c3775595980838695119

http://el247.blogspot.com/2015/06/take-home-test-3-kajian-artikel-ilmiah.html?showComment=1434923429114#c5087218078733504976

User Control and Freedom - posindonesia.co.id

User Control and Freedom merupakan kebebasan yang diberikan kepada user untuk mengubah state yang mereka inginkan seperti melakukan suatu kontrol atau membatalkan suatu perintah. Berikut ini beberapa contoh kekurangan terhadap masalah User Control and Freedom pada posindonesia.co.id :

Link kembali yang tidak berfungsi ketika menemui pesan error 404 not found

Ketika user mendapatkan pesan error 404 not found setelah memasuki link weselpos internasional, user diberikan pilihan untuk kembali atau ke homepage. Namun, jika user memilih kembali, user tidak dapat kembali ke posisi user tersebut sebelumnya.

Rekomendasi perbaikan : Seharusnya user diberi kebebasan untuk kembali ke posisi sebelumnya atau arahkan saja user langsung ke homepage.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Pemilihan asal dan tujuan hanya dapat menggunakan kodepos pada menu tarif kiriman pos

Ketika user ingin mengetahui tarif kiriman pos, user dapat menggunakan fitur tarif kiriman pos dengan memasukkan daerah asal dan tujuan pengiriman. Namun, pada kotak isian daerah asal dan tujuan tersebut hanya dapat dimasukkan kode pos sehingga kebebasan user menjadi terbatasi.

Rekomendasi perbaikan : Seharusnya user diberi kebebasan untuk memilih memasukkan kodepos atau daerah. Seringkali user akan lebih merasa mudah jika dapat memasukkan nama daerah dibandingkan kodepos.

Severity rating : 2
karena hal tersebut jika diperbaiki akan memberikan kenyamanan kepada user sehingga akan lebih baik jika segera diperbaiki.

Help and Documentation - posindonesia.co.id

Help and Documentation merupakan suatu fasilitas bantuan bagi user untuk menjalankan fungsi pada suatu aplikasi. Informasi yang diberikan fasilitas bantuan tersebut seharusnya mudah untuk dicari dan diikuti oleh user. Berikut ini beberapa contoh kekurangan terhadap masalah Help and Documentation pada posindonesia.co.id :

FAQ yang tidak langsung terintegrasi dengan fungsi-fungsi yang ada di website posindonesia.co.id

FAQ yang terdapat pada posindonesia.co.id memberikan sedikit penjelasan mengenai website tersebut. Hal tersebut sudah cukup memberikan bantuan kepada user. Namun, FAQ tersebut tidak langsung terintegrasi dengan fungsi-fungsi yang ada pada website tersebut sehingga kurang memberikan kemudahan kepada user.

Rekomendasi perbaikan : Seharusnya FAQ langsung terintegrasi dengan fungsi-fungsi yang ada pada website tersebut dengan cara memberikan link langsung terhadap fungsi yang bersangkutan.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Fitur Bantuan yang tidak berisi dan diletakkan pada pelanggankorporat.posindonesia.co.id

Pada halaman awal pelanggankorporat.posindonesia.co.id diletakkan fitur bantuan yang tidak berisi apapun. Hal tersebut tidaklah berguna jika tidak memiliki isi apapun.

Rekomendasi perbaikan : Seharusnya fitur bantuan yang kosong tidak perlu dipakai.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

Consistency and Standard - posindonesia.co.id

Consistency and Standard merupakan kekonsistenan dan penggunaan standar pada suatu aplikasi agar memudahkan user dalam berinteraksi sehingga tidak membutuhkan pembelajaran khusus. Hal tersebut dapat memberikan kenyamanan dan kemudahan kepada user. Berikut ini beberapa contoh kekurangan terhadap masalah Consistency and Standard pada posindonesia.co.id :

Penggunaan teks berwarna biru pada judul artikel sehingga terlihat seperti link

Teks dengan warna biru sudah menjadi standar dan dikenal oleh banyak orang sebagai hyperlink. Namun judul artikel pada posindonesia.co.id diberi warna biru sehingga dapat mengakibatkan salah interpretasi sebagai hyperlink (padahal bukan merupakan suatu hyperlink).

Rekomendasi perbaikan : Seharusnya judul artikel diberi warna selain biru, misalnya hitam.

Severity rating : 1
karena bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Beberapa artikel memiliki lebar preview yang tidak sama

Atikel-artikel yang ditampilkan pada halaman awal dalam bentuk preview seharusnya ditampilkan dengan lebar yang sama agar enak untuk dilihat. Namun, pada posindonesia.co.id tidak semua preview artikel ditampilkan dengan lebar yang sama dan bahkan ada beberapa artikel yang langsung ditampilkan keseluruhan tanpa preview sehingga menyebabkan halaman awal menjadi panjang dan terlihat kurang konsisten.

Rekomendasi perbaikan : Seharusnya setiap artikel ditampilkan dalam bentuk preview yang ukurannya sama.

Severity rating : 1
karena bukanlah hal yang sangat penting untuk segera diperbaiki.

Help User Recognize, Diagnose, and Recover from Errors - posindonesia.co.id

Help User Recognize, Diagnose, and Recover from Errors merupakan upaya pengenalan, pendiagnosaan, dan pemulihan terhadap kesalahan yang telah terjadi. Sistem seharusnya memberikan petunjuk atau pesan secara detail, membantu, dan mudah dimengerti kepada user agar user dapat memperbaiki kesalahan yang telah terjadi tersebut. Berikut ini beberapa contoh kekurangan terhadap masalah Help User Recognize, Diagnose, and Recover from Errors pada posindonesia.co.id :

Pesan error 404 not found tanpa penjelasan tambahan apapun yang muncul ketika memasuki link weselpos domestik

Ketika user mengakses link weselpos domestik, muncul pesan error 404 not found tanpa penjelasan tambahan apapun. Hal tersebut dapat membuat user menjadi bingung jika tidak diberikan penjelasan apapun.

Rekomendasi perbaikan : Seharusnya pesan error tersebut ditambahkan penjelasan dan petunjuk mengenai alternatif apa yang dapat dilakukan oleh user.

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

--------------------------------------------------------------------------------------------------------------------------

Pesan error yang tidak mudah dipahami muncul ketika salah memasukkan username pada fitur lupa kata sandi

Ketika user ingin login pada kodepos.posindonesia.co.id dan lupa kata sandi, user akan cenderung untuk menggunakan fitur lupa kata sandi. Di dalam fitur tersebut user dapat me-recover kata sandi dengan memasukkan email atau username. Namun, jika user memilih berdasarkan username dan salah memasukkan username, maka akan muncul pesan error dengan penjelasan yang tidak mudah dipahami yaitu "parameter tidak valid".

Rekomendasi perbaikan : Seharusnya pesan error yang muncul diberi penjeasan yang lebih mudah dipahami seperti "username tidak valid".

Severity rating : 1
karena hal tersebut bukanlah hal yang sangat penting untuk segera diperbaiki.

Error Prevention - posindonesia.co.id

Error Prevention merupakan pencegahan terhadap kesalahan yang mungkin saja terjadi. Sistem seharusnya memberikan suatu usaha pencegahan ketika user akan melakukan kesalahan terhadap sistem sehingga user akan berhati-hati dalam melakukan tindakan selanjutnya. Berikut ini beberapa contoh kekurangan terhadap masalah Error Prevention pada posindonesia.co.id :

Tidak terdeteksinya kesalahan penulisan alamat email pada form pengaduan dan informasi pelanggan dengan tujuan permintaan informasi

Ketika user ingin melakukan pengaduan, maka user dapat mengisi form pengaduan beserta identitas diri. Pada form tersebut terdapat kotak isian email. Ketika user mengisikan email yang tidak sesuai, sistem tetap menerima inputan tersebut dan memasukkan pengaduan tersebut ke database.

Rekomendasi perbaikan : Seharusnya sistem memberikan batasan format input email yang diperbolehkan untuk diisi pada kotak isian tersebut sehingga ketika user mengisi dengan format yang tidak sesuai, sistem akan memberikan pesan error dan user tidak dapat melakukan submit sebelum memperbaiki format penulisan emailnya.

Severity rating : 3
karena apabila hal tersebut tidak segera diperbaiki, maka berbagai pengaduan palsu akan dengan mudah masuk ke database. Akibatnya database akan dipenuhi dengan pengaduan yang tidak sesuai.

--------------------------------------------------------------------------------------------------------------------------

Tidak terdeteksinya kesalahan penulisan nomor kiriman pada form pengaduan dan informasi pelanggan dengan tujuan keluhan permintaan pos

Ketika user ingin melakukan keluhan kiriman pos, maka user dapat mengisi form pengaduan dengan mencantumkan nomor kiriman. Namun, ketika user mengisikan nomor kiriman dengan tidak sesuai, sistem tetap menerima inputan tersebut dan memasukkan pengaduan tersebut ke database.

Rekomendasi perbaikan : Seharusnya sistem memberikan batasan format input nomor kiriman yang diperbolehkan untuk diisi pada kotak isian tersebut sehingga ketika user mengisi dengan format yang tidak sesuai, sistem akan memberikan pesan error dan user tidak dapat melakukan submit sebelum memperbaiki format penulisan emailnya.

Severity rating : 3
karena apabila hal tersebut tidak segera diperbaiki, maka berbagai pengaduan dengan nomor kiriman yang tidak sesuai akan masuk ke database. Akibatnya database akan dipenuhi dengan pengaduan yang tidak sesuai.

Visualisasi Informasi

Visualisasi Informasi merupakan suatu metode rekayasa dalam pembuatan diagram, gambar, atau animasi untuk menampilkan suatu informasi. Visualisasi informasi tersebut merepresentasikan suatu data yang disajikan dalam berbagai bentuk visualisai. Oleh karena itu, pemilihan bentuk visualisasi informasi sangatlah penting agar dapat memberikan pemahaman secara langsung kepada pembaca.

Kali ini saya mencoba untuk memvisualisasikan data Ekspor Komoditas Perairan Indonesia Tahun 2009-2013 yang diambil dari buku Statistika Indonesia 2014 halaman 508, 512, dan 513. Tools yang saya gunakan untuk memvisualisasikan data tersebut adalah infogr.am.

Berikut hasil visualisasinya :

Ekspor Komoditas perairan Indonesia | Create infographics

Komunikasi Data dan Jaringan Komputer - Eksplorasi Perintah pada Linux Terminal

Kali ini saya akan membahas tentang beberapa perintah-perintah pada Linux terminal yaitu w3m,wget, ssh,scp, dan rsync. Berikut adalah pembahasannya :

• w3m adalah klien berbasis World Wide Web (WWW) teks. Memiliki menu pilihan serta file help dalam bahasa Inggris atau Jepang yang dapat dikonfigurasi. w3m akan menampilkan hypertext markup language (HTML) dokumen yang berisi link ke file yang berada pada sistem lokal, serta file yang berada pada sistem remote. w3m juga dapat menampilkan tabel HTML dan frame. Selain itu, w3m juga dapat digunakan sebagai "pager". Versi terbaru w3m dapat dijalankan di Unix (Solaris, SunOS, HP-UX, Linux, FreeBSD, dan EWS4800) dan Microsoft Windows 9x / NT.

• GNU Wget adalah utilitas gratis untuk mengunduh file secara non-interaktif dari Web. wget mendukung protokol HTTP, HTTPS, dan FTP. Selain itu, wget juga mendukung pengambilan file melalui proxy HTTP. Sifat non-interaktif pada wget memiliki arti bahwa wget dapat bekerja sebagai background process saat pengguna sedang tidak login. Hal ini memungkinkan pengguna untuk memulai pengambilan dan memutuskan sambungan dari sistem pada saat wget sedang menyelesaikan pekerjaannya. Sebaliknya, sebagian besar web browser memerlukan kehadiran pengguna secara konstan yang biasanya menjadi penghalang besar ketika mentransfer banyak data.  

• ssh (client SSH) adalah sebuah program untuk login ke remote machine dan mengeksekusi perintah pada remote machine tersebut. Hal ini dimaksudkan untuk menggantikan rlogin dan rsh, serta menyediakan komunikasi yang terenkripsi antara dua untrusted host melalui jaringan tidak aman. Koneksi X11 dan arbitrary TCP / IP ports juga dapat diteruskan melalui secure channel.

• scp merupakan perintah yang berfungsi untuk menyalin file antar host pada suatu jaringan. scp menggunakan ssh untuk mentransfer data, dan menggunakan otentikasi yang sama serta memberikan keamanan yang sama seperti ssh. Tidak seperti rcp, scp akan meminta password atau passphrase jika terjadi proses otentikasi.

 

• rsync adalah program yang bekerja untuk menyalin file antar mesin seperti rcp, namun memiliki lebih banyak pilihan dan menggunakan rsync remote update protocol untuk mempercepat transfer file bila tujuan dari pengiriman file tersebut sudah ada.

 
Demikianlah pembahasan dari beberapa perintah pada Linux terminal tersebut.
Semoga tulisan ini dapat bermanfaat.
 

Referensi :
http://linux.about.com/library/cmd/

Tugas Kuliah Interaksi Manusia dan Komputer : Review Interface Homepage Online File Storage and Sharing 4shared

Untuk berbagi file dengan para pengguna internet dibutuhkan suatu online file storage and sharing. Salah satu online file storage and sharing yang terkenal adalah 4shared. Online file storage and sharing yang didirikan oleh Alex Lunkov dan Sergey Chudnovsky ini telah memiliki jutaan pengguna dan bahkan jutaan kunjungan per harinya. Hal tersebut salah satunya dipengaruhi oleh rancangan interface yang diberikan oleh 4shared kepada seluruh penggunanya. Kesan interface yang baik pada saat pertama kali melihat homepage suatu website dapat menimbulkan suatu ketertarikan pada website tersebut. Oleh karena itu, kali ini saya akan mencoba untuk membahas interface pada homepage 4shared yang beralamatkan https://www.4shared.com/

Berikut ini merupakan tampilan homepage 4shared :

Warna background homepage 4shared yang terlihat di atas memberikan kesan sedikit fresh dengan perpaduan warna biru dan abu-abu. Selain itu, penggunaan beberapa icon dan sedikit tulisan dengan font yang sesuai memperkuat kesan simple yang melekat pada website ini.

Pada homepage ini juga terdapat search box yang terletak pada bagian kiri homepage. Search box tersebut dilengkapi dengan fitur pemilihan kategori file untuk mempermudah pencarian file. Selain itu, pada bagian bawahnya terdapat kotak untuk mengupload file secara drag & drop. Dari sini dapat dirasakan bahwa 4shared sangat memberikan kemudahan bagi para penggunanya untuk melakukan file sharing.

Pada bagian kanan atas homepage terlihat icon login yang sangat simple serta pada bagian bawahnya terdapat form yang disediakan untuk mendaftar sebagai pengguna 4shared. Form pendaftaran tersebut juga sangat simple karena kita hanya perlu mengisi alamat e-mail dan password. Kemudahan dalam mendaftar inilah yang menjadi salah satu daya tarik para pengguna internet untuk menggunakan 4shared.

Jika dilihat secara keseluruhan, interface pada homepage 4shared dapat dikatakan cukup menarik dan simple. Selain itu, interface yang diberikan juga sudah cukup untuk memenuhi kebutuhan para penggunanya untuk melakukan penyimpanan file dan berbagi file dengan para pengguna internet lainnya.



Blog yang telah dikomentari penulis:
http://drbears.blogspot.com
http://nurdeviilkom49.blogspot.com
http://rijenjunips.blogspot.com