Evaluasi

TEKNIK EVALUASI

Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

Evaluasi memiliki tiga tujuan utama, yaitu :

1.       Melihat seberapa jauh system berfungsi

Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat keefektifan system dalam mendukung tugas.

2.       Melihat efek interface bagi pengguna

Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.

3.       Mengidentifikasi problem khusus yang terjadi pada system

Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.

Ada dua jenis evaluasi.

1.           Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang percobaan dengan beberapa kondisi diantaranya :

a.       Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.

b.       Operator terbebas dari gangguan yang menghambat pekerjaan.

c.           Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.

d.       Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.

e.        Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.

2.           Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :         

a.       Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.

b.       Situasi yang lebih “terbuka” antar system dan pengguna.

c.        Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya.

Ada beberapa pendekatan evaluasi yang dilakukan seperti :

1.       Evaluating designs

2.       Evaluating implementations

3.       Query techniques

4.       Physiological methods

EVALUASI DESAIN

Evaluasi ini dilakukan setelah proses perancangan. Evaluasi desain terdiri dari 

1.       Cognitive Walkthrough

Bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna guna memelajari berbagai tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson. Dalam pendekatan ini terdapat beberapa isu yang timbul, seperti :

a.       Dampak interaksi apakah yang akan terjadi pada pengguna ?

b.       Proses kognitif apakah yang dibutuhkan ?

c.        Masalah pembelajaran apakah yang mungkin terjadi?

Informasi yang dibutuhkan :

a.       Deskripsi dari interface yang dibutuhkan itu.

b.       Deskripsi tugas, termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya.

Langkah walkthrough :

a.       Pilih tugas,

b.       Deskripsi tujuan awal dari user,

c.        Lakukan kegiatan/aksi yang tepat,

d.       Analisis proses keputusan untuk setiap kegiatan.

Contoh :

Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu dimulai dari jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka tugas untuk hal tersebut adalah

a.       Set waktu awal

b.       Set waktu akhir

c.        Set channel

d.       Set tanggal

2.       Evaluasi Heuristik

Evaluasi ini diusulkan oleh Nielsen dan Molich. Heuristik adalah guideline, prinsip umum dan peraturan, pengalaman yang bisa membantu suatu keputusan atau kritik atas suatu keputusan yang telah diambil, beberapa penilaian bebas terhadap suatu design supaya kritik bisa memajukan potensi daya guna. 

Ada sepuluh dasar dari heuristik, seperti :

a.       Visibilitas status system,

b.       Kecocokan anatara system dan dunia nyata,

c.        Kontrol user dan kebebasan,

d.       Konsisten dan standar

e.        Pencegahan kesalahan

f.        Pengenalan atas penarikan kembali

g.       Fleksibilitas dan efisiensi

h.       Berhubungan dengan keindahan dan desain minimalis

i.        Bantuan bagi user untuk mengenali, mendiagnosis dan memperbaiki dari kesalahan,

j.        Help dan dokumentasi.

Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Pendekatan ini mudah dan relatif cepat.

3.       Evaluasi Berbasis Tinjauan

Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer membuahkan hasil eksperimen yang baik dan pengalaman yang nyata. Misalnya pada daya guna dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan ikon.

4.       Model Evaluasi Dasar

Pendekatan terakhir untuk mengevaluasi perancangan adalah dengan mengombinasikan spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contoh GOMS  model, keystroke level model dan design rationale.

Evaluasi Implementasi

Evaluasi system akhir dengan pengguna nyata untuk mendapatkan suatu system yang betul-betul baik. Evaluasi implementasi membutuhkan sebuah artefak, prototype dan implementasi penuh. Ada tiga pendekatan dari evaluasi implementasi, seperti empiris (teknik percobaan), metode observasi dan metode query (menanyakan user untuk mendapatkan umpan balik).

EVALUASI EKSPERIMEN

Merupakan metode klasik dengan pendekatan statistik. Faktor-faktor eksperimental seperti :

1.       Subjects : siapa merepresentasikan, ketercukupan contoh.

a. Pemilihan subjek

b. Harus setepat mungkin dengan keinginan user.

c.        Subjek yang dipilih harus sama usia dan tingkat pendidikannya sesuai dengan    kelompok user yang dimaksud

d.       Ukuran sample yang dipilih kebanyakan ditentukan dengan pertimbangan pragmatis, kehandalan user yang terbatas juga harus cukup besar untuk mewakili populasi yang diambil dalam eksperimen perancangan dan metode statistika yang dipilih.

2.       Variabel : Sesuatu untuk dimodifikasi dan ukuran

a. Variabel independen : Karakteristik suatu eksperimen manipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan. Contoh : Jenis interface, level dari help, jumlah item menu dan perancangan ikon.

b. Variabel dependen : Variabel yang dapat diukur dalam eksperimen. Contoh variable independen adalah kecepatan dari pemilihan menu.

3.       Hipotesis : apa yang ingin ditunjukkan

a. Merupakan prediksi yang dihasilkan dalam eksperimen.

b. Masih menggunakan variable independen dan dependen akan menyebabkan perbedaan pada variable dependen.

c.  Untuk menunjukkan bahwa perkiraan benar dengan menyangkal adanya hipotesis null yang menyatakan bahwa tidak ada perbedaan dalam variable.

d. Nilai hasil dapat dibandingkan dengan tingkat kepercayaan.

          

4.       Desain eksperimental : bagaimana cara melakukannya.

a. Between-Groups (Randomized)

§  Masing-masing subjek diberi kondisi yang berbeda

§  Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi

§  Kerugiannya adalah dengan semakin banyaknya jumlah subjek yang tersedia maka akan menyebabkan hasilnya berkurang dan perbedaan antar setiap individu akan membuat hasilnya menjadi bias.

b.       Within-Groups

1.       Setiap user akan menampilkan kondisi yang berbeda

2.       Jumlah user yang tersedi lebih sedikit.

3.       Pengaruh dari subjek lebih sedikit.

Variabel yang digunakan terbagi dalam :

1.       Variabel diskrit : Menggunakan jumlah yang terbatas dari suatu nilai atau tingkatan. Contoh, warna layar monitor, yakni merah, hijau atau biru.

2.       Variabel kontinu : Menggunakan jumlah berapapun (batas atas maupun bawah). Contoh : Ketinggian seseorang atau waktu yang diperlukan untuk menyelesaikan pekerjaan.

Analisis Data

Data terdiri dari dua jenis, yaitu diskrit (jumlah terbatas dari nilai-nilai) dan  kontinu (sembarang nilai).

Pada system data terdapat tiga jenis tes, yaitu :

1.       Parametrik

diasumsi berdistribudi normal data tetap dapat bekerja serta   berdayaguna dalam berbagai kondisi.        

2.       Non-parametrik

distribusinya diasumsikan tidak berdistribusi normal, kurang berdayaguna tetapi lebih handal.

3.       Tabel kontingensi

klasifikasi data dengan atribut-atribut diskrit dan menghitung jumlah item data dalam setiap kelompok.

Tes parametrik dan non-parametrik ditunjukkan untuk hal-hal berikut :

1.       Informasi apa yang dibutuhkan untuk analisis data?

2.       Adakah perbedaan pada setiap data?

3.       Seberapa besar perbedaannya?

4.       Seberapa akurat taksirannya?

Contoh :

Kondisi A : 33,42,25,79,52

Kondisi B : 87, 65,92,93,91,55

Setelah diurut mulai 25,33,42,….,92,93 dan kemudian diranking maka 25 jadi 1, 33 jadi 2, dan seterusnya.

Kondisi A : 2,3,1,7,4         = 5 digit

Kondisi B : 8,5,10,11,9,5  = 6 digit

Dengan tes Wilcoxon, setiap kondidi dijumlah rankingnya kemudian dikurangi dengan nilai terkecilnya sehingga didapatkan nilai statistik U-nya :

Konsisi A : 1+2+3+4+5        = 15

Kondisi B : 1+2+3+4+5+6    = 21

                  Rank sum                          Smallest                   U                            

Kondisi A : (2+3+1+7+4)       = 17 -  15                  =   2

Kondisi B : (8+6+10+11+9+5)       = 49 -  21                = 28

Ternyata jumlah dari kedua statistik U tersebut, 2 + 28 = 30, merupakan perkalian dari jumlah nilai dari masing-masing kondisi 5 X 6.

Studi Eksperimental pada Grup

Bebarapa masalah yang timbul yaitu :

1.       Subject group : Jumlah subjek lebih banyak, waktu yang dibutuhkan lebih lama karena munculnya banyak variasi dan sulit untuk menjadwal anggota grup yang ada.

2.       Task : Harus saking menyemangati dan kerjasama.

3.       Data gathering : Data yang dimiliki oleh setiap kelompok berbeda masalah seperti sinkronisasi, volume tipis dan sebagainya.

4.       Analisis : Waktu melakukan analisis dari suatu percobaan terdapat banyak variasi dari setiap anggota group.

TEKNIK OBSERVASI

Think Aload

Menjelaskan apa yang mereka percaya terjadi, mengapa mereka mengambil tindakan, apa yang mereka coba kerjakan. Think aload mempunyai keuntungan, yakni sederhana, membutuhkan sedikit pengetahuan untuk menampilkannya, dan menyediakan pengertian yang berguna dengan interface. Juga dapat digunakan untuk mengobservasi bagaimana system digunakan.

Evaluasi Kooperatif

User bekerja sama dalam melakukan evaluasi, di mana baik user maupun evaluator dapat saling memberikan pertanyaan. Keuntungannya, seperti lebih sedikit batasannya dan mudah untuk digunakan, user didorong untuk mengkritisi system dan memungkinkan klafifikasi.

Analisis Protokol

Merupakan metode untuk merekam aksi-aksi yang dilakukan dengan menggunakan beberapa peralatan seperti :

1.       Kertas dan pensil : Murah tetapi dibatasi oleh kecepatan dalam menulis.

2.       Auto recording : Baik untuk pertimbangan yang lebih seksama dan sulit untuk mencocokkan dengan protokol lain.

3.       Video recording : Lebih akurat dan realistis menggunakan dua peralatan, yang satu mengarah ke komputer dan yang satu lagi ke user.

4.       Computer logging : Dilakukan secara otomatis oleh komputer, tetapi data yang ada terlalu besar dan perlu keahlian khusus untuk melakukan analisis.

5.       Notebook : User menyimpan semua aktivitas dan problem dalam notebook evaluator.

Biasanya untuk merekam aksi-aksi yang dilakukan user digunakan lebih dari satu protokol, karena jika hanya menggunakan satu protokol saja maka akan sulit untuk mendapatkan masalahnya secara benar. Misalnya meski sudah menggunakan video recording, perlu juga menggunakan kertas untuk mencatat permasalahan secara lebih detail.

Beberapa peranti pembantu secara otomatis telah tersedia, misalnya EVA (Experimental Video Annotator) yang merupakan suatu system prototype yang berjalan pada multimedia workstation yang dihubungkan langsung ke video recorder. Contoh : Workplace Project pada Xerox PARC.

   

Post-Task Walkthrough

Sering data didapat melalui observasi langsung tanpa interpretasi. Walkthrough dibuat untuk mengatasi masalah tersebut dengan merefleksikan kembali ke subjek aksi mereka setelah event. Apakah ditulis atau direkam, diputar kembali ke subjek untuk memberikan komentarnya atau langsung ditanya oleh analis. Keuntungannya adalah bahwa analis memiliki waktu untuk membuat pertanyaan yang sesuai dan focus pada aksi khusus.

TEKNIK QUERY

Ada dua tipe teknik query :

1.       Wawancara

Merupakan suatu analisis yang dilakukan dengan menanyai user satu demi satu, biasanya berdasarkan pertanyaan-pertanyaan yang telah disiapkan sebelum wawancara dilakukan. Kelebihan dari metode ini adalah bahwa pertanyaan dapat divariasikan sesuai konteksnya. Isu dapat dieksplorasi lebih jauh dan pandangan user bisa diperoleh dan permasalahan tak terantisipasi dapat dikenali.Kekurangannya adalah sangat subjektif dan memakan waktu yang lama

2.       Kuesioner

Kuesioner merupakan sekumpulan pertanyaan yang sudah pasti yang diberikan kepada pengguna. Kelebihannya, cepat dan dapat mencapai kelompok pengguna yang besar dan dapat dianalisis lebih teliti. Kelemahannya, kurang fleksibel dan kurang teliti (faktor waktu dan pekerjaan user)

Gaya pertanyaan yang umum digunakan untuk suatu kuesioner :

1.       Umum : Pertanyaan untuk mengetahui latar belakang user dan memasukkannya ke dalam subjek populasi.

2.       Open-ended : pertanyaan yang membutuhkan jawaban atau opini sendiri, berguna untuk mengumpulkan informasi subjektif secara umum tetapi sulit untuk dianalisis.

3.       Skala : user diminta memutuskan pertanyaan tertentu berdasarkan skala angka, biasanya berhubungan dengan setuju atau tidak setuju terhadap pertanyaan.

4.       Pilihan ganda : Responden diberikan pilihan respon secara eksplisit dan hanya boleh memilih satu atau sebanyak yang diperlukan.

Misal : software apa yang pernah anda gunakan?

Pengolahan kata                        –

Basis data                                 –

Spreadsheet                                –

System pakar                             –

System help online                       –

Kompilator                                –

5.       Ranking : Mengurutkan item dalam daftar dan berguna untuk mengindikasikan preferensi user.

                 

Untuk mengurangi kesalahan dari responden, sebaiknya digunakan pertanyaan tertutup seperti pertanyaan scalar, ranking atau pilihan ganda.

Metode Fisiologis

Metode ini membutuhkan alat deteksi yang dirancang untuk mengetahui gerak mata user, tekanan darah, perubahan suhu tubuh dan sebagainya. Dengan menempatkan alat-alat khusus pada tubuh user, evaluasi dari suatu desain dapat dilakukan secara otomatis. Data yang terkumpul dapat dianalisis setelah user selesai menguji suatu program. Kekurangan dari metode ini adalah alat khusus yang dgunakan sangat mahal harganya dan hasil yang diberikan tidak begitu akurat karena bergantung desain dan program dari alat tersebut.

Pemilihan Metode Evaluasi

Ada 8 faktor yang membantu kita dalam memilih teknik yang sesuai, yaitu :

1.       Tingkat siklus

2.       Jenis evaluasi

3.       Tingkat objektivitas dan subjektivitas

4.       Jenis ukuran yang tersedia

5.       Informasi yang tersedia

6.       Kesiapan dari suatu respons

7.       Tingkat gangguan yang tidak secara langsung

8.       Sumber yang tersedia

a.       Design VS. Implementation

Evaluasi pada tingkat perancangan hanya membutuhkan ahlinya dan akan dianalisis sedangkan evaluasi pada tingkat implementasi menjadikan user sebagai subjek eksperimen.

b.       Laboratory VS. Field studies

Secara ideal proses perancangan mencakup dua jenis evaluasi ini di mana pada aktivitas di laboratorium merupakan awal tingkatan sedangkan studi lapangan ditempatkan pada tingkat implementasi.

c.        Subjektif VS. Objektif

Teknik yang subjektif, seperti pada cognitive walkthrough maupun think about, memercayakan hasilnya pada evaluator atau orang yang melakukan evaluasi. Teknik objektif seharusnya memberikan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran objektif. Idealnya pengukuran subjektif dan objektif sama-sama harus dilakukan.

d.       Qualitative VS. Quantitative measures

Pengukuran menggunakan numerik lebih mudah dilakukan daripada dengan teknik statistik sedangkan pengukuran non-numerik lebih sulit dilakukan namun akan menghasilkan sesuatu yang penting secara lebih lengkap.

e.        Informasi yang tersedia

Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.

f.        Kesiapan suatu tindakan

Seperti metode think aloud yang merekam perilaku user pada waktu interaksi, sedangkan pada post task walkthrough memercayakannya pada pengumpulan kembali kegiatan user.

g.       Intrusiveness

Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai risiko akan memengaruhi perilaku user.

h.       Sumber-sumber

Hal terakhir yang perlu diperhatikan adalah peralatan, waktu, biaya, subjek serta evaluator yang ahli.