Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)

BATTAL, ALI; cagiltay, kursat

Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)

Ali BATTAL, (Orta Doğu Teknik Üniversitesi, Eğitim Fakültesi, Ankara, Türkiye)

Kürşat ÇAĞILTAY (Orta Doğu Teknik Üniversitesi, Eğitim Fakültesi, Ankara, Türkiye)

Mersin Üniversitesi Eğitim Fakültesi Dergisi

3 0

Yıl: 2015 Cilt: 11 Sayı: 3 Sayfa Aralığı: 752 - 763 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)

Öz:

Öğrenme ve öğretim sürecinde kullanılan sistemlerdeki sorunların öğrenci başarısını olumsuz etkileyebileceğinden dolayı bu sistemlerin kullanılabilirlik yönünden incelenmesi önemlidir. Bu çalışmanının amacı bir devlet üniversitesinde vize ve final sınavlarında kullanılan çevrimiçi sinav sistemi, OSSİ'nin kullanılabilirliğini incelemektedir. Bu amaçla farklı bölümlerden ve sistemi farklı sıklıklarda kullanan öğrencilerin Sistem Kullanılabililik Ölçeği ile elde edilen puanları arasında anlamlı ortalama farkı araştırmacılar tarafından incelenmiştir. Buna ek olarak öğrencilerin sistem hakkındaki görüşleri alınarak sistem kullanılabilirliği ile ilgili diğer hususlar da açığa çıkartılmıştır. Hem nicel hem de nitel veri bu çalışma için toplanmıştır. Nicel veri için varyans analizi yapılırken nitel veri içerik analizi uygulanarak analiz edilmiştir. Çalışma sonunda kullanım sıklıklarında anlamlı ortalama farkı bulunmazken bölümler arasında BÖTE öğrencileri ile diğer iki bölümün öğrencileri arasında anlamlı ortalama farkı bulunmuştur. Ayrıca nitel analiz sonucu ekran büyüklünün önemi, düğmelerin ekranda yerleşimi, soruların formatı ve diğer ekran ile ilgili hususların önemi ortaya çıkmıştır. Bu çalışmanın sonuçları hem OSSİ'nin hem de diğer sistemlerin tasarım ve gelişimine katkıda bulunacaktır

Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları

Kullanım Sıklığı ve Bölümün Online Sınav Sistemi'nin (OSSİ) Kullanılabilirlik Sorunlarına Etkisinin İncelenmesi

Öz:

Usability is an important term for systems related to learning and teaching because usability issues can negatively affect student achievement. The aim of this study is to investigate the usability of a specific online examination system, OSSI, which is used by a public university for midterm and final exams. Researchers examined mean differences between System Usability Scale (SUS) scores of students from different departments with different usage frequencies. Usability issues were investigated by gathering students' ideas. Both quantitative and qualitative data procedures were employed. Quantitative data were analyzed through analysis of variance, while content analysis was applied to qualitative data. Scores showed no statistical mean difference between usage frequencies but did show a statistically significant mean difference between CEIT and other two departments. Qualitative analysis revealed the importance of screen size, placement of buttons, question formatting, and other screen elements. The results of this study contribute to the design and development of OSSI and other online examination systems.

Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

Bangor, A., Kortum, P., & Miller, J. (2008). An empirical evaluation of the system usability scale. International Journal of Human-Computer Interaction, 24(6), 574-594. doi:10.1080/10447310802205776
Bangor, A., Kortum, P., & Miller, J. (2009). Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies, 4(3), 114-123.
Baş, T., & Tüzün, H. (2011). Evaluation of the usability of educational web media: A case study of GROU.PS. Paper presented at the 4th International Conference of Education, Research and Innovation (pp. 6738-6742). Madrid, Spain.
Bennett, R. E. (2003). Online assessment and the comparability of score meaning. Princeton, NJ: ETS.
Creswell, J. W. (2012). Educational research: Planning, conducting, and evaluating quantitative and qualitative research. Boston, MA: Pearson Publications.
Çağıltay, K. (2011). İnsan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği: Teoriden pratiğe. Ankara, Turkey: ODTÜ Geliştirme Vakfı Yayıncılık.
de Siqueira, J. M., Martínez-Sáez, A., Sevilla-Pavón, A., & Gimeno-Sanz, A. (2011). Developing a web-based system to create, deliver and assess language proficiency within the PAULEX Universitas Project. Procedia - Social and Behavioral Sciences, 15, 662-666. doi:10.1016/j.sbspro.2011.03.160
Field, A. P. (2009). Discovering statistics using SPSS. London, England: SAGE.
Gikandi, J. W., Morrow, D., & Davis, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57 (4), 2333-2351.
Gülbahar, Y., Kalelioğlu, F., & Madran, O. (2008). Usability evaluation of "Web Macerası" as an instructional and evaluation method. Ankara University Journal of Faculty of Educational Sciences, 41 (2), 209-236.
Gülbahar, Y. (2013). E-değerlendirme. In K. Çağıltay & Y. Göktaş (Eds.), Öğretim teknolojilerinin temelleri: Teoriler, araştırmalar ve eğilimler. Ankara, Turkey: Pegem Akademi.
Karahoca, A., Karahoca, D., & Günoğlu, S. (2009). Web tabanlı sınav otomasyon sisteminin kullanılabilirlik analizi. Paper presented at the 4. Ulusal Yazılım Mühendisliği Sempozyumu (pp. 183-190). Istanbul, Turkey.
Karakaya, Z. (2002). Design, development and implementation of on-line exam system. Paper presented at the International Open and Distance Education Symposium. Eskişehir, Turkey.
Measuring, Selection, and Placement Center (OSYM). (2013). Ölçme, Seçme, ve Yerleştirme Merkezi http://www.osym.gov.tr/dosya/1-69840/h/2012-yili-osym-faaliyet-raporu.pdf February 5th, 2015 2012 Yılı Faaliyet Raporu. Retrieved from on
Ministry of National Education (MEB). (2013). Motorlu taşıt sürücü adayları sınavı e-sınav uygulama kılavuzu. Retrieved from http://www.meb.gov.tr/sinavlar/dokumanlar/ 2012/kilavuz/9586_mtsas_klavuz_2012_2012_7_5_16_23_1.pdf on February 5th, 2015
Nielsen, J., (1993). Usability Engineering. Cambridge, USA: Academic Press.
Shackel, B. (1991). Usability - context, framework, definition, design and evaluation. In B. Shackel and S. Richardson (Eds.), Human factors for informatics usability (pp. 21- 37). Cambridge, UK: Cambridge University Press.
Torkul, O., Kibar, A., & Tasci, T. (2004). Web based examination systems. Paper presented at the 1th International Conference on Informatics. Cesme, Turkey.
Tüfekçi, A., Ekinci, H., & Köse, U. (2013). Development of an internet-based exam system for mobile environments and evaluation of its usability. Mevlana International Journal of Education, 3(4), 57-74. doi:10.13054/mije.13.59.3.4
Tümer, A. E., Şahin, I., & Aktürk, O. A. (2008). Online exam system and student opinions about this system. Paper presented at the 8th International Educational Technology Conference (pp. 322-327). Eskişehir, Turkey.
Whittington, D., Bull, J., & Danson, M. (2000). Web-based assessment: Two UK initiatives. Retrieved from http://ausweb.scu.edu.au/aw2k/papers/whittington/paper.html on January 12th, 2015

APA	BATTAL A, cagiltay k (2015). Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). , 752 - 763.
Chicago	BATTAL ALI,cagiltay kursat Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). (2015): 752 - 763.
MLA	BATTAL ALI,cagiltay kursat Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). , 2015, ss.752 - 763.
AMA	BATTAL A,cagiltay k Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). . 2015; 752 - 763.
Vancouver	BATTAL A,cagiltay k Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). . 2015; 752 - 763.
IEEE	BATTAL A,cagiltay k "Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)." , ss.752 - 763, 2015.
ISNAD	BATTAL, ALI - cagiltay, kursat. "Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)". (2015), 752-763.

APA	BATTAL A, cagiltay k (2015). Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi, 11(3), 752 - 763.
Chicago	BATTAL ALI,cagiltay kursat Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi 11, no.3 (2015): 752 - 763.
MLA	BATTAL ALI,cagiltay kursat Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi, vol.11, no.3, 2015, ss.752 - 763.
AMA	BATTAL A,cagiltay k Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi. 2015; 11(3): 752 - 763.
Vancouver	BATTAL A,cagiltay k Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI). Mersin Üniversitesi Eğitim Fakültesi Dergisi. 2015; 11(3): 752 - 763.
IEEE	BATTAL A,cagiltay k "Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)." Mersin Üniversitesi Eğitim Fakültesi Dergisi, 11, ss.752 - 763, 2015.
ISNAD	BATTAL, ALI - cagiltay, kursat. "Investigation of Usage Frequency and Department on Usability Issues with the Online Examination System (OSSI)". Mersin Üniversitesi Eğitim Fakültesi Dergisi 11/3 (2015), 752-763.