Yıl: 2015 Cilt: 15 Sayı: 58 Sayfa Aralığı: 27 - 44 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing

Öz:
Problem Durumu: Öùrenme-öùretme faaliyetleri beraberinde bu faaliyetlerin amacna ulaüp ulaümadùnn belirlenmesi ihtiyacn getirmektedir. Bu ihtiyaç ölçme ve deùerlendirme faaliyetleri ile giderilmektedir. Bu nedenle ölçme ve deùerlendirme eùitim-öùretim sürecinin ayrlmaz bir parças haline gelmiütir. Eùitimde ölçme ve deùerlendirme amacyla çeüitli yöntemler kullanlmaktadr. Bu yöntemlerden biri de çoktan seçmeli testlerdir. Bu testler özellikle geniü ölçekli snav uygulamalar için oldukça kullanüldr. Yüz yüze eùitimde olduùu gibi internet temelli eùitimde de tpk klasik eùitim yöntemlerinde olduùu gibi ölçmeye ihtiyaç duyulmaktadr. únternet teknolojisinin getirdiùi avantajlarla bilgisayar ortamnda çok sayda öùrencinin ayn anda snav olmas mümkündür. Ancak bu geleneksel ölçmedeùerlendirme üekli, bireysel öùrenme özelliklerinin ön plan çktù günümüz modern eùitim anlayüna ters düümektedir. Bu durum, geleneksel testlerin yeni eùitim anlayüna daha uygun olan uyarlanabilir testlere dönüümesini hzlandrmütr. Bu nedenle bireylerin bilgi seviyelerine göre sorularn zorluk düzeyini belirleyen Bilgisayarlaütrlmü Uyarlanabilir Test (BUT) sistemleri giderek yaygnlaümaktadr. BUT'larda testin zorluùu, katlmcnn bilgi seviyesine göre dinamik olarak deùiüir. Katlmc soruyu doùru yantlarsa sonraki soru daha zor bir olacak üekilde seçilir. Katlmc soruyu yanlü yantlarsa sonraki soru daha kolay bir soru olacak üekilde seçilir. Sorular seçilirken katlmcnn bilgi seviyesi hakknda en fazla bilgiyi saùlayan maddeler seçilir. Böylece uyarlanabilir testlerle geleneksel testlere göre daha verimli ve hassas ölçüm yaplmaktadr. BUT sistemleri Madde Tepki Kuram'n (MTK) temel alan uygulamalardr. Yurt dünda oldukça yaygn olan BUT sistemleri Türkiye'de henüz yaygnlaümamütr. Bu nedenle Türk eùitim sistemi içerisinde kullanlabilecek bir BUT sisteminin geliütirilmesi ve deùerlendirilmesi önem taümaktadr. Araütrmann Amac: Bu çalümann ana amac Türk eùitim sisteminin alt basamaklarnda kullanlabilecek (lise düzeyi) bir BUT sistemi geliütirmek ve güvenirlik düzeyi bakmndan deùerlendirmektir. Yöntem: Bu çalümada 11. snf matematik dersi olaslk ünitesinin alt konularna (permütasyon, kombinasyon, binom açlm ve olaslk) yönelik bir BUT sistemi geliütirilmiütir. BUT sisteminin geliütirilmesi, soru maddelerinin geliütirilmesi, uygulanmas ve MTK'ya göre analiz edilmesi gibi iülemlerden oluüan madde havuzu geliütirme aüamas, sistemin bilgisayar ortamnda kodlanmas ve uyarlanabilir zeki web tabanl matematik öùrenme ortam UZWEBMAT'a entegre edilmesi aüamalarndan oluümaktadr. Geliütirme aüamasndan sonra BUT sisteminin düüükten yükseùe bütün bilgi seviyelerinde ölçüm hassasiyeti deùerlendirilmiütir. Bunun için 2011-2012 öùretim yl güz döneminde Türkiye'de Trabzon ilindeki bir lisede snav uygulamas yaplmütr. Snav uygulamasna toplam 84 11. snf öùrencisi katlmütr. Snav uygulamasndan elde edilen veriler kullanlarak her bir öùrencinin aldù testlerin güvenirlik katsaylar hesaplanmütr. MTK temelli BUT'larn güvenirliùi, standart hata miktar ile ölçülmektedir. Standart hata oran düütükçe testin güvenirliùi artmaktadr. Standart hata miktar klasik güvenirlik katsaysna dönüütürülerek sunulmuütur. Veri toplama arac olarak sistem kaytlar kullanlmütr. Araütrmann Bulgular: Test sisteminin iüleyiüi, sistemin verilen yantlara göre her admda gerçek bilgi seviyesine nasl yaklaütùn ve bunu yaparken güvenirlik katsaysndaki deùiüimi somutlaütrmak için sunulmuütur. UZWEBMAT-CAT'in düüükten yükseùe bütün bilgi seviyelerinde nasl hareket ettiùini göstermek için bilgi seviyeleri farkl üç öùrencinin ünite sonu testi verileri kullanlmütr. Öùrenciler seçilirken yüksek, orta ve düüük bilgi seviyesi olarak nitelendirilebilecek öùrenciler olmasna dikkat edilmiütir. Farkl bilgi seviyesine sahip bu üç öùrencinin ilk sorudan son soruya doùru bilgi seviyesi kestirimlerindeki deùiüim miktar dikkat çekmektedir. Test ilerledikçe her bir öùrencinin kendi bilgi seviyesi kestirimleri arasndaki fark giderek azalmaktadr. Bunun anlam öùrencilerin kestirilmeye çalülan gerçek bilgi seviyelerine UZWEBMAT-CAT'in her admda biraz daha yaklaümasdr. Böylece gerçek bilgi seviyesinin kestirilmeye çalüldù aralk daralmaktadr. Testin sonunda elde edilen kestirim öùrencilerin her birinin gerçek bilgi seviyelerine çok çok yakn bir deùer olmaktadr. Bu durum testin standart hata ve buna baùl olarak hesaplanan güvenirlik katsays incelenerek anlaülabilir. Permütasyon, kombinasyon, binom açlm, olaslk ve ünite sonu testi olmak üzere toplam 5 ayr snav için öùrencilerin her birinin aldù testin güvenirlik katsaylar hesaplanmütr. Bunun için her bir testin standart hata miktar klasik güvenirlik katsaysna dönüütürülmüütür. Çalümann bulgular geliütirilen BUT sisteminin tüm konular için yüksek güvenirlikte testler ürettiùini göstermektedir. Her bir konuya iliükin testlerin ortalama güvenirlik katsaylar 0.93, 0.93, 0.88, 0.93 ve 0.91 olarak hesaplanmütr. Geliütirilen BUT sistemi düüükten yükseùe tüm bilgi seviyelerinde hassas ve güvenilir testler ürettiùi görülmüütür. Tartüma ve Sonuç: Literatürde BUT ile ilgili üzerinde durulan önemli özelliklerinden biri de her bir bireye kendi bilgi seviyesine uygun bir test sunduùu için düüükten yükseùe bütün bilgi sevilerinde çok hassas ölçüm yapma özelliùidir. Bu özelliùin geliütirilen BUT sistemi tarafndan saùlandù görülmüütür. Nitekim farkl bilgi seviyesine sahip öùrencilerin aldklar testlerin yüksek güvenirliùe sahip olduùu görülmüütür. Literatürde üzerinde durulan bir diùer durum da BUT'larn her bireye kendi bilgi seviyesinde sorular yönelttiùi için ölçümün standart hata miktarnn düütüùü ve dolaysyla ölçüm hassasiyetinin artmasdr. Geliütirilen BUT sisteminin de her bir öùrenciye kendi bilgi seviyesinde sorular yönelttiùi böylece ölçüm hassasiyetinin arttù görülmüütür. Yaplan testlerin güvenirlik katsaylarnn deùer aralklarna bakldùnda az sayda oldukça güvenilir ve çok sayda çok güvenilir aralklarna giren deùerler olduùu görülmektedir. UZWEBMAT-CAT'in deùerlendirilmesiyle ilgili bu çalüma
Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları

Öğrencilerin Olaslk Ünitesi Bilgi Seviyelerinin Bilgisayarlaştırılmış Uyarlanabilir Test ile Kestirilmesi

Öz:
Problem Statement: Learning-teaching activities bring along the need to determine whether they achieve their goals. Thus, multiple choice tests addressing the same set of questions to all are frequently used. However, this traditional assessment and evaluation form contrasts with modern education, where individual learning characteristics are featured. Hence, the use of Computerized Adaptive Testing (CAT) systems, which set the difficulty level in accordance with the ability levels of individuals, is spreading. However, these systems are not prevalent in Turkey. Therefore, it is important to develop and assess a CAT system to be integrated into Turkish curriculum. Purpose of Study: The purpose of this study is to develop a CAT system that can be used in the sub-levels of Turkish curricula (high school) and assess it in terms of reliability. Methods: In this study, a CAT system aimed at the sub-topics (permutation, combination, binomial expansion, and probability) of the unit of probability covered in 11th grade mathematics was developed. Estimation sensitivity of the developed CAT system, from lower to higher ability levels, was assessed. To this end, an exam was implemented in a high school located in Trabzon in the 2011-2012 fall semester. Eighty-four 11th graders participated in the implementation. Using the data derived from the implementation, reliability coefficient values of each learner were calculated. System records were used for data collection. Results: Reliability coefficient values for each student in 5 different exams permutation, combination, binomial expansion, probability, and end-ofunit - were calculated. Findings of the study indicated that the developed CAT system produced tests with high reliability for all subjects. Average reliability coefficient values for each subject were found as 0.93, 0.93, 0.88, 0.93, and 0.91. Discussion and Conclusion: By addressing questions from lower to higher levels, which are appropriate to the ability level of each learner, CATs increase sensitivity and reliability of measurement. The developed CAT system addresses questions appropriate for the ability level of the learner, which increases sensitivity in measurement. In addition, it was observed that CAT systems developed for exams have the characteristic of making sensitive measurements ranging from lower to higher levels. This study, in relation to UZWEBMAT-CAT assessment, proved that CAT systems can safely be used within Turkish curriculum
Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları
Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • Baki, A. (2008). Teoriden pratiùe matematik eùitimi [Mathematics education from theory to practice]. Ankara: Harf Eùitim Yay nc l k.
  • Bejar, I. I., Weiss, D. J., & Gialluca, K .A. (1977). An information comparison of conventional and adaptive tests in the measurement of classroom achievement (RR 77-7). Minneapolis: University of Minnesota, Department of Psychology, Psychometric Methods Program.
  • Bulut, O., & Kan, A. (2012) Application of computerized adaptive testing to entrance examination for graduate studies in Turkey. Eurasian Journal of Educational Research, 49, 61-80.
  • Choi, S. W., Reise, S. P., Pilkonis P. A., Hays, R. D., & Cella, D. (2010). Efficiency of static and computer adaptive short forms compared to full-length measures of depressive symptoms. Quality of Life Research, 19(1), 125-136.
  • Fliege, H., Becker, J., Walter, O. B., Bjorner J. B., Klapp, B. F., & Rose M. (2005). Development of a computer-adaptive test for depression (D-CAT). Quality of Life Research, 14(1), 2277-2291.
  • Frey, A., & Seitz, N .N. (2011). Hypothetical use of multidimensional adaptive testing for the assessment of student achievement in the programme for international student assessment. Educational and Psychological Measurement, 71(3), 503-522.
  • Georgiadou, E., Triantafillou, E., & Economides, A.A. (2006). Evaluation parameters for computer-adaptive testing, British Journal of Educational Technology, 37(2), 261-278.
  • Gouli, E., Kornilakis, H., Papinakolaou, K., & Grigoriadou, M. (2001). Adaptive Assessment Improving Interaction in an Educational Hypermedia System. Proceedings of the PanHellenic Conference with International Participation in Human-Computer Interaction, 217- 222.
  • Hambleton, R.K. (1990). Item response theory: Introduction and bibliography. Psicothema, 2(1), 97-107.
  • Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of Item Response Theory. California: SAGE Publications.
  • Huang, Y-M., Lin, Y-T., & Cheng, S-C. (2009). An adaptive testing system for supporting versatile educational assessment. Computers & Education, 52(1), 53-67.
  • Koong C-S., & Wu, C-Y. (2010). An interactive item sharing website for creating and conducting on-line testing. Computers & Education, 55(2010), 131-144.
  • Lilley, M. (2007). The development and application of computer-adaptive testing in a higher education environment. Unpublished doctoral dissertation, Hertfordshire University, England.
  • Liu, Y-C., & Chen, P-J. (2012). Discovering discriminative test items for achievement tests. Expert Systems with Applications, 39(1), 1426-1434.
  • López-Cuadrado, J., Perez, T. A., Vadillo, J. A., & Arruabarrena, R. (2002). Integrating adaptive testing in an educational system. In Proc, First International Conference on Educational Technology in Cultural Context: ETCC2002, Joensuu, Finland, 133-149
  • López-Cuadrado, J., Armendariz, A., & Perez, T.A. (2006). Adaptive evaluation in an e-learning system architecture. Current Developments in Technology-Assisted Education, 1507-1511.
  • Lunz, M. E., Bergstrom, B. A., & Gershon, R. C. (1994). Computer adaptive testing. International Journal of Educational Research, 21(6), 623-634.
  • Marinagi, C. C., Kaburlasos, V. G., & Tsoukalas, V. T. (2007). An architecture for an adaptive assessment tool. 37th ASEE/IEEE Frontiers in Education Conference, Milwaukee, WI.
  • Önder, ş. (2007). An investigation of goodness of model data fit. Hacettepe University Journal of Education, 32, 210-220.
  • Özdamar, K. (2004). Paket programlarla veri analizi [Statistical data analysis through packages]. Eskiüehir: Kaan Yay nc l k.
  • Özyurt, Ö., Özyurt, H., & Baki, A. (2013). Design and development of an innovative individualized adaptive and intelligent e-learning system for teaching- learning of probability unit: Details of UZWEBMAT. Expert Systems with Applications, 40(8), 2914-2940.
  • Öztuna, D. (2008). Kas iskelet sistem sorunlar n n özürlülük deùerlendiriminde bilgisayar uyarlamal test yönteminin uygulanmas [Implementing computer adaptive testing method to estimate disability levels in musculoskeletal system disorders]. Unpublished doctoral dissertation, Ankara Üniversitesi Saùl k Bilimleri Enstitüsü. Ankara.
  • Ponsoda, V. (2000). Overview of computerized adaptive testing special section. Psicologica, 21(1), 115-120.
  • Reckase, M. D. (2010). Designing item pools to optimize the functioning of a computerized adaptive test. Psychological Test and Assessment Modeling, 52(2), 127-141.
  • Rios, A., Millán, E., Trella, M., Pérez-de-la-Cruz, J. L., & Conejo, R. (1999). Internet based evaluation system. In Proceedings of the 9th World Conference of Artificial Intelligence and Education AIED'99, 387-394.
  • Rudner, L.M. (2002). An examination of decision-theory adaptive testing procedures. Conference of American Educational Research Association, New Orleans, April 1-5.
  • Semerci, Ç., & Bektaü, C., 2005. New approaches in ensuring the validity of internet- based measurements. The Turkish Online Journal of Educational Technology, 4(1), 130-134.
  • Thissen, D. (2000). Reliability and measurement precision. In: H. Wainer (Ed). Computerized adaptive testing: A primer (159-183), Mahwah, NJ: Lawrence Erlbaum Associates.
  • Vispoel, W. P., Rocklin, T. R., & Wang, T. (1994). Individual differences and test administration procedures: a comparison of fixed-item, computerized- adaptive, and self-adapted testing. Applied Measurement in Education, 7(1), 53-79.
  • Walter O. B., Becker J., Bjorner J. B., Fliege, H, Klapp, B. F., & Rose M. (2007). Development and evaluation of a computer adaptive test for 'anxiety' (Anxiety-CAT), Quality of Life Research, 16(1), 143-155.
  • Weiss, D. J. (1982) Improving measurement quality and efficiency with adaptive testing. Applied Psychological Measurement, 6, 473-492.
  • Weiss, D. J. (1985). Adaptive testing by computer. Journal of Consulting and Clinical Psychology, 53(6), 774-789.
  • Weiss, D. J. (2004). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, 37(2), 70-84.
  • Wise, S. L., & Kingsbury, G .G. (2000). Practical issues in developing and maintaining a computerized adaptive testing program. Psicológica, 21, 135-155.
APA ÖZYURT H, ÖZYURT Ö (2015). Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. , 27 - 44.
Chicago ÖZYURT Hacer,ÖZYURT ÖZCAN Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. (2015): 27 - 44.
MLA ÖZYURT Hacer,ÖZYURT ÖZCAN Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. , 2015, ss.27 - 44.
AMA ÖZYURT H,ÖZYURT Ö Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. . 2015; 27 - 44.
Vancouver ÖZYURT H,ÖZYURT Ö Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. . 2015; 27 - 44.
IEEE ÖZYURT H,ÖZYURT Ö "Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing." , ss.27 - 44, 2015.
ISNAD ÖZYURT, Hacer - ÖZYURT, ÖZCAN. "Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing". (2015), 27-44.
APA ÖZYURT H, ÖZYURT Ö (2015). Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. Eurasian Journal of Educational Research, 15(58), 27 - 44.
Chicago ÖZYURT Hacer,ÖZYURT ÖZCAN Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. Eurasian Journal of Educational Research 15, no.58 (2015): 27 - 44.
MLA ÖZYURT Hacer,ÖZYURT ÖZCAN Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. Eurasian Journal of Educational Research, vol.15, no.58, 2015, ss.27 - 44.
AMA ÖZYURT H,ÖZYURT Ö Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. Eurasian Journal of Educational Research. 2015; 15(58): 27 - 44.
Vancouver ÖZYURT H,ÖZYURT Ö Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing. Eurasian Journal of Educational Research. 2015; 15(58): 27 - 44.
IEEE ÖZYURT H,ÖZYURT Ö "Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing." Eurasian Journal of Educational Research, 15, ss.27 - 44, 2015.
ISNAD ÖZYURT, Hacer - ÖZYURT, ÖZCAN. "Ability Level Estimation of Students on Probability Unit via Computerized Adaptive Testing". Eurasian Journal of Educational Research 15/58 (2015), 27-44.