Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi

SAYIN, Ayfer; Koğar, Hakan

Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi

Ayfer SAYIN, (Gazi Üniversitesi, Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Eğitimde Ölçme ve Değerlendirme Anabilim Dalı, Ankara, Türkiye)

Hakan KOĞAR (Akdeniz Üniversitesi, Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Eğitimde Ölçme ve Değerlendirme Anabilim Dalı, Antalya, Türkiye)

Gazi Eğitim Fakültesi Dergisi

3 0

Yıl: 2021 Cilt: 41 Sayı: 3 Sayfa Aralığı: 1437 - 1464 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi

Öz:

Bu araştırma kapsamında testlerde hatalı soru olması durumunda soru için kullanılan yöntemlerin bireylerin puanlamalarına ve sıralamalarına olan etkisinin incelenmesi amaçlanmıştır. Bu doğrultuda 2016 TEOG uygulamasına katılan 64.788 öğrencinin Türkçe alt testinde yer alan 20 soruya verdikleri cevaplar üzerinde incelemeler gerçekleştirilmiştir. Araştırma kapsamında öncelikle farklı özelliklere sahip (en düşük ayırıcılığa sahip, en çok boş bırakılan, en zor) soru iptal edilmiştir. Ardından da iptal edilen sorulara yönelik dört farklı puanlama yöntemine (herkese doğru kabul etme, diğer sorular üzerinden hesaplama yapma, en az bir doğrusu olan herkese doğru kabul etme, alt testi bazında ağırlıklandırma) dayalı olarak öğrencilere ilişkin dört farklı puan türü (toplam puan, net puanı ve sıralamalar) hesaplanmıştır. Aynı zamanda her bir puan türüne göre öğrenciler sıralanmıştır. Hesaplama sonuçlarında soru iptali durumunda herkese doğru kabul etme ve en az bir doğrusu olan herkese doğru kabul etme yöntemlerinin hem ortalama hem de sıralamada gerçek ortalama ve sıralamadan en uzak değerleri ürettiği belirlenmiştir. Diğer sorular üzerinden hesaplama yapma ve alt testi bazında ağırlıklandırma yöntemlerinin ortalamalar bakımından benzer olduğu, öğrenci sıralamasının değişmesine en dirençli olan yöntemin de alt testi bazında ağırlıklandırma yöntemi olduğu tespit edilmiştir.

Anahtar Kelime: TEOG Hatalı soru Test Geçerliği Puanlama Yöntemleri İptal madde

The Effect of the Methods Used in Case of Faulty Items in the Tests on Scoring and Ranking

Öz:

Within the scope of this study, it was aimed to examine the effects of the methods used for the question on the scores and rankings of individuals in case of incorrect questions in the tests. Accordingly, 64,788 students who participated in the 2016 TEOG application were examined on the answers they gave to 20 questions in the Turkish subtest. Within the scope of the research, first of all, A question was canceled with different characteristics (lowest separation, most left blank, most difficult question). Then, four different types of scores (total score, net score) for the canceled questions based on four different scoring methods (accepting everyone right, calculating based on other questions, accepting at least one correct one, weighting on the basis of the subtest) score and rankings have been calculated. At the same time, students are ranked according to each score type. In the calculation results, it was determined that in case of a cancellation of the question, the methods of accepting everyone as true and accepting everyone with at least one correct one were actually producing the furthest values in both average and ranking. It has been determined that calculating on other questions and weighting methods on subtest basis are similar in terms of averages, and the method that is most resistant to change in student ranking is the weighting method on the basis of subtest.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

AERA, APA ve NCME (1985). Standart for educational and psychological tests. Washington: American Psychological Association.
Baş, G. ve Kıvılcım, Z. S. (2019). Türkiye’de öğrencilerin merkezi sistem sınavları ile ilgili algıları: bir metafor analizi çalışması. Eğitimde Nitel Araştırmalar Dergisi, 7(2), 639-667.
Büyüköztürk, Ş., Kılıç Çakmak, E., Ekgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2018). Bilimsel araştırma yöntemleri. Ankara: Pegem Yayıncılık.
Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart, & Winston.
Çobanoğlu Aktan, D., Aksu, G. ve Eser, T. (2018). Türkiye ve Amerika’da engelli öğrenciler için yapılan geniş ölçekli sınavların yasal sorumluluklar, uygulama yöntemleri ve geçerlik açısından incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(1): 69-83.
ETS Report (1994). Dorans, Neil J., Feigenbaum, Miriam D., Feryok, Nancy J., Lawrence, Ida M., Schmitt, Alicia P., & Wright, Nancy K. (1994). Technical Issues Related to the Introduction of the New SAT and PSAT/NMSQT. ETS Research Memorandum, RM-94-10.
Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: PegemA.
IEA (2020). Methods and Procedures: TIMSS 2019 Technical Report. TIMSS & PIRLS International Study Center: Chestnut Hill.
Karadağ, N., Akıldız, M., Kumtepe, A.T. ve Akgün, H.R. (2017). Anadolu Üniversitesi Açıköğretim Sistemi soru yazarlarının ölçme ve değerlendirme seminerlerine ilişkin görüşleri. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 3(3), 9-46.
Lane, S., Raymond, M.R., T.M. Haladayna (2016). Handbook of test development. Routlegde: New York.
Ludlow, L. H. (2001). Teacher test accountability. Education Policy Analysis Archives, 9, 6.
MEB (2016). 2015-2016 2. dönem ortak sınavlar sayısal bilgiler. MEB Yayınları.
MEB (2018). Sınavla öğrenci alacak ortaöğretim kurumlarına ilişkin merkezî sınav başvuru ve uygulama kılavuzu. MEB Yayınları.
ÖSYM (2016). 2016 Öğrenci seçme ve yerleştirme sistemi (ÖSYS) kılavuzu. ÖSYM Başkanlığı.
ÖSYM (2017). 2017 Öğrenci seçme ve yerleştirme sistemi (ÖSYS) kılavuzu. ÖSYM Başkanlığı.
ÖSYM (2019). Duyurular: https://www.osym.gov.tr/TR,16792/2019-yuksekogretim-kurumlari-sinavi-2019-yks-oturumlari-temel-soru-kitapciklari-ve-cevap-anahtarlari-yayimlandi-16062019.html.
Özdemir, C. ve Yandı, A. (2012). Türkiye’deki üniversitelerde 2010-2012 yılları arasında yayımlanan tezlerdeki yazarlar tarafından geliştirilmiş başarı testlerinin “test geliştirme aşamaları” bakımından incelenmesi. Downloads/Turkiye_deki_Universitelerde_2010_2012_Y%20.pdf.
Sarıtaş, S. ve Bağcı, V. (2017). Test puanlarının kullanım gerekliliklerine yönelik izlenen yasal süreç: ÖSYM örneği. 26. Uluslararası Eğitim Bilimleri Kongresi, Antalya, Türkiye, 20 - 23 Nisan 2017.
TEDMEM (2014). 2014 Eğitim değerlendirme raporu. TEDMEM Değerlendirme Dizisi 1: Ankara.
Varma, S. (2006). Preliminary item statistics using point-biserial correlation and p-values. Educational Data Systems Inc.: Morgan Hill CA. Retrieved, 16 (07).

APA	SAYIN A, Koğar H (2021). Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. , 1437 - 1464.
Chicago	SAYIN Ayfer,Koğar Hakan Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. (2021): 1437 - 1464.
MLA	SAYIN Ayfer,Koğar Hakan Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. , 2021, ss.1437 - 1464.
AMA	SAYIN A,Koğar H Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. . 2021; 1437 - 1464.
Vancouver	SAYIN A,Koğar H Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. . 2021; 1437 - 1464.
IEEE	SAYIN A,Koğar H "Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi." , ss.1437 - 1464, 2021.
ISNAD	SAYIN, Ayfer - Koğar, Hakan. "Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi". (2021), 1437-1464.

APA	SAYIN A, Koğar H (2021). Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. Gazi Eğitim Fakültesi Dergisi, 41(3), 1437 - 1464.
Chicago	SAYIN Ayfer,Koğar Hakan Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. Gazi Eğitim Fakültesi Dergisi 41, no.3 (2021): 1437 - 1464.
MLA	SAYIN Ayfer,Koğar Hakan Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. Gazi Eğitim Fakültesi Dergisi, vol.41, no.3, 2021, ss.1437 - 1464.
AMA	SAYIN A,Koğar H Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. Gazi Eğitim Fakültesi Dergisi. 2021; 41(3): 1437 - 1464.
Vancouver	SAYIN A,Koğar H Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi. Gazi Eğitim Fakültesi Dergisi. 2021; 41(3): 1437 - 1464.
IEEE	SAYIN A,Koğar H "Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi." Gazi Eğitim Fakültesi Dergisi, 41, ss.1437 - 1464, 2021.
ISNAD	SAYIN, Ayfer - Koğar, Hakan. "Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi". Gazi Eğitim Fakültesi Dergisi 41/3 (2021), 1437-1464.