Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi

AŞİRET, Semih; ÖMÜR SÜNBÜL, SEÇİL

Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi

Seçil ÖMÜR SÜNBÜL, (Yrd. Doç. Dr., Mersin Üniversitesi, Eğitim Bilimleri Bölümü, Mersin-Türkiye,)

Semih AŞİRET (Mersin Üniversitesi)

Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi

2 1

Yıl: 2017 Cilt: 8 Sayı: 1 Sayfa Aralığı: 79 - 97 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi

Öz:

Bu çalışmada, Madde Tepki Kuramı'na göre ikili puanlanan ve bir, iki ve üç parametreli lojistik modellere uygun olarak üretilen maddelerde, çeşitli madde-uyum indekslerinin, çeşitli koşullardaki (örneklem büyüklüğü, test uzunluğu ve uyumsuzluk yüzdesi) I. tip hata ve güç oranlarının incelenmesi amaçlanmıştır. Çalışmada, indekslerin I. tip hata ve güç oranlarının belirlenmesi simülasyon çalışmasıyla yapılmıştır. Çalışmada, madde uyumu için geleneksel indekslerden ?², Q1 ve G2 indeksleri ile alternatif indekslerden S-?² indeksi kullanılmıştır. Çalışmada yer alan dört farklı madde-uyum indeksinin I. tip hata ve güç oranları, örneklem büyüklüğü (1000, 2000, 4000), test uzunluğu (20, 30, 40) ve uyumsuzluk yüzdesi (%0, %10, %30 ve %50) değişimlenerek incelenmiştir. Veriler R 3.3.2 yazılımı kullanılarak üretilmiştir ve "mirt" paketi kullanılarak analiz edilmiştir. Çalışmada üretilen ve analiz edilen model olmak üzere iki tür model kullanılmıştır. Üretilen modele uygun madde tepkileri ile analiz edilen modele uygun madde tepkileri için madde-uyum indekslerinin p değerleri ve serbestlik dereceleri hesaplanmıştır. Uyum indekslerinin I. tip hata ve güç oranları 0.05 anlamlılık düzeyine göre değerlendirilmiştir. Her uyum indeksinin tüm koşullardaki I. tip hata ve güç oranları hesaplanarak bu indeksler karşılaştırılmıştır. Çalışma sonucunda, tüm faktörlerde S-?² indeksinin diğer indekslere göre daha düşük hataya sahip olduğu görülmüştür. 2000 ve üzeri örneklem büyüklüğünde ve 20 ve daha fazla maddeden oluşan testlerde S-?² indeksinin diğer indekslerden daha düşük I. tip hata oranına ve daha yüksek güce sahip olduğu görülmüştür

Anahtar Kelime:

Konular: Tarih

Investigating Type I Error and Power Rates of Item Fit Indices Based on Item Response Theory

Öz:

In this study, it was aimed to investigate type I error and power rates of the item fit indices through various conditions (sample sizes, different test lengths and different magnitudes of misfit) for dichotomously generated items based on one-, two-, and three-parameter logistic models in Item Response Theory. In this study, the type I error and power rates of these item fit indices were assessed in a simulation study. χ², Q1 and G2 indices as traditional item fit indices and S-χ² index as alternative indices were assessed. The performance of four different item fit indices in study were compared by manipulating three different sample size (1000, 2000, 4000), three different test lengths (20, 30, 40) and four different misfit magnitude (%0, %10, %30 and %50). Item responses were generated using the R 3.3.2 software program and analyzed by using “mirt” package in R software. The p value of item fit indices and their degrees of freedom were calculated for both item responses for generating model and analysis model. Type I errors and power rates of item fit indices were examined according to significance levels of 0.05. All item fit indices in this study were compared by calculating the type I error and power rates of each item fit indices under all conditions. The findings indicated that S-χ² index has lower type I error to detect misfit than the other indices. It can be concluded that in the case where the sample size was 2000 or more and the number of items in test are 20 and more, S-χ² index has lower type I error rates than traditional indices and has adequate power to detect misfit items

Anahtar Kelime:

Konular: Tarih

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

Ames, A. J. (2015). Bayesian model criticism: Prior sensitivity of the posterior predictive checks method (Doctoral dissertation). University of North Carolina.
Ames, A. J., & Penfield, D. R. (2015). An NCME instructional module on item-fit statistics for item response theory models. Educational Measurement: Issues and Practice, 34(3), 39–48.
Bock, R. D. (1972). Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, 37, 29–51.
Chon, K. H., Lee, W. C., & Ansley, T. N. (2007). Assessing IRT model-data fit for mixed format tests. Center for Advanced Studies in Measurement and Assessment CASMA Research Report, No: 26.
Chon, K. H., Lee, W. C., & Dunbar, S. B. (2010). A comparison of item fit statistics for mixed IRT models. Journal of Educational Measurement, 47(3), 318–338.
DeMars, C. E. (2005). Type I error rates for PARSCALE’s fit index. Educational and Psychological Measurement, 65, 42–50.
Drasgow, F., Levine, M. V., Tsien, S., Williams, B., & Mead, A. D. (1995). Fitting polytomous item response theory models to multiple-choice tests. Applied Psychological Measurement, 19, 143-165.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
Glas, C. A. W., & Su´arez Falc´on, J. C. (2003). A comparison of item-fit statistics for the three parameter logistic model. Applied Psychological Measurement, 27, 87–106.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. New York: Springer Science+Business Media, LLC.
Hambleton, R., Swaminathan, H., & Rogers, J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
Kang, T., & Chen, T. T. (2008). Performance of the generalized S-χ2 item fit index for polytomous IRT models. Journal of Educational Measurement, 45(4), 391-406.
Kang, T., & Chen, T. T. (2011). Performance of the generalized S-χ2 item fit index for the graded response model. Asia Pacific Educ. Rev., 12, 89–96.
LaHuis, D. M., Clark, P., & O'Brien, E. (2011). An examination of Item Response Theory item fit indices for the graded response model. Organizational Research Methods 14(1), 10-23.
McKinley, R. L., & Mills, C. N. (1985). A comparison of several goodness-of-fit statistics. Applied Psychological Measurement, 9, 49-57.
Mislevy, R. J., & Bock, R. D. (1990). BILOG-W. Item analysis and test scoring with binary logistic models. Moresville, IN: Scientific Software.
Orlando, M. (1997). Item fit in the context of Item Response Theory. (Doctoral dissertation, University of North Carolina, 1997). Dissertation Abstracts International, 58/04-B, 2175.
Orlando, M., & Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous Item Response Theory models. Applied Psychological Measurement, 24(1), 50–64.
Orlando, M., & Thissen, D. (2003). Further investigation of the performance of S-χ2 : An item fit index for use with dichotomous Item Response Theory models. Applied Psychological Measurement, 27, 289-298.
Reise, S. P. (1990). A comparison of item-and person-fit methods of assessing model-data fit in IRT. Applied Pyschological Measurement, 14(2), 127-137.
Stone, C. A. (2000). Monte Carlo based null distribution for an alternative goodness-of-fit test statistic in IRT models. Journal of Educational Measurement, 37, 58-75.
Stone, C. A., & Zhang, B. (2003). Assessing goodness of fit of Item Response Theory models: A comparison of traditional and alternative procedures. Journal of Educational Measurement, 40, 331–352.
Tay, L., Ali, U. S., Drasgow, F., & Williams, B. (2011). Fitting IRT models to dichotomous and polytomous data: Assessing the relative model–data fit of ideal point and dominance models. Applied Psychological Measurement, 35(4), 280–295.
Thissen, D., Pommerich, M., Billeaud, K., & Williams, V. (1995). Item Response Theory for scores on tests including polytomous items with ordered responses. Applied Psychological Measurement, 19, 39–49.
von Schrader, S., Ansley, T. N., & Kim, S. (2004). Examination of item fit indices for polytomous item response models. Paper presented at the meeting of the National Council on Measurement in Education, San Diego, CA.
Wells, C. S., & Bolt, D. M. (2008). Investigation of a nonparametric procedure for assessing goodness-of-fit in Item Response Theory. Applied Measurement in Education, 21(1), 22-40.
Wells, C. S., & Hambleton, R. K. (2016). Model fit with residual analyses. In W. J. van der Linden (Ed.) Handbook of item response theory. Volume two, Statistical tools (pp. 395-413). NewYork: CRC Press. Taylor ve Francis Group.
Wright, B., & Panchapakesan, N. A. (1969). A procedure for sample free item analysis. Educational and Psychological Measurement, 29, 23–48.
Yen, W. M. (1981). Using simulation results to choose a latent trait model. Applied Psychological Measurement, 5, 245–262.

APA	ÖMÜR SÜNBÜL S, AŞİRET S (2017). Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. , 79 - 97.
Chicago	ÖMÜR SÜNBÜL SEÇİL,AŞİRET Semih Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. (2017): 79 - 97.
MLA	ÖMÜR SÜNBÜL SEÇİL,AŞİRET Semih Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. , 2017, ss.79 - 97.
AMA	ÖMÜR SÜNBÜL S,AŞİRET S Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. . 2017; 79 - 97.
Vancouver	ÖMÜR SÜNBÜL S,AŞİRET S Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. . 2017; 79 - 97.
IEEE	ÖMÜR SÜNBÜL S,AŞİRET S "Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi." , ss.79 - 97, 2017.
ISNAD	ÖMÜR SÜNBÜL, SEÇİL - AŞİRET, Semih. "Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi". (2017), 79-97.

APA	ÖMÜR SÜNBÜL S, AŞİRET S (2017). Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(1), 79 - 97.
Chicago	ÖMÜR SÜNBÜL SEÇİL,AŞİRET Semih Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 8, no.1 (2017): 79 - 97.
MLA	ÖMÜR SÜNBÜL SEÇİL,AŞİRET Semih Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, vol.8, no.1, 2017, ss.79 - 97.
AMA	ÖMÜR SÜNBÜL S,AŞİRET S Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2017; 8(1): 79 - 97.
Vancouver	ÖMÜR SÜNBÜL S,AŞİRET S Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2017; 8(1): 79 - 97.
IEEE	ÖMÜR SÜNBÜL S,AŞİRET S "Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi." Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8, ss.79 - 97, 2017.
ISNAD	ÖMÜR SÜNBÜL, SEÇİL - AŞİRET, Semih. "Madde Tepki Kuramı’na Dayalı Madde-Uyum İndekslerinin I.Tip Hata ve Güç Oranlarının İncelenmesi". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 8/1 (2017), 79-97.