Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik

Giriş: Program değerlendirme etkinlikleri, EgeÜniversitesi Tıp Fakültesi’nde 2001 yılındabaşlayan program geliştirme çalışmalarınınönemli bir bileşeni olmuştur. Bu çalışmanınamacı Ege Üniversitesi Tıp Fakültesi’nde eğitimprogramını değerlendirmek için kullanılangüncellenmiş öğrenci ve öğretim üyesi blokve staj değerlendirme formları ile yapılanölçümlerin geçerlilik ve güvenilirliklerininbelirlenmesidir.Gereç ve Yöntem: Eğitim programını değerlendirmek için kullanılan ve en son 2017Ocak-Şubat aylarında güncellendikten sonra2017 Nisan-Haziran arasında pilot olarakuygulanan öğrenci ve öğretim üyesi blok ve stajdeğerlendirme formları ile yapılan ölçümlerinsonuçlarının güvenilirlik ve geçerliliği,metodolojik tasarım tipinde bir çalışmayladeğerlendirilmiştir. İç tutarlılık güvenilirliğininbelirlenmesinde Cronbach’ın alpha katsayısıhesaplanmıştır. Puanlayıcılar arası uyum vegüvenilirlik için sınıf içi korelasyon katsayısıkullanılarak tutarlılık araştırılmıştır.Kapsam geçerliliği için madde kapsam geçerlilikoranları, yapı geçerliliği için açımlayıcı faktöranalizi kullanılmıştır.Bulgular: Cronbach’ın alpha değerlerinin İkincive Üçüncü Sınıf Blok Değerlendirme formununiki faktörü dışında 0,7 üzerinde bulunması,güncellenen öğrenci ve öğretim üyesideğerlendirme formlarının sonuçlarıyla ilgili içtutarlılık güvenilirliğini desteklemektedir. Yapıgeçerliliği analizinde öğrenci formlarının, İkincive Üçüncü Sınıf Blok Değerlendirme Formudışında tek boyutlu olduğu, Öğretim ÜyesiDeğerlendirme Formu ise üç faktörlü yapıyasahip olduğu bulunmuştur.İkinci ve Üçüncü Sınıf Blok Değerlendirmeformunda Faktör II, Öğretim Üyesi Blok veStaj Değerlendirme Formunda ise Faktör IIIiçin puanlayıcılar arası uyum ve güvenilirlikkatsayılarının kabul edilebilir düzeylerin altındaolması bu boyutlar için yapılan ölçüme ilişkingüvenilirliği desteklememektedir.Sonuç: Bu çalışma EÜTF’nde kullanılan günceldeğerlendirme formlarıyla yapılan ölçümleringeçerlilik ve güvenirliğini destekleyen kanıtlarınyanı sıra, sonuçların yorum ve kullanımındadikkatli olunması gereken noktaları da ortayakoymuştur.Çalışma ayrıca, program değerlendirmeformlarının geçerlilik ve güvenirliğinin çokyönlü değerlendirilmesi açısından ülkemizdekitıp fakültelerine örnek teşkil edilebilir.

Anahtar Kelime:

Reliability and Validity of the Measurements Done by Using Students’ And Teachers’ Evaluation Forms in Ege University School of Medicine

Öz:

Introduction: Program evaluation has been a crucial component of program development activities in Ege University School of Medicine since 2001. Aim of this study is to determine validity and reliability of the measurements done by using updated student and teachers block and clerkship evaluation forms in Ege University School of Medicine. Materials and Methods: In this methodological design study, reliability and validity of the results obtained by students’ and teachers’ evaluation forms were assessed, which were updated in 2016-2017 academic term between January February 2017 and implemented on AprilJune 2017 as a pilot. For internal consistency Cronbach’s alpha coefficient was calculated. For interrater agreement and reliability, consistency was examined by calculating intraclass correlation coefficient. For content validity; item content validity ratios and for construct validity exploratory factor analysis were used. Results: Cronbach’s alpha coefficients that were over 0,7, except for Second and Third Year Student Block Evaluation Form, corroborated the internal consistency reliability for updated student and teacher evaluation forms. In construct analysis, student forms, except the Second and Third Year Block Evaluation Form were found to have a one-dimension construct, while teacher forms were determined to have a three-dimensions construct. Reliabilty of measurement of the Factor II of Second and Third Year Block Student Forms and Factor III of Teachers’ Evaluation Forms was not corroborated as the interrater agreement and reliability coefficients were below acceptable levels. This study revealed evidences that support the validity and reliability of measurements done by current evaluation forms in Ege University School of Medicine, and also detected the points to be paid attention while interpreting and using the results. Also it can be a reference for medical schools in our country, for versatile evaluation of validity and reliability of program evaluation forms.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Morrison, J. ABC of learning and teaching in medicine: Evaluation. BMJ: British Medical Journal. 2003; 326 (7385):385.
2. Kogan JR, & Shea JA. Course evaluation in medical education. Teaching and Teacher Education. 2007; 23 (3):251-64.
3. Cook DA. Twelve tips for evaluating educational programs. Medical Teacher. 2010; 32 (4):296-301.
4. Dulski L, Kelly M, Carroll VS. Program outcome data: What do we measure? What does it mean? How does it lead to improvement? Quality Management in Health Care. 2006; 15(4):296-9.
5. UTEAK. MÖTE standartları 2015. http:// tepdad.org.tr/uploads/files/Belgeler%20ve% 20formlar/MOTE_STANDARTLAR2015.pdf adresinden 24.05.2018 tarihinde erişilmiştir.
6. Şencan H. Sosyal ve davranışsal ölçümlerde güvenirlik ve geçerlilik. Ankara: Seçkin Yayıncılık; 2006.
7. Durak HI, Vatansever K, van Dalen J, & van der Vleuten C. Factors determining students’ global satisfaction with clerkships: an analysis of a two year students’ ratings database. Advances in health sciences education. 2008; 13(4):495-502.
8. Ercan İ, & Kan İ. Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi 2004; 30(3):211-216.
9. Yurdugül H. Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi DENİZLİ, Pamukkale Üniversitesi Eğitim Fakültesi, 28–30 Eylül 2005:771-774.
10. Bushnell DS. Input, process, output: A model for evaluating training. Training and Development Journal. 1990; 44 (3):41-3.
11. EÜTF Program Değerlendirme Kurulu. İşaret Listesi Projesi. İzmir; Ege Üniversitesi Tıp Fakültesi; 2003.
12. EÜTF Program Değerlendirme Komisyonu. Program Değerlendirme Çalışmaları 2003-2004. İzmir; Ege Üniversitesi Tıp Fakültesi: 2004.
13. Wagner SM, Rau C, Lindemann E. Multiple informant methodology: a critical review and recommendations Sociological Methods & Research. 2010; 38 (4):582-618.
14. Cranton P, & Smith RA. Reconsidering the unit of analysis: A model of student ratings of instruction. Journal of Educational Psychology. 1990; 82:207-212.
15. Ludtke O, Robitzsch A, Trautwein U, & Kunter M. Assessing the impact of learning environments: How to use student ratings of classroom or school characteristics in multilevel modeling. Contemporary Educational Psychology. 2009; 34:120–131.
16. Marsh HW. Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and usefulness. In Perry RP & Smart JC. (Eds.), The scholarship of teaching and learning in higher education. Dordrecht: Springer; 2007:319–383.
17. Morley D. (2014) Assessing the reliability of student evaluations of teaching: choosing the right coefficient, Assessment & Evaluation in Higher Education. 2014; 39 (2):127-139.
18. Clayson DE. Student evaluation of teaching and matters of reliability, Assessment & Evaluation in Higher Education 2018; 43:4:666- 681.
19. Nelson PM, Christ TJ. Reliability and agreement in student ratings of the class environment. School Psychology Quarterly. 2016; 31 (3):419-430.
20. James L, Demaree R, and Wolf G. “Estimating within-group interrater reliability with and without response bias.” Journal of Applied Psychology. 1984; 69(1):85-98.
21. Biemann T, Cole MS, Voelpel S. Withingroup agreement: On the use (and misuse) of rWG and rWG(J) in leadership research and some best practice guidelines. Leadership Quarterly. 2012;23:66-80.
22. Burke MJ, Dunlap WP. Estimating interrater agreement with the average deviation index: a user’s guide. Organizational Research Methods. 2002; 5 (2):159-172.
23. LeBreton JM, Senter JL. Answers to twenty questions about interrater reliability and interrater agreement. Organizational Research Methods. 2008;11:815–52.
24. Koo TK, Li MYA. Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine. 2016; 15(2):155–63.
25. Biemann T, Cole MS. An Excel 2007 Tool for Computing Interrater Agreement (IRA) & Interrater Reliability (IRR) Estimates Version 1.5. 2014. 05.07.2018 tarihinde http://www. sbuweb.tcu.edu/mscole/docs/Tool%20for%20 Computing%20IRA%20and%20IRR%20 Estimates_v1.5.zip adresinden erişildi.
26. EÜTF Plan Grubu. Klinik öncesi dönem eğitimi programını yatay ve dikey entegrasyon zemininde yeniden yapılandırma çalışmaları rehberi ve 2002-2003 yılı çalışma takvimi İzmir; Ege Üniversitesi Tıp Fakültesi: 2002.
27. Aker S, Dündar C, Pekşen Y. Ölçme Araçlarında iki Yaşamsal Kavram: Geçerlik ve Güvenirlik: Derleme. Deneysel ve Klinik Tıp Dergisi. 2005; 22(1):50-60.
28. Çelen Ü. Klasik test kuramı ve madde tepki kuramı yöntemleriyle geliştirilen iki testin geçerlilik ve güvenilirliğinin karşılaştırılması. İlköğretim Online 2008; 7(3):758-68.
29. Güler N. Rasgele veriler üzerinde Genellenebilirlik Kuramı ve Klasik Test Kuramı’na göre güvenirliğin karşılaştırılması. Eğitim ve Bilim. 2011; 36(162):225-34.
30. Beckman TJ, Ghosh AK, Cook DA, Erwin PJ, & Mandrekar JN. How reliable are assessments of clinical teaching?. Journal of General Internal Medicine. 2004; 19(9): 971-7.
31. Kogan JR, and Shea JA. Course evaluation in medical education. Teaching and Teacher Education. 2007; 23(3):251-64.
32. Cohen R, MacRae H & Jamieson C. Teaching effectiveness of surgeons. The American Journal of Surgery. 1996; 171(6):612-4.
33. Kalender İ. Reliability-Related Issues in the Context of Student Evaluations of Teaching in Higher Education. International Journal of Higher Education. 2015; 4(3):44-56.
34. Solomon DJ, Speer AJ, Rosebraugh CJ, & DiPette DJ. The reliability of medical student ratings of clinical teaching. Evaluation & the health professions. 1997; 2(3):343-52.
35. Cook DA & Beckman TJ. Current concepts in validity and reliability for psychometric instruments: theory and application. The American journal of medicine 2006; 119(2): 166-e7-e16.
36. Rantanen P. The number of feedbacks needed for reliable evaluation: A multilevel analysis of the reliability, stability and generalisability of students’ evaluation of teaching. Assessment & Evaluation in Higher Education. 2013; 38(2): 224-39.

APA	vatansever k, Aydemir S, Bati A, Can C, Çoker M, ERENSOY M, GOKMEN F, Basoglu O, KANIT L, Kültürsay N, NAZLI O, Y. Sozmen E, Törün S, ÇİÇEKLİOĞLU M (2020). Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. , 37 - 54. 10.25282/ted.555238
Chicago	vatansever kevser,Aydemir Sohret,Bati Ayse Hilal,Can Cenk,Çoker Mahmut,ERENSOY MEMNUNE SELDA,GOKMEN Figen,Basoglu Ozen K,KANIT LÜTFIYE,Kültürsay Nilgün,NAZLI OKTAY,Y. Sozmen Eser,Törün Sıla Elif,ÇİÇEKLİOĞLU Meltem Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. (2020): 37 - 54. 10.25282/ted.555238
MLA	vatansever kevser,Aydemir Sohret,Bati Ayse Hilal,Can Cenk,Çoker Mahmut,ERENSOY MEMNUNE SELDA,GOKMEN Figen,Basoglu Ozen K,KANIT LÜTFIYE,Kültürsay Nilgün,NAZLI OKTAY,Y. Sozmen Eser,Törün Sıla Elif,ÇİÇEKLİOĞLU Meltem Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. , 2020, ss.37 - 54. 10.25282/ted.555238
AMA	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. . 2020; 37 - 54. 10.25282/ted.555238
Vancouver	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. . 2020; 37 - 54. 10.25282/ted.555238
IEEE	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M "Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik." , ss.37 - 54, 2020. 10.25282/ted.555238
ISNAD	vatansever, kevser vd. "Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik". (2020), 37-54. https://doi.org/10.25282/ted.555238

APA	vatansever k, Aydemir S, Bati A, Can C, Çoker M, ERENSOY M, GOKMEN F, Basoglu O, KANIT L, Kültürsay N, NAZLI O, Y. Sozmen E, Törün S, ÇİÇEKLİOĞLU M (2020). Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. Tıp Eğitimi Dünyası, 19(57), 37 - 54. 10.25282/ted.555238
Chicago	vatansever kevser,Aydemir Sohret,Bati Ayse Hilal,Can Cenk,Çoker Mahmut,ERENSOY MEMNUNE SELDA,GOKMEN Figen,Basoglu Ozen K,KANIT LÜTFIYE,Kültürsay Nilgün,NAZLI OKTAY,Y. Sozmen Eser,Törün Sıla Elif,ÇİÇEKLİOĞLU Meltem Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. Tıp Eğitimi Dünyası 19, no.57 (2020): 37 - 54. 10.25282/ted.555238
MLA	vatansever kevser,Aydemir Sohret,Bati Ayse Hilal,Can Cenk,Çoker Mahmut,ERENSOY MEMNUNE SELDA,GOKMEN Figen,Basoglu Ozen K,KANIT LÜTFIYE,Kültürsay Nilgün,NAZLI OKTAY,Y. Sozmen Eser,Törün Sıla Elif,ÇİÇEKLİOĞLU Meltem Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. Tıp Eğitimi Dünyası, vol.19, no.57, 2020, ss.37 - 54. 10.25282/ted.555238
AMA	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. Tıp Eğitimi Dünyası. 2020; 19(57): 37 - 54. 10.25282/ted.555238
Vancouver	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik. Tıp Eğitimi Dünyası. 2020; 19(57): 37 - 54. 10.25282/ted.555238
IEEE	vatansever k,Aydemir S,Bati A,Can C,Çoker M,ERENSOY M,GOKMEN F,Basoglu O,KANIT L,Kültürsay N,NAZLI O,Y. Sozmen E,Törün S,ÇİÇEKLİOĞLU M "Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik." Tıp Eğitimi Dünyası, 19, ss.37 - 54, 2020. 10.25282/ted.555238
ISNAD	vatansever, kevser vd. "Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik". Tıp Eğitimi Dünyası 19/57 (2020), 37-54. https://doi.org/10.25282/ted.555238