Kimya Laboratuvar Aktivitelerinin Değerlendirilmesi için Ölçme Aracı Geliştirilmesi: Bir Rasch Analizi Araştırması
Özet
Bu araştırma, genel kimya laboratuvarı etkinliklerinde öğrencilerin performanslarını ve uygulamalı becerilerini değerlendirmek amacıyla "Kimya Deneyleri Değerlendirme Ölçeği" (KDDÖ) adı verilen geçerli ve güvenilir bir ölçme aracı geliştirmeyi hedeflemektedir. Araştırmanın çalışma grubunu, 2019-2020 eğitim-öğretim yılı güz döneminde Çanakkale Onsekiz Mart Üniversitesi Kimya Bölümü'nde genel kimya laboratuvarı dersi kapsamında 9 farklı deney gerçekleştiren 30 kimyager adayı oluşturmaktadır. Ölçek geliştirme sürecinde ilk olarak hazırlanan 38 maddelik taslak form uzman görüşüne sunulmuş; CVR, I-CVI, S-CVI ve kappa indeksi hesaplamaları doğrultusunda kapsam geçerliğini sağlayamayan 4 madde formdan çıkarılmıştır. Yapı geçerliği ve güvenilirlik aşamalarında ise açımlayıcı faktör analizi (AFA), iç tutarlılık testleri ve Rasch analizleri uygulanarak 10 madde daha ölçekten uzaklaştırılmış ve 5'li Likert tipinde 24 maddeli nihai KDDÖ elde edilmiştir. Analiz sonuçları, geliştirilen ölçme aracının tek boyutlu bir yapı sergilediğini, Cronbach alfa güvenirlik katsayısının 0,977, puanlayıcı güvenirliğinin 0,95 ve Rasch boyut analizinde açıklanan toplam varyansın %61,7 olduğunu göstermiştir. Kalibrasyon haritası ve uyum analizi bulguları, KDDÖ'nün kimya laboratuvarı performanslarını değerlendirmede üst düzeyde geçerli ve güvenilir bir araç olduğunu doğrulamıştır. Son olarak kimyager adaylarının temel süreç becerilerinde başarılı oldukları, fakat deney öncesi güvenlik tedbirleri ve planlama aşamalarında teknik zorluklar yaşadıkları saptanmıştır.
This research aims to develop a valid and reliable measurement tool named the "Chemistry Experiments Evaluation Scale" (CEES) to evaluate students' performances and practical skills in general chemistry laboratory activities. The study group of the research consists of 30 chemist candidates pursuing their undergraduate education at Çanakkale Onsekiz Mart University, Department of Chemistry, during the fall semester of the 2019-2020 academic year, who performed 9 different general chemistry experiments. In the scale development process, an initial draft form consisting of 38 items was submitted for expert panel review; based on CVR, I-CVI, S-CVI, and kappa index calculations, 4 items failing to satisfy content validity were removed. During the construct validity and reliability stages, exploratory factor analysis (EFA), internal consistency tests, and Rasch analyses were applied, leading to the removal of 10 additional items, resulting in a final 24-item scale measured on a 5-point Likert scale. Analysis results indicated that the developed measurement tool exhibits a unidimensional structure, with a Cronbach's alpha reliability coefficient of 0.977, rater reliability of 0.95, and an explained total variance of 61.7% in Rasch dimension analysis. Findings from the calibration map and fit analysis confirmed that the CEES is a highly valid and reliable instrument for assessing chemistry laboratory performance. Finally, it was identified that chemist candidates succeeded in basic process skills but experienced technical difficulties regarding pre-experiment safety measures and planning stages.
Referanslar
Andrich D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573.
Anshel MH., Weatherby NL., Kang M. & Watson T. (2009). Rasch calibration of a unidimensional perfectionism inventory for sport. Psychology of Sport and Exercise, 10(1), 210-216.
Ayas A., Çepni S. & Akdeniz AR. (1993). Development of the Turkish secondary science curriculum. Science Education, 77(4), 433-440.
Ayre C. & Scally AJ. (2014). Critical values for Lawshe’s content validity ratio revisiting the original methods of calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79-86.
Bond TG. & Fox CM. (2015). Applying the Rasch Model Fundamental Measurement in the Human Sciences (3rd ed.). Mahwah, NJ L. Erlbaum
Brinthaupt TM. & Kang M. (2014). Many-faceted rasch calibration: An example using the self-talk scale. Assessment, 21(2) 241-249.
Büyüköztürk Ş. (2005). Sosyal Bilimler İçin Veri Analizi El Kitabı, Ankara: Pegem A Yayıncılık
Demiralp D. & Kazu H. (2012). İlköğretim birinci kademe programlarının öğrencilerin yansıtıcı düşünmelerini geliştirmedeki katkısına yönelik öğretmen görüşleri. Pegem Eğitim ve Öğretim Dergisi, 2(2), 29-38.
Ekiz D. (2009). Bilimsel Araştırma Yöntemleri, Ankara: Anı Yayıncılık
Engelhard G. (2013). Invariant measurement: Using Rasch models in the social, behavioral, and health sciences. New York, NY: Routledge.
Fleiss JL. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76, 378-382.
Garnett PJ., Garnett PJ. & Hackling MW. (1995). Refocusing the chemistry lab: A case for laboratory-based investigations. Australian Science Teacher Journal, 41, 26-32.
George D. & Mallery M. (2010). SPSS for Windows Step by Step: A Simple Guide and Reference, 17.0 update (10a ed.) Boston: Pearson.
Green SB. & Yang Y. (2009). Commentary on coefficient alpha: a cautionary tale. Psychometrika, 74
Güler N., İlhan M., Güneyli, A. & Demir, S. (2017). An evaluation of the psychometric properties of three different forms of daly and miller’s writing apprehension test through Rasch analysis. Educational Sciences: Theory & Practice, 17(3), 721–744
Haiyang S. (2010). An application of classical test theory and many facet Rasch measurement in analyzing the reliability of an English test for non-English major graduates. Chinese Journal of Applied Linguistics, 33(2), 87-102.
Hasford J. & Bradley KD. (2011). Validating measures of self control via rasch measurement. Journal of Applied Business Research, 27(6), 45-55.
Kempa RF. & Buckley, J. G. Practical work in Sixth Form Chemistry Course,School Science Review, 1971, 53, 182
Kreitler, H. & Kreitler, S. (1974). The role of the experiment in science education. Instructional Science, 3, 75-88
Leech NL., Barrett KC. & Morgan GA. (2005). SPSS for Intermediate Statistics: Use and interpretation (2th ed.). Lawrence Erlbaum Associates, Publishers, Mahwah, New Jersey, London, 240
Linacre JM (1993). Many of facet Rasch ölçümü. Chicago, IL: MESA Press.
Linacre JM. (2014). A user's guide to FACETS Rasch-model computer programs.
Lunetta VN. (1998). The School Science Laboratory: Historical Perspectives and Contexts For Contemporary Teaching. In B.J. Fraser & K.G. Tobin (Eds.). International Handbook of Science Education. (249-262). Kluwer Academic Publishers.
Mofreh (2014), Psychometric Properties on Lecturers’ Beliefs on Teaching Function: Rasch Model Analysis, International Education Studies 7(11):47-55
Morgil Fİ. & Yılmaz A. (1999). Fen Öğretmeninin Görevleri ve Nitelikleri, Fen Öğretmeni Yetiştirilmesine Yönelik Öneriler. Hacettepe EğitimFakültesi Dergisi, 15, 181-186
Muhamad Saiful Bahri Yusoff (2019). ABC of Content Validation and Content Validity Index Calculation, Education in Medicine Journal 11(2):49-54
Nakamura N. (2002). Teacher assessment and peer assessment in practice. Educational Studies, 44(143). 204-215.
Nakiboğlu C. & Meriç G. (2000). Genel kimya laboratuvarlarında v-diyagramı kullanımı ve uygulamaları. Balıkesir Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 2(1) , 58-75
Özdamar K. (2013). Paket Programlar İle İstatistiksel Veri Analizi Cilt 2, Ankara, Nisan Kitapevi Baskı, Ankara: Detay Yayıncılık
Polit DE. & Beck CT. (2006) Essentials of Nursing Research. 6th Edition, Lippincott Williams & Wilkins, Philadelphia.
Rasch G., 1(961). On general laws and the meaning of measurement in psychology. In Proceedings of the fourth Berkeley symposium on mathematical statistics and probability (Vol. 4, pp. 321-333).
Raykov T., Marcoulides GA. (2008). An introduction to applied multivariate analysis. Routledge/Taylor & Francis Group.
Reid N. & Shah I., (2007) The role of laboratory work in university chemistry, Chemistry Education Research and Practice, 8 (2), 172-185
Ridout M., Demetrio CGB. & Hinde J. (1998). Models for count data with many zeros. International Biometric Conference, Cape Town
Shulman LS. & Tamir P. (1973). Research on Teaching In The Natural Sciences. In R. M. Travers (Eds.). Second Handbook of Research on Teaching (1098-1148). Chicago: Rand Mcnally & Co.
Shuttleworth M. (2016). Content validity. Retrieved from https://explorable.com/content-validity.html
Staer H., Goodrum D. & Hackling, M. (1998). High School Laboratuary Workin WesternAustralia: Openness To Inquiry. Research in Science Education, 28(2), 219-228
Taşdelen TG., Güler N. & Kaya G. (2015). Comparing the effectiveness of SPSS and EduG using different designs for generalizability theory. Educational Sciences: Theory & Practice, 15(3), 635-645.
Tsaparlis G. &,Kampourakis C. (2003). Introduction to physical science (physics and chemistry) for the 7th grade (in Greek). Ioannina, Greece: University of Ioannina.
Uluçınar Ş., Cansaran A. & Karaca A. (2004). Fen bilimleri laboratuvar uygulamalarının değerlendirilmesi. Türk Eğitim Bilimleri Dergisi, 2(4), 465-475.
Wright BD. & Masters G. (1982). Rating scale analysis: Rasch measurement. Chicago: MESA Press.
Wynd CA., Schmidt B., & Schaefer MA. (2003). Two quantitative approaches for estimating content validity. Western Journal of Nursing Research, 25, 508–518
Yeşilyurt E. & Karakuş M. (2011). Öğretmenlerin adaylık sürecinde karşılaştıkları problemler. Uluslararası Online Eğitim Bilimleri Dergisi (IOJES), 3(1), 261-293.
