Bireye uyarlanmış testlerde madde kullanım sıklığı kontrol yöntemlerinin farklı koşullarda ölçme duyarlılığına ve test güvenliğine etkisi

Abstract

Bu araştırmada, bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamalarında 1-0 şeklinde puanlanan maddelerde, madde kullanım sıklığı kontrol yöntemlerinin farklı örneklem büyüklüklerinde, test uzunluklarında ve yetenek dağılımlarında ölçme duyarlılığına ve test güvenliğine etkisinin incelenmesi amaçlanmıştır. Bu araştırma bir Monte Carlo simülasyon çalışmasıdır. Çalışma kapsamında uzun test 50, kısa test 25 madde; geniş örneklem 1000, küçük örneklem 250 birey olarak belirlenmiştir. Her bir örneklem büyüklüğü koşulu için, testi alan bireylerin yetenek parametresi (θ) değeri -3 ve +3 aralığında sola çarpık, tek biçimli, normal ve sağa çarpık dağılım gösterecek şekilde BOBUT örneklemleri oluşturulmuştur. Çalışma kapsamında; Sympson Hetter stratejisi ve Aşamalı Düşürme madde kullanım sıklığı kontrol yöntemleri kullanılmış ve kullanım sıklığının kontrol edilmediği durum referans alınmıştır. Çalışmada 48 simülasyon koşulu belirlenmiş ve her bir koşulda 100 tekrar yapılarak 4800 veri dosyası oluşturulmuştur. Her bir koşul için test güvenliği ve ölçme duyarlılığı indeksleri hesaplanıp, karşılaştırılmalar yapılmıştır. Ölçme duyarlılıklarına ilişkin farklı madde kullanım sıklığı kontrolü koşullarında aralarında genel olarak büyük bir farklılık bulunmamıştır. İlgili koşullarda Aşamalı Düşürme yöntemi seçildiğinde, test güvenliği daha iyi sağlanmıştır. Dolayısıyla Aşamalı Düşürme yöntemi kullanıldığında, madde kullanım sıklığının dengeli dağılım göstererek, madde havuzu kullanımının daha verimli hale geldiği ve madde havuzu ifşâ olmadan uygulamalar için süreklilik sağlayabildiği sonucuna ulaşılmıştır. BOBUT uygulamasından önce, tekrarlı simülasyonlarla kullanım sıklığı kontrol parametreleri belirlenen Sympson Hetter stratejisi BOBUT uygulamalarında en yaygın kullanılan madde kullanım sıklığı kontrol yöntemidir. Oysaki BOBUT uygulamalarında farklı ölçme koşullarında, BOBUT uygulanma sürecinde kullanım sıklığı kontrol parametrelerinin eş zamanlı olarak belirlendiği Aşamalı Düşürme yöntemi seçildiğinde, ölçme duyarlılığını düşürmeden madde havuzunu daha dengeli kullanarak, test güvenliğinin daha iyi sağlandığı sonucuna ulaşılmıştır.