Background: Since 2013 a competency-oriented student progress test (SKPT) has been administered at a number of German medical schools. The questions are generated on the basis of a two-dimensional blueprint, on which one axis contains the five competency domains - communicative competence (CO), practical clinical competence (CP), theoretical clinical competence (CT), scientific competence (SC), and professional decision-making competence (PR) - that form part of the competency model of the National Competency-based Catalogue of Learning Objectives for Undergraduate Medicine (NKLM). The feedback for students is structured in part according to these domains. The aim of our study is to examine if the results differentiated by competency domain show adequate measurement accuracy and if the results for the different domains also contain different information. Methods: The SKPTs for the years 2013 to 2017, taken by a total of 3,027 students, were examined. The measurement accuracy was determined using the coefficient glb (greatest bound to reliability) and the standard error of measurement; discriminant analysis of the principal components was carried out to demonstrate differentiation between the competency domains. Results: The reliability of the competency domains was above 0.8 for all SKPTs; exceptions to this were seen in two of the tests for CO and PR that had a reliability of 0.7-0.8. The results for all of the individual competency domains differed in their informational content compared to the overall of the other domains; the same applies for all pairwise comparisons, with the exceptions of CP and CT. Discussion: The SKPT feedback for students that is differentiated by competency domains basically fulfills the requirements for measurement reliability and distinctness. An improvement of the measurement quality for CO and PR and a better differentiation between CP and CT is desirable.
Hintergrund: Seit dem Jahr 2013 wird an einer Reihe medizinischer Fakultäten ein studentischer kompetenzorientierter Progresstest (SKPT) durchgeführt. Die Erstellung der Fragen erfolgt auf Basis eines zweidimensionalen Blueprints, dessen eine Achse aus den auf dem Kompetenzmodell des NKLM basierenden fünf Kompetenzbereichen „Kommunikative Kompetenz“ (KO), „Klinisch-praktische Kompetenz“ (KP) „Klinisch-theoretische Kompetenz“ (KT), „Wissenschaftskompetenz“ (WI) und „Professionelle Handlungskompetenz“ (PH) besteht. Die Rückmeldung an die teilnehmenden Studierenden erfolgt u. a. differenziert nach diesen Bereichen. Ziel der Studie ist, zu prüfen, ob die nach Kompetenzbereichen differenzierten Ergebnisse eine hinreichende Messgenauigkeit aufweisen und ob die Ergebnisse zu verschiedenen Bereichen auch unterschiedliche Informationen enthalten. Methoden: Untersucht wurden die SKPTs der Jahre 2013 bis 2017 mit zusammen 3027 Teilnehmern. Die Messgenauigkeit wurde mit dem Koeffizient glb und dem Standardmessfehler bestimmt, zum Nachweis der Differenziertheit der Kompetenzbereiche wurde eine Diskriminanzanalyse der Hauptkomponenten eingesetzt. Ergebnisse: Die Reliabilität der Kompetenzbereiche war in allen Progresstests über 0.8, Ausnahmen hiervon waren in zwei der Tests KO und PH mit einer Reliabilität von 0.7–0.8. Die Ergebnisse aller Bereiche unterschieden sich hinsichtlich ihres Informationsgehalts jeweils vom Gesamt der anderen Bereiche, gleiches gilt mit Ausnahme von KP und KT für sämtliche paarweisen Vergleiche.Diskussion: Die nach Kompetenzbereichen differenzierte Rückmeldung der Leistungen im SKPT erfüllt im Wesentlichen die Anforderungen an Messzuverlässigkeit und Eigenständigkeit. Eine Verbesserung der Messgüte bei den Bereichen KO und PH sowie eine bessere Differenzierung der Bereiche KP und KT ist wünschenswert.
Keywords: discriminant validity; progress test; reliability.
Copyright © 2020 Möltner et al.