Background and objective: Evaluation is an integral part of education in German medical schools. According to the quality standards set by the German Society for Evaluation, evaluation tools must provide an accurate and fair appraisal of teaching quality. Thus, data collection tools must be highly reliable and valid. This review summarises the current literature on evaluation of medical education with regard to the possible dimensions of teaching quality, the psychometric properties of survey instruments and potential confounding factors.
Methods: We searched Pubmed, PsycINFO and PSYNDEX for literature on evaluation in medical education and included studies published up until June 30, 2011 as well as articles identified in the "grey literature". RESULTS are presented as a narrative review.
Results: We identified four dimensions of teaching quality: structure, process, teacher characteristics, and outcome. Student ratings are predominantly used to address the first three dimensions, and a number of reliable tools are available for this purpose. However, potential confounders of student ratings pose a threat to the validity of these instruments. Outcome is usually operationalised in terms of student performance on examinations, but methodological problems may limit the usability of these data for evaluation purposes. In addition, not all examinations at German medical schools meet current quality standards.
Conclusion: The choice of tools for evaluating medical education should be guided by the dimension that is targeted by the evaluation. Likewise, evaluation results can only be interpreted within the context of the construct addressed by the data collection tool that was used as well as its specific confounding factors.
Hintergrund und Fragestellung: Die Evaluation ist fester Bestandteil der Lehre an Medizinischen Fakultäten. Gemäß den Standards der Deutschen Gesellschaft für Evaluation müssen Evaluationsinstrumente eine faire und genaue Beurteilung der Lehrqualität erlauben. Entsprechend müssen die genutzten Erhebungsinstrumente eine hohe Reliabilität und Validität aufweisen. In dieser Übersichtsarbeit wird die verfügbare Literatur zur Evaluation des Medizinstudiums mit Hinblick auf die möglichen Dimensionen der Lehrqualität, die psychometrischen Eigenschaften der Instrumente und potentielle Störfaktoren dargestellt.Methoden: Ausgehend von einer Schlagwortsuche in Pubmed, PsycINFO und PSYNDEX wurde eine Literatur-Recherche zur Evaluation im Medizinstudium durchgeführt. Berücksichtigung fanden Arbeiten, die bis zum 30.6.2011 in die Datenbanken aufgenommen wurden sowie „graue Literatur“. Die Ergebnisse werden in narrativer Form präsentiert.Ergebnisse: Es wurden vier Dimensionen der Lehrqualität im Medizinstudium identifiziert: Strukturen, Prozesse, Dozenten-Charakteristika und das Lehr-Ergebnis. Zur Betrachtung der ersten drei Dimensionen werden in erster Linie studentische Bewertungen herangezogen. Hierfür liegen einige reliable, in deutscher Sprache verfügbare Instrumente vor. Die Validität studentischer Bewertungen wird jedoch durch zahlreiche potentielle Störfaktoren eingeschränkt. Zur Beurteilung des Lehr-Ergebnisses werden vor allem Prüfungsleistungen herangezogen, deren Nutzbarkeit allerdings aufgrund methodischer Probleme eingeschränkt sein kann. Zudem genügen nicht alle Prüfungen an deutschen medizinischen Fakultäten den gängigen Qualitätsstandards.Folgerung: Die Auswahl von Instrumenten zur Evaluation des Medizinstudiums sollte sich daran orientieren, welche Dimension der Lehre beurteilt werden soll. Entsprechend können Evaluationsergebnisse auch nur vor dem Hintergrund des vom genutzten Erhebungsinstrument abgebildeten Konstrukts und dessen spezifischen Störfaktoren interpretiert werden.
Keywords: confounder; dimension; evaluation; medical education; questionnaire.