The prognostic validity of the formative for the summative MEQ (Modified Essay Questions)

GMS J Med Educ. 2021 Sep 15;38(6):Doc99. doi: 10.3205/zma001495. eCollection 2021.

Abstract

Objective: The purpose of formative examinations is that students and lecturers receive an early feedback regarding the success of learning behavior and teaching methods. These also serve as practice for later summative exams. The aim of this paper is to investigate to what extent the result of the formative MEQ* at the end of the first semester at Witten/Herdecke University (UW/H) in the study program human medicine can be used as a predictor for the summative MEQ-1 at the end of the second semester which is part of the equivalence examination replacing the state examination. Methodology: The predictive value of the score achieved in the MEQ* on the MEQ-1 score, as well as the potential influence of the variables gender, age, high school graduation grade (German Abiturnote), professional background, and self-efficacy expectancy, was determined for students of human medicine. Results: Data from two cohorts of UW/H with a total of 88 students were included. Scores on the formative MEQ* correlate with those on the summative MEQ-1 in both cohorts. In regression analyses, only the score on the MEQ* proves to be a significant predictor of performance on the MEQ-1 (40.5% variance explanation). Particularly significant predictors are the scores in the subjects anatomy and clinical reasoning. Vocational training or pre-study only appear to contribute to higher scores in the MEQ* after the first semester, but have no further significance in predicting scores in the MEQ-1. Conclusion: The MEQ* was confirmed to be a good predictor of the MEQ-1. Thus, it serves as a formative exam to inform students about their current state of knowledge with regard to the summative exam MEQ-1, so that they can adequately adapt their learning strategies in the course of the second semester.

Zielsetzung: Damit Studierende und Dozierende frühzeitig ein Feedback bezüglich des Erfolgs von Lernverhalten und Lehrmethoden bekommen, werden formative Prüfungen geschrieben. Diese dienen auch als Übung für spätere summative Prüfungen. Ziel dieser Arbeit ist die Untersuchung, in wie weit das Ergebnis des formativen MEQ* am Ende des 1. Semesters an der Universität Witten/Herdecke (UW/H) im Studiengang Humanmedizin als Prädiktor für den summativen MEQ-1 am Ende des 2. Semesters, der Teil der Staatsexamens ersetzenden Äquivalenzprüfung ist, dienen kann. Methodik: Der prädiktive Wert der Punktzahl aus dem MEQ* auf die Punktzahl des MEQ-1 sowie der mögliche Einfluss der Variablen Geschlecht, Alter, Abiturnote, berufliches Vorwissen und Selbstwirksamkeitserwartung wurde für die Studierenden der Humanmedizin ermittelt.Ergebnisse: Einbezogen wurden Daten von zwei Jahrgängen der UW/H mit insgesamt 88 Studierenden. Die Punktzahlen im formativen MEQ* korrelieren für beide Jahrgänge mit denen des summativen MEQ-1. In Regressionsanalysen erweist sich lediglich die Punktzahl im MEQ* als signifikanter Prädiktor der Leistung im MEQ-1 (40.5% Varianzerklärung). Besonders bedeutsame Prädiktoren sind die Ergebnisse in den Fächern Anatomie und Klinisches Denken. Eine Berufsausbildung oder ein Vorstudium scheinen nur zu höheren Punktzahlen im MEQ* nach dem ersten Semester beizutragen, haben aber für die Prädiktion der Punktzahl im MEQ-1 keine weitere Bedeutung. Schlussfolgerung: Der MEQ* konnte als guter Prädiktor für den MEQ-1 bestätigt werden. Somit kommt dieser seiner Funktion als formative Prüfung nach, die Studierenden über ihren aktuellen Wissensstand im Hinblick auf die summative Prüfung MEQ-1 zu informieren, damit diese ihre Lernstrategien im Verlauf des 2. Semesters adäquat anpassen können.

Keywords: Modified Essay Questions (MEQ); constructive alignment; formative testing; predictors of academic success; summative testing.

MeSH terms

  • Educational Measurement* / methods
  • Feedback
  • Humans
  • Learning*
  • Physical Examination
  • Prognosis