Influence of a revision course and the gender of examiners on the grades of the final ENT exam--a retrospective review of 3961 exams

GMS Z Med Ausbild. 2015 Oct 15;32(4):Doc38. doi: 10.3205/zma000980. eCollection 2015.

Abstract

Revision courses should repeat already acquired knowledge and skills and mostly provide a basis for passing the following exam.

Aim: The aim of the study is to investigate the influence of a previously attended revision course on the grades achieved in a final exam (Ear, Nose and Throat Diseases). Additionally we ask the question whether the gender of the examiners plays a role concerning the marks or not.

Methods: 3961 exams at the Department of Ear, Nose and Throat (ENT) Diseases in Vienna were investigated, 725 with revision course (experimental group) and 3236 without previous revision course (comparison group). The revision courses were performed in a standardized way concerning form and content, interactive and case based. Both groups were examined uniform in regard to topics and time duration. 16 male and 6 female examiners were involved. The grading followed a five-level scale. The examination marks were calculated in the arithmetic mean and median value for the entire sample, gender dependence was calculated according to the Wilcoxon-Mann-Whitney-Test. The inferential statistics included single- and multiple factorial analyses of variance as well as uni- and multivariate regression models.

Results: The experimental group achieved a grade average of 2.54 compared with 2.46 for the comparison group. Splitting up into male and female examiners, an average of 2.54 and 2.58 resp. for the experimental group and 2.44 and 2.61 resp. for the comparison group resulted. Female examiner marked significantly lower grades in comparison to their male colleagues (P= 0.001926).

Conclusions: The ENT revision course did not improve the grade averages of the final ENT exam. Female examiners grade stricter than male examiners. There was no difference concerning grades 4 (pass) and 5 (fail) but female examiners grade less with mark 1.

Repetitorien sind Lehrveranstaltungen, die bereits erworbenes Wissen und Kenntnisse wiederholen und meist als Vorbereitung zum Bestehen eines Examens dienen.Zielsetzung: Zweck der Studie ist es, die Beeinflussung des Ergebnisses bei der mündlichen Gesamtprüfung (Rigorosum) im Fach Hals-Nasen-Ohrenheilkunde zu untersuchen, wenn zuvor ein interaktives mündliches Repetitorium besucht wurde. Zudem wird der Frage nachgegangen, ob es Unterschiede zwischen weiblichen und männlichen Prüfern bei der Notenvergabe gibt.Methode: 3961 Einzelprüfungen an der Universitätsklinik für HNO-Krankheiten in Wien wurden untersucht, 725 mit Repetitorium (Versuchsgruppe) und 3236 ohne Repetitorium (Vergleichsgruppe). Das Repetitorium wurde als inhaltlich standardisiertes Wahlfach interaktiv und fallorientiert gestaltet.Beide Gruppen wurden nach einheitlichen Kriterien (Inhalte, Dauer) geprüft. 16 männliche Prüfer und 6 weibliche Prüferinnen waren tätig. Die Benotung erfolgte in einer 5-teiligen Skala und wurde als arithmetischer Durchschnittswert mit Median, die Geschlechtsabhängigkeit der Notenvergabe wurde mit dem Wilcoxon-Rangsummentest berechnet. Die schließende Statistik bestand aus ein- und multifaktoriellen Varianzanalysen sowie uni- und multivarianten Regressionsmodellen.Ergebnisse: Die Versuchsgruppe erzielte einen Notendurchschnitt von 2,54 gegenüber jener der Vergleichsgruppe mit 2,46. Nach Aufteilung in männliche und weibliche Prüfer ergibt sich ein Notendurchschnitt für die Versuchsgruppe von 2,54 bzw. 2,58 und für die Vergleichsgruppe von 2,44 bzw. 2,61. Der Unterschied ist statistisch signifikant (p=0,001926).Schlussfolgerung: Das HNO-Repetitorium hat nicht zu einer Verbesserung des Notendurchschnittes bei der nachfolgenden mündlichen Prüfung über Inhalte des gesamten Faches geführt. Weibliche Prüfer benoten strenger als männliche. Der wesentliche Unterschied zwischen männlichen und weiblichen PrüferInnen in der Notengebung besteht bei der Vergabe der Noten 1 und 2 und nicht bei der Note 5 (nicht bestanden).

Keywords: Medical School; Revision course; examiner; grading; oral exam.

Publication types

  • Comparative Study
  • Controlled Clinical Trial

MeSH terms

  • Achievement
  • Adult
  • Austria
  • Clinical Competence*
  • Faculty, Medical*
  • Female
  • Gender Identity*
  • Humans
  • Male
  • Otolaryngology / education*
  • Retrospective Studies
  • Specialty Boards / statistics & numerical data*
  • Test Taking Skills*