Background Medical curricula require an increasing amount of integrated clinical practical skills education. German medical faculties are increasingly implementing the OSCE (objective structured clinical examination) to test students' practical as well as communication skills. Teaching and assessment tools for practical skills include simulators and simulated patient scenarios, where peer-assisted teaching (PAT) is applied. Trained student tutors support this process. This study examines for the first time the use of PAT student tutors as examiners in an orthopaedic OSCE unit and the existence of possible differences in rating between faculty and PAT student tutors. Material and Methods N = 94 students (out of n = 324) in their first clinical year were randomly assigned to the OSCE unit "spine and pelvis examination" in March/April 2016 and data were collected over the three-day OSCE period. A structured checklist was developed and the two examiners (one university professor from the Department of Orthopaedics, one PAT student tutor) received identical preparatory training. The checklist was completed by both examiners independently and data were collected for statistical analysis. The analysis focused on the overall evaluation in points, as well as separate checklist sections focusing on different competences and comparison of the three consecutive examination days. Analysis was conducted by SPSS. Results The average number of points in the overall evaluation was 19.5 (out of 25) points. The student tutor evaluated the students with an average of 19.1 points, the professor with 19.9 points. A significant difference was observed between the two examiner evaluations of day one (p < 0.001) and in the overall analysis (p < 0.001). On OSCE examination days 2 and 3, no significant differences in evaluation were observed. Conclusion The analysis shows only one significant evaluation difference between the two assessors, with the PAT student tutor's evaluation being stricter. The authors conclude that a point difference of 0.8 out of 25 in the average overall evaluation and an interrater reliability of 0.95 in an orthopaedic OSCE station examining practical skills as well as communication skills justifies employing PAT student tutors as assessors in this context. The obligatory requirements for this are a detailed PAT student tutor training, the development of a well-structured and valid checklist, as well as continuous quality assurance of the overall OSCE.
Hintergrund Die ärztliche Ausbildung fordert in zunehmendem Maße einen hohen Anteil an Praxis im Studium. An vielen medizinischen Fakultäten in Deutschland wird mittlerweile die OSCE-Prüfung (OSCE: objective structured clinical examination) eingesetzt, um praktische Fertigkeiten sowie Lernziele der Arzt-Patienten-Kommunikation zu überprüfen. Die Vermittlung praktischer Fertigkeiten wird zunehmend unterstützt durch Einsatz von Simulatoren- und Simulationspatiententraining unter Einsatz des sog. „Peer-Teaching“-Verfahrens durch geschulte studentische Tutoren. In dieser Arbeit wird erstmalig der Einsatz von studentischen Tutoren als Prüfer in der OSCE-Prüfung Orthopädie dahingehend überprüft, ob unterschiedliche Bewertungen der Leistung durch einen Hochschullehrer oder studentischen Tutor erfolgen. Material und Methoden Prospektiv wurden die Daten von n = 94 aus n = 324 Studierenden des 5. Fachsemesters erhoben, die im März/April 2016 der OSCE-Station „Untersuchung der Wirbelsäule“ zurandomisiert wurden. Eine strukturierte Checkliste wurde hierzu entworfen und die beiden Prüfer (ein Hochschullehrer des Fachbereichs Orthopädie, ein studentischer Tutor) entsprechend geschult. Die Checkliste wurde von beiden Prüfern unabhängig voneinander ausgefüllt und anschließend einer statistischen Auswertung zugeführt. Die Auswertung nach Gesamtpunkten, Bewertungsblöcken und Prüfungstagen erfolgte mittels SPSS. Ergebnisse Die durchschnittlich erreichte Punktzahl in der Gesamtbewertung lag bei 19,5 Punkten (maximal zu erreichende Punktzahl: 25), wobei der studentische Prüfer im Mittel 19,1 Punkte (SD ± 3,2), der Hochschullehrer 19,9 Punkte (SD ± 3,4) vergab. Signifikante Unterschiede in der Bewertung zeigten sich an Prüfungstag 1 (p < 0,001) und in der Gesamtauswertung (p < 0,001), während an den Prüfungstagen 2 und 3 einzeln betrachtet keine signifikanten Unterschiede zu vermerken waren. Schlussfolgerung Die Untersuchung zeigt lediglich an Tag 1 der Prüfung eine signifikant strengere Bewertung durch den studentischen Tutor. Bei einer Punktedifferenz von 0,8 aus 25 Punkten im Mittel und einer Interrater-Reliabilität von 0,95 kann aus Sicht der Autoren eine OSCE-Prüfungsstation zur Bewertung von Untersuchungstechniken und Arzt-Patienten-Kommunikation in der Orthopädie nach entsprechender Schulung durch einen studentischen Tutor erfolgen. Grundvoraussetzung hierfür ist eine fundierte Schulung des studentischen Prüfers sowie die Entwicklung einer gut strukturierten und validierten Checkliste. Ebenso sollte eine stetige Plausibilitätsprüfung der Prüfungsergebnisse erfolgen.
Georg Thieme Verlag KG Stuttgart · New York.