Improved self- and external assessment of the clinical abilities of medical students through structured improvement measures in an internal medicine bedside course

GMS J Med Educ. 2016 Aug 15;33(4):Doc59. doi: 10.3205/zma001058. eCollection 2016.

Abstract

Background: Bedside courses are of outstanding importance when training medical students. The fact that less and less teaching is taking place nowadays at the patient's bedside makes it all the more important that the available time be put to effective use. The aim of this study was to check whether structured improvement measures in the course (scripts, lecturer briefing, e-learning cases) would improve the abilities of the students on the basis of a subjective self-assessment as well as an external assessment by the lecturers with respect to clinical abilities.

Methods: Bedside teaching takes place in the fourth study year in the Medical Clinics of the TU Munich. Both students and lecturers had the chance to hand in an anonymous, quantitative self- and external assessment of the clinical abilities of the students (German grading system) after every course date. This assessment took place online in the three categories "Medical history & examination", "Diagnosis" and "Therapy". An overall period of four semesters, each with 6 course dates, was investigated. After two of the total of four semesters in the study, the course was changed by introducing scripts, lecturer briefing as well as interactive e-learning cases. The self- and external assessment was compared both within the semester (date 1-3: A; date 4-6: B), during the course as well as before and after introducing the improvement measures ("before" (T0): SS 2012, SS 2013, "after" (T1): WS 2013/2014, SS 2014).

Results: There was a significant improvement in one's own abilities on the basis of the self-assessment within each semester when comparing the first (A) and the last (B) course dates. Moreover, there was a significant improvement in the performances in all three categories when T0 was compared with T1, from both the point of view of the students ("Medical history & examination": T0 =2.5±0.9, T1=2.2±0.7, pp<0.001; "Diagnosis" T0=3.1±1.0, T1=2.8 ±0.9, pp<0.001; "Therapy": T0=3.8±1.3, T1=3.5±1.2, pp<0.018) and in two of the three categories from the point of view of the lecturers ("Diagnosis": T0=3.0±1.0, T1=2.7±0.7, p.=0.028; "Therapy": T0=3.8±1.1, T1=3.1±1.0, p<0.001).

Summary: The structured measures to improve the course including the interactive e-learning cases could have contributed to improved practical abilities with respect to the medical history and examination techniques as well as diagnostic and therapeutic thinking. The external evaluation by lecturers confirmed the improvement with respect to the diagnostic and therapeutic abilities. They only saw no dynamic change in the student's taking histories and clinical examinations.

Hintergrund: Bedside-Kurse sind in der Ausbildung von Medizinstudierenden von herausragender Bedeutung. Die Tatsache, dass heutzutage immer weniger Unterricht am Krankenbett stattfindet, lässt es umso wichtiger erscheinen, die vorhandene Zeit effektiv zu nutzen. Ziel der Studie war es zu überprüfen, ob sich durch strukturierte Verbesserungsmaßnahmen des Kurses (Skripte, Dozentenbriefing, E-Learning-Fälle) die Fähigkeiten der Studenten auf Basis einer subjektiven Selbsteinschätzung sowie einer Fremdbeurteilung durch die Dozenten im Hinblick auf klinische Fähigkeiten verbessern. Methoden: Im vierten Studienjahr findet in den Medizinischen Kliniken der TU München ein Bedside-Teaching statt. Sowohl Studenten als auch Dozenten hatten nach jedem Kurstermin die Möglichkeit eine anonyme, quantitative Selbst- und Fremdeinschätzung der klinischen Fähigkeiten der Studenten abzugeben (deutsches Notensystem). Diese Einschätzung erfolgte online in den drei Kategorien „Anamnese & Untersuchung“, „Diagnose“ und „Therapie“. Insgesamt wurde ein Zeitraum von vier Semestern mit je 6 Kursterminen untersucht. Nach zwei der insgesamt vier untersuchten Semester wurde der Kurs durch die Einführung von Skripten, einem Dozentenbriefing sowie interaktiven E-Learning Fällen verändert. Die Selbst- und Fremdeinschätzung wurde sowohl innerhalb der Semester (Termin 1-3: A; Termin 4-6: B), im Laufe des Kurses, als auch vor und nach Einführung der Verbesserungsmaßnahmen („vorher“ (T0): SS 2012, SS 2013, „nachher“ (T1): WS 2013/2014, SS 2014) verglichen.Ergebnisse: Innerhalb eines jeden Semesters zeigte sich auf Basis der Selbsteinschätzung eine signifikante Verbesserung der eigenen Fähigkeiten beim Vergleich der ersten (A) mit den letzten (B) Kursterminen. Außerdem zeigte sich eine signifikante Verbesserung der Leistungen in allen drei Kategorien beim Vergleich von T0 zu T1 sowohl aus der Perspektive der Studenten („Anamnese & Untersuchung“: T0 =2,5±0,9, T1=2,2±0,7, p<0,001; „Diagnose“: T0=3,1±1,0, T1=2,8 ±0,9, p<0,001; „Therapie“: T0=3,8±1,3, T1=3,5±1,2, p<0,018) sowie bei zwei der drei Kategorien aus der Sicht der Dozenten („Diagnose“: T0=3,0±1,0, T1=2,7±0,7, p=0,028; „Therapie“: T0=3,8±1,1, T1=3,1±1,0, p<0,001). Zusammenfassung: Die strukturierten Maßnahmen zur Verbesserung des Kurses inklusive der interaktiven E-Learning Fälle könnten zu verbesserten praktischen Fähigkeiten im Hinblick auf Anamnese- und Untersuchungstechniken sowie diagnostisches und therapeutisches Denken beigetragen haben. In der Fremdevaluation durch Dozenten konnte die Verbesserung im Hinblick auf diagnostische und therapeutische Fähigkeiten bestätigt werden. Lediglich in der Anamneseerhebung und klinischen Untersuchung der Studenten sahen sie keine Dynamik.

Keywords: e-learning; evaluation; medical education; medical examination; medical history; physical examination; self-assessment.

MeSH terms

  • Clinical Competence*
  • Education, Medical, Undergraduate
  • Humans
  • Internal Medicine / education*
  • Physical Examination
  • Self-Assessment
  • Students, Medical*