Objectives: Ward rounds serve a crucial daily activity in hospitals. Building on the Entrustable Professional Activity "Conducting internal medicine ward rounds" consisting of ten competencies and 25 corresponding activities, this study aims at assessing content and external validity of an observation checklist for this EPA. Methods: A focus group aimed at content validation of the checklist. Five participants therefore evaluated it with respect to comprehensiveness and comprehensibility. To investigate external validity, 14 authentic ward rounds were video-taped and rated by two raters with the adapted observation checklist in terms of the appearance of certain activities in the videos. Results: After some adaptions, participants of the focus group agreed on a checklist consisting of nine competencies, 25 activities and 110 examples of observable behaviours supporting content validity. External validity was studied by using the observation checklist for ratings of ward round videos. The checklist was regarded as a valuable tool to structure observation. Along with the high frequencies of observed behaviour and interrater-reliability, external validity can be assumed. Conclusion: The first scientifically developed comprehensive observation checklist for the EPA conducting a ward round in internal medicine is presented. The checklist is a valuable tool for providing elaborated feedback in undergraduate and graduate medical education. Focussing on multi-institutional validation and the cut offs of the checklist to determine the levels of entrustment are recommended for future research.
Ziel: Visiten stellen eine zentrale tägliche Aufgabe im Krankenhausalltag dar. Auf der Basis der Entrustable Professional Activity „Durchführung von Visiten in der Inneren Medizin“, die 10 Kompetenzen und 25 dazugehörige Tätigkeiten umfasst, ist das Ziel dieser Studie die Bewertung der inhaltlichen und externen Validität der Beobachtungs-Checkliste.Methode: Eine Fokusgruppendiskussion diente der inhaltlichen Validierung der Checkliste. Fünf TeilnehmerInnen bewerteten die Checkliste hinsichtlich der Vollständigkeit und Verständlichkeit. Zur Prüfung der externen Validität wurden 14 authentische Visiten aufgezeichnet. Zwei Beobachter füllten die Checkliste hinsichtlich des Auftretens bestimmter Tätigkeiten in den Videos aus.Ergebnisse: Nach einigen Anpassungen bewerteten die TeilnehmerInnen der Fokusgruppe die Checkliste, die final aus neun Kompetenzen, 25 Aktivitäten und 110 Beipielen beobachtbaren Verhaltens besteht, als umfassend. Dies bestätigte die inhaltliche Validität der Checkliste. Die externe Validität wurde im Rahmen der Betrachtung von Visitenvideos untersucht. Die Checkliste wurde als wertvolles Hilfsmitel angesehen, die die Beobachtung strukturiert. Die hohe Häufigkeit beobachteter Verhaltensweisen sowie die hohe Interrater-Reliabilität bekräftigen die externe Validität der Checkliste.Schlussfolgerung: Eine erste wissenschaftlich entwickelte umfassende Beobachtungs-Checkliste für die EPA “Durchführung einer Visite in der Inneren Medizin” wird dargestellt. Die Checkliste ist ein wertvolles Instrument, um elaboriertes Feedback im Medizinstudium und in der postgraduierten Medizin zu geben. Weitere Forschung sollte eine multi-institutionelle Validierung sowie die Differenzierung der Levels of Supervision in den Blick nehmen.
Keywords: EPA; entrustable professional activity; internal medicine ward round; observation checklist; validation study.