Background: Progressive implementation of the milestone competence-based curriculum has created a need for new objective and validated means to assess resident surgical proficiency. A previous systematic review of the literature by our group has highlighted a shortage of tools assessing surgical competence in oncologic procedures in otolaryngology - head and neck surgery.
Methods: We developed a procedure-specific assessment tool for neck dissection using a modified Delphi method. The 2-part design was modelled on the previously validated Objective Structured Assessment of Technical Skills checklist. The tool was then validated through a 1-year multicentric prospective study in collaboration with the residents and faculty from our academic centre. Additionally, we developed an online survey to assess the acceptability by residents and staff before and after the validation studies.
Results: A total of 29 evaluations were completed throughout the 2016-2017 academic year. Acceptability ranked high for both residents and staff, with a single discrepancy in responses regarding a potential formative as opposed to summative use of the tool. Validation study results showed significantly higher checklist scores among senior residents than junior residents, as well as a significant score progression over time (p < 0.05). Trends in scores on the task-specific tool correlated highly to results obtained on a validated global rating scale (p < 0.05).
Conclusion: The first tool assessing surgical competence in oncologic otolaryngology - head and neck surgery has been developed and shows promising validity.
Contexte:: L’application progressive d’un programme de formation axé sur les compétences par jalons a forcé la mise en place d’une nouvelle façon objective et validée d’évaluer les compétences des résidents en chirurgie. Une précédente revue systématique de la littérature menée par notre groupe avait mis en lumière un manque d’outils pour évaluer les compétences en chirurgie oncologique de la tête et du cou.
Méthodes:: Nous avons élaboré un outil d’évaluation spécifique pour la dissection du cou à l’aide d’une méthode Delphi modifiée. Le modèle en 2 parties s’inspire de la liste de vérification validée existante pour l’évaluation objective structurée des habiletés techniques (Objective Structured Assessment of Technical Skills). L’outil a ensuite été validé dans le cadre d’une étude multicentrique prospective d’une durée de 1 an, en collaboration avec les résidents et professeurs de notre centre universitaire. Nous avons aussi préparé un questionnaire en ligne pour en évaluer l’acceptabilité auprès des résidents et des professeurs avant et après les études de validation.
Résultats:: En tout, 29 évaluations ont été complétées au cours de l’année de formation 2016–2017. L’acceptabilité a reçu un score élevé auprès des résidents et des professeurs, avec une seule disparité dans les réponses concernant une utilisation potentiellement formative plutôt que sommative de l’outil. Les résultats des études de validation ont montré des scores significativement plus élevés pour la liste de vérification parmi les résidents séniors par rapport aux résidents juniors, ainsi qu’une importante progression des scores avec le temps (p < 0,05). Les tendances des scores pour ce qui est de l’outil spécifique à la tâche ont été en étroite corrélation avec les résultats obtenus sur une échelle d’évaluation globale validée (p < 0,05).
Conclusion:: Un premier outil d’évaluation des compétences en chirurgie oncologique de la tête et du cou a été créé et sa validité est prometteuse.
© 2022 CMA Impact Inc. or its licensors.