Development of diagnostic score reporting for a dental hygiene structured clinical assessment

Can J Dent Hyg. 2021 Feb 15;55(1):48-56. eCollection 2021 Feb.

Abstract

Background: Structured clinical assessments capture key information about performance that is rarely shared with the student as feedback. The purpose of this review is to describe a general framework for applying diagnostic score reporting within the context of a structured clinical assessment and to demonstrate that framework within dental hygiene.

Methods: The framework was developed using current research in the areas of structured clinical assessments, test development, feedback in higher education, and diagnostic score reporting. An assessment blueprint establishes valid diagnostic domains by linking clinical competencies and test items to the domains (e.g., knowledge or skills) the assessment intends to measure. Domain scores can be given to students as reports that identify strengths and weaknesses and provide information on how to improve.

Results: The framework for diagnostic score reporting was applied to a dental hygiene structured clinical assessment at the University of Alberta in 2016. Canadian dental hygiene entry-to-practice competencies guided the assessment blueprinting process, and a modified Delphi technique was used to validate the blueprint. The final report identified 4 competency-based skills relevant to the examination: effective communication, client-centred care, eliciting essential information, and interpreting findings. Students received reports on their performance within each domain.

Discussion: Diagnostic score reporting has the potential to solve many of the issues faced by administrators, such as item confidentiality and the time-consuming nature of providing individual feedback.

Conclusion: Diagnostic score reporting offers a promising framework for providing valid and timely feedback to all students following a structured clinical assessment.

Contexte: Les évaluations cliniques structurées saisissent des renseignements clés sur la performance qui est rarement partagée avec les étudiants à titre de rétroaction. L’objectif de la présente étude est de définir une structure générale pour établir le suivi de la notation des diagnostics dans le cadre d’une évaluation clinique structurée et pour mettre en évidence ce cadre au sein de l’hygiène dentaire.

Méthodologie: Le cadre a été créé à l’aide de la recherche actuelle dans les domaines d’évaluations cliniques structurées, d’élaboration de tests, de la rétroaction en éducation supérieure, et du suivi de la notation des diagnostics. Un plan d’évaluation détermine les domaines diagnostiques valides en liant les compétences cliniques et les éléments de tests aux domaines (p. ex., les connaissances ou les habiletés) que l’évaluation prévoit de mesurer. La notation des domaines peut être donnée aux étudiants sous forme de rapports qui précisent les forces et les faiblesses, et fournissent de l’information sur la façon de s’améliorer.

Résultats: Le cadre de suivi de la notation des diagnostics a été appliqué à une évaluation clinique structurée en hygiène dentaire de l’Université de l’Alberta en 2016. Les compétences canadiennes d’entrée en pratique en hygiène dentaire ont guidé le processus de planification de l’évaluation et une technique modifiée de Delphi a été utilisée pour valider le plan. Le rapport final a ciblé quatre habiletés fondées sur des compétences, pertinentes à l’examen : communication efficace, soins axés sur le client, obtention des renseignements essentiels, et interprétation des constatations. Les étudiants ont reçu des rapports sur leur performance dans chaque domaine.

Discussion: Le suivi de la notation des diagnostics a le potentiel de résoudre plusieurs des enjeux auxquels sont confrontés les administrateurs, comme la confidentialité des éléments et le temps demandé pour la rétroaction individuelle.

Conclusion: Le suivi de la notation des diagnostics offre un cadre prometteur pour fournir une rétroaction valide et rapide à tous les étudiants à la suite d’une évaluation clinique structurée.

Keywords: dental education; dental hygiene; diagnostic score reporting; feedback (learning); formative feedback; objective structured clinical examination (OSCE).

Publication types

  • Review

MeSH terms

  • Canada
  • Clinical Competence*
  • Feedback
  • Humans
  • Oral Hygiene*