Assessment of the reliability of virtual preanesthetic airway evaluation compared to traditional in-person airway evaluation: a prospective observational study

Can J Anaesth. 2023 Jan;70(1):79-86. doi: 10.1007/s12630-022-02345-7. Epub 2022 Nov 14.

Abstract

Purpose: Airway evaluation is a fundamental component of the preanesthetic examination. Virtual care has increased during the COVID-19 pandemic. We aimed to assess the reliability of a virtual preanesthetic airway evaluation compared with a traditional in-person airway evaluation.

Methods: This prospective observational study compared the inter-rater agreement of an in-person airway evaluation performed by a consultant anesthesiologist with a virtual airway evaluation (VAE) performed by consultant anesthesiologists and medical students. The airway evaluation was completed using a comprehensive airway evaluation and scoring tool. The primary outcome was the inter-rater agreement of total scores between in-person anesthesiologist airway evaluations and the VAEs of both the anesthesiologists and medical students, assessed using Cohen's Kappa (CK). Secondary outcomes included the inter-rater agreement for each airway evaluation component between the in-person anesthesiologists and both the anesthesiologist and medical student VAEs, assessed using prevalence-adjusted and bias-adjusted Kappa.

Results: One hundred out of 111 participants completed all three evaluations. The in-person anesthesiologist airway evaluations had fair and good levels of agreement of total scores with the VAEs of the anesthesiologists (CK, 0.21; 97.5% confidence interval [CI], 0.07 to 0.34) and the medical students (CK, 0.74; 97.5% CI, 0.62 to 0.86), respectively. One participant was reported to have a difficult intubation.

Conclusion: Virtual airway evaluations performed by anesthesiologists and medical students had fair and good inter-rater agreement, respectively, with in-person anesthesiologist airway evaluations. Further study with a focus on patients with difficult airways is required to define the predictive value of VAEs regarding difficult intubations.

RéSUMé: OBJECTIF: L’évaluation des voies aériennes constitue un élément fondamental de l’examen préanesthésique. Les soins prodigués virtuellement ont augmenté pendant la pandémie de COVID-19. Nous avons tenté d’évaluer la fiabilité d’une évaluation préanesthésique virtuelle des voies aériennes par rapport à une évaluation traditionnelle en personne. MéTHODE: Cette étude observationnelle prospective a comparé la concordance inter-observateurs d’une évaluation des voies aériennes en personne effectuée par un anesthésiologiste avec une évaluation virtuelle des voies aériennes (EVVA) réalisée par des anesthésiologistes et des étudiants en médecine. L’évaluation des voies aériennes a été réalisée à l’aide d’un outil d’évaluation et de notation des voies aériennes. Le critère d’évaluation principal était la concordance inter-observateurs des scores totaux entre les évaluations des voies aériennes réalisées par des anesthésiologistes en personne et les EVVA effectuées par des anesthésiologistes et des étudiants en médecine, évaluée à l’aide du coefficient Kappa de Cohen (CK). Les critères d’évaluation secondaires comprenaient la concordance inter-observateurs pour chaque composante de l’évaluation des voies aériennes entre les anesthésiologistes en personne et les anesthésiologistes et étudiants en médecine ayant réalisé les EVVA, évaluée à l’aide d’un coefficient de Kappa ajusté pour la prévalence et les biais. RéSULTATS: Cent des 111 participants ont complété les trois évaluations. Les évaluations des voies aériennes par des anesthésiologistes en personne présentaient des niveaux de concordance des scores totaux fidèles et bons par rapport aux EVVA réalisées par les anesthésiologistes (CK, 0,21; intervalle de confiance [IC] à 97,5 %, 0,07 à 0,34) et les étudiants en médecine (CK, 0,74; IC 97,5 %, 0,62 à 0,86), respectivement. Une intubation difficile a été rapportée pour un participant. CONCLUSION: Les évaluations virtuelles des voies aériennes réalisées par des anesthésiologistes et des étudiants en médecine avaient une concordance inter-observateurs fidèle et bonne avec les évaluations des voies aériennes réalisées en personne par des anesthésiologistes. Des recherches plus approfondies axées sur les patients présentant une prise en charge difficile des voies aériennes sont nécessaires pour définir la valeur prédictive des EVVA dans un contexte d’intubations difficiles.

Keywords: airway evaluation; eHealth; preanesthetic; telehealth; virtual care.

Publication types

  • Observational Study

MeSH terms

  • COVID-19*
  • Humans
  • Observer Variation
  • Pandemics
  • Prospective Studies
  • Reproducibility of Results
  • Students, Medical*