Examples of proper reporting for evaluation (Stage 2 validation) of diagnostic tests for diseases listed by the World Organisation for Animal Health

Rev Sci Tech. 2021 Jun;40(1):287-298. doi: 10.20506/rst.40.1.3225.

Abstract

Reporting and design standards are key indicators of the quality of diagnostic accuracy (validation) studies but, with the exception of aquatic animal diseases and paratuberculosis in ruminants, there is limited guidance for designing these studies in animals. There is, therefore, a need for generic guidelines that are based on disease characteristics, such as mode of transmission, latent period and pathogenesis. Comprehensive, clear and transparent reporting of primary test accuracy studies for diseases listed by the World Organisation for Animal Health (OIE) has value for the end users of diagnostic tests and, ultimately, for decision-makers, who require systematic reviews and meta-analysis of multiple tests for specified diseases and testing purposes. The recent publication of reporting standards for Bayesian latent class models, to analyse test-accuracy data from naturally occurring disease events, fills an important gap as these methods are being increasingly used for OIE-listed diseases. Adherence to design and reporting standards, as well as to guidelines, helps to ensure that research funding for test validation studies is used appropriately and that the strengths and limitations of single tests or test combinations are made clear to test users. The authors provide a review of key points that are often overlooked or misinterpreted in test validation studies, as well as two concrete examples of good practice for use as a reference point for future studies.

Les normes de notification et de conception sont des indicateurs essentiels de la qualité des études de validation des tests destinées à déterminer leur exactitude diagnostique ; or, en dehors des maladies des animaux aquatiques et de la paratuberculose chez les ruminants, il n’existe guère de lignes directrices pour concevoir ce type d’études pour les tests utilisés en santé animale. À la connaissance des auteurs, il n’existe pas non plus de normes de conception applicables aux études de validation en santé humaine. Par conséquent, il conviendrait de disposer de lignes directrices génériques fondées sur les caractéristiques des maladies telles que leurs modalités de transmission, leur période de latence et leur pathogénie. Une notification complète, claire et transparente des études d’exactitude des tests primaires pour les maladies listées par l’Organisation mondiale de la santé animale (OIE) serait une aide précieuse pour les utilisateurs finaux des tests de diagnostic, mais aussi pour les responsables de l’élaboration des politiques, dont les décisions reposent sur des examens et des méta-analyses systématiques couvrant un grand nombre de tests pour certaines maladies ou pour certains usages d’un test. La publication récente des normes de notification applicables aux modèles bayésiens à classe latente pour analyser les données de performance d’un test à partir de foyers naturels de maladie comble une lacune importante dans la mesure où ces méthodes sont de plus en plus utilisées pour les maladies listées par l’OIE. L’adhésion à des normes de conception et de notification ainsi qu’à des lignes directrices en la matière permettra de garantir que les fonds alloués aux études de validation des tests sont bien utilisés et que les atouts et les limitations de certains tests individuels ou associations de tests sont clairement perçus par les utilisateurs. Les auteurs passent en revue certains points essentiels qui sont souvent ignorés ou mal interprétés lors des études de validation des tests et proposent deux exemples concrets de bonnes pratiques qui pourront servir de références pour les études à venir.

Las normas de comunicación y diseño son indicadores básicos de la calidad de los estudios encaminados a determinar la exactitud de diagnóstico (validación) pero, con la excepción de las enfermedades de los animales acuáticos y la paratuberculosis en rumiantes, hay escasas directrices que se apliquen al diseño de esos estudios en animales. Además, hasta donde saben los autores, en el ámbito de la salud humana no hay normas de diseño. De ahí la necesidad de directrices genéricas que estén basadas en las características de las enfermedades, como modo de transmisión, período de latencia o patogénesis. La comunicación exhaustiva, clara y transparente de estudios primarios sobre la exactitud de pruebas de diagnóstico de enfermedades incluidas en las listas de la Organización Mundial de Sanidad Animal (OIE) reviste utilidad no solo para los usuarios finales de la prueba, sino también, en última instancia, para los órganos decisorios, que necesitan metaanálisis y estudios sistemáticos de múltiples pruebas que se apliquen a una u otra enfermedad y sirvan para una u otra finalidad. La reciente publicación de normas de comunicación de modelos bayesianos de clases latentes para analizar los datos de exactitud de pruebas a partir de episodios de enfermedad de origen natural viene a colmar una importante laguna, en la medida en que estos métodos se aplican cada vez más al diagnóstico de enfermedades incluidas en las listas de la OIE. El cumplimiento de las normas de diseño y comunicación, y también de las directrices, ayuda a garantizar que los fondos de investigación destinados a estudios de validación de pruebas sean utilizados debidamente y que el usuario final de una prueba reciba información clara sobre los puntos fuertes y las limitaciones de una prueba o combinación de pruebas. Los autores pasan revista a los principales aspectos que se suelen pasar por alto o malinterpretar en los estudios de validación de pruebas y ofrecen dos ejemplos concretos de buenas prácticas que se pueden utilizar como referencia en futuros estudios.

Keywords: Aquatic animal; Bayesian latent class model; Diagnostic sensitivity; Diagnostic specificity; Infectious diseases; Terrestrial animals; Test accuracy; Test validation; Validation pathway; Wild mammals; World Organisation for Animal Health guidelines.

MeSH terms

  • Animal Diseases* / diagnosis
  • Animals
  • Bayes Theorem
  • Diagnostic Tests, Routine* / veterinary
  • Global Health
  • Ruminants