Agreement between survey data and Régie de l'assurance maladie du Québec (RAMQ) data with respect to the diagnosis of asthma and medical services use for asthma in children

Chronic Dis Inj Can. 2014 Nov;34(4):256-62.
[Article in English, French]

Abstract

Introduction: The goal of this study was to assess the agreement between the results of a respiratory health survey conducted in Montréal on children aged 6 months to 12 years and the Régie de l'assurance maladie du Québec (RAMQ, Quebec health insurance board) database in terms of the diagnosis of asthma and medical services use. A secondary aim was to evaluate the effect of the survey method used (Internet-based survey or telephone survey).

Methods: We assessed whether a diagnosis of asthma was made for 7922 children. In addition, we compared the use of medical services for asthma (emergency department visits and hospitalizations) in the 12 months preceding the survey for the 402 children considered to have asthma, using 2 groups of respiratory diagnoses and 2 data linkage periods. The agreement between the 2 data sources was evaluated using the kappa statistic (κ) and sensitivity and specificity, as well as percentages of agreement, overreporting and under-reporting with respect to health services use.

Results: Moderate agreement was found between the 2 data sources (survey and RAMQ data) in terms of the diagnosis of asthma (κ = 0.54 and κ = 0.60 depending on the definition used). Specificity was high (93% and 96%), but sensitivity varied (50% and 65%). Respondents over-reported health services use, resulting in moderate kappa values (0.49 for emergency department visits and 0.48 for hospitalizations). However, when more diagnoses were included in the definition and when the linkage period was extended (15 rather than 12 months), the kappa values increased (0.59 for emergency department visits and 0.64 for hospitalizations) and sensitivity and specificity were high. Slightly higher agreement was obtained for the Internet-based survey relative to the telephone survey.

Conclusion: The findings validate the use of survey data with respect to the diagnosis of pediatric asthma and major health services use for this disease.

Titre: Concordance entre les résultats d'une enquête et les données de la Régie de l’assurance maladie du Québec (RAMQ) pour le diagnostic d’asthme et pour l’utilisation des services médicaux pour asthme chez les enfants.

Introduction: L'objectif est d'évaluer la concordance, quant au diagnostic de l'asthme et à l'utilisation des services médicaux, entre les résultats d'une enquête réalisée à Montréal sur la santé respiratoire des enfants de 6 mois à 12 ans et la base de données de la Régie de l'assurance maladie du Québec (RAMQ). Nous avons voulu également évaluer l'effet du mode d'enquête (Internet ou téléphone).

Méthodologie: On a mesuré l'existence d'un diagnostic d'asthme pour 7 922 enfants. On a comparé également l'utilisation des services médicaux pour asthme (visites à l'urgence et hospitalisations) dans les douze derniers mois précédant l'enquête pour les 402 enfants considérés comme asthmatiques, à l'aide de deux groupes de diagnostics respiratoires et deux périodes de couplage. La concordance entre les deux sources a été évaluée à l'aide du coefficient kappa de Cohen (κ), de la sensibilité etde la spécificité ainsi qu'enmesurant, pour l'utilisation des services, les proportions d'accord, de sur-déclaration et de sous-déclaration.

Résultats: La concordance entre les deux sources (enquête et RAMQ) est modérée pour le diagnostic d'asthme (κ = 0,54 et κ = 0,60 selon la définition utilisée). La spécificité est élevée (93 % et 96 %) et la sensibilité variable (50 % et 65 %). Il y a une surdéclaration d'utilisation des services par les répondants, avec des coefficients kappa modérés (0,49 pour les visites aux urgences et 0,48 pour les hospitalisations), mais ces derniers augmentent lorsque l'on inclut davantage de diagnostics dans la définition et que l'on allonge (à 15 mois plutôt que 12) la période de couplage (0,59 pour les visites et 0,64 pour les hospitalisations). La sensibilité et la spécificité sont élevées. La concordance est légèrement plus élevée pour l'enquête par Internet que par téléphone.

Conclusion: Ces résultats valident l'utilisation des données d'enquête concernant l'asthme pédiatrique et l'utilisation des services principaux en relation avec cette maladie.

Keywords: administrative databases; asthma; child; health survey; respiratory diseases; validation.

MeSH terms

  • Asthma / diagnosis*
  • Asthma / therapy
  • Child
  • Child, Preschool
  • Cross-Sectional Studies
  • Databases, Factual
  • Emergency Service, Hospital / statistics & numerical data
  • Female
  • Health Resources / statistics & numerical data*
  • Health Surveys / methods
  • Health Surveys / statistics & numerical data*
  • Hospitalization / statistics & numerical data
  • Humans
  • Insurance, Health / statistics & numerical data*
  • Internet
  • Male
  • Quebec
  • Sensitivity and Specificity
  • Telephone