Purpose: The P value is a widely used measure of statistical importance but has many drawbacks and limitations, one being that it does not reflect the robustness of the results of a clinical trial. The Fragility Index (FI) was developed as a measure of how many outcome events would need to change to nonevents to render a significant P value nonsignificant (P ≥ 0.05). The FI of trials from other medical specialties is typically < 5. We aimed to determine the FI of pediatric anesthesiology randomized controlled trials (RCT) and to test for association with various characteristics of the included trials.
Methods: We conducted a comprehensive systematic search of high-impact anesthesia, surgical, and medical journals from the last 25 years for trials comparing an intervention between two groups with a statistically significant P value (< 0.05) for a dichotomous outcome. We also compared FI values for variables that reflect the quality and importance of a trial.
Results: The median [interquartile range] FI was 3 [1-7] and correlated positively with the number of participants (rS = 0.41; P < 0.001) and events (rS = 0.42; P < 0.001), and negatively with the P value (rPB = -0.36; P < 0.001). Other measures of trial quality and impact or importance were not strongly associated with the FI.
Conclusions: The FI of published trials in pediatric anesthesiology is similarly low as in other medical specialties. Larger trials with more events and P values ≤ 0.01 were associated with a higher FI.
RéSUMé: OBJECTIF: La valeur P est une mesure d’importance statistique largement utilisée, mais elle présente de nombreux inconvénients et limites, notamment parce qu’elle ne reflète pas la robustesse des résultats d’une étude clinique. L’indice de fragilité (IF) a été mis au point pour mesurer le nombre d’événements du critère d’évaluation qui devraient se transformer en non-événements pour obtenir une valeur P non significative (P ≥ 0,05). L’IF des études d’autres spécialités médicales est généralement < 5. Notre objectif était de déterminer l’IF des études randomisées contrôlées (ERC) en anesthésiologie pédiatrique et de tester l’association avec diverses caractéristiques des études incluses. MéTHODE: Nous avons réalisé une recherche systématique exhaustive dans les revues d’anesthésie, de chirurgie et médicales à fort impact des 25 dernières années pour trouver des études comparant une intervention entre deux groupes avec une valeur P significative d’un point de vue statistique (< 0,05) pour un résultat dichotomique. Nous avons également comparé les valeurs d’IF pour les variables qui reflètent la qualité et l’importance d’une étude. RéSULTATS: L’IF médian [écart interquartile] était de 3 [1 à 7] et était positivement corrélé avec le nombre de participant·es (rS = 0,41; P < 0,001) et d’événements (rS = 0,42; P < 0,001), et négativement avec la valeur P (rPB = -0,36; P < 0,001). D’autres mesures de la qualité et de l’impact ou de l’importance des études n’étaient pas fortement associées à l’IF. CONCLUSION: L’IF des études publiées en anesthésiologie pédiatrique est tout aussi faible que dans d’autres spécialités médicales. Des études plus importantes avec plus d’événements et des valeurs P ≤ 0,01 étaient associées à un IF plus élevé.
Keywords: Fragility Index; pediatric anesthesia; randomized controlled trial; research methodology.
© 2023. Canadian Anesthesiologists' Society.