Context: Many community-based reproductive health programs use their program data to monitor progress toward goals. However, using such data to assess programmatic impact on outcomes such as contraceptive use poses methodological challenges. Inverse probability weighting (IPW) may help overcome these issues.
Methods: Data on 33,162 women collected in 2013-2015 as part of a large-scale community-based reproductive health initiative were used to produce population-level estimates of the contraceptive prevalence rate (CPR) and modern contraceptive prevalence rate (mCPR) among married women aged 15-49 in Pakistan's Korangi District. To account for the nonrandom inclusion of women in the sample, estimates of contraceptive prevalence during the study's four seven-month intervention periods were made using IPW; these estimates were compared with estimates made using complete case analysis (CCA) and the last observation carried forward (LOCF) method-two approaches for which modeling assumptions are less flexible.
Results: In accordance with intervention protocols, the likelihood that women were visited by intervention personnel and thus included in the sample differed according to their past and current contraceptive use. Estimates made using IPW suggest that the CPR increased from 51% to 64%, and the mCPR increased from 34% to 53%, during the study. For both outcomes, IPW estimates were higher than CCA estimates, were generally similar to LOCF estimates and yielded the widest confidence intervals.
Conclusion: IPW offers a powerful methodology for overcoming estimation challenges when using program data that are not representative of the population in settings where cost impedes collection of outcome data for an appropriate control group.
RESUMEN Contexto: Muchos programas comunitarios de salud reproductiva usan los datos de su programa para monitorear el progreso hacia sus metas. Sin embargo, el uso de tales datos para evaluar el impacto programático en resultados tales como el uso de anticonceptivos plantea desafíos metodológicos. La ponderación de probabilidad inversa (PPI) podría ayudar a superar estos problemas. Métodos: Se usaron datos de 33,162 mujeres recolectados entre 2013 y 2015 como parte de una iniciativa comunitaria de salud reproductiva a gran escala para producir estimaciones de la tasa de prevalencia de anticonceptivos (TPA) y la tasa de prevalencia de anticonceptivos modernos (TPAm) a nivel de la población, entre mujeres casadas de 15 a 49 años de edad en el distrito de Korangi, Pakistán. Para tener en cuenta la inclusión no aleatoria de mujeres en la muestra, se hicieron estimaciones de la prevalencia del uso de anticonceptivos durante los cuatro períodos de siete meses de intervención del estudio utilizando PPI; estas estimaciones se compararon con las estimaciones realizadas utilizando el análisis de caso completo (ACC) y el método de la última observación llevada adelante (UOLA)–dos enfoques cuyos supuestos de modelado son menos flexibles. Resultados: De conformidad con los protocolos de intervención, la probabilidad de que las mujeres fueran visitadas por el personal de intervención y por lo tanto incluidas en la muestra difería de acuerdo con su uso anticonceptivo pasado y actual. Las estimaciones realizadas con la PPI sugieren que, durante el estudio, la TPA aumentó del 51% al 64%; y que la TPAm aumentó del 34% al 53%. Para ambos resultados, las estimaciones fueron más altas que las estimaciones de ACC, en general fueron similares a las estimaciones de UOLA y produjeron intervalos de confianza más amplios. Conclusiones: La PPI ofrece una metodología poderosa para superar los desafíos relacionados con las estimaciones, cuando se utilizan datos de programas que no son representativos de la población en entornos donde el costo impide la recolección de datos de resultados para un grupo de control apropiado.
RÉSUMÉ Contexte: De nombreux programmes de santé reproductive à base communautaire utilisent leurs données pour suivre le progrès vers la réalisation de leurs objectifs. L'emploi de ces données pour évaluer l'impact programmatique sur les résultats tels que la pratique contraceptive pose cependant des problèmes de méthode. La pondération par l'inverse de la probabilité (PIP) peut être utile à la résolution de ces difficultés. Méthodes: Les données relatives à 33 162 femmes, collectées en 2013–2015 dans le cadre d'une initiative de santé reproductive à base communautaire à grande échelle, ont servi à produire des estimations au niveau de la population du taux de prévalence contraceptive (TPC) et du taux de prévalence contraceptive moderne (TPCm) parmi les femmes mariées âgées de 15 à 49 ans dans le district pakistanais de Korangi. Pour rendre compte de l'inclusion non aléatoire des femmes dans l‘échantillon, les estimations de la prévalence pendant les quatre périodes d'intervention de sept mois de l‘étude ont été calculées selon la méthode PIP. Ces estimations ont été comparées à celles obtenues par analyse de cas complète (ACC) et selon la méthode de la dernière observation rapportée (LOCF) – deux approches à hypothèses de modélisation moins souples. Résultats: Conformément aux protocoles d'intervention, la probabilité que les femmes aient reçu la visite du personnel d'intervention et soient donc incluses dans l‘échantillon diffère suivant leur pratique passée et actuelle de la contraception. Les estimations obtenues selon la méthode PIP portent à croire que le TPC est passé de 51% à 64%, et le TPCm de 34% à 53%, pendant l‘étude. Pour les deux résultats, les estimations PIP étaient supérieures à celles calculées selon la méthode ACC; elles étaient généralement similaires aux estimations LOCF et elles produisaient les plus larges intervalles de confiance. Conclusions: La PIP offre une méthode efficace de résolution des difficultés d'estimation lors de l'utilisation de données de programme non représentatives de la population, dans les contextes où le coût entrave la collecte de données de résultat pour un groupe témoin approprié.