Background: Adolescent sexual and reproductive health (SRH), problems such as unplanned pregnancies are complex and multifactorial, thus requiring multifaceted prevention interventions. Evaluating the impact of such interventions is important to ensure efficiency, effectiveness and accountability for project funders and community members. In this study, we propose Results Based Management (RBM) as a framework for project management, using the Community Embedded Reproductive Health Care for Adolescents (CERCA) as a case study for RBM. The CERCA Project (2010-2014) tested interventions to reduce adolescent pregnancy in three Latin American countries, Bolivia, Ecuador and Nicaragua. Activities were designed to increase adolescent SRH behaviors in four domains: communication with parents, partners and peers; access to SRH information; access to SRH services; and use of contraception. When the project ended, the outcome evaluation showed limited impact with concerns about accuracy of monitoring and attrition of participants.
Methods: We reviewed and analyzed a series of CERCA documents and related data sources. Key findings from these documents were organized within an RBM framework (planning, monitoring, and impact evaluation) to understand how CERCA methodology and performance might have reaped improved results.
Results: Strengths and weaknesses were identified in all three elements of the RBM framework. In Planning, the proposed Theory of Change (ToC) differed from that which was carried out in the intervention package. Each country implemented a different intervention package without articulated assumptions on how the activities of intervention would bring about change. In Monitoring, the project oversight was mainly based on administrative and financial requirements rather than monitoring fidelity and quality of intervention activities. In Impact Evaluation, the original CERCA evaluation assessed intervention effects among adolescents, without identifying success and failure factors related to the outcomes, the nature of the outcomes, or cost-effectiveness of interventions.
Conclusions: This analysis showed that multi-country projects are complex, entail risks in execution and require robust project management. RBM can be a useful tool to ensure a systematic approach at different phases within a multi-country setting.
Antecedentes: La salud sexual y reproductiva de los adolescentes (SSR), como problemas de embarazos no planificados son complejos y multifactoriales, por lo que requieren múltiples intervenciones para su prevención. Evaluar el impacto de estas intervenciones es importante para asegurar la eficiencia, la eficacia y la rendición de cuentas para los donantes de proyectos y los miembros de la comunidad. En este estudio, proponemos la Gestión Basada en Resultados (o su sigla en inglés RBM) como un marco para la gestión de proyectos, utilizando el Community Embedded Reproductive Health Care for Adolescents (CERCA) como un caso de estudio para RBM. El Proyecto CERCA (2010-2014) puso a prueba las intervenciones para reducir el embarazo adolescente en tres países de América Latina, Bolivia, Ecuador y Nicaragua. Las actividades fueron diseñadas para mejorar los comportamientos adolescentes en SRH en cuatro aspectos: comunicación con padres, compañeros y pareja; acceso a la información sobre SSR; acceso a los servicios de SSR; y uso de anticonceptivos. Cuando el proyecto terminó, la evaluación de resultados mostró un impacto limitado sobre todo por la precisión en el monitoreo y pérdidas en el seguimiento de cohortes.
Métodos: Se revisó y analizó una serie de documentos CERCA y fuentes de datos relacionados. Las principales conclusiones de estos documentos se organizaron en el marco lógico de la Gestión Basada en Resultados (planificación, monitoreo y evaluación del impacto) para comprender cómo la metodología y el rendimiento de CERCA podrían haber obtenido mejores resultados.
Resultados: Se identificaron fortalezas y debilidades en los tres elementos del marco de RBM. En la Planificación, la propuesta Teoría del Cambio (ToC) difiere de la que se llevó a cabo en el paquete de intervención. Cada país implementó un paquete de intervención diferente sin supuestos articulados sobre cómo estas actividades de intervención producirían cambios. En el Monitoreo, la gestión del proyecto se basó principalmente en requisitos administrativos y financieros en lugar de supervisar la fidelidad y la calidad de las actividades de intervención. En la Evaluación de Impacto, la evaluación original del CERCA evaluó los efectos de la intervención entre los adolescentes, sin identificar los factores de éxito y fracaso relacionados con los resultados, la naturaleza de los resultados o el análisis de costo-efectividad de las intervenciones.
Conclusiones: Este análisis mostró que los proyectos multinacionales son complejos, implican riesgos en la ejecución y requieren una gestión del proyecto sólida. La Gestión Basada en Resultados puede ser una herramienta útil para garantizar un enfoque sistemático en las distintas fases de un proyecto bajo un contexto multi-país.
Keywords: Adolescents; Community based interventions; Evaluation; Implementation research; Latin America; Monitoring; Multi-country; Results based management; Sexual and reproductive health; Theory of change.