Conservation science needs more high-quality impact evaluations, especially ones that explore mechanisms of success or failure. Randomized control trials (RCTs) provide particularly robust evidence of the effectiveness of interventions (although they have been criticized as reductionist and unable to provide insights into mechanisms), but there have been few such experiments investigating conservation at the landscape scale. We explored the impact of Watershared, an incentive-based conservation program in the Bolivian Andes, with one of the few RCTs of landscape-scale conservation in existence. There is strong interest in such incentive-based conservation approaches as some argue they can avoid negative social impacts sometimes associated with protected areas. We focused on social and environmental outcomes based on responses from a household survey in 129 communities randomly allocated to control or treatment (conducted both at the baseline in 2010 and repeated in 2015-2016). We controlled for incomplete program uptake by combining standard RCT analysis with matching methods and investigated mechanisms by exploring intermediate and ultimate outcomes according to the underlying theory of change. Previous analyses, focused on single biophysical outcomes, showed that over its first 5 years Watershared did not slow deforestation or improve water quality at the landscape scale. We found that Watershared influenced some outcomes measured using the survey, but the effects were complex, and some were unexpected. We thus demonstrated how RCTs can provide insights into the pathways of impact, as well as whether an intervention has impact. This paper, one of the first registered reports in conservation science, demonstrates how preregistration can help make complex research designs more transparent, avoid cherry picking, and reduce publication bias.
Mecanismos e Impactos de un Programa de Conservación Basada en Incentivos con Evidencias de un Ensayo Aleatorio de Control Resumen Las ciencias de la conservación necesitan evaluaciones de impacto de mayor calidad, especialmente aquellas que exploran los mecanismos del éxito o del fracaso. Los ensayos aleatorios de control (RCTs) proporcionan evidencias particularmente sólidas de la efectividad de las intervenciones (aunque han recibido críticas por considerarlas reduccionistas e incapaces de proporcionar conocimiento sobre los mecanismos) pero ha habido pocos experimentos de ese tipo que investiguen los efectos de la conservación a escala del paisaje. Exploramos el impacto de Watershared, un programa de conservación basada en incentivos en marcha en los Andes bolivianos, con uno de los pocos RCTs existentes de conservación a escala de paisaje. Existe un gran interés por dichas estrategias de conservación basada en incentivos pues hay quienes argumentan que pueden evitar los impactos sociales negativos que a veces se asocian con las áreas protegidas. Nos enfocamos en los resultados sociales y ambientales con base en las respuestas de una encuesta a hogares en 129 comunidades asignadas al azar para controlar o tratar (ambas encuestas realizadas en la línea base en 2010 y repetidas en 2015/16). Impusimos un control para la aceptación incompleta del programa al combinar el análisis estandarizado de RCTs con métodos de emparejamiento e investigamos los mecanismos mediante la exploración de resultados intermedios y finales de acuerdo con la teoría subyacente del cambio. Los análisis previos, enfocados en resultados biofísicos únicos, mostraron que durante los primeros cinco años del programa Watershared, la deforestación no experimentó una desaceleración y tampoco hubo mejoras en la calidad del agua a escala de paisaje. Descubrimos que Watershared influyó sobre algunos resultados medidos con la encuesta, pero sus efectos fueron complejos y algunos fueron inesperados. De este modo demostramos como los RCTs pueden proporcionar conocimiento sobre las vías de impacto, así como también si una intervención genera un impacto. Este artículo, uno de los primeros reportes registrados en las ciencias de la conservación, demuestra cómo el prerregistro puede ayudar a hacer más transparentes los diseños complejos de investigación, evitar la selección subjetiva de datos y reducir el sesgo de publicación.
保护科学需要更多高质量的影响评估, 特别是那些探索成功或失败机制的评估。随机对照试验为探讨干预措施的有效性提供了稳健证据 (尽管被批评为简化方法且无法提供对机制的深入了解), 但在景观尺度上研究保护问题的此类试验还很少。我们探索了玻利维亚安第斯山脉基于激励措施的一项保护项目-Watershared 的影响, 它是目前少有的景观尺度保护的随机对照试验之一。人们对这种基于激励机制的保护方法很感兴趣, 因为一些人认为它们可以避免与保护区有关的某些负面社会影响。我们在 129 个社区通过随机分配对照组和实验组进行了家庭调查 (包括2010年基线调查和 2015/16 年重复调查), 重点关注该项目的社会和环境结果。我们通过结合标准随机对照试验分析与匹配方法来控制不完整的调查, 并根据变化理论来通过分析中间结果和最终结果确定了相应机制。之前的分析集中在单一生物物理的结果, 发现在最初的 5 年内 Watershared 项目并没有在景观水平上减缓森林砍伐或改善水质。而我们发现该项目影响了本调查关注的一些结果, 但影响是复杂的, 且有些影响超出预料。因此, 我们展示了随机对照试验如何帮助深入了解影响的途径及干预措施是否产生了影响。本论文作为保护科学中最早的登记报告之一, 展示了预登记如何有助于使复杂的研究设计透明化, 避免人为选取结果, 并减少论文发表的偏倚性。【翻译: 胡怡思; 审校: 聂永刚】.
Keywords: causal inference; emparejamiento; evaluación de impacto; impact evaluation; inferencia causal; matching; pagos por servicios ambientales; payments for ecosystem services; plan de pre-análisis; preanalysis plan; preregistration; prerregistro; robust; sólido; teoría de cambio; theory of change; 匹配; 变化理论; 因果推理; 影响评估; 生态系统服务付费; 稳健; 预分析计划; 预登记.
© 2020 Society for Conservation Biology.