Experimental validation of specialized questioning techniques in conservation

Conserv Biol. 2022 Oct;36(5):e13908. doi: 10.1111/cobi.13908. Epub 2022 May 19.

Abstract

Conservation increasingly relies on social science tools to understand human behavior. Specialized questioning techniques (SQTs) are a suite of methods designed to reduce bias in social surveys and are widely used to collect data on sensitive topics, including compliance with conservation rules. Most SQTs have been developed in Western, industrialized, educated, rich, and democratic countries, meaning their suitability in other contexts may be limited. Whether these techniques perform better than conventional direct questioning is important for those considering their use. We designed an experiment to validate the performance of four SQTs (unmatched count technique, randomized response technique, crosswise model, and bean method) against direct questions when asking about a commonly researched sensitive behavior in conservation, wildlife hunting. We developed fictional characters, and for each method asked respondents to report the answers that each fictional character should give when asked if they hunt wildlife. We collected data from 609 individuals living close to protected areas in two different cultural and socioeconomic contexts (Indonesia and Tanzania) to quantify the extent to which respondents understood and followed SQT instructions and to explore the sociodemographic factors that influenced a correct response. Data were modeled using binomial general linear mixed models. Participants were more likely to refuse to answer questions asked using SQTs compared with direct questions. Model results suggested that SQTs were harder for participants to understand. Demographic factors (e.g., age and education level) significantly influenced response accuracy. When sensitive responses to sensitive questions were required, all SQTs (excluding the bean method) outperformed direct questions, demonstrating that SQTs can successfully reduce sensitivity bias. However, when reviewing each method, most respondents (59-89%) reported they would feel uncomfortable using them to provide information on their own hunting behavior, highlighting the considerable challenge of encouraging truthful reporting on sensitive topics. Our results demonstrate the importance of assessing the suitability of social science methods prior to their implementation in conservation contexts.

Validación Experimental de las Técnicas de Cuestionamiento Especializado en la Conservación Resumen La conservación depende cada vez más de herramientas de las ciencias sociales para entender el comportamiento humano. Las técnicas de cuestionamiento especializado (TCE) son un conjunto de métodos diseñados para reducir el sesgo en los censos sociales y y se usan ampliamente para recolectar datos sobre temas sensibles, incluyendo el cumplimiento de las normas de conservación. La mayoría de las TCE se desarrollaron en el hemisferio occidental, en países industrializados, educados, ricos y democráticos, lo que significa que su que su idoneidad en otros contextos puede ser limitada. Quienes piensan en usar estas técnicas consideran importante saber si tienen un mejor desempeño que el cuestionamiento directo convencional. Diseñamos un experimento para validar el desempeño de cuatro TCE (técnica de conteo sin par, técnica de respuesta aleatoria, modelo transversal, método bean) frente a las preguntas directas cuando se cuestiona sobre un comportamiento sensible de interés recurrente en la conservación: la cacería de fauna. Desarrollamos personajes ficticios y para cada método le pedimos a los respondientes que reportaran las respuestas que cada personaje ficticio debería dar al cuestionársele si cazan fauna silvestre. Recolectamos datos de 609 individuos con residencia cercana a áreas protegidas en dos contextos cultural y socioeconómicamente diferentes (Indonesia y Tanzanía) para cuantificar el grado al que los respondientes entendieron y siguieron las instrucciones de las TCE y para explorar los factores sociodemográficos que influyeron sobre las respuestas correctas. Modelamos los datos mediante modelos lineales mixtos binomiales y generales. Fue más probable que los participantes se rehusaran a responder las preguntas realizadas con las TCE en comparación con las preguntas directas. Los resultados del modelo sugirieron que las TCE eran más difíciles de entender para los participantes. Los factores demográficos (p. ej.: edad y nivel educativo) influyeron significativamente la certeza de las respuestas. Cuando se requirieron respuestas sensibles a preguntas sensibles, todas las TCE (excepto el método bean) tuvieron un mejor desempeño que las preguntas directas, lo que demuestra que las TCE pueden reducir exitosamente el sesgo por sensibilidad. Sin embargo, cuando se les preguntó sobre cada método, la mayoría de los respondientes (59-89%) reportó que se sentirían incómodos si tuvieran que usarlas para proporcionar información sobre sus propios comportamientos de cacería, lo que destaca el reto considerable que es reportar honestamente los temas sensibles. Nuestros resultados demuestran la importancia de de evaluar la idoneidad de los métodos de las ciencias sociales previo a su implementación en contextos de conservación.

保护工作越来越依赖于社会科学工具来了解人类行为。专业提问技巧 (specialized questioning techniques, SQTs) 旨在减少社会调查中的偏差, 被广泛用于收集敏感话题的数据, 包括对保护规则的遵守情况。然而, 大多数 SQT 是工业化、教育水平良好、富裕且民主的西方国家开发的, 这意味着它们在其他情况下的适用性可能有限。对于考虑使用 STQ 的人来说, 这些方法是否比传统的直接提问法表现得更好是一个重要的问题。我们设计了一项实验来验证 4 种 SQT (无配对计数技术、随机回答技术、交叉模式、豆子法) 与直接提问相比, 在询问保护领域中常见的敏感行为--野生动物狩猎时的表现。我们设计了一些虚构人物, 并在每一种方法中都要求受访者报告每个虚构人物在被问及是否猎杀野生动物时应该给出的答案。我们在两种不同的文化和社会经济背景下 (印度尼西亚、坦桑尼亚) 收集了609名保护区附近居民的数据, 以量化受访者理解和遵守 SQT 指示的程度, 并探索影响正确回答的社会人口因素。我们用二项式一般线性混合模型对数据进行建模。结果显示, 与直接提问相比, 参与者更有可能拒绝回答使用 SQT 提出的问题。模型结果表明 SQT 对参与者来说更难理解。人口统计学因素 (如年龄和教育水平) 显著影响了回答的准确性。当需要对敏感问题进行敏感回答时, 除豆子法之外的所有 SQT 都优于直接提问, 表明 SQT 可以成功地减少敏感性偏差。然而, 当被问及这些方法时, 大多数受访者 (59%-89%) 都表示他们会对使用这些方法来提供有关自己狩猎行为的信息感到不舒服, 这表明鼓励对敏感话题进行真实报告仍存在巨大挑战。我们的结果表明, 在保护背景下实施社会科学方法时, 事先评估其适用性是十分重要的。【翻译: 胡怡思; 审校: 聂永刚】.

Keywords: bean method; bias; crosswise model; direct questions; modelo transversal; método bean; preguntas directas; randomized response techniques; rompimiento de reglas; rule breaking; sensibilidad; sensitivity; sesgo; técnica de conteo sin par; técnicas de respuesta aleatoria; unmatched count technique; 交叉模型; 偏差; 敏感性; 无配对计数技术; 直接提问; 破坏规则; 豆子法; 随机回答技术.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Conservation of Natural Resources*
  • Humans
  • Indonesia
  • Surveys and Questionnaires
  • Tanzania