The APISS Questionnaire: A New Tool to Assess the Epidemiology of Systemic Allergic Reactions to Bee Venom in Beekeepers

Zdr Varst. 2023 Jun 13;62(3):137-144. doi: 10.2478/sjph-2023-0019. eCollection 2023 Sep.

Abstract

Aim: To develop and validate a comprehensive questionnaire to be used as an instrument in cross-sectional studies among beekeepers.

Methods: A comprehensive questionnaire in Slovenian was validated by an expert panel (n=13) for content relevance and a rater panel (n=14) for clarity and comprehensibility. The content validity indices (an item-level content validity index and scale-level content validity index based on the average and universal agreement method) and item-level face validity index were calculated in accordance with the recommended number of both the review panels with their implications on the acceptable cut-off scores. Piloting was performed in a sample (n=50) of the target population (N=1.080) using telephone interviews.

Results: The item-level content validity index and scale-level content validity index based on the average method exhibited excellent content validity (0.97), while the scale-level content validity index based on the universal agreement method reached a value of 0.72. The item-level face validity index of 1.00 indicated that all items were clear and comprehensive.

Conclusions: The new instrument may be considered valid and feasible for use in nationwide population-based studies among Slovenian beekeepers and eventually in other populations.

Namen: Razviti celostni vprašalnik in preveriti njegovo veljavnost na način, da bo uporaben kot orodje v presečnih raziskavah med čebelarji.

Metode: Celostni vprašalnik v slovenskem jeziku smo oblikovali na podlagi sistematičnega pregleda literature. Protokol za sistematični pregled literature smo predhodno registrirali v mednarodni prospektivni register za sistematične preglede in pri pripravi upoštevali Prednostna poročila za sistematične preglede in metaanalizo (2022). Vsebinsko veljavnost vprašalnika smo ugotavljali na podlagi strinjanja skupine strokovnjakov različnih strok (n = 13), zdravorazumsko veljavnost pa znotraj skupine čebelarjev laikov (n = 14). Indekse vsebinske veljavnosti (indeks vsebinske veljavnosti na ravni postavke, indeks vsebinske veljavnosti na ravni lestvice, izračunan z metodo povprečnega in splošnega soglasja) in indeks zdravorazumske veljavnosti na ravni postavke smo izračunali glede na priporočeno število oseb obeh skupin, ki sta bili vključeni v preverjanje veljavnosti vprašalnika. Pilotno testiranje vprašalnika smo izvedli na vzorcu (n = 50) ciljne populacije čebelarjev (N = 1.080) z metodo telefonskega intervjuja.

Rezultati: Indeks vsebinske veljavnosti na ravni postavk in indeks vsebinske veljavnosti na ravni lestvice, izračunana z metodo povprečnega soglasja, sta znašala 0,97; indeks vsebinske veljavnosti na ravni lestvice, izračunan z metodo splošnega soglasja, pa 0,72. Vrednost indeksa zdravorazumske veljavnosti na ravni postavke 1,00 nakazuje, da so vse postavke jasne in razumljive.

Zaključki: Rezultati potrjujejo veljavnost in primernost razvitega orodja, ki bi ga lahko uporabili v nacionalnih populacijskih raziskavah med slovenskimi čebelarji. Prevod vprašalnika v angleški jezik nakazuje možnost njegove širše uporabe na mednarodni ravni.

Keywords: Beekeeping; Hymenoptera; Hypersensitivity; Questionnaire.