Alberta Rating Index for Apps: Study of Reliability and Validity

Can J Occup Ther. 2022 Sep;89(3):326-338. doi: 10.1177/00084174221085451. Epub 2022 Mar 16.

Abstract

Background. The number of mobile health applications is rapidly increasing, yet no reliable tool exists for occupational therapists and their clients to rate the quality of these apps. Purpose. To develop the Alberta Rating Index for Apps (ARIA). Methods. Through a sequential design in three phases, we developed a rating index for mobile health applications and examined its reliability and validity with 10 participants. Findings. The coefficients of reliability were 0.95 for occupational therapists, 0.60 for older adults, and 0.88 for adults with a mental health condition. ARIA's correlation with another scale used in app review studies, U-MARS, was low to moderate. Implications. ARIA showed a high inter-rater reliability in two of the three user groups. ARIA is comprehensive and includes criteria not captured by U-MARS, such as privacy and security. Further studies are warranted with diverse raters and health apps.

Description. Le nombre d’applications de santé mobiles augmente rapidement, mais il n’existe pas d’outil fiable permettant aux ergothérapeutes et à leur clientèle d’en évaluer la qualité. But. Élaborer le Alberta Rating Index for Apps (ARIA). Méthodologie. Par l’intermédiaire d’une étude séquentielle en trois phases, nous avons élaboré un indice d’évaluation des applications de santé mobiles et examiné sa fiabilité et sa validité auprès de 10 participants. Résultats. Le coefficient de fiabilité était de 0,95 pour les ergothérapeutes, de 0,60 pour les personnes âgées et de 0,88 pour les adultes avec un problème de santé mentale. La corrélation de l’ARIA avec une autre échelle utilisée pour évaluer les applications, U-MARS, était de faible à modérée. Conséquences. L’ARIA a démontré une fidélité interjuges élevée dans deux des trois groupes d’utilisateurs. L’ARIA est exhaustif et comprend des critères non pris en compte par U-MARS, comme la confidentialité et la sécurité. Des études supplémentaires s’imposent, avec une diversité d’utilisateurs et d’applications.

Keywords: Applications mobiles; Health care; Mental health; Mobile applications; Quality assurance; Telemedicine; assurance de la qualité; santé mentale; soins de santé; télémédecine.

MeSH terms

  • Aged
  • Alberta
  • Humans
  • Mobile Applications*
  • Occupational Therapy*
  • Reproducibility of Results
  • Telemedicine* / methods