Phonological Assessment Instrument: evidence of reliability

Codas. 2023 Nov 10;36(1):e20220303. doi: 10.1590/2317-1782/20232022303pt. eCollection 2023.
[Article in Portuguese, English]

Abstract

Purpose: To present evidence of intra- and inter-rater reliability and internal consistency of the Phonological Assessment Instrument scores, so that it can be considered reliable and valid for use in clinical practice.

Methods: 179 audio recordings of the instrument's speech samples were analyzed. The collection was carried out from its application in the period of 5 months in children aged from five to eight years and 11 months. Three expert judges transcribed the speech production of each child into the software, which generated performance reports. The speech data of each child were compared between these evaluators, who were trained and experienced in phonetic transcription, to verify the agreement of the instrument scores. For the reliability analysis, the internal consistency was verified using Cronbach's Alpha and the intra and inter-rater reliability using the Intraclass Correlation Coefficient.

Results: The Phonological Assessment Instrument showed evidence of high internal consistency, with scores indicating excellent reliability for the assessment of Brazilian Portuguese phonemes, as well as adequate agreement among the judges regarding the instrument scores.

Conclusion: The instrument presented robust evidence of reliability, being a reliable and safe option to be used in Brazilian research and clinical practice to evaluate the phonological system of Brazilian children.

Objetivo: Apresentar evidências de fidedignidade intra e interavaliadores, e de consistência interna, dos escores do Instrumento de Avaliação Fonológica, a fim de que possa ser considerado fidedigno e válido para a utilização na prática clínica.

Método: Foram analisados 179 áudios dos registros de fala do instrumento, cuja coleta foi realizada a partir da sua aplicação no período de 5 meses em crianças na faixa etária dos cinco aos oito anos e 11 meses. Três juízes especialistas transcreveram no software a produção de fala de cada criança, o qual gerou relatórios de desempenho. Os dados de fala de cada criança foram comparados entre esses avaliadores, treinados e experientes em transcrição fonética, para verificar a concordância dos escores do instrumento. Para a análise da fidedignidade, foi verificada a consistência interna pelo Alpha de Cronbach e a confiabilidade intra e interavaliadores por meio do Coeficiente de Correlação Intraclasse.

Resultados: O Instrumento de Avaliação Fonológica apresentou evidências de alta consistência interna, com escores indicando excelente fidedignidade para avaliação dos fonemas do Português Brasileiro, como também uma adequada concordância entre os juízes acerca dos escores do instrumento.

Conclusão: O instrumento apresentou evidências robustas de fidedignidade, sendo uma opção confiável e segura para ser utilizado em pesquisas brasileiras e na prática clínica para avaliar o sistema fonológico de crianças.

Objetivo: Apresentar evidências de fidedignidade intra e interavaliadores, e de consistência interna, dos escores do Instrumento de Avaliação Fonológica, a fim de que possa ser considerado fidedigno e válido para a utilização na prática clínica.

Método: Foram analisados 179 áudios dos registros de fala do instrumento, cuja coleta foi realizada a partir da sua aplicação no período de 5 meses em crianças na faixa etária dos cinco aos oito anos e 11 meses. Três juízes especialistas transcreveram no software a produção de fala de cada criança, o qual gerou relatórios de desempenho. Os dados de fala de cada criança foram comparados entre esses avaliadores, treinados e experientes em transcrição fonética, para verificar a concordância dos escores do instrumento. Para a análise da fidedignidade, foi verificada a consistência interna pelo Alpha de Cronbach e a confiabilidade intra e interavaliadores por meio do Coeficiente de Correlação Intraclasse.

Resultados: O Instrumento de Avaliação Fonológica apresentou evidências de alta consistência interna, com escores indicando excelente fidedignidade para avaliação dos fonemas do Português Brasileiro, como também uma adequada concordância entre os juízes acerca dos escores do instrumento.

Conclusão: O instrumento apresentou evidências robustas de fidedignidade, sendo uma opção confiável e segura para ser utilizado em pesquisas brasileiras e na prática clínica para avaliar o sistema fonológico de crianças.

MeSH terms

  • Brazil
  • Child
  • Humans
  • Language*
  • Phonetics
  • Reproducibility of Results
  • Speech*