VocalizeAI
Sobre a Pesquisa
Esta pesquisa propõe uma ferramenta que utiliza técnicas de Inteligência Artificial para ampliar a capacidade de comunicação de indivíduos com autismo, focando especialmente em pessoas minimamente verbais, ou seja, pessoas que produzem entre 0 e 20 palavras ou aproximações de palavras faladas.
Através do uso de técnicas de aprendizagem de máquina, buscamos classificar vocalizações não verbais para nos ajudar a compreender as intenções comunicativas desses indivíduos, contribuindo para uma comunicação mais efetiva com cuidadores, familiares e profissionais de saúde.
Objetivo
Desenvolver um aplicativo móvel que permita a gravação e classificação automática de vocalizações, utilizando modelos de aprendizagem de máquina treinados com o banco de dados ReCANVo e com novas vocalizações coletadas a partir desta aplicação. O sistema classificará as vocalizações em seis categorias distintas, auxiliando na interpretação das intenções comunicativas.
Tipos de Vocalizações Classificadas pelo App
Frustração (Frustrated)
Vocalizações associadas a estados de raiva ou insatisfação, geralmente em resposta a não obter algo desejado. São identificadas por tons mais agudos ou intensos, indicando uma reação imediata a um estímulo negativo.
Exemplos de áudio:
Prazer (Delighted)
Refletem excitação, alegria intensa ou satisfação, frequentemente como reação a circunstâncias prazerosas. São caracterizadas por tons mais elevados e ritmos rápidos, transmitindo um estado de felicidade ou contentamento.
Exemplos de áudio:
Desregulação (Dysregulated)
Associadas a estados de irritação, agitação, desconforto ou superestimulação. Podem ser involuntárias e indicam um estado afetivo disfuncional, sendo essenciais para identificar momentos que necessitam de intervenção ou apoio.
Exemplos de áudio:
Autoconversa (Self-talk)
Sons produzidos de forma exploratória ou lúdica, sem função comunicativa óbvia, frequentemente associados a relaxamento ou contentamento. Podem envolver murmúrios ou sons repetitivos que refletem processos internos.
Exemplos de áudio:
Solicitar (Request)
Expressam necessidades ou desejos específicos, como solicitar um objeto ou ajuda. São geralmente dirigidas a um interlocutor e podem ser acompanhadas de gestos ou olhares direcionados.
Exemplos de áudio:
Social
Representam interações que não se enquadram nas outras categorias, como chamar a atenção ou iniciar uma interação social. São fundamentais para o estabelecimento e manutenção de conexões sociais.
Exemplos de áudio:
Principais Referências
Banco de Dados ReCANVo
O ReCANVo (Real-World Communicative and Affective Nonverbal Vocalizations) é um banco de dados inovador que contém mais de 7.000 vocalizações de indivíduos minimamente verbais, categorizadas por função comunicativa. As vocalizações foram gravadas em ambientes reais e rotuladas em tempo real por familiares próximos que conheciam bem o comunicador.
Acesse o artigo do ReCANVoProjeto Commalla
O Commalla (Communication for all) é um projeto de pesquisa dedicado a encontrar formas inteligentes de usar tecnologia para um futuro melhor para todos. O projeto foca em mais de 1 milhão de pessoas nos EUA que são não-verbais ou minimamente verbais, incluindo pessoas com autismo, síndrome de Down e outros transtornos.
O projeto desenvolve modelos personalizados para classificar vocalizações usando rótulos em tempo real de cuidadores através do aplicativo Commalla, com métodos escaláveis para coleta e rotulagem de dados naturalísticos.
Conheça o projeto CommallaGrupo de Pesquisa
CAUTA(Computação Aplicada ao Uso Tecnologias Assistivas)
O CAUTA é um grupo de pesquisa do IFPE - Campus Jaboatão, que tem como foco usar a tecnologia para tornar o mundo mais acessível e inclusivo. Desde 2024, o grupo desenvolve projetos voltados para indivíduos neurodivergentes, buscando soluções que realmente façam diferença no dia a dia de quem precisa de apoio para se comunicar, interagir ou aprender.
Um dos projetos mais recentes do grupo é o VocalizeAI, um projeto que busca compreender melhor as vocalizações não verbais de pessoas com Transtorno do Espectro Autista (TEA), especialmente aquelas que são minimamente verbais. Nesta fase, o foco está na coleta dessas vocalizações, com o objetivo de treinar modelos de inteligência artificial que, no futuro, possam classificar esses sons e auxiliar na criação de ferramentas que ajudem na comunicação. A ideia é transformar essas classificações em algo útil para familiares, cuidadores e profissionais de saúde, oferecendo mais compreensão sobre o que essas vocalizações podem estar expressando.
Além do VocalizeAI, o grupo também desenvolve o Comunicaa, um aplicativo de Comunicação Alternativa e Aumentativa (CAA) pensado para pessoas com dificuldades de fala. O app funciona como uma prancha digital que usa imagens, sons e outros recursos para apoiar a expressão de sentimentos, desejos e necessidades. Tudo é feito com base em pesquisas atualizadas, metodologias ágeis e, principalmente, com foco nas pessoas que vão usar essas ferramentas.
Conheça o Grupo CAUTA