GEGRADI conversa com Paula Escudeiro sobre Tecnologia Assistiva

Venham participar da conversa, nesta sexta-feira, dia 09 de outubro de 2020, às 10h. (link na imagem acima)

Tecnologia Assistiva: Interfaces Gestuais
Promover a igualdade de oportunidades e a inclusão social das pessoas com deficiência é uma preocupação das sociedades modernas e do espaço Internacional da Educação. A evolução da ciência e a disponibilidade de novas tecnologias permitem encontrar soluções para problemas crónicos. No acesso dos surdos ou cegos aos serviços públicos, por exemplo, pode ser difícil comunicar eficientemente. A educação é outra área crítica e um problema mais sério. A educação tem um grande impacto na vida dos cidadãos. Barreiras à educação limitam oportunidades futuras. Qualquer contribuição para eliminar estas, promove a equidade.

Paula tem trabalhado nestas áreas ao longo dos últimos anos através de um projeto agregador intitulado VirtualSign. O objetivo do Projeto é promover a cidadania e o acesso à educação das pessoas com incapacidades. Uma solução holística, abrangendo a comunicação entre surdos de diferentes nacionalidades e entre surdos e cegos, é uma lacuna que o projeto ajuda a resolver.

O projeto não se limita a aspetos comunicacionais. Explorando também a tecnologia assistiva para promover um contato direto com as artes enquanto estímulo para uma aprendizagem e pensamento crítico. Apesar da relevância das artes digitais ao nível comunicacional e de inclusão social, não existe um canal de acesso fácil para as pessoas com deficiência. O Projeto promove a comunicação e literacia digital, explorando a arte digital.

A nossa plataforma de tradução automática de língua gestual VirtualSign é composta por duas áreas principais: tradução de texto para gesto e tradução de gesto para texto suportadas por um configurador de sinais (VSSO).

O tradutor de texto para gesto (TG) e a aplicação VSSO são ferramentas on-line desenvolvidas em Unity e incorporadas com WebGL para aumentar a compatibilidade com vários navegadores e permitir que os utilizadores as usem em qualquer lugar. O tradutor de gesto para texto é uma aplicação desktop que faz uso de luvas de dados e um sensor Kinect. Embora a base para ambas as aplicações seja a tradução de e para o texto, atualizamos nosso sistema com tecnologia de síntesede de voz.

Na tradução de texto para gesto, o tradutor TG é usado como os tradicionais tradutores online, onde o utilizador escreve o texto numa caixa em branco e vê instantaneamente o resultado noutro idioma. Neste caso, o utilizador pode selecionar entre sete diferentes línguas gestuais implementadas até ao momento: portuguesa, britânica, cipriota, alemã, grega e eslovena e LIBRAS. O resultado é o avatar 3D a fazer os gestos correspondentes ao texto escrito. O texto introduzido numa língua oral é traduzido para a glosa correspondente da língua gestual. O avatar pesquisa então os gestos correspondentes na nossa base de dados de gestos e executa-os. É um processo quase instantâneo em que detalhes técnicos, como o processamento da sintaxe, são escondidos do utilizador.

Para a tradução de gesto para texto, o projeto trabalha atualmente com dois modelos diferentes de luvas de dados, um construído por uma empresa externa, a Fifth Dimension Technologies, e outro desenvolvido no Brasil, em cooperação com o grupo. Os modelos usam sensores diferentes para atingir o mesmo objetivo. O projeto utiliza os modelos para capturar a configuração e a rotação das mãos, combinadas com um sensor Kinect, versão 2, responsável por capturar a localização e o movimento das mãos através do objeto body fornecido pela Microsoft no seu SDK.