Aprendizado profundo no reconhecimento de sinais estáticos de Libras

Eros Caiafa, Fabiana Fonseca, Amaro de Lima, Gabriel Araujo, Eduardo A. B. da Silva

DOI: 10.14209/SBRT.2020.1570660513

Evento: XXXVIII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT2020)

Keywords: Libras Reconhecimento de Gestos Visão Computacional Acessibilidade

Abstract

Um problema bem comum, talvez o mais comum entre as pessoas com deficiência auditiva, é o fato de terem dificuldade em interagir com outras pessoas, pois mesmo tendo uma língua para a sua integração, poucas pessoas a conhecem. Muitos trabalhos tem usado soluções tecnológicas pra esse problema, mas a maioria possui algum custo financeiro (por usar dispositivos para vestir) ou são atualmente limitados (visão computacional). Neste trabalho, tentamos avançar em soluções usando visão computacional para o problema de reconhecimento de gestos em Libras (Lingua Brasileira de Sinais). Para tanto, compilamos alguns trabalhos recentes na área, bem como mostramos algumas simulações usando aprendizado profundo em bases de dados contendo gestos ou sinais estáticos em Libras. As simulações contém uma comparação das redes neurais LeNet, InceptionV3, VGG e ResNET no reconhecimento dos sinais em duas bases de dados, atingindo acurácias maiores que 99%.

Download