Interpretação de gestos de Libras usando k-means e Random Forest

Eros Caiafa, Allan Basilio, Amaro de Lima, Gabriel Araujo

DOI: 10.14209/sbrt.2023.1570923868

Evento: XLI Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT2023)

Keywords: Libras SLR Aprendizado de Máquina

Abstract

Pessoa com perdas mais graves de audição costumam utilizar uma língua de sinais para se comunicar. Entretanto, o restante da população não costuma saber se comunicar usando linguagens de sinais. Explorando uma sub-área da visão computacional conhecida como Reconhecimento de Linguagens de Sinais (SLR), propomos um framework de baixo custo para classificar sinais Libras em vídeo. O método proposto utiliza MediaPipe, para extração de pontos-chaves de usuários, k-Means para agrupar esses pontos e classificadores k-NN e Random Forest para classificar os agrupamentos. Nosso modelo resultou em uma acurácia de 94,72% na base de dados MINDS-Libras.

Download