Sociedade Brasileira de Telecomunicações · desde 1983 secretaria@sbrt.org.br
← SBrT2023

Interpretação de gestos de Libras usando k-means e Random Forest

Eros Caiafa, Allan Basilio, Amaro de Lima, Gabriel Araujo
LibrasSLRAprendizado de Máquina

Resumo

Pessoa com perdas mais graves de audição costumam utilizar uma língua de sinais para se comunicar. Entretanto, o restante da população não costuma saber se comunicar usando linguagens de sinais. Explorando uma sub-área da visão computacional conhecida como Reconhecimento de Linguagens de Sinais (SLR), propomos um framework de baixo custo para classificar sinais Libras em vídeo. O método proposto utiliza MediaPipe, para extração de pontos-chaves de usuários, k-Means para agrupar esses pontos e classificadores k-NN e Random Forest para classificar os agrupamentos. Nosso modelo resultou em uma acurácia de 94,72% na base de dados MINDS-Libras.