:: 13ºFETEPS::

ETEC: SISTEMA DE AUXILIO PARA COMUNICAÇÕES INTELIGENTES

A Língua Brasileira de Sinais (Libras) é o principal meio de comunicação para surdos, mudos e deficientes auditivos, mas ela ficou majoritariamente restrita a poucas pessoas, englobando mais de 5 milhões de usuários em um país com 10 milhões de surdos, correspondendo respectivamente 3% e 5% da população brasileira. Observando tal problemática, é possível ampliar a comunicação e acessibilidade à comunidade surda na sociedade, possibilitando criar uma ferramenta capaz de traduzir sinais de Libras em texto. Foi pesquisado ferramentas que automatizassem o processo de tradução, como Inteligências Artificiais, Machine Learning e o MediaPipe (uma ferramenta de código aberto capaz de gerar uma matriz gráfica baseada em 543 pontos cartesianos demarcados na face, mãos e corpo a vídeos gravados ou em tempo real). Para aplicá-las, iniciou-se um treinamento de 200 vídeos por sinal, utilizando o MediaPipe para identificar variações de movimentação em cada sinal de Libras, treinando em torno de 100 sinais e totalizando 20 mil vídeos treinados. Ao realizar tal procedimento, a IA pode ser capaz de, com o sinal de Libras presente no vídeo, associá-lo a sua palavra correspondente e emitir o resultado obtido ao usuário em um arquivo de texto. Atualmente, a palavra resultante é gerada separadamente do vídeo, mas obteve-se êxito em aplicar legendas de acordo com o sinal em alguns vídeos, mas nos dois casos, o processo é feito apenas em vídeos já gravados. Várias pessoas não possuem conhecimento de Libras, faltando acessibilidade para surdos em, por exemplo, hospitais, metrôs e empresas. Com o software, será possível facilitar a comunicação em tais lugares, auxiliando na comunicação dessa comunidade até então excluída.

Palavras-chaves: Inteligência Artificial (IA); Libras; Inclusão; Machine Learning; Mediapipe;

  • FABRÍCIO HOLANDA DE ALMEIDA
  • ETEC LAURO GOMES - SÃO BERNARDO DO CAMPO/SP
  • Estudante
  • VINICIUS LUCIANO NAVARRETE DA SILVA
  • ETEC LAURO GOMES - SÃO BERNARDO DO CAMPO/SP
  • Estudante
  • LUCIANO DOS ANJOS OLIVEIRA
  • ETEC LAURO GOMES - SÃO BERNARDO DO CAMPO/SP
  • Estudante
  • CLEITON FABIANO PATRICIO
  • ETEC LAURO GOMES - SÃO BERNARDO DO CAMPO/SP
  • Professor(a) Orientador(a)

Voltar