Uma nova estratégia para o treinamento distribuído de redes neurais

Lucca Gamballi, Daniel Tiglea, Renato Candido, Magno T. M. Silva

DOI: 10.14209/sbrt.2024.1571032702

Evento: XLII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT2024)

Keywords: Redes neurais Processamento distribuído Topologia Estratégia

Abstract

Neste artigo, é proposta uma nova estratégia para combinação dos pesos de redes neurais em um cenário distribuído. A abordagem distribuída ganha espaço em aplicações que levam em conta uma grande quantidade de dados, cuja privacidade deva ser mantida. Contudo, caso um ou mais nós da topologia estejam contaminados por ruído, o modelo global pode ter seu desempenho prejudicado. Isso ocorre, pois o modelo local contaminado propaga o efeito do ruído para o modelo global. A estratégia proposta é avaliada em diferentes topologias, utilizando redes neurais convolucionais. Com o intuito de preservar a privacidade, apenas os pesos dos modelos são compartilhados, de tal forma que uma rede tenha acesso apenas ao conjunto de dados local. Resultados de classificação de imagens mostram que a estratégia proposta é robusta à presença do ruído.

Download