Algoritmo Adaptativo Multiagente Baseado em Entropia Cruzada e Arquitetura DQN Aplicado à Alocação de Recursos em Redes 5G

Daniel Porto Carneiro, Alisson Cardoso, Robson Domingos Vieira, Flavio Vieira

DOI: 10.14209/sbrt.2025.1571151672

Evento: XLIII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT2025)

Keywords: DQN Entropia cruzada OFDM Multiagente

Abstract

Este estudo propõe soluções de alocação de recursos para sistemas de comunicação CP-OFDM baseados em LTE usando abordagens de agente único e múltiplo. Um algoritmo de aprendizagem por reforço de rede Q profunda (DQN) treina agentes que alocam recursos aos usuários de forma adaptativa. Apresentamos um algoritmo de aprendizado por reforço baseado no método de entropia cruzada (CEMRL) para aprimorar o treinamento de DQN. Na abordagem de agente único, um agente CEQN centralizado programa os recursos em sua célula correspondente. Para a abordagem de vários agentes, as informações atrasadas das células vizinhas são incorporadas ao estado do agente, e as funções de recompensa são projetadas para promover um objetivo comum. Nossas simulações utilizam dados reais de tráfego, estados de canal e informações atrasadas de agentes vizinhos como entrada para o algoritmo CEMRL adaptativo dentro do DQN. Os resultados demonstram a superioridade do CEQN proposto em termos de métricas de qualidade de serviço em comparação com agentes treinados com diferentes conjuntos de ações e soluções, incluindo a retro propagação clássica, o CEM e as abordagens tradicionais de aprendizado sem reforço.

Download