Soluções baseadas em aprendizado por reforço profundo para implantar VANTs como gateways LoRaWAN com foco na Qualidade de Serviço IoT

Rogério S Silva, Renan Rodrigues Oliveira, Lucas T. S. Carvalho, Leandro Freitas, Antonio Oliveira-Jr, Kleber V Cardoso, Cleyber B. Reis, Xavier Paulino Sebastião

DOI: 10.14209/sbrt.2024.1571036460

Evento: XLII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT2024)

Keywords: Advantage Actor-Critic (A2C) Deep Q-Network (DQN) LoRaWAN VANTs

Abstract

O uso de Veículos Aéreos Não Tripulados (VANTs) é uma estratégia eficaz para densificar redes de acesso sem fio, permitindo melhorar o desempenho de aplicações Internet of Things (IoT) sob demanda. Este artigo associa o fatiamento de redes 3rd Generation Partnership Project (3GPP) com os parâmetros de Qualidade de Serviço (QoS) da tecnologia de LoRa não-3GPP, para garantir desempenho adequado aos dispositivos IoT, ou seja, os requisitos de QoS dos slices não-3GPP. Formulamos um problema de otimização Programação Linear Inteira Mista (Mixed Integer Linear Programming - MILP) para minimizar o número de VANTs e suas respectivas posições, o qual se mostrou NP-difícil. Como alternativa, modelamos o problema como um Processo de Decisão de Markov (Markov Decision Process - MDP) e propusemos soluções baseadas em Deep Q-Network (DQN) e Advantage Actor-Critic (A2C) para posicionar os VANTs. Essas soluções foram integradas a simulações on-line com o Network Simulator 3 (ns-3), resultando em melhorias significativas nos níveis de QoS em comparação com outras soluções do estado da arte.

Download