Soluções baseadas em aprendizado por reforço profundo para implantar VANTs como gateways LoRaWAN com foco na Qualidade de Serviço IoT

O uso de Veículos Aéreos Não Tripulados (VANTs) é uma estratégia eficaz para densificar redes de acesso sem fio, permitindo melhorar o desempenho de aplicações Internet of Things (IoT) sob demanda. Este artigo associa o fatiamento de redes 3rd Generation Partnership Project (3GPP) com os parâmetros de Qualidade de Serviço (QoS) da tecnologia de LoRa não-3GPP, para garantir desempenho adequado aos dispositivos IoT, ou seja, os requisitos de QoS dos slices não-3GPP. Formulamos um problema de otimização Programação Linear Inteira Mista (Mixed Integer Linear Programming - MILP) para minimizar o número de VANTs e suas respectivas posições, o qual se mostrou NP-difícil. Como alternativa, modelamos o problema como um Processo de Decisão de Markov (Markov Decision Process - MDP) e propusemos soluções baseadas em Deep Q-Network (DQN) e Advantage Actor-Critic (A2C) para posicionar os VANTs. Essas soluções foram integradas a simulações on-line com o Network Simulator 3 (ns-3), resultando em melhorias significativas nos níveis de QoS em comparação com outras soluções do estado da arte.