Este trabalho busca avaliar a influência do ajuste de hiper-parâmetros durante o treinamento de uma DQN, uma abordagem de Aprendizado por Reforço, aplicado ao controle de altitude de um modelo de aeronave. Um modelo linear da aeronave é usado para o treinamento da rede neural. A influência de hiper-parâmetros é avaliada em diferentes configurações do problema onde a simulação da aeronave é configurada para iniciar em uma condição trimada em posições aleatórias em torno da altitude objetivo. A avaliação de cada treinamento foi realizada comparando a recompensa obtida em cada sessão e no domínio do tempo executando um grupo de exemplos. Este trabalho destaca a importância do ajuste de hiper-parâmetros em técnicas de controle baseada em redes neurais bem como a capacidade de controle de uma rede neural quando o modelo de uma aeronave é desconhecido ou muda com o tempo. E conclui apresentando uma metodologia de avaliação de hiper-parâmetros que possa ser replicada e expandida à problemas similares, e indicando os hiper-parâmetros: intervalo entre amostras, tempo de simulação, formato da recompensa, espaço de observação e número de passos à frente como os mais importantes identificados para o problema abordado dentre os avaliados.