Sistema Híbrido de Previsão de Séries Temporais baseado na Previsão Média Ponderada dos Modelos ARIMA e ETS, e na Previsão Residual por modelo de Machine Learning

Resumo

O uso de aprendizado de máquina, do inglês machine learning (ML), tem se intensificado nas mais variadas tarefas, como processamento de texto, visão computacional, carros autônomos etc. Consequentemente, aplicações de  ML para previsão de séries temporais têm aumentado, com pesquisadores buscando replicar os resultados obtidos nos demais campos. Não obstante os resultados nas áreas citadas, em previsão de séries históricas há alguma desconfiança quanto a possibilidade dos modelos de ML em generalizar dados em séries (Makridakis et al. 2018), especialmente modelos usados individualmente. Pesquisas apontam que o uso de combinações proporcionam maior acurácia dos testes (Makridakis et al., 2022). De modo individual, modelos de ML, por exemplo, podem sofrer com estimação de parâmetros sobre-ajustados ou sub-ajustados. Já modelos estatísticos, que pressupõem linearidade nos dados, não conseguem capturar todos os padrões numa série temporal. Uma forma de combinação de modelos, que une os dois mundos e visa a sobrepujar as limitações citadas, é a metodologia de Zhang (2003). O autor postula que uma série temporal é composta por duas partes: linear e não-linear. Usando modelos lineares, o autor estima a parte linear e calcula os resíduos da série (valores reais da séries menos os valores previstos), esses representam a parte não-linear, e utiliza um modelo de ML, que são não-lineares, para estimar. Ao final ambas as previsões são somadas. Objetivo do trabalho: Este trabalho visa à construção de um sistema híbrido – baseado na proposta de Zhang (2003) – de modelos estatísticos e de ML por meio da média ponderada das previsões dos modelos estatísticos, autoregressive integrated moving average (ARIMA) e Error, Trend and Seasonality (ETS) somada às previsões residuais dos métodos de machine learning (serão testados multilayer perceptron (MLP), Support Vector Regression (SVR), Transformer ) testando três tipos de modelos de ML. O modelo é representado pela expressão: mean(ARIMA,ETS)+ML, no qual a primeira parte representa a média ponderada das previsões dos métodos estatísticos somada às previsões do método de ML. Metodologia: Usando séries temporais de benchmarking (Passageiros da Airlines, Nível do Lago Erie, Demanda de Gasolina de Ontário, Venda de Carros de Quebec e Produção Elétrica dos EUA ), com divisão em três conjuntos: treino, validação e teste, nas proporções de 70% dos dados ao conjunto de treino e 15% para o de validação e teste, serão passados os conjuntos de treino e validação aos modelos ARIMA e ETS. Esses treinarão e farão predições para ambos os conjuntos, as predições de treino e validação são combinadas por meio da média ponderada – os pesos da média serão estimados por meio de regressão linear (Kuncheva, 2014), a qual fornecerá seus parâmetros – com as predições com variáveis independentes e os valores de target como variável dependente – dando a devida relevância a cada modelo. Os resíduos (valores reais da série menos os valores preditos pela média ponderada do ARIMA e do ETS) dos conjuntos de treino e validação são usados para treinar e validar os modelos de ML (serão testados MLP, SVR e Transformer para cada configuração do sistema). Os métodos de aprendizagem de máquina serão treinados e terão seus hiperparâmetros selecionados mediante busca em grade (grid search). Com todos os modelos treinados, a fase de teste inicia-se. O sistema receberá o conjunto de teste passando primeiramente pelos modelos estatísticos, realizando a média ponderada de suas previsões. Os resíduos do conjunto de teste são calculados e entregues aos métodos de ML que estimarão os valores. Ao final, todas as previsões, média ponderada dos modelos ARIMA e ETS e previsões residuais dos modelos de ML, serão somadas criando a previsão final do sistema proposto. Para avaliar a acurácia do sistema, serão utilizadas as métricas MAPE (Mean Absolute Percentage Error) e RMSE (Root Mean Squared Error). Resultados obtidos: os resultados preliminares obtidos, ainda utilizando média aritmética no sistema, mostraram resultados interessantes, superando os modelos individuais e combinações residuais. Utilizando o gráfico de distância crítica (Demsar, 2006) avaliando com ambas métricas, MAPE e RMSE, o sistema ficou à frente dos modelos individuais MLP, SVR e Transformer, ficou a frente também de combinações residuais híbridas mais simples como a soma das previsões do ARIMA com as previsões residuais dos modelos de aprendizagem de máquina MLP, SVR e Transformer. O sistema obteve resultados acima de todos os outros na métrica MAPE para a série Passageiros Airlines com o valor de 0.021013 e em  RMSE para Produção Elétrica dos EUA com valor de 7006.562571. No entanto, o sistema obteve uma acurácia inferior, de modo geral, em relação à combinação da soma das previsões do ETS às previsões residuais dos modelos de ML. Conclusão: Como fora identificado nos experimentos preliminares, o sistema usando a média aritmética dos dois métodos estatísticos, ARIMA e ETS, ficou acima de sistemas híbridos que só usam o ARIMA e abaixo de sistemas que usam o ETS, dando evidências de que a importância do ARIMA está elevada – na média aritméticas os pesos são iguais – reduzindo a acurácia do sistema como um todo O uso da média ponderada pode corrigir as importâncias das partes para o sistema. Caso confirmado que o sistema com o uso de média ponderada no lugar da média aritmética obtém resultados mais acurados que os modelos individuais e alguns sistemas da literatura especializada, serão escritos um artigo, uma dissertação de mestrado com a possibilidade de novas pesquisas que melhorem a acurácia do sistema. Além das pesquisas, é possível a utilização do sistema proposto em aplicações reais como previsão de velocidade de ventos e irradiação solar.
 
Palavras-chave: Séries Temporais; Sistemas Híbridos; Machine Learning; Forecasting.
 
Referências 

DEMSAR, J. Statistical comparisons of classifiers over multiple data sets. J. Mach. Learn. Res., JMLR.org, v. 7, p. 1–30, ISSN 1532-4435, 2006.
 
KUNCHEVA, L. Combining pattern classifiers: methods and algorithms. John Wiley & Sons, 2014.
 
MAKRIDAKIS, S., SPILIOTIS, E., ASSIMAKOPOULOS, V.: Statistical and machine learning
forecasting methods: Concerns and ways forward. PloS one 13(3), e0194889, 2018
 
MAKRIDAKIS, S., SPILIOTIS, E., ASSIMAKOPOULOS, V., SEMENOGLOU, A. A., MULDER, G., and NIKOLOPOULOS, K. Statistical, machine learning and deep learning forecasting methods: Comparisons and ways forward. Journal of the Operational Research Society, 74(3), 840–859. 2022
 
ZHANG, G.: Time series forecasting using a hybrid arima and neural network model. Neurocomputing 50, 159–175, 2003.