Estudo exploratório de técnicas para criação de região de competência na previsão de séries temporais por meio de aprendizado local com sistemas híbridos sequenciais

Resumo

A previsão de séries temporais é uma área que tem preocupado os seres humanos em diferentes campos e aspectos de sua história à medida que o reconhecimento de padrões começou a se desenvolver. Considerando que as séries temporais são frequentemente compostas por padrões lineares e não lineares, modelos individuais como o Autoregressive Integrated Moving Average (ARIMA) e Support Vector Regressor (SVR)  têm dificuldade em ajustar todos os padrões de uma série temporal, pois podem apresentar diferentes padrões lineares e não lineares. Para lidar com esse problema, sistemas de previsão de resíduos (também conhecidos como híbridos sequenciais) respondem combinando as vantagens de modelos lineares e não lineares. Uma implementação tradicional desse tipo de sistema foi relatada por Zhang, realizando uma adição entre as previsões dos modelos lineal e não lineal usando um modelo ARIMA e um Multi-Layer Perceptron (MLP). Ele passou por várias modificações e melhorias na arquitetura ao longo dos anos, pois demonstrou ser uma abordagem promissora para previsão de séries temporais da vida real. No entanto, a combinação estática de previsões lineares e não lineares pode não capturar o comportamento dinâmico das observações ao longo da série temporalAbordagens dinâmicas baseadas na seleção de modelos treinados em um conjunto fixo da série temporal ainda podem ser vulneráveis à especificação incorreta de janelas de dados em que os padrões eram muito localizados para serem aprendidos pelo sistema em uma única etapa.
Foi nesse ponto que Cruz estudou a possibilidade de uma abordagem de aprendizado local para a combinação de previsões lineares e não lineares, a fim de melhorar a precisão geral dos sistemas híbridos sequenciais. No estudo mencionado, foi desenvolvida uma abordagem de seleção dinâmica com base nos princípios de Zhang para reduzir o risco de selecionar um modelo inadequado, reduzir a variância do modelo e permitir uma melhor adaptação aos padrões únicos de cada série temporal, criando uma região de competência para cada etapa de previsão usando um KNN e, em seguida, treinando um modelo de Kernel Ridge Regression (KRR) especializado no conjunto selecionado de padrões. A arquitetura obteve resultados promissores em experimentos envolvendo outros modelos da literatura e bancos de dados utilizadas na literatura.
O objetivo do estudo descrito neste resumo é explorar as opções para a criação de regiões de competência na arquitetura de Cruz, ou seja, outros algoritmos serão testados no lugar do KNN para avaliar seu desempenho na parte de aprendizado local do modelo. O processo é realizado da seguinte forma: primeiro, computando a previsão linear da série temporal e a previsão não linear de seu resíduo; em seguida, criando uma região de competência ao redor de cada ponto de consulta a ser previsto usando três opções diferentes de algoritmos capazes de encontrar os vizinhos mais próximos de um padrão de série temporal; e, finalmente, aplicando o aprendizado local para combinar as previsões lineares e não lineares com um modelo de KRR selecionado dinamicamente. Os resultados obtidos nos experimentos ajudarão a definir o panorama do trabalho futuro a ser desenvolvido na arquitetura.
A primeira opção de algoritmo para criar a região de competência foi o KNN, para avaliar a arquitetura original, uma vez que ele foi amplamente explorado na literatura de séries temporais e demonstrou ter resultados positivos em aplicações de aprendizado local para séries temporais usando KRR. O algoritmo foi configurado para usar a distância cosseno para encontrar os vizinhos mais próximos. Como o KNN tende a buscar os vizinhos mais próximos para um alvo em todo o conjunto de dados, a etapa de previsão do KNN é bastante demorada, e outros métodos especializados podem se tornar melhores para encontrar a região de competência mais significativa. A segunda opção foi, então, usar a indexação na biblioteca FAISS com uma codificação IndexFlat e distância Euclidiana, uma vez que ela realiza uma busca eficiente de similaridade e agrupamento de vetores densos. E a última opção para exploração foi a árvore KD-tree (K-1Dimensional tree), que é uma estrutura de armazenamento específica para representar dados de forma eficiente e tem demonstrado ter bons resultados em busca de vizinhos na literatura.
Foram realizados experimentos em cinco bancos de dados populares na literatura, contendo diferentes características estatísticas e comportamentos. Os modelos envolvidos na arquitetura foram ajustados usando buscas em grade para os parâmetros necessários, e o Erro Quadrático Médio (MSE) foi utilizado como métrica de avaliação para comparar os algoritmos testados em valores normalizados no intervalo de [0, 1] para todas as bases de dados. Os resultados para a arquitetura original usando o KNN alcançaram valores de MSE de 8,00E-05, 1,26E-04, 8,41E-03, 4,00E-04 e 3,99E-03E, o que comprova que a arquitetura é eficaz para prever os padrões temporais presentes nas séries utilizadas. Os experimentos usando o FAISS alcançaram erros de 6,14E-05, 1,98E-05, 4,07E-04, 1,87E-04 e 1,34E-04, o que já o torna uma opção viável para ser implementada em futuras versões da arquitetura, pois conseguiu melhorar o desempenho geral em todos os bancos de dados. Por fim, os resultados obtidos pelo KD-Tree alcançaram erros de 5,41E-05, 3,02E-05, 7,82E-04, 7,06E-05 e 2,08E-04, o que significa que ajudou a arquitetura a melhorar o desempenho da versão básica e até obteve resultados melhores em dois bancos de dados em comparação com o FAISS.
A exploração das opções para a criação da região de competência na arquitetura de Cruz levou a algumas conclusões importantes no caminho desta pesquisa: algoritmos especializados, representações de dados e métricas parecem ter um desempenho melhor no aprendizado local com KRR em comparação com a versão básica do KNN (embora esta já fosse boa em comparação com a literatura), a extração de diferentes características dos dados previstos pode ser útil e se enquadra no escopo de futuros trabalhos de exploração, alguns algoritmos podem ter um desempenho melhor do que outros em diferentes séries temporais (portanto, uma abordagem dinâmica pode ser útil), a seleção de um algoritmo ou o desenvolvimento de um único algoritmo capaz de ter o melhor desempenho em todos os tipos de bancos de dados definitivamente melhorará o desempenho da arquitetura de aprendizado local em estudo, e os resultados desses experimentos preliminares irão direcionar o caminho para continuar o tema de pesquisa.