Revisão Sistemática da Literatura sobre Seleção Dinâmica de Modelos de Regressão baseado em Ensemble

Resumo

Contextualização: Nos últimos anos, os modelos de aprendizado de máquina tornaram-se fundamentais em diversas áreas de negócios e pesquisa (GRAVINO, 2019). Para superar as limitações das técnicas individuais, as técnicas de ensemble ganharam popularidade. Essas técnicas combinam previsões de múltiplos modelos para alcançar resultados mais robustos e precisos do que qualquer modelo individual. Recentemente, a seleção dinâmica, ou agregação dinâmica dos resultados desses modelos, tem mostrado resultados superiores. Esse processo é chamado de Seleção Dinâmica de Ensemble (SDE) (SANI, et al., 2022) (PEREIRA et al., 2018). Problema: Apesar dos benefícios das técnicas de ensemble, determinar quais modelos individuais devem ser selecionados para formar um conjunto eficaz permanece um desafio significativo. Este problema é agravado quando se lida com dados de regressão, onde a diversidade e a complementaridade dos modelos são cruciais para o desempenho do ensemble. Objetivos: Esta revisão sistemática visa analisar as técnicas de regressão de três perspectivas: os métodos de Seleção Dinâmica de Ensemble, as regras usadas na construção do ensemble, e as diferentes métricas de avaliação, bancos de dados e métodos de validação. A pesquisa busca identificar tendências recentes em métodos de SDE aplicados a problemas de regressão. Metodologia: Foi realizada uma Revisão Sistemática da Literatura (RSL) de artigos publicados entre 2013 e 2024 em cinco bibliotecas online conhecidas: ACM, IEEE, Science Direct, Scopus e Web of Science. Foram selecionados 56 estudos após um processo sistemático de busca para abordar as questões levantadas na revisão. A metodologia seguiu as diretrizes de Kitchenham e Charters (KITCHENHAM et al., 2007), incluindo a definição de perguntas de pesquisa, estratégia de busca, critérios de seleção de estudos, avaliação de qualidade e extração e síntese de dados. Resultados Preliminares: A RSL apresenta uma análise de 56 estudos primários, abordando questões de pesquisa específicas. A seleção dos estudos iniciou com uma busca automática que identificou 634 artigos de cinco bancos de dados. Após a remoção de duplicatas, artigos publicados antes de 2013 e em idiomas diferentes do inglês, 351 artigos foram considerados para pré-seleção. Desses, 98 estudos foram identificados como possivelmente relevantes com base em título, palavras-chave e resumo. Critérios de inclusão e exclusão, incluindo leitura completa e avaliação de qualidade (pontuação igual ou inferior a 5,0), resultaram na seleção de 56 artigos. Os artigos foram publicados entre 2015 e 2024, dos quais 44 (79%) publicados em periódicos e 12 (21%) em anais de conferências. A qualidade dos estudos foi considerada alta, com cerca de 70% (38 de 56) situados em nível de qualidade médio ou alto (pontuação entre 7 e 9). Conclusão: Esta revisão sistemática da literatura sintetizou e resumiu os estudos existentes sobre o processo de Seleção Dinâmica de Ensemble. Ela visa examinar os métodos de Seleção Dinâmica de Ensemble, as regras usadas na construção do ensemble, e as diferentes métricas de avaliação, bancos de dados e métodos de validação. Realizamos uma busca automatizada em cinco bibliotecas on-line para selecionar estudos para abordar a questão de pesquisa ‘‘Como a Seleção Dinâmica pode ser usada para melhorar a eficácia dos métodos de Regressão?’’ Para responder a essa questão de pesquisa, nós a dividimos em seis subquestões: RQ1: Quais modelos individuais foram usados ​​na seleção dinâmica, composição e combinação? RQ2: Quais são os diferentes tipos de técnicas de seleção dinâmica usadas em conjunto com métodos de regressão? RQ3: Quais métricas foram usadas para medir a competência dos modelos de regressão em diferentes regiões do espaço de dados? RQ4: Quais métodos foram propostos para atingir a diversidade de conjuntos? RQ5: Quais conjuntos de dados foram usados ​​e como eles foram aplicados na seleção dinâmica de modelos de regressão? RQ6: Quais são os critérios e métricas usados ​​para avaliar o desempenho das técnicas de seleção dinâmica? A pesquisa cobriu estudos publicados entre janeiro de 2014 e junho de 2024. No total, identificamos 56 estudos empíricos. Como etapa final desta revisão sistemática da literatura, será realizada a consolidação dos dados extraídos dos 56 estudos selecionados para responder às questões de pesquisa propostas. Essa consolidação envolverá uma análise detalhada das técnicas de Seleção Dinâmica de Ensemble (SDE), as regras de construção dos ensembles, e as métricas de avaliação aplicadas, com o objetivo de identificar tendências recentes e lacunas no uso dessas técnicas para problemas de regressão. A partir dessa análise, espera-se oferecer contribuições significativas para a compreensão de como a SDE pode aprimorar a eficácia dos métodos de regressão, além de fornecer direções futuras para pesquisas nessa área.