Combinação de Redes de Aprendizado Extremo - Um estudo comparativo

Resumo

O advento da tecnologia da informação em diversas áreas do conhecimento, levou ao armazenamento de grandes volumes de dados, esses dados necessitam de métodos apropriados para extração de conhecimento . Ferramentas para auxiliar essa tarefa são baseadas em aprendizado de máquina, que tem como principal objetivo usar dados de exemplo ou experiências passadas para resolver um dado problema (ALPAYDIN, 2020). Dentre algumas dessas técnicas pode-se destacar as redes neurais (RN) pela sua capacidade de aproximar funções complexas e sua capacidade de prover modelos para uma larga classe de fenômenos naturais e artificiais de difícil manuseio (HUANG et al., 2006). Um ponto negativo das RN é a falta de algoritmos de aprendizado mais rápidos. Os métodos tradicionais de aprendizado normalmente são bem mais lentos que o necessário, e buscam ajustar os parâmetros da rede para conseguir a modelagem da curva que melhor defina o problema em questão, como exemplo disso existem os algoritmos baseados em gradiente descendente que são bastante difundidos para treinamento de redes neurais, porém tendem a ser muito lentos e convergir facilmente para mínimos locais, (HUANG et al., 2006). Por outro lado, Huang et al. (1998) demonstra que uma rede neural com apenas uma camada escondida consegue ser capaz de aprender N observações distintas, funcionando com quase qualquer função de ativação não linear, dependendo apenas de um número N de neurônios da camada escondida. Para treinar este tipo de rede, foi desenvolvido por Huang et al. (2006) um algoritmo de treinamento muito mais rápido, chamado de máquina de aprendizado extremo (em inglês, chamdo de Extreme Learning Machine - ELM), que opera através da inversão de matrizes de saída da camada escondida da rede neural e efetua o treinamento milhares de vezes mais rápido que métodos tradicionais e obtendo uma melhor capacidade de generalização. Vale ressaltar, que algoritmos de aprendizado que retornam como resultado apenas uma hipótese, tendem a sofrer alguns problemas, como por exemplo, o fato de poder ficarem presos em mínimos locais, ou necessitarem de buscar a melhor solução no espaço de hipóteses muito grande, dado um conjunto pequeno de treino. Fazendo com que  várias soluções possam ser aceitáveis, mas apenas uma possa ser escolhida pelo algoritmo de aprendizado para ser retornada (DIETTERICH, 2002). O aprendizado por combinação funciona através da execução de um algoritmo de aprendizado de base múltiplas vezes, e com base nisto, atuando para melhorar o resultado final obtido. Entre os métodos de combinação, o bagging consiste em treinar diversas instâncias do mesmo algoritmo de aprendizado com amostras diferentes do conjunto de treinamento (BUHLMANN, 2012). Desta maneira, é proposta a utilização de um ensemble usando como estimador base as redes neurais ELM. Assim, verifica-se ,com o tempo economizado no treinamento de redes ELM, uma melhoria no resultado final através da replicação de estimadores que é uma característica da combinação.