Otimização de Hiperparâmetros em Modelo de Aprendizado de Máquina na Mensuração do Risco de Crédito

Resumo

Introdução: O nível de atividade econômica de um país é essencial para o crescimento, para geração de emprego e renda, como também, estabelece melhorias nas condições socioeconômicas da população. A atividade produtiva é altamente dependente dos investimentos realizados pelas empresas na produção de bens e serviços, e pelo consumo, que tem sua maior fatia realizada pelas famílias. Boa parte deste consumo só consegue ser realizado com auxílios de empréstimos financeiros (crédito). Porém, a cada nova proposta de concessão de empréstimo demandam-se novas avaliações de risco de crédito por parte das instituições credoras. É neste contexto de automatizar e agilizar as avaliações de risco de crédito que se desenvolveu uma importante ferramenta computacional: credit scoring. Vários estudos na literatura demonstram o benefício da aplicação de Inteligência Artificial (IA) para construção de modelos de credit scoring (LOUZADA, 2016). Atualmente, os modelos são criados com aplicação de aprendizado de máquina em base de operações de crédito. Esses modelos apresentam maior assertividade que os antigos modelos que se baseavam em técnicas estatísticas ou na aplicação do conhecimento tácito e subjetivo do analista de crédito (ALTMAN; SAUNDERS, 1998). Problema: Segundo Hoji (2010), risco de crédito é a probabilidade de que os valores dos empréstimos concedidos não retornem às instituições financeiras de forma total ou parcial trazendo prejuízo para essas empresas. Cabe, portanto, ao gestor financeiro criar ferramentas de mensuração, gerenciamento e acompanhamento de risco que identifiquem com antecedência, e com um certo nível de assertividade, aquelas operações que possam entrar em default (inadimplência). Objetivo: Contribuir com esta área de pesquisa implementando modelos de aprendizado de máquinas, conjuntamente com auxílio de uma técnica de otimização de hiperparâmetros, para construir classificadores robustos que tragam melhores performances na tarefa de classificar bons e maus pagadores de crédito.  Metodologia: Foram utilizadas quatro etapas para execução, são elas: (i) Descrição e análise dos dados da base de crédito, (ii) Pré-Processamento dos Dados, (iii) Modelagem com aplicação da tarefa de otimização de hiperparâmetros e (iv) Avaliação dos Resultados. (i) Descrição da base de dados: a base de crédito utilizada possuía 40.320 registros de operações de crédito pessoal realizadas ao longo do ano de 2017. As operações de créditos estavam relacionadas a comercialização de três tipos de produtos financeiros:  a) cartão de crédito, b) crédito direto ao consumidor – CDC e c) cheque especial. Cada registro das operações possuía 21 atributos que estavam divididos entre características pessoais do tomador de crédito (data de nascimento, estado civil, sexo, grau de instrução, dependentes e idade), caraterísticas inerentes à atividade profissional exercida ou ao patrimônio do mutuário (setor de atividade, tipo de residência, classe profissional, renda, outras rendas, renda do cônjuge e tempo no emprego), características relacionadas à própria operação de crédito (prazo da proposta, produto financeiro e situação da operação: adimplente ou inadimplente), informações cadastrais de endereço (CEP, UF residencial, DDD residencial e telefone residencial) e uma coluna que trazia os IDs das operações. (ii) Pré-processamento: da forma como a base foi disponibilizada foi necessário retirar as colunas que identificavam apenas o número das operações (ID) e a data de nascimento, uma vez que esta última se mostrava redundante com o campo idade. O tratamento e a limpeza dos dados continuaram com a criação de um atributo que agregou todas as rendas informadas (atributo renomeado para renda familiar), visto que se trata de atributos com as mesmas características. Por fim, foram feitas exclusões dos registros faltantes ou que apresentavam algum tipo de incongruência nas suas informações (por exemplo: idade superior a 130 anos ou com valores negativos, ou, por exemplo, no atributo tempo de serviço aqueles que registravam valores superiores a própria idade do mutuário). (iii) Modelagem: para classificar os dados foram escolhidos cinco modelos de aprendizados de máquina: Decision Tree (DT), Random Forest (RF), Multilayer Perceptron (MLP), Light Gradiente Boost Machine (LGBM) e eXtreme Gradient Boost (XGBoost). Já para etapa de otimização dos hiperparâmetros dos modelos adotados foi escolhida a técnica de otimização bayesiana, que é uma abordagem que usa o teorema de Bayes para direcionar a otimização de uma função de difícil modelagem matemática e que possui alto custo computacional para ser encontrada. (iv) Avaliação dos Resultados: os resultados foram avaliados de acordo com quatro importantes métricas: accuracy, precision, recall e F1-score. Essas métricas são comumente utilizadas na tarefa de classificação, elas refletem a performance dos classificadores sendo que cada uma tem um foco diferente no contexto da avaliação de performance. A accuracy mede o acerto global do classificador. Ou seja, qual foi a percentual de acerto que o modelo obteve ao classificar clientes em adimplentes e inadimplentes. A precision mede o acerto percentual que o modelo obteve ao tentar classificar os bons clientes. Já o recall mede a percentual de acerto de todos os bons pagadores (reais), quantos o modelo conseguiu acertar. E por fim, o F1-Score é uma média harmônica para as duas últimas métricas (precision e recall). No primeiro momento foram mantidas as configurações padrões disponibilizadas pela biblioteca Sckit-learn para os modelos trabalhados. Os valores obtidos nas 4 métricas serviram de referência para posteriormente comparar com as performances obtidas após a otimização dos hiperparâmetros (e assim, medir o ganho de performance). Cabe ressaltar que o treinamento de cada algoritmo foi feito através de validação cruzada k-fold, com k=10, e o procedimento foi repetido 30 vezes. Resultados: Assim, com a configuração padrão dos modelos a melhor performance nas 4 métricas foi garantida pelo algoritmo MLP com resultados: 76,6%, 75,5%, 80,8% e 78,0% para accuracy, precision, recall e F1-Score, respectivamente. Após a otimização, os melhores resultados para as 4 métricas continuaram sendo do algoritmo MLP apresentando um ganho de performance nas 4 métricas. Os novos valores para o MLP foram de 76,9%, 83,4%, 85,8% e 78,3%. Cabe destacar que os outros modelos também experimentaram ganhos de performances (com apenas três casos de piora). Todos os outros desempenhos ficaram abaixo do MLP. Conclusão: A otimização pelo algoritmo bayesiano se mostrou bastante eficaz no objetivo de incrementar a performance dos modelos na sua configuração padrão. E mesmo naqueles casos em que o ganho aparentou ser bem pequeno, cabe lembrar que este é um setor que movimenta bilhões de reais por ano. Ou seja, até para as melhorias decimais, representa ganhos extraordinários nos lucros das instituições financeiras.