Abordagem Preditiva de Quebras Baseada em Logs de Eventos na Indústria Automotiva

 

Predictive Breakdown Approach Based on Event Logs in the Automotive Industry

 

Thiago Domingos1  
 orcid.org/0000-0001-9491-1910 



Luiz Zelaquett1 
 orcid.org/0000-0002-3189-3978


 

 

1Escola Escola Politécnica de Pernambuco, Universidade de Pernambuco, Recife, Brasil. E-mail: tdal@ecomp.poli.br

 

 

DOI: 10.25286/repa.v7i3.2460

 

Esta obra apresenta Licença Creative Commons Atribuição-Não Comercial 4.0 Internacional.

 

Como citar este artigo pela NBR 6023/2018: Thiago Domingos; Luiz Zelaquett. Abordagem Preditiva de Quebras Baseada em Logs de Eventos na Indústria Automotiva. Revista de Engenharia e Pesquisa Aplicada, Recife, v. 7, n. 3, p. 54-63.

 

RESUMO

 

Nas últimas décadas, a indústria automobilística vem experimentando diversas e significativas mudanças. A Indústria 4.0 surge neste contexto aspirando a um alto nível de conectividade ao longo de todo o ciclo de vida do produto, exigindo cada vez mais tecnologias de controles de dados, permitindo o desenvolvimento da manutenção preditiva. O presente trabalho focaliza na abordagem da manutenção preditiva estatística, através da análise de logs de falhas de um grupo específico e semelhante de máquinas, tendo como objetivo o desenvolvimento de um modelo preditivo de quebras. A abordagem de aprendizado de máquina foi escolhida devido à sua capacidade de previsão de variáveis-saída a partir de dados históricos como entrada. Nossos dados foram coletados ao longo de vários anos de 400 robôs de um grande fabricante desses tipos de braços robotizados. Por fim foi obtida uma configuração final do modelo através da aplicação de uma rede neural artificial.

 

PALAVRAS-CHAVE: Rede Neural; Manutenção Preditiva; Indústria Automotiva; Aprendizado de máquina; Arquivos de log

 

ABSTACT

 

In the last decades, the automobile industry has been experiencing several and significant changes. Industry 4.0 emerges in this context aspiring to a high level of connectivity throughout the product lifecycle, increasingly demanding data control technologies, allowing for the development of predictive maintenance. The present work focuses on the approach of statistical predictive maintenance, through the analysis of failure logs of a specific and similar group of machines, with the objective of developing a predictive failure model. The machine learning approach was chosen because of its ability to predict output variables from historical data as input. Our data was collected over several years from 400 robots from a major manufacturer of these types of robotic arms. Finally, a final configuration of the model was obtained through the application of an artificial neural network.

 

KEY-WORDS: Neural Network; Predictive Maintenance; Automotive industry; Machine learning; Log files;

 


 


1.1 CONTEXTUALIZAÇÃO

 

Nas últimas décadas, a indústria automobilística vem experimentando diversas e significativas mudanças. Lin [1], evidencia que a produção japonesa cresceu consistentemente desde a década de 70, variando de 5,3 milhões em 1970 para seu pico de 13,5 milhões em 1990, enquanto a produção estadunidense sofreu flutuações entre 7 e 13 milhões devido aos ciclos econômicos domésticos afetados pela crise do petróleo de 1974 e 1980, conforme pode ser verificado na Figura 1.

 


Figura 1 Produção de veículos de passeio – EUA e Japão (1970-1993)

Fonte: [1].

 

Chen e Steinberg [2], demonstram que já nos anos 80, iniciou-se a disseminação do sistema Toyotista de produção pelo mundo e o aparecimento das técnicas de produção flexível.

Conforme mostra Dellios et al. [3], a partir do final dos anos 90, o automóvel vem se consolidado como uma plataforma integrada de tecnologias de ponta, sobretudo na tecnologia da eletrônica, novos materiais e tecnologia da informação, este último sendo impulsionado pelas novas tendências de Big Data e Analytics.

A partir dos anos 2000 surge a Indústria 4.0, que de acordo com Davis et al. [4], aspira a um alto nível de conectividade de todos processos e produtos ao longo de todo o ciclo de vida do produto, exigindo cada vez mais tecnologias de controles de dados. Nesse contexto, as práticas de manutenção preditiva se inserem a fim de ajudar as indústrias automotivas a se manterem competitivas.

Surge então a necessidade de se investir em conhecimento e em profissionais da área de ciência de dados, de Inteligência Artificial e Internet das Coisas.

 

 

Segundo Pinto et al. [5], com a globalização dos mercados, a concorrência tornou-se mais agressiva, exigindo produtos de maior qualidade a preços mais competitivos. Os lucros das empresas podem ser aumentados de duas maneiras: aumentando as vendas, reduzindo custos ou ambos. Uma forma de se reduzir custos é através da eliminação de todos os tipos de perdas associados aos processos de produção. Um tipo comum dessas perdas em empresas de manufatura refere-se a quebras de máquinas.

As quebras de máquinas resultam na diminuição da efetividade global do equipamento (OEE - Overall Equipment Efficiency) devido aos longos períodos desperdiçados nesses eventos. Os eventos de quebra geram diversos impactos, como diminuição da produção, dessaturação da mão de obra, aumento do custo de materiais diretos e indiretos, paradas não programadas para manutenções extraordinárias, contratação de mão de obra especializada em caráter emergencial, horas extras de equipes internas e outros fatores.

 

1.2 DESCRIÇÃO DO PROBLEMA

 

Segundo Abu-Samah et al. [6], uma das abordagens promissoras para enfrentar a redução do OEE é a previsão de falhas online, que requer que o estado atual de um sistema seja monitorado e avaliados para prever a ocorrência de falhas no próximo futuro. A principal contribuição desta abordagem pode ser dividida em (1) métodos que reavaliam entradas temporais e (2) aqueles que dependem do log de manutenção.

O presente trabalho focaliza na segunda abordagem, através da análise de logs de falhas de um grupo específico e semelhante de máquinas. Sipos et al. [7], apresenta uma abordagem orientada a dados com base no aprendizado de máquina para prever falhas através dos logs de eventos de equipamentos utilizando técnicas de mineração, atestando que, embora geralmente não sejam projetados para prever falhas, contêm ricas informações operacionais.

Essa abordagem apoiada na capacidade de presciência de comportamento, pode dar subsídios à manutenção preditiva, visto que se espera que seja possível prever quando intervenções de manutenção precisam ser executados para se evitar a quebra do sistema.

 

1.3 OBJETIVOS

 

O objetivo deste trabalho é de desenvolver um modelo preditivo de quebras para descobrir padrões desconhecidos nos dados.

Pretendemos alcançar esse objetivo através da aplicação de técnicas de aprendizado de máquina usando a ideia central da análise do "espectro de falhas", por meio do qual o modelo seja capaz de realizar previsões da quantidade de quebras e duração das mesmas (TTR – Time To Repair), a fim de guiar as melhores decisões quanto ao planejamento da manutenção e estabelecer um panorama dos impactos de futuras quebras na produção.

Utilizaremos como fonte de dados, os arquivos de log dos robôs da funilaria da Planta automotiva de Goiana e os registros de quebras (EWO – Emergency Work Order) que registram todas as paradas de máquina acima de 10 minutos de duração. Os dados analisados serão similares ao da Figura abaixo, e serão extraídos do log de execução dos robôs analisados.

 

1.4 JUSTIFICATIVA

 

O caráter imprevisível de algumas dessas quebras torna difícil planejar a lista de atividades preventivas, visto que os recursos disponíveis pela engenharia de manutenção tais como: budget, quantidade de mão de obra, tempo disponível de intervenção e ferramentas especiais são limitados, não sendo possível realizar todas as atividades necessárias para se evitar em tempo hábil as quebras.

 

1.5 ESCOPO NEGATIVO

 

Através do presente trabalho não pretendemos desenvolver um amplo algoritmo de predição de quebras que se aplica em diversas máquinas da Funilaria distintas entre si, mas sim apenas no grupo de máquinas descritas na secção 1.3.

Não será feita uma validação em tempo real do modelo.

 

2 FUNDAMENTAÇÃO TEÓRICA

 

2.1 ÁREA DO NEGÓCIO

 

A área de negócio definida neste trabalho é o setor de engenharia de manutenção da Funilaria da Fábrica de automóveis Jeep, localizada em Goiana – Pernambuco. Esse setor é responsável pela execução de melhorias e reparos em máquinas e equipamentos, preservando assim as capacidades funcionais dos sistemas em operação e evitando interrupções na produção das carrocerias, a fim de maximizar a lucratividade da organização. Portanto, é de responsabilidade da manutenção executar atividades que mantem ou reestabelecer as condições de trabalho dos equipamentos. Alguns dos principais objetivos da manutenção são:

 

1.    Garantir as funções básicas do sistema (disponibilidade, eficiência e confiabilidade)

2.    Garantir a vida útil do sistema por meio de conexões adequadas entre seus componentes (gestão de ativos)

3.    Garantir a segurança das pessoas que operam as máquinas, do ambiente e do próprio sistema

4.    Garantir a relação custo-benefício na manutenção

5.    Permitir o uso eficaz de recursos, energia e matérias-primas

 

2.2 MINERAÇÃO DE DADOS

 

Seguindo Fayyad et al. [8], a mineração de dados refere-se a uma etapa específica do Processo de Extração do conhecimento (KDD – Knowledge Discovery in Databases), que é o processo geral de descoberta de conhecimento útil a partir de dados. A mineração de dados é a aplicação de algoritmos específicos para extrair padrões.

As principais fontes de dados do trabalho são provenientes dos logs de eventos gerados pelos robôs com tecnologia C5g do fabricante Comau. Os eventos registrados podem ser tanto ações do usuário ou falhas dos dispositivos integrados ao braço robótico. Os logs foram coletados massivamente através do software Indy4.0, conforme ilustrado na Figura 2.

Os logs de eventos são extremamente importantes, pois eles contêm a informação da saúde do sistema. O desafio com os dados do arquivo de log é que eles geralmente são não estruturados, muitas vezes incompletos, não claramente compreendidos, e a maioria não tem uma estrutura de mensagem específica. Este é frequentemente o desafio com os logs; portanto, primeiramente processamos nossos dados para fornecer uma estrutura uniforme, através do qual seja possível extrair informações necessárias para

nossa análise.

 


Figura 2 Aquisição de dados – Indy4.0

Fonte: Os Autores.

 

Foram coletados em dezembro de 2021, 400 arquivos de logs de falhas, sendo um para cada robô. Alguns desses logs guardam registros desde 2013.

A outra fonte de dados, conforme mencionado na secção 1.3, refere-se ao banco de dados que guarda as informações referentes às EWO’s.

 

2.3 TRABALHOS RELACIONADOS

 

O uso de métodos orientados a dados, como aprendizado de máquina (ML – Machine Learning), está se tornando cada vez mais uma norma na Manufatura. Segundo Theissler et al. [9], os avanços recentes em modelos de manutenção alimentados por abordagens baseadas em dados, como aprendizado de máquina, permitiram uma ampla gama de aplicações.

O início da busca por trabalhos relacionados foi na área de Manutenção, aplicados na esfera automobilística, tanto na indústria como nos próprios automóveis. Pinto et al. [10] detalha a importância dos indicadores de performance (KPI’s – Key Performance Indicator), tais como MTBF, MTTR e OEE e como a padronização dessas métricas ajudou uma fornecedora de uma fábrica automotiva a identificar as maiores perdas de alguns setores, cujo resultado só se tornou possível devido à coleta, processamento e controle dos dados relativos às atividades de manutenção.

Seguindo a linha de análise dos dados relativos à manutenção, Bracke [11] escreve sobre a análise estatística do comportamento de falhas através de um modelo estatístico de distribuição de Weibull, que estabelece certos limiares acima dos quais é esperado que o sistema apresente um comportamento de falha regidos por intervalos de confiança.

O próximo tema pesquisado foi sobre a própria manutenção preditiva (PdM – Predictive Maintenance), que é um dos subdomínios da teoria da manutenção. Nowakowski et al. [12], em seu resumo sobre as pesquisas na área de gerenciamento de performance na manutenção, estabelece que o PdM é uma política de manutenção utilizada nos setores onde a confiabilidade é primordial, como centrais eléctricas, sistemas de transporte ou sistemas de emergência. Seu escopo principal é prever falhas em um sistema em deterioração, a fim de otimizar os esforços de manutenção.

Chen et al. [13] desenvolve interessante trabalho combinando os campos de PdM e aprendizagem profunda (Deep Learning) por meio do algoritmo Deep Forest. Chen classifica o PdM em duas categorias, de acordo com os dados utilizados para o modelo: (1) PdM estatística e (2) PdM baseada em condição. Nesse trabalho, a PdM estatística é utilizada, munindo-se dos dados históricos de manutenção, em contraste com a tendência recente de autores que apoiaram sua pesquisa em PdM baseada em condição, que foca na modelagem da tendência de degradação a partir de dados de sensores.

Finalmente, Gutschi et al. [14], utiliza uma abordagem orientada a dados para estimar a probabilidade de avaria de máquina durante um intervalo de tempo especificado no futuro. Algoritmos de aprendizado de máquina são utilizados para um caso específico baseado em conjuntos de dados do mundo real, incluindo mensagens de log de máquina, logs de eventos e informações operacionais. O trabalho utiliza algoritmos de comitês de classificação, que consiste em um conjunto de algoritmos diversos que combinados obtêm uma performance de previsão melhor do que poderia ser obtido por qualquer um dos algoritmos constituintes sozinhos. O trabalho se propõe a calcular a Vida Restante Útil (RUL – Remaining Useful Life), que é o período em que uma máquina provavelmente operará antes de exigir reparo ou substituição. O escopo das previsões seria de estimar a probabilidade de uma avaria (POB – Probability of Breakdown) em um determinado intervalo de tempo.

 

3 MATERIAIS E MÉTODOS

 

A abordagem PdM baseada em log introduzida neste artigo é projetada para processar eventos registrados nos logs de eventos dos robôs da Funilaria da Fábrica da Jeep, localizada em Goiana. Servindo da explanação da secção 2.3, será utilizada neste artigo a abordagem de PdM estatística, sem usar quaisquer dados de sensores.

Os equipamentos selecionados para o estudo foram as pinças de solda que são acopladas na extremidade do último dos seis eixos que integram o braço robótico. O modelo de aprendizado de máquina desenvolvido é baseado no histórico de dados contidos nos logs e nos dados coletados de quebras.

 

3.1 DESCRIÇÃO DA BASE DE DADOS

 

Conforme mencionado na secção 2.2, foi utilizado o banco de dados que guarda as informações referentes às EWO’s durante o ano de 2021. Esse banco de dados já é estruturado, portanto facilmente manipulável. O dicionário de dados dessa fonte está descrito na Tabela 1.

 

Tabela 1- Dicionário de dados: Tabela-fato de quebras

CAMPO

DESCRIÇÃO

TIPO

DATA

Data da quebra

Date

HORA

Hora da quebra

Time

ANO

Ano da quebra

Integer

MÊS

Mês da quebra

Integer

EWO

Identificador

Double

TECNOLOGIA

Tecnologia da quebra

Char

MÁQUINA

Máquina da quebra

Char

COMPONENTE

Componente da quebra

Char

CAUSA RAIZ

Tipo da Causa raiz

Char

K1

Gestão interna Jeep

-

K2

Gestão interna Jeep

-

K3

Gestão interna Jeep

-

K4

Gestão interna Jeep

-

ANÁLISE

Status de análise

Char

SEMANA

Mês da quebra

Integer

PRIORIZAÇÃO

Prioridade da quebra

Char

TTR

Tempo de reparo

Float

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Fonte: Os autores.

 

Os dados dos logs dos robôs analisados nesse trabalho estão contidos em arquivos de texto com extensão .log e possuem um cabeçalho fixo e várias linhas representando os eventos com seus respectivos registros no tempo.

Em sinergia com especialista manutenção da Jeep, foram definidas quais informações seriam relevantes para se extrair do arquivo de logs, conforme mostra a Figura 3.

 

 

 

Figura 3 Arquivo de Log de Falhas

Fonte: Os Autores.

 

Segundo Praveen e Chandra [15], devido à sua forma não-tabular, esses dados são classificados como semiestruturados, os quais não são adequados para alimentarem os algoritmos de aprendizado de máquina. Logo, foi necessária uma etapa de transformação desses dados em estrutura tabular.

 

3.2 PRÉ-PROCESSAMENTO DOS DADOS

 

A etapa de pré-processamento dos dados foi baseada na abordagem de García et al. [16], seguindo as seguintes etapas:

 

3.2.1 Integração

Um total de 400 arquivos de log semiestruturados foram integrados em um único dataset. O dataset então gerado foi transformado em dados tabulares estruturados.

 

3.2.2 Redução

Nessa etapa ocorreu a eliminação de dados que foram julgados irrelevantes para a elaboração do modelo, acontecendo em três etapas:

1.    Seleção de atributos: Foram retidos apenas os atributos relevantes, em concordância com o especialista de manutenção.

2.    Seleção de instâncias: Foram eliminadas as instâncias dos dados provenientes dos logs cujas datas são anteriores ao primeiro e posteriores ao último registro da tabela-fato de quebras

3.    Discretização: Foi aplicado um critério de para transformar o TTR em variável categórica segundo os critérios:

 

·        SEM QUEBRAS:  

·        BAIXA:  min

·        MÉDIO: min

·        ALTO:  min

 

A Figura 4 ilustra o esquema de relacionamento entre os bancos de dados, após a redução dos dados. Ambas as tabelas-fato (Falhas e Quebras) são relacionadas entre si através da dimensão Tempo. O grão definido foi o dia.

 


Figura 4 Relacionamento entre entidades

Fonte: Os Autores.

 

3.2.3   Transformação

Nessa etapa ocorreu a consolidação dos dados para que o modelo pudesse ser aplicado de forma eficiente. Nessa etapa foi feita a agregação das tabelas-fato: Falhas e Quebras a partir da soma do TTR através da dimensão Tempo, na granularidade Dia. Todo a etapa de pré-processamento pode ser observada na Figura 5.

 

 

Figura 5 Coleta e Pré-processamento dos dados

Fonte: Os Autores.

 

3.3 ANÁLISE DESCRITIVA DOS DADOS

 

Após a etapa de pré-processamento descrita na secção 3.2, foi realizada a análise descritiva, que de acordo com Haneem et al. [17], é aplicada para resumir os dados, descrevendo e caracterizando os dados. A análise é normalmente usada para medir a distribuição de frequência dos dados e medidas de tendência central.

Avaliando-se a distribuição de frequência dos dados relativos ao TTR diário, encontramos uma curva assimétrica positiva ou enviesada à direita, evidenciada pelo fato de que a mediana é menor que a média, conforme mostrado na Figura 6a. Esse gráfico explica que é muito mais provável que o TTR seja igual a zero dentre o conjunto de máquinas escolhidas.

O dataset utilizado no modelo possui um total de 1130 instâncias. As variáveis de entrada são representadas por 7 atributos numéricos que foram resultados do pivotamento da tipologia dos eventos de log, representando a quantidade de eventos de cada tipologia ocorridos em um dia.

A variável de saída foi definida na etapa de discretização e é do tipo categórica, assumindo os valores definidos na secção 3.2.2. O critério utilizado para a definição dos valores foram de acordo com algumas métricas utilizadas pelo sistema SPW (Stellantis Way of Production) no domínio de manutenção. Na Funilaria de Goiana foi definido que o limite máximo seria de até 5 quebras por dia do tipo LTF (Long Time Failure), que são as quebras que causam indisponibilidade de máquina a partir de 30 minutos. Assim sendo, o critério de impacto Alto representa um TTR maior que 150 minutos. O critério Baixo foi atribuído como sendo de 30 minutos, simbolizando apenas 1 quebra LTF. Por coerência, se o TTR é zero, isso implica em um dia categorizado como sem quebras.

 


Figura 6 Análise exploratória dos dados

Fonte: Os Autores.

 

3.4 METODOLOGIA EXPERIMENTAL

 

A abordagem de ML foi escolhida devido à sua capacidade de previsão de variáveis-saída a partir de dados históricos como entrada. No entanto, a grande variedade de algoritmos aplicáveis para manutenção preditiva torna difícil a escolha do melhor modelo a ser aplicado, conforme exemplificado na secção 2.3 que descortina alguns trabalhos de manutenção preditiva no setor da indústria automotiva usando técnicas de ML.

 

3.4.1 Aprendizado Supervisionado

A natureza categórica da variável saída nos leva a um problema de classificação no campo de aprendizado supervisionado. As abordagens supervisionadas exigem a disponibilidade de um conjunto de dados S descrito na equação (1):

 

              (1)

 

Onde o par  (chamado de observação) contém a informação relacionado ao i-ésimo processo iterativo. O vetor  contém informações relacionadas às p variáveis com a variável alvo. A ideia é ilustrada na Figura 7.

 


Figura 7 Problema de Classificação em Aprendizado Supervisionado

Fonte: Os Autores.

 

3.4.2 ANN: Rede Neural Perceptron Multicamadas (MLP)

Devido ao domínio que as redes neurais conquistaram no campo da manutenção preditiva, ao longo dos últimos anos, sendo o método mais amplamente utilizado, escolhemos utilizar como modelo para este trabalho uma Rede Neura Artificial (ANN - Artificial Neural Network) do tipo Perceptron Multicamada (MLP - Multilayered Perceptron). A Figura 8 mostra o modelo genérico do MLP. A arquitetura MLP consiste em três camadas: camada de entrada, camada oculta e camada de saída. A camada mais à esquerda, conhecida como camada de entrada, consiste em um conjunto de neurônios  que representam as variáveis de entrada. Cada neurônio na camada oculta transforma os valores da camada anterior com uma soma linear ponderada , seguida por uma função de ativação não linear . A camada de saída recebe os valores da última camada oculta e os transforma em valores de saída.

 


Figura 8 Modelo Multilayered Perceptron

Fonte: Os Autores.

 

3.4.3 Configuração experimental

Nossos dados foram coletados ao longo de vários anos de 400 robôs de um grande fabricante desses tipos de braços robotizados. Cada robô possui na extremidade do seu último eixo (6º eixo) uma ferramenta acoplada que realiza trabalhos específicos, portanto, foi restringido do espaço amostral de máquinas, apenas as ferramentas responsáveis pela solda a ponto, filtrando dessa forma, as pinças de solda como máquina-alvo de interesse prático e com um número suficiente de casos de falha conhecidos.

Ao final do processo de pré-processamento explanado na secção 3.2, foi elaborado um dataset rotulado contendo as informações dos logs de eventos e dos registros de quebras. Os rótulos assumem os valores relacionados ao impacto do TTR a cada dia e foram definidos conforme descrito na secção 3.2.2.

Deu-se início então ao treinamento da MLP, separando 20% dos dados para o conjunto de treinamento e 80% para o conjunto de teste, aplicando-se um estado fixo aos hyper-parâmetros pseudoaleatórios. As dimensões resultantes encontram-se na Tabela 2.

 

Tabela 2- Conjunto de Treino e Teste

X_train

Entradas do conjunto de treinamento: (904,7)

y_train

Saída do conjunto de treinamento: (904,4)

X_test

Entradas do conjunto de teste: (226,7)

y_test

Saída do conjunto de teste: (904,4)

Fonte: Os Autores.

 

A rede neural inicial proposta possui um total de 388 parâmetros treináveis, sendo composta por uma camada densa de entrada com 32 nós, seguida de uma camada drop-out com taxa de 30%, seguida de uma camada de saída com 4 nós, visto que a dimensão de saída é igual a 4.  A Tabela 3 ilustra a estrutura da rede inicial.

 

 

 

Tabela 3 Rede MLP Inicial

Camada

Parâmetros

Densa 1

256

Drop-out 1

0

Densa 2

132

Fonte: Os Autores.

 

A rede foi então treinada ao longo de 100 épocas, usando o otimizador Adam com uma taxa de aprendizado de 0.0001 e o modelo compilado utilizando-se uma função a função de custo: “categorical cross-entropy”, visto que o problema trata de variável de saída com mais de 3 classes. A acurácia calculada foi de 49.1%.

As sucessivas melhorias na MLP foram realizadas aumentando-se o número de nós das camadas densas e inserindo novas camadas ocultas. As decisões de optimização foram baseadas na estratégia a seguir:

·        Ajustar bem no treino: Aumentando o tamanho da rede e mudando o algoritmo de otimização.

·        Ajustar bem no teste: Usando regularização.

·        Ajustar bem no mundo real: Mudando o conjunto de teste.

Os hyper-parâmetros foram escolhidos nas fases sucessivas de melhoria através de uma busca aleatória de 12 combinações para os fatores de regularização L1 e L2. Esses fatores são adicionados à função custo. Foi utilizada a regularização a fim de adicionar algum viés em nosso modelo para evitar que ele se ajuste demais aos nossos dados de treinamento. Utilizou-se uma escala logarítmica afim de se encontrar a ordem de grandeza ideal para tais fatores.

Definida a melhor combinação, foi realizada uma nova busca aleatória, com 12 valores, restringindo o espaço amostral dessa procura em uma janela de ± 30% centrada no valor encontrado na etapa anterior. A Figura 9 ilustra o conceito da busca aleatória dos hyper-parâmetros, chamada de screening.

 


Figura 9 Busca de hyper-parâmetros

Fonte: Os Autores.

A acurácia foi a métrica de avaliação definida do modelo, tanto aplicada ao conjunto de treino quanto ao de teste. Essa métrica mede a razão entre a quantidade de predições corretas e o número total de predições.

A fim de confirmar a performance dos classificadores, foi aplicado o procedimento proposto por Dietterich [18], através da validação cruzada 10 k-fold que é um procedimento de reamostragem usado para avaliar modelos de aprendizado de máquina em uma amostra de dados limitada. O procedimento tem um único parâmetro chamado k que se refere ao número de grupos em que uma determinada amostra de dados deve ser dividida. Portanto, no presente trabalho, a validação cruzada é realizada 10 vezes. A abordagem foi utilizada na métrica da acurácia de validação.

Foi utilizado então o teste de normalidade de teste de Shapiro-Wilk, que avalia uma amostra de dados e quantifica a probabilidade de os dados terem sido extraídos de uma distribuição gaussiana. A hipótese nula do teste é a de que os dados seguem uma distribuição normal. A importância desse teste é para se decidir qual teste estatístico utilizar para comparar as distribuições.

Visto que as amostras apresentaram características de normalidade, foi escolhido como teste estatístico, o teste T de Student. Este teste estatístico atesta se as médias de duas amostras independentes são significativamente diferentes. A hipótese nula do teste é a de que as distribuições possuem a mesma média.

Por fim foi obtida uma configuração final do modelo, cuja análise e discussão dos resultados será feita na secção 4.

 

4 ANÁLISE E DISCUSSÃO DOS     RESULTADOS

 

4.1 RESULTADOS

 

O primeiro objetivo do processo de optimização foi o de melhorar o desempenho da acurácia de treino. Após o aumento da rede inicial, de 388 para 852 parâmetros, conseguimos sensível melhoria nessa métrica, no entanto, ainda foi observada uma característica de overfitting nessa etapa. A mudança do algoritmo de optimização de ADAM para ADAMAX não surtiu resultado desejável.

O segundo objetivo é de melhorar na acurácia de teste. Para tal, foi usado regularização dos tipos L1 e L2. Os valores obtidos após a primeira busca aleatória foram:

L1 = 0.00753 e L2 = 0.00026. A partir desses valores, foi realizado o screening, obtendo os melhores resultados os parâmetros: L1 = 0.05436 e L2 = 0.00005.

Ao final da etapa de configuração experimental, foi obtido um modelo com acurácia de validação de 61%. Esse resultado é fundamentalmente superior ao obtido através do modelo inicial, que apresentou acurácia de 49%. A Figura 10 mostra os gráficos de acurácia e erro para a configuração final.

 


Figura 10 Resultado de Acurácia de Erro do modelo final

Fonte: Os Autores.

 

A fim de validar estatisticamente que o modelo final é melhor que o inicial, foi realizada a validação cruzada, criando-se uma distribuição de acurácia de validação para as duas arquiteturas.

O teste de normalidade de Shapiro-Wilk conclui que ambas as distribuições se assemelham a curvas Gaussianas, falhando em rejeitar a hipótese nula.

Por fim, o teste T de Student endossa que as distribuições têm grande probabilidade de serem diferentes, rejeitando a hipótese nula de que a mesma média, conforme pode ser observado na Figura 11.

 


Figura 11 Distribuições da acurácia de validação na validação cruzada

Fonte: Os Autores.

 

 

 

4.2 DISCUSSÃO

 

O aumento da quantidade de nós da camada oculta da rede foi o fator determinante para melhorar os resultados de acurácia do conjunto de treino. Os valores finais obtidos do processo de busca e ajuste para os hyper-parâmetros L1 e L2 relativos à regularização se desviaram diferentemente do valor padrão do algoritmo Keras, descrito por FRANÇOIS [19]. A Tabela 4 compara os valores padrão dos hyper-parâmetros e os valores finais obtidos. È interessante notar que o valor de L1 final é mais de 5000 vezes maior que o valor padrão, enquanto que o valor de L2 final é 2 vezes menor. Essa grande diferença da ordem de grandeza representa bem a importância da metodologia de seleção de hyper-parâmetros a fim de maximizar o resultado do modelo.

 

Tabela 4 Comparação entre hyper-parâmetros

HYPER-PARÂMETRO

PADRÃO KERAS

FINAL

L1

0.00001

0.05436

L2

0.0001

0.00005

Fonte: Os autores

 

Foi alcançada uma acurácia de treino e teste em um valor limite em torno de 61%. Esse comportamento assimptótico se confirmou à medida que se aumantava o número de épocas. A partir da 200º época, não houve melhoria significativa na acurácia do modelo.

 

5 CONCLUSÕES

 

Nossa abordagem foi desenvolvida com envolvimento ativo de especialistas do domínio de manutenção e foi avaliado e demonstrado ser eficaz por ambos os padrões de aprendizado de máquina e na área de negócio. A disponibilidade e qualidade dos dados determinam a qualidade do processo de aprendizagem e os resultados. Quando a qualidade dos dados é questionável, a robustez dos algoritmos de aprendizado torna-se inviável.

 

REFERÊNCIAS

 

[1] LIN, Chris. The Japanese automotive industry: recent developments and future competitive outlook, 1994. Disponível em: https://deepblue.lib.umich.edu/bitstream/handle/2027.42/1064/87139.0001.001.pdf?s. Acesso em: 29 jun. 2022.

 

 [2] CHEN, Andrijasevic; STEINBERG, Gregg. Media and Management, Minneapolis, USA: University of Minnesota, 2021. DOI: 10.14619/028-3. Disponível em: https://www.researchgate.net/profile/Marc-Steinberg/publication/355209483_Media_and_Management/links/6168792166e6b95f07cb6037/Media-and-Management.pdf. Acesso em: 29 jun. 2022.

 

 [3] DELLIOS, Kleanthis; PATSAKIS, Constantinos; POLEMI, Despina. Automobile 2.0: Reformulating the automotive platform as an IT system. IT Professional, v. 18, n. 5, p. 48-56, 2016.

 

[4] DAVIS, et al. 4th Industrial Revolution Design Through Lean Foundation. Procedia CIRP. v. 91, p. 306-311, 2020. DOI: 10.1016/j.procir.2020.03.102

 

[5] PINTO, et al. TPM implementation and maintenance strategic plan – a case study. Procedia Manufacturing. v. 51, p. 1423-1430, 2020. DOI: 10.1016/j.promfg.2020.10.198

 

[6] ABU-SAMAH, et al. Failure Prediction Methodology for Improved Proactive Maintenance using Bayesian Approach. IFAC-PapersOnLine. v. 48, n. 21, p. 844-851, 2015. DOI: 10.1016/j.ifacol.2015.09.632

 

[7] SIPOS, et al. Log-based Predictive Maintenance. In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD '14). Association for Computing Machinery, New York, NY, USA, p. 1867–1876, 2014. DOI: 10.1145/2623330.2623340

 

[8] Fayyad, Usama; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic. From Data Mining to Knowledge Discovery in Databases. AI Magazine. v. 17, n. 3, p. 37-54, 1996.

 

[9] THEISSLER, Andreas et al. Predictive maintenance enabled by machine learning: Use cases and challenges in the automotive industry. Reliability engineering & system safety, v. 215, p. 107864, 2021. DOI: 10.1016/j.ress.2021.107864

 

[10] PINTO, G. F. L. et al. Continuous improvement in maintenance: a case study in the automotive industry involving Lean tools. Procedia Manufacturing, v. 38, p. 1582-1591, 2019. DOI: 10.1016/j.promfg.2020.01.127

 

[11] BRACKE, S. Preventive maintenance planning based on Weibull distribution models: The impact of the random scatter behaviour of the threshold parameter. IFAC-PapersOnLine, v. 53, n. 3, p. 161-166, 2020. DOI: 10.1016/j.ifacol.2020.11.026

 

[12] NOWAKOWSKI, Tomasz; TUBIS, Agnieszka; WERBIŃSKA-WOJCIECHOWSKA, Sylwia. Evolution of technical systems maintenance approaches–review and a case study. International conference on intelligent systems in production engineering and maintenance. Springer, Cham, p. 161-174, 2018. DOI: 10.1007/978-3-319-97490-3_16

 

[13] CHEN, Chong et al. Automobile maintenance modelling using gcforest. 2020 IEEE 16th International Conference on Automation Science and Engineering (CASE). IEEE. p. 600-605, 2020. DOI: 10.1109/CASE48305.2020.9216745

 

[14] GUTSCHI, Clemens et al. Log-based predictive maintenance in discrete parts manufacturing. Procedia CIRP, v. 79, p. 528-533, 2019. DOI: 10.1016/j.procir.2019.02.09

 

[15] PRAVEEN, Shagufta; CHANDRA, Umesh. Influence of Structured, SemiStructured, Unstructured data on various data models. International Journal of Scientific & Engineering Research. v. 8, n. 12, p. 67-69, 2017.

 

[16] GARCÍA, Salvador; LUENGO, Julián; HERRERA, Francisco. Data preprocessing in data mining. Cham, Switzerland: Springer International Publishing, 2015.

 

[17] HANEEM, Faizura et al. Descriptive analysis and text analysis in systematic literature review: a review of master data management. 2017 International Conference on Research and Innovation in Information Systems (ICRIIS). IEEE, p. 1-6, 2017. DOI: 10.1109/ICRIIS.2017.8002473.

 

[18] DIETTERICH, Thomas G. Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Computation, v10, n. 7, p. 1895–1923, 1998.

[19] FRANÇOIS, Chollet et al. Keras. Disponível em: https://github.com/fchollet/keras, 2015. Acesso em: 29 jun. 2022.