Uma Abordagem de Baixo Custo para Viabilizar Big Data Industrial

Resumo

Infraestruturas de Big Data Industrial propostas por profissionais de Engenharia de Dados são geralmente pensadas para serem escaláveis, suportarem grandes volumes de dados armazenados, alta taxa de transferência de dados, e apresentar a possibilidade de fornecer grandes cargas de dados consumidas para analytics e treinar modelos de Machine Learning. Entretanto, sobretudo nas fases iniciais, a implementação de recursos de analytics e Machine Learning na indústria inicia sem dados, com baixa taxa de transferência e baixo consumo. Em uma fábrica de produção de latas de alumínio, que possui 32 máquinas em uma linha de produção, os dados necessários para analisar performance de toda a linha, máquina-a-máquina possuem volume de armazenamento inferior a 10GB por ano. As fábricas optam por não utilizar armazenamento em nuvem para evitar usar recursos gerenciados por terceiros e soluções open source para evitar a manutenção desses recursos. Sistemas mais robustos com clusters ou tecnologia clusterizada costumam ser muito caros, por mais que apresentem a vantagem de serem escaláveis após a validação da prova de conceito, inviabilizando o desenvolvimento de uma solução protótipo por questões de custo. Desta forma, o objetivo deste trabalho é apresentar uma metodologia para implantação de uma arquitetura de baixo custo e de rápida implementação que sirva como passo inicial para que abordagens mais robustas possam ser feitas posteriormente. Seguindo essa metodologia, uma arquitetura foi implementada em fábrica, e os dados estão sendo coletados pela versão mais simples do supervisório padronizado da fábrica, persistidos temporariamente em um banco de dados relacional, e são salvos em arquivos de texto compactados em disco. O banco de dados mantém 20 dias de dados, que ficam acessíveis ao sistema de analytics cujo principal propósito é entender o que está acontecendo na fábrica e viabilizar decisões proativas. Os dados compactados podem ser recuperados sob demanda, quando necessário.