Utilização de Dataflow para previsão de aceitação de respostas no fórum StackOverflow.com

Resumo

A era digital que estamos vivendo atualmente proporcionou grandes benefícios para a sociedade, fornecendo máquinas capazes de realizar, com alta velocidade, milhares de cálculos. À medida que evoluíam, os dispositivos ficavam cada vez mais robustos, suportando cargas elevadas de informações. A melhoria dos recursos computacionais, e da possibilidade de armazenar uma maior quantidade de dados, além do processamento de uma simples máquina, aumenta o nível de complexidade dos dispositivos, ou seja, um simples computador deverá estar em constante evolução para atender às necessidades atuais da sociedade. Uma grande dificuldade que vale ressaltar é a necessidade de processar dados em larga escala, sendo, por isso, necessária a utilização de sistemas de alto desempenho para esse processamento. Assim, o objetivo deste artigo é mostrar um framework que permita que seja desempenhada essa função de forma rápida e simples, tirando proveito da estrutura do DataFlow para processamento de Big Data. A análise realizada é do tipo preditiva, em uma base disponibilizada on-line. A partir dela, será mostrado o uso do framework e se procurará verificar se o modelo gerado teve sucesso ou não. Os indicadores usados para essa comprovação serão a acurácia, a curva ROC, a especificidade e a sensitividade. Como resultado, espera-se extrair conhecimento sobre a aplicação do framework DataFlow para análise de grandes quantidades de dados e mostrar algumas vantagens no seu uso prático.