1 INTRODUÇÃO

A justiça Eleitoral em Pernambuco atua no planejamento e execução das Eleições no estado, tendo a missão de garantir a legitimidade do processo eleitoral e o livre exercício do direito de votar e ser votado. Nos anos eleitorais a demanda por serviços relacionados à Justiça Eleitoral aumenta significativamente. No dia da Eleição, a procura por informações atinge seu ápice.

Os canais de telefonia fixa possuem limitação para quantidade de ligações recebidas simultaneamente. O recebimento de chamadas além da capacidade dos canais de entrada pode ocasionar incidentes de indisponibilidade do serviço e degradação da qualidade de comunicação.

A previsão de demanda de chamadas realiza um papel crucial no gerenciamento de serviços de teleatendimento, por exemplo, determinando o nível apropriado de pessoal e dimensionamento de canais de voz [1]. Do mesmo modo, processos de previsão da demanda podem dar apoio às ações de planejamento do Tribunal Regional Eleitoral de Pernambuco (TRE-PE). O TRE-PE tem como princípios estratégicos a realização de ações proativas com foco em resultados e na satisfação de jurisdicionados e usuários, a par da correta aplicação dos recursos públicos.

O serviço de telecomunicações institucional é fundamental para prestar informações ao eleitor durante o período eleitoral. A prestação desse serviço com qualidade envolve, entre outros fatores, garantir uma comunicação de qualidade evitando barreiras tecnológicas e ruídos necessários ao perfeito entendimento das mensagens. O dimensionamento do serviço para atender as demandas que permitam que essa comunicação aconteça com qualidade é um processo importante na estratégia de desenvolvimento de serviços de tecnologia da informação e comunicação.

Segundo Provost e Fawcett [2] a tomada de decisão orientada por dados refere-se a prática de basear as decisões na análise dos dados, em vez de apenas intuição. Essa abordagem tende a gerar um melhor acompanhamento, tendo em vista a manutenção de bases de dados com informações detalhadas e métricas de atendimento. Já que um conjunto de informações rico é essencial para aprimoramento do processo de tomada de decisão [1].

O objetivo do trabalho é realizar uma comparação de modelos que são utilizados em problemas de previsão de demanda em centrais de atendimento telefônico. Como meio para alcançar esse objetivo será realizada uma aplicação prática com a base de dados de chamadas do TRE-PE. Este objetivo pode ser desdobrado nos seguintes objetivos específicos:

· Identificar modelos aplicáveis a problemas de previsão de demanda em centrais de atendimento telefônico;

· Aplicar os modelos de previsão de séries temporais selecionados;

Após a aplicação dos modelos selecionados seguiremos a comparação dos resultados. A literatura tem utilizado diferentes métricas para avaliação da acurácia de modelos de previsão, tais como: Root Mean Squared Error (RMSE), Mean Squared Error (MSE), Mean Absolute Percentage Error (MAPE) e Weighted Absolute Percentege Error (WAPE) [3, 4].

A seleção das métricas para avaliação dos resultados é dependente do problema de previsão [5]. Conforme se avança no processo de criação dos modelos será possível definir que métricas utilizar para avaliação dos modelos selecionados.

Esse artigo está organizado da seguinte forma: na Seção II será apresentado os principais conceitos e trabalhos relacionados que colaboram com as hipóteses de resolução do problema em questão; na Seção III serão descritos os métodos e experimentos; na Seção IV a avaliação das métricas e comparação de resultados é realizada; na Seção V as considerações finais são discutidas.

2 REVISÃO BIBLIOGRÁFICA

A previsão de chamadas pode ser transformada em um problema de previsão de séries temporais.

Os registros de chamadas podem ser processados e contabilizados em um intervalo de tempo específico para posterior análise. Esses registros relacionados no tempo podem ser organizados em diferentes janelas temporais.

"Uma série temporal de tempo discreto é uma em que o conjunto T de tempo em que as observações são feitas é um conjunto discreto, como é o caso, por exemplo, quando observações são feitas em intervalos de tempo fixos"(tradução nossa) [6]

2.1 Trabalhos relacionados

Existem diversos trabalhos relacionados na área de previsão de séries temporais abordaremos especificamente aqueles relacionados à análise de séries temporais em centrais de teleatendimento. Ibrahim et al. realiza uma revisão da literatura sobre os modelos de previsão de chamadas existentes. Segundo o autor, um modelo de previsão razoável deve levar em consideração todos os tipos de dependência que existem em dados reais. Variáveis que podem afetar a previsão de demanda e que devem ser levadas em consideração por modelos de previsão incluem: correlação temporal, informações adicionais, por exemplo, propaganda ou noticiário e sazonalidade. Vários trabalhos foram relacionados com a utilização de modelos autoregressive integrated moving average (ARIMA). [5].

Lopes [6] apresentou um estudo de caso utilizando algoritmos genéticos para previsão de demanda de chamadas superando métricas de modelos estatísticos clássicos. Albrecht et al. [7] investiga a capacidade de modelos de IA - ML para previsão de demanda de Call Centers no que diz respeito à precisão da previsão e praticabilidade.

Segundo Bouzada [1] um modelo de regressão múltipla pode incorporar comportamento de diversas variáveis e resultar em previsões mais realistas em um contexto como por exemplo dias especiais.

De acordo com a pesquisa realizada em Albrecht et al. [7], a seleção do melhor modelo de previsão pode ser altamente dependente das características do problema de previsão. É possível que um modelo obtenha bons resultados para previsão de intervalos curtos enquanto outro modelo obtenha melhores resultados para previsão de períodos maiores. O resultado da previsão pode ser usado para diferentes tarefas de planejamento, o horizonte de previsão (intervalo de tempo, diário, semanal ou mensal) determina o método e o modelo adequado ao propósito pretendido. Tipicamente modelos que incorporam dependências temporais são úteis para planejamento de curto prazo [5].

2.2 ARIMA

É notório que existem modelos matemáticos usados para descrever uma variedade de fenômenos físicos. Modelos baseados em leis da física permitem a realização de cálculos de valores em qualquer instante no tempo. Por exemplo, o cálculo da trajetória de um míssil para uma dada direção com velocidade conhecida. Se o cálculo exato for possível esse modelo é denominado como determinístico [8].

Provavelmente nenhum fenômeno é totalmente determinístico, existem uma diversidade de fatores muitas vezes desconhecidos que podem interferir no acontecimento de eventos, como por exemplo número de chamadas recebidas em uma central telefônica. Nesses casos não é possível desenvolver um modelo determinístico. Todavia, pode ser possível desenvolver um modelo que calcule a probabilidade de um futuro valor correspondente entre um intervalo com limites definidos [8]. Esse tipo de modelo é chamado de modelo estocástico ou estatístico.

Uma importante classe de modelos estocásticos para séries temporais são os modelos estacionários. Modelos estacionários assumem que o processo repousa em equilíbrio estatístico com propriedades que não variam ao logo do tempo, especificamente possui média e desvio padrão constante [8]. Na prática muitas séries temporais reais apresentam comportamento variável ao longo do tempo dessa forma séries temporais são muitas vezes melhor representadas com um processo não estacionário.

Um exemplo de modelo estatístico não estacionário é o autoregressive integrated moving average (ARIMA), é um modelo não estacionário que utiliza a diferenciação para obter um modelo estacionário Autoregressive Moving Average (ARMA). Então basicamente podemos definir um modelo ARIMA como a junção de um termo AR mais um termo MA e do número de diferenciações sucessivas necessárias para que os dados possam estar em equilíbrio estatístico Integrated - I, ou seja, alcançar a estacionariedade [8].

Modelos estatísticos Lineares são um tipo de análise estatística que assume que modelos de séries temporais são geradas pelo somatório de choques aleatórios lineares. São modelos parcimônias representados por um pequeno número de termos [8].

2.3 SARIMA

A autocorrelação é uma medida utilizada para mensurar a força no relacionamento entre retardos temporais(lags) de uma serie temporal [9]. A análise do gráfico de autocorrelação é uma das ferramentas usadas para identificação do comportamento da série. Diante de um gráfico com elevado coeficiente de autocorrelação entre as lags de uma série, podemos identificar a quantidade de retardos/observações anteriores que podem influenciar o valor futuro dos dados.

Nesse aspecto existe um conceito importante que chamaremos de frequência, frequência é o número de observações que ocorrem dentro de um padrão sazonal de repetições. Um padrão sazonal ocorre quando uma série temporal é afetada por fatores como época do ano dia da semana e que ocorre sempre em uma frequência conhecida [10].

A correta identificação das frequências de eventos sazonais é fator relevante para implementação de modelos de previsão melhores.

Modelos usados para considerar a dependência existente entre os dados através do tempo e que aparece em períodos com frequência definidos podem ser obtidos por meio de uma forma especial de modelos ARIMA conhecida como Seasonal Autoregressive Integrated Moving Average (SARIMA) [8].

O período ou frequência em que a relação de correlação ocorre pode ser definido como sendo de tamanho s. O modelo resultante é representado por (p,d,q) x (P,D,Q)s, onde p, d e q representam os parâmetros AR, MA e número de diferenciações para estacionariedade- d. Os parâmetros adicionais incluídos pelo SARIMA são P,D e Q, os respectivos parâmetros sazonais para o período s [8].

2.4 Redes Neurais Artificiais

“Redes neurais artificiais são um sistema de processamento de informação complexo, não-linear e paralelo que se fundamenta no funcionamento do sistema neural biológico e, em particular, no cérebro humano (AMORIM NETO,2008, p.8)” [11].

Uma rede neural artificial multilayer perceptron (MLP) é uma rede de neurônios totalmente conectada que recebe dados de entrada e os transforma em uma série de saídas. O componente fundamental de uma MLP é o neurônio. Existem no mínimo 3 (três) camadas em uma MLP, incluindo camada de entrada, uma ou mais camadas escondidas e uma camada de saída [12].

Redes neurais são uma das abordagens mais promissoras no contexto de previsão de séries temporais não estacionárias. As redes neurais têm a capacidade de modelar comportamentos não lineares sem a necessidade de conhecimento prévio do problema [4].

“Elas aprendem com exemplos e capturam os relacionamentos funcionais entre os dados, mesmo que sejam desconhecidos ou difíceis de descrever. Dessa forma, as redes neurais são indicadas para problemas cujas soluções requerem conhecimentos que sejam difíceis de especificar, mas para os quais existam dados ou observações suficientes” [11]

3 PROCEDIMENTOS EXPERIMENTAIS

Nessa seção serão descritas a base de dados utilizada, bem como o protocolo experimental utilizado para avaliar os modelos ARIMA e Redes Neurais do tipo MLP.

3.1 Descrição dos dados

A base de dados disponível para realização do trabalho consiste na relação de chamadas recebidas na central telefônica do TRE-PE em cada um dos serviços de atendimento no período de junho de 2020 até maio de 2021. Os dados estão registrados em arquivos .csv extraídos mensalmente as chamadas recebidas nos diferentes serviços de atendimento do TRE-PE.

Quadro 1 – Descrição dos dados em arquivo.

Nome da coluna	Descrição	Exemplo
Plataforma	Endereço de rede da central telefônica	192.168.1.1
Ramal	Número do ramal para o qual a chamada foi encaminhada	9400
Número	Número de telefone que efetuou a chamada	5581xxxxxxx4
Data de atendimento	Data e hora de atendimento	2020 11 15 08:15:02
Duração	Duração do atendimento em segundos	90

Fonte: Os Autores

3.2 Protocolo Experimental

3.2.1 Experimento 1

Organizando os dados em janelas temporais curtas, a cada 1 (uma) hora. Com dados do período de maio de 2020 até maio de 2021 registra-se um total de 9.497 elementos na nossa amostra de séries temporais no período relacionado.

Analisando o gráfico de autocorrelação dos dados com janela temporal de 1( uma )hora podemos identificar o número de observações temporais passadas relevantes para definição do valor atual. Conforme observação do gráfico podemos identificar um padrão sazonal de correlação com períodos diários com maior relevância a cada 24h.

Figura 1 – Gráfico de autocorrelação série de chamadas por hora.

Gráfico, Histograma

Descrição gerada automaticamente

Fonte: Os Autores

Utilizamos a biblioteca pmdarima para construção de um modelo ARIMA. A biblioteca pmdarima possui uma função para definição automatizada dos melhores parâmetros do modelo.

Outra organização possível é utilizando um modelo com menos observações dentro do mesmo período de datas, sendo assim, mudamos a frequência das observações para dias em vez de horas. Com essa nova organização da série temporal se obtem um conjunto de dados com 396 (trezentos e noventa e seis) observações.

Analisando o novo gráfico de autocorrelação da série percebe-se que as lags com correlação significativa estão entre lag1 e lag4. E que diferente dos dados com observações por hora os dados diários não apresentam padrão de sazonalidade no gráfico de autocorrelação apesar de existir uma frequência que se repete de aumento de ligações na segunda e que diminui na sexta-feira.

Figura 3 – Gráfico de autocorrelação série diária

Gráfico, Histograma

Descrição gerada automaticamente

Fonte: Os Autores

No intervalo entre a segunda e a sexta-feira, cinco dias com expediente normal no TRE existe uma sazonalidade conforme pode ser observado no gráfico da série selecionando um período mais curto para melhor observação do fenômeno sazonal.

Figura 4 – Gráfico para análise de período sazonal.

Uma imagem contendo Forma

Descrição gerada automaticamente

Fonte: Os Autores

Diante disso, entende-se que existe uma característica sazonal nos dados e que o modelo a ser construído precisa levar essa característica em consideração. Para construção de um modelo com a biblioteca pmdarima que observe as características sazonais dos dados, é necessário informar a função utilizando o parâmetro seasonal com valor True.

Com relação ao período de repetição do padrão sazonal temos que configurar o parâmetro m da função auto_arima. Nos experimentos realizados com os dados da série com observações diárias, após configuração da função com informações de parâmetros seasonal = True e m = 7 o melhor modelo gerado não usa os hiper parâmetros de modelos sazonais.

Quadro 2 – Resultado seleção do modelo auto_arima.

Melhor modelo

ARIMA(2,0,0)(0,0,0)[5] intercept

Fonte: Os Autores

Com relação ao horizonte de previsão, quanto maior o horizonte de previsão maior incerteza é associada ao intervalo de previsão o que acarreta em diminuição na acurácia dos modelos [10]. No presente experimento desenvolveu-se um modelo utilizando a estratégia de previsão de um horizonte temporal curto com h representando o número de observações temporais a frente, temos que h = 1, ou seja, previsão de um passo à frente.

Figura 5 – Gráfico previsão x real Experimento 1.

Gráfico, Gráfico de linhas

Descrição gerada automaticamente

Fonte: Os Autores

A análise gráfica demonstra que o modelo não conseguiu apreender completamente as dependências temporais dos dados.

3.2.2 Experimento 2 com remoção de outliers

Como informado anteriormente os dados disponíveis são do período de maio de 2020 até maio de 2021 o que só contempla a realização de D1(uma) eleição. Dessa forma, incluir os dados de eleições com o restante do período analisado pode gerar uma influência negativa nos resultados de aprendizagem dos modelos de previsão. Os valores registrados no período de 11 até 15 de novembro de 2020 foram ajustados para a média dos valores da série.

Após o ajuste nos dados passou-se a observar as seguintes modificações. Primeiro o novo gráfico com os dados da série.

Figura 6 – Gráfico da série sem outliers

Gráfico, Gráfico de linhas, Histograma

Descrição gerada automaticamente

Fonte: Os Autores

Também se percebe alteração no gráfico de autocorrelação de forma que agora é possível visualizar um comportamento sazonal nos dados. A cada 7 (sete) dias se repete um pico de autocorrelação o que caracteriza uma frequência sazonal no período observado.

Figura 7 – Gráfico ACF série sem outliers

Gráfico

Descrição gerada automaticamente

Fonte: Os Autores

Com os dados ajustados utilizou-se a biblioteca pmdarima para implementação de um novo modelo usando os mesmos parâmetros dos experimentos anteriores e a estratégia de previsão de um passo à frente.

O melhor modelo segundo os testes possui os seguintes parâmetros:

Quadro 3 – Resultado seleção do modelo auto_arima.-Experimento 2.

Melhor modelo

ARIMA(5,1,1)(1,0,1)[7] intercept

Fonte: Os Autores

Respeitando o mesmo percentual de treinamento e teste dos experimentos anteriores, tem-se o gráfico da figura 8 com plot dos dados da previsão e os dados reais da série.

Figura 8 – Gráfico previsão SARIMA e dados reais.

Gráfico, Gráfico de linhas

Descrição gerada automaticamente

3.2.3 Experimento 3 – Rede neural MLP

Segundo Hyndman, os valores das lags da série podem ser usados como entrada para uma rede neural. Esse tipo de modelo segundo o autor é denominado como uma Neural Network Autoregression (NNAR).[10]

Segundo JUNIOR, A. R. L. et al O fator mais relevante para o desempenho de uma previsão de series temporais usando redes neurais é a seleção lags de entrada no modelo [4]. Conforme apresentado no capítulo de revisão Podemos observer o gráfico de autocorrelação para identificação dos retardos temporais relevantes. No presente experimento foi realizado a seleção dos lags com base no resultado do valor do coeficiente de correlação comparado a um limite estabelecido e o número máximo de observações a serem avaliadas.

Para ajustar os parâmetros da rede neural proposta, o conjunto de dados foi dividido em três grupos: dados de treinamento, dados de validação e dados de teste. Os dados de treinamento são aproximadamente 90% do conjunto. Esses dados serão utilizados para ajuste dos pesos através do processo de backpropagation. O conjunto de validação e o conjunto de testes são dados não utilizados no processo de treinamento do modelo que servirão para avaliar a capacidade de generalização desse na realização de previsões.

Para seleção dos hiperparâmetros utilizamos um algoritmo de grid Search. Esse é um método utilizado para realizar a seleção dos parâmetros avaliando todas as combinações possíveis [13]. A função aplicará as possibilidades e de acordo com o resultado de uma métrica, no caso MSE, retornar qual melhor conjunto de hiperparâmetros para o modelo em questão.

Quadro 4 – Parâmetros para o grid Search

Parâmetro	Valor
Qtd. Neurônios	4, 5, 10, 20, 30
Função de ativação	'tanh','logistic', 'relu'
Mensurar desempenho	'lbfgs', 'sgd', 'adam'
Número de interações	1000, 10000,100000
Taxa de aprendizado	'adaptive'

Fonte: Os Autores

Figura 9 – Gráfico previsão x real

Fonte: Os Autores

4 AVALIAÇÃO DE RESULTADOS

Nessa seção apresenta-se os resultados do estudo de caso com dados reais coletados nas chamadas recebidas no TRE-PE conforme descrição dos dados apresentada na seção 2.

Os modelos selecionados foram aplicados aos dados e uma parte dos dados não apresentada para treinamento foi utilizada para validação da acurácia das previsões. Dentre as 396 observações disponíveis nos dados da série de chamadas, 90% dos elementos foram utilizados para treinamento do modelo, 356 elementos e 10% ,40 elementos, foram utilizados para testes.

Os valores considerados para avaliar a acurácia dos modelos são calculados com base nos erros de previsão que são o resultado do valor da observação separada para teste no intervalo de tempo específico menos o valor da previsão.

A seguir apresenta-se a tabela com os resultados das métricas com os modelos dos experimentos 1, 2 e 3.

Tabela 3 –Análise de resultados -Experimento

MODELO	MSE	MAPE
MLP	23679.225	2.0499
SARIMA(5,1,1)(1,0,1)[7]	16161.825	0.6682
ARIMA(2,0,0)(0,0,0)[7]	176795.475	10.7689

Fonte: Os Autores

Os resultados obtidos com o modelo SARIMA se apresenta como o que obteve melhor desempenho nas duas métricas avaliadas.

5 CONSIDERAÇÕES FINAIS

Após desenvolvimento do trabalho foi possível identificarmos modelos de previsão aplicáveis ao problema em questão e realizarmos a comparação de diferentes modelos com base nas métricas estabelecidas. Através de uma aplicação prática utilizando dados reais de chamadas de registros do TRE-PE foi realizado um processo de mineração de dados, transformando-os em séries temporais para posterior aplicação de processos de previsão.

Os resultados apresentados indicam que é possível utilizar os modelos de previsão tanto estatístico como os de redes neurais para previsão e apoio no processo de planejamento de serviços de teleatendimento.

Foi possível perceber o impacto que variações muito bruscas no comportamento dos dados da série possui na construção de modelos de previsão, como o que pode ser observado durante o período de aumento exponencial no número de chamadas no período eleitoral. Os dados do período eleitoral no presente trabalho foram modificados para que diminuísse a influência na construção do modelo. A construção de modelos que considerem o período de eleições é desejável. Porém é necessário possuir um maior conjunto de dados que permita a avaliação do fenômeno.

5.1 Trabalhos Futuros

A construção de modelos de redes neurais mais precisos depende da qualidade do processo de seleção de parâmetros de entrada. Existem diversos trabalhos que se encarregam de avaliar algoritmos para seleção desses parâmetros. No presente trabalho a seleção dos parâmetros de entrada foi baseada na análise de dependências temporais identificadas nos dados da série. Um trabalho futuro seria a avaliação de algoritmos para seleção dos parâmetros de entrada para a rede neural.

REFERÊNCIAS

[1] BOUZADA, M. O uso de ferramentas quantitativas em call centers – o caso Contax. Tese (Doutorado) —Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, dezembro 2006.

[2] PROVOST, F.; FAWCETT, T. Data Science para negócios. Rio de Janeiro, RJ: Alta Books, 2016.

[3] JUNIOR, A. R. L. et al. An experimental study of fitness function and time series forecasting using artificial neural networks. In:Proceedings of the 12th Annual Conference Companion on Genetic and Evolutionary Computation. New York, NY, USA: Association for Computing Machinery, 2010. (GECCO’10), p. 2015–2018. ISBN 9781450300735. Dispon ́ıvel em:〈https://doi.org/10.1145/1830761.1830848〉

[4] JUNIOR, A. R. L. et al. A prime step in the time series forecasting withhybrid methods: The fitness function choice. In:2009 International Joint Conference on Neural Networks.[S.l.: s.n.], 2009. p. 2703–2710

[5] IBRAHIM, R. et al. Modeling and forecasting call center arrivals: A literature survey and a case study.International Journal of Forecasting, v. 32, n. 3, p. 865–874, 2016. ISSN 0169-2070.

[6] LOPES, C. Programação genética aplicada no processo de previsão: um estudo de caso aplicado em chamadas de uma central de teleatendimento. In: CONGRESSO BRASILEIRO DE INTELIGENCIA COMPUTACIONAL. Niteroi, RJ: [s.n.], 2017.

[7] ALBRECHT, T.; RAUSCH, T. M.; DERRA, N. D. Call me maybe: Methods and practical implementation of artificial intelligence in call center arrivals’ forecasting.Journal of Business Research, v. 123, p. 267–278, 2021. ISSN 0148-2963.

[8] BOX, G; JENKINS,G et al. Time Series Analysis: Forecasting and Control, 5ed, Hoboken, New Jersey: Wiley, 2016.

[9] BENNETT, C.; STEWART, R. et al. Autoregressive with exogenous variables and neural networkshort-term load forecast models for residential low voltage distribution networks.Energies, v. 7, n. 5, p.2938–2960, 2014. ISSN 1996-1073.

[10] HYNDMAN R.J. A. Forecasting: principles and practices. Melbourne, Australia: OTexts, 2018.

[11] AMORIN NETO, M. Previsão de séries temporais usando séries exógenas e combinação de redes neurais aplicada ao mercado financeiro. Dissertação (Mestrado) —Universidade Federal de Pernambuco, Recife, Pernambuco, 2008.

[12] AWAD, M.; KHANNA, R. Efficient Learning Machines: Theories, Concepts, and Applications for Engineersand System Designers. New York: Apress, 2015. ISBN 978-1-4302-5989-3

[13] LIASHCHYNSKYI, P.; LIASHCHYNSKYI, P.Grid Search, Random Search, Genetic Algorithm: A BigComparison for NAS. 2019