1
Introdução
Por conta dos
avanços tecnológicos, o ensino a distância tem se tornado uma modalidade comum
e cada vez mais útil nos ambientes universitários. Ao lado disso, acompanha o
crescimento da quantidade de dados gerados por alunos em Ambientes Virtuais de
Aprendizagem (AVA), plataformas que auxiliam no acompanhamento e
desenvolvimento dos alunos e que servem de intermediação no ensino-aprendizado
destes. Muito utilizado para conduzir o ensino a distância, o AVA também tem
sido útil no apoio da educação presencial, visto a sua capacidade de, por meio
de ferramentas, prover interação entre alunos, professores e recursos
educacionais.
Com essa
frequente interação entre os usuários no AVA, vê-se a necessidade da aplicação
de Learning Analytics (LA), que, por meio da medição, coleta, análise e
divulgação de dados sobre os alunos em diferentes contextos, tem o propósito de
entender e aperfeiçoar a aprendizagem e os ambientes nos quais ela ocorre [1].
A partir do
uso de LA na compreensão de dados educacionais para o sucesso da aprendizagem [2], surge a problemática de se encontrar
dados que devam ser considerados na análise, a tradução desses dados em
representações visuais que permitam oferecer feedback para apoio da
aprendizagem, o aspecto da privacidade necessária aos traços registrados pelos
estudantes e possibilitar melhorar a aprendizagem e minimizar a reprovações [3].
Através dessa
perspectiva, viu-se a oportunidade de criar uma ferramenta para análise de
dados a partir dos resultados de mineração de dados educacionais, definida como
um Learning Analytics Dashboard, uma ferramenta que pode dar suporte ao ensino
e ao aprendizado que funciona através do rastreamento de arquivos de registro
dos alunos e do fluxo de dados em tempo real, extraindo grandes quantidades de
dados para encontrar significado e gerando visualização para os resultados,
para que possam ser compreendidos facilmente à primeira vista [4].
Do ponto de
vista arquitetural, será desenvolvida uma ferramenta que deve representar um
novo módulo do FMDEV (Framework de Mineração de Dados Educacionais), que
é definido como um ambiente de aprendizado de máquina automatizado cujo
objetivo é permitir que usuários construir, validar e disponibilizar modelos de
mineração de dados educacionais [5].
2
Fundamentação
Teórica
Nessa seção
são apresentados os conceitos e fundamentos necessários para a compreensão, o
acompanhamento, e o próprio desenvolvimento do trabalho. O objetivo aqui é
discorrer sobre os trabalhos relacionados e buscar facilitar o entendimento do
projeto através da definição dos seguintes conceitos: Ambientes Virtuais de
Aprendizagem, Mineração de Dados Educacionais, Learning Analytics e
Visualização de dados, Desempenho do Aluno no Ensino a Distância.
2.1
Ambientes
Virtuais de Aprendizagem
Ambientes
Virtuais de Aprendizagem (AVA) são o resultado da evolução do Ensino a
Distância (EAD), já que, desde o surgimento do EAD em 1728, com a
disponibilização de um curso de taquigrafia que era enviado semanalmente pelos
correios pelo professor Caleb Phillips [6],
e a partir da integração de computadores no processo de ensino-aprendizagem,
até os dias de hoje, viu-se um avanço através da utilização de novos recursos
no EAD que possibilitam o acesso a informações sistematizadas e uma interação
entre os alunos e os professores [7].
Muitos autores
definem o que são AVA’s, sempre relacionados a sistemas de software, mas é
imprescindível mencionar que são concebidos para apoiar o processo de ensino e
ajudar os alunos a aprenderem por meio do gerenciamento da aprendizagem [8], sendo possível, através deles, a
realização de coletas de dados sobre as interações que os estudantes têm entre
si, com os professores e com recursos educacionais, sendo estes dados
indicadores valiosos sobre a eficácia de uma experiência de aprendizagem [9].
A partir do
armazenamento e gerenciamento dos dados mencionados, tais como registros de
acessos, visualização dos materiais das disciplinas, participação em fóruns,
resolução de questionários e envio de atividades, notas dos alunos e o horário
em que os eles acessam o sistema, dentre outros, é possível se fazer análises
sobre os elementos que podem influenciar o processo de ensino-aprendizagem e,
consequentemente, o desempenho dos alunos na modalidade do ensino a distância.
2.2
Mineração
de Dados Educacionais
A Mineração de
Dados (MD) é definida como um processo de descoberta de padrões úteis ou
conhecimento a partir de fontes de dados, podendo os dados se apresentarem
estruturados, semi-estruturados ou não estruturados.
Tendo isso em
vista, diferentes métodos podem ser aplicados para minerar os dados, sendo os
métodos separados em categorias, sendo as que seguem tidas como as principais:
aprendizagem supervisionada, na qual é feita a classificação e a previsão do
dado; aprendizagem não supervisionada, em que ocorre o agrupamento de dados por
características semelhantes; regras de associação [10].
A aplicação de
técnicas de mineração de dados objetiva dar suporte e atendimento às diferentes
necessidades de usuários, viabilizando a construção de ferramentas analíticas a
partir de modelos de análise preditivos e prescritivos [2], podendo atuar em diferentes âmbitos, como
o educacional, esfera de atuação do presente trabalho.
Nesse
contexto, é introduzido o conceito de Mineração de Dados Educacionais (MDE),
que faz o uso de técnicas computacionais e estatísticas para visualização de
dados educacionais [11].
Ademais,
conforme é dito por [2], os
conhecimentos já produzidos na área de MDE, especialmente a adoção de técnicas
de mineração de dados, são utilizados a fim de atingir melhores resultados de
análises [2]. Desse modo, vê-se como
promissora a junção da aplicabilidade da mineração com a visualização de dados
educacionais, podendo gerar novos insights no decorrer dos cursos em ambientes
virtuais de aprendizagem.
2.3
Learning
Analytics
e Visualização de Dados
Essa seção
aborda sobre os seguintes conceitos: Learning Analytics e Learning
Analytics Dashboard.
2.3.1
Learning
Analytics
Learning
Analytics (LA) é uma área emergente que explora a medição, coleta, análise e
relatório de dados que estão associados à aprendizagem dos alunos e seu
contexto, com o propósito de entender e aperfeiçoar a aprendizagem e os
ambientes nos quais ela ocorre [12]. Acrescentam
que, através desse processo realizado sobre os dados, pode-se observar e
entender seus comportamentos para possibilitar intervenção apropriada [12] [1].
LA é o uso de dados e modelos para prever o progresso e o desempenho do
estudante, e a possibilidade de agir sobre as informações [13].
Dentre as
diversas abordagens para análise de aprendizagem, o uso de dados de registro em
AVAs é uma das orientações de pesquisa mais populares devido a sua onipresença
em muitas instituições educacionais [4].
Nesse
contexto, com o uso de LA para análise e interpretação automática dos dados, é
possível fornecer ao professor informações que possam ser entendidas à primeira
vista, auxiliando-o no entendimento das necessidades de aprendizagem dos
estudantes. Desse modo, a aplicação de LA no contexto educacional tem
implicações tanto para o desempenho individual dos estudantes como para os
processos de ensino, aprendizagem e avaliação.
2.3.2
Learning
Analytics Dashboard
O conceito de
Learning Analytics Dashboard (LAD) é caracterizado como uma aplicação para
mostrar aos estudantes padrões de comportamento em um ambiente virtual de
aprendizagem [4]. E é a partir desses
padrões que é possível se obter resultados úteis no ambiente educacional, visto
que o objetivo de um dashboard é indicar as informações mais importantes que
são necessárias para se alcançar um ou mais objetivos, através de uma única
tela de computador, para que tais informações possam ser monitoradas à primeira
vista [14].
Os LADs
propriamente ditos, que representam o modelo prescritivo de LA, retêm papéis e
valores únicos [15]. Desse modo, um dashboard,
quando eficaz, influencia o comportamento auto regulatório dos alunos e, em
última análise, seus comportamentos de aprendizagem e resultados [15].
2.4
Desempenho
do Aluno no EAD
Normalmente,
os LAD’s têm, por objetivo inicial, contribuir com o processo de
ensino-aprendizagem, e por objetivo final, a otimização do desempenho dos
alunos.
Destacam que
para educadores, a disponibilidade de informações em tempo real sobre o
desempenho dos alunos, incluindo os que estão em risco, pode ser uma ajuda
significativa no planejamento das atividades de ensino [1]. Para os alunos, receber informações sobre
seu desempenho em relação aos colegas ou sobre sua evolução em relação a seus
objetivos pessoais pode ser motivador e encorajador.
Nesse cenário,
surge a importância de buscar entender quais os fatores que afetam o desempenho
do aluno no ensino a distância, tanto positivamente como negativamente.
O os elementos
da educação a distância, que podem ser divididos em três categorias, conforme
ilustrado na Figura 1, são componentes essenciais que afetam o desenvolvimento
de programas de ensino a distância [16].
Figura 1: Elementos do ensino a distância.
Fonte: adaptado de Shih et al. (2003).
3
Metodologia
A metodologia
utilizada neste trabalho foi fundamentada a partir do modelo de processo
proposto por [3] onde se afirma que
aplicações de LA podem ser distinguidas em quatro fases, como pode ser visto na
Figura 2, sendo elas: awareness (consciência), reflection
(reflexão), sensemaking (dar sentido) e impact (impacto) [3].
Com o modelo
de processo adaptado, os seguintes passos foram percorridos durante o
desenvolvimento do LAD: entendimento dos dados utilizados e do
contexto/ambiente para estudo de caso; treinamento de modelos de machine
learning para predição do desempenho de alunos, baseados em construtos
educacionais e nas variáveis da base de dados, relativas ao processo de
aprendizagem autorregulatória dos alunos [17];
desenvolvimento de visualizações para representar os dados preditivos e
descritivos (awareness), a partir do qual os usuários refletem a
respeito dos dados e refletem sobre si mesmos para avaliar seu comportamento
anterior (self-reflection), e posteriormente os usuários respondem às
suas próprias perguntas e criam novos insights (sensemaking). Nessa
fase, foi aplicado questionário a professores do ensino superior, depois de
utilizarem o LAD. Com isso, foi possível obter as respostas do questionário
para avaliação da utilidade, facilidade e intenção de uso percebidas,
obtendo-se uma validação da aceitação da ferramenta.
Figura 2: Modelo de Processo de Learning Analytics.
Fonte: adaptado de Verbert et al. (2013).
3.1
Dados
e Ambiente Utilizados
No que
se refere a coleta de dados, foi disponibilizado pelo NEAD - UPE um arquivo no
formato .csv referente ao backup da sua base de dados no Moodle, contendo dados
de logs de alunos e os seus indicadores no AVA mencionado. Esses dados são
relativos às disciplinas de Administração, Biologia, Letras e Pedagogia,
cursadas no período de 2009 a 2016.
Para
utilização dos dados no mesmo ambiente do LAD, foi feita a importação do
arquivo .csv em uma tabela que foi criada na base de dados do FMDEV, tabela
essa que foi chamada de “moodle”.
A tabela
“moodle” possui 30.217 registros e uma de suas colunas diz respeito à
disciplina cursada, a partir da qual é possível identificar a distribuição de
alunos por disciplina, conforme a Tabela 1.
Tabela
1: Distribuição de alunos por disciplina
|
Disciplina
|
Quantidade de alunos
|
|
Administração
|
2.892
|
|
Biologia
|
6.526
|
|
Letras
|
6.297
|
|
Pedagogia
|
14.502
|
|
Total
|
30.217
|
Os dados
utilizados no desenvolvimento do LAD, delineando um estudo de caso, são uma
parte importante na definição do contexto, o qual atua como um conjunto de
informações que influenciam o comportamento do sistema [18]. Com isso, a análise do contexto é importante
para o presente trabalho, posto que, o estudo de caso investiga um fenômeno
contemporâneo em seu contexto no mundo real [19].
Outra parte
importante na definição do contexto, no qual o LAD é desenvolvido, são os
indicadores que representam o comportamento, as ações e as interações dos
alunos no AVA Moodle. Os indicadores dos alunos são representados por colunas
na tabela “moodle”, além de outras informações que foram dispostas em colunas,
sendo as mais importantes: curso, semestre, período, nome da disciplina, nome
do aluno, primeira prova, segunda prova, média das provas, fórum 01, fórum 02,
fórum 03, fórum 04, média dos fóruns, webquest (atividade de pesquisa) 01,
webquest 02, média dos webquests e desempenho binário, sendo este último o
indicador primário na análise de desempenho dos alunos, visto que representa a
reprovação ou a aprovação do aluno na disciplina, podendo possuir os valores 0
e 1, respectivamente.
3.2
Modelos
Treinados
Para que fosse
possível fazer a predição do desempenho dos alunos, modelos de machine
learning, cujo indicador alvo é o desempenho binário, foram treinados no
ambiente do FMDEV.
No treinamento
dos modelos, foram utilizados os indicadores dos alunos, uma vez que os mesmos
são dados de logs que podem representar construtos relacionados ao processo de
autorregulação do aprendizado dos alunos [17].
Desse modo os indicadores foram agrupados de modo a compor seis construtos de
autorregulação da aprendizagem [17],
os quais foram utilizados como base da geração dos modelos de machine learning.
Tais construtos foram representados por modelos de machine learning
que foram treinados no FMDEV e ficaram disponíveis para uso no LAD, sendo eles:
Estruturação do Ambiente; Em busca de ajuda; Estratégias de conclusão de
tarefas; Autoavaliação; Gestão de tempo; Definição de metas.
3.3
Desenvolvimento
das Visualizações
Essa é a fase
inicial no processo de avaliação do sucesso de um dashboard, onde os dados são
dispostos de forma visual, sem nenhuma implicação relevante ainda, e os
usuários se tornam cientes dos dados visualizados.
Em virtude
disto, foram implementadas as primeiras visualizações do LAD em forma de
gráficos, tabelas e cards, principalmente, onde seguiu-se três princípios de
design para dashboards indicados por [15]:
1. A informação mais importante deve se
destacar das demais no dashboard, que normalmente tem um espaço limitado e deve
se encaixar em uma tela única;
2. As informações no dashboard devem
apoiar a consciência situacional e facilitar na rápida percepção, usando
diversas tecnologias de visualização;
3. As informações devem ser dispostas de
uma forma que faça sentido, e cada elemento deve contribuir para os objetivos
imediatos e finais do usuário (visualizador), para a tomada de decisão.
3.4
Validação
da Ferramenta
Esse modelo
foi desenvolvido baseado na Teoria da Ação Racional [21]
por ele ter o objetivo de fornecer uma explicação sobre os fatores
determinantes da aceitação de uma tecnologia pelos usuários finais.
O TAM é um
modelo que desenvolve e valida novas escalas para duas variáveis específicas,
utilidade percebida e facilidade de uso percebida, dois fatores que podem ser
teorizados como determinantes fundamentais da aceitação do usuário [20]. Esse modelo foi desenvolvido baseado na
Teoria da Ação Racional [21], e sua
utilização na validação do LAD se deu por ele ter o objetivo de fornecer uma
explicação sobre os fatores determinantes da aceitação de uma tecnologia
específica pelos usuários finais.
A escala Likert foi desenvolvida pelo
cientista Rensis Likert, onde o respondente, em cada questão do questionário
proposto, diz o seu grau de concordância ou discordância sobre algo, escolhendo
um valor em uma escala com cinco graus originalmente.
Concluindo, a
validação da ferramenta proposta foi realizada com professores do ensino
superior que possuem experiência na modalidade de ensino a distância. Para
isso, foi apresentada uma introdução inicial do LAD, depois houve a utilização
do LAD pelos professores e, por fim, os mesmos responderam ao questionário,
através do qual se avaliou a utilidade, a facilidade e a intenção de uso do
LAD, para que seja possível compreender a aceitação da ferramenta.
4
Solução
Proposta
Para o
desenvolvimento da arquitetura proposta neste trabalho, foi feita uma
integração ao FMDEV (Framework de Mineração de Dados Educacionais), de modo que
um novo módulo de visualização e análise de dados, referente ao LAD, foi criado
e integrado ao framework. Todo o processo de comunicação do LAD pode ser
visto na Figura 3.
4.1
Design
do LAD
O LAD
foi concebido para ser disponibilizado no ambiente Web, de modo a permitir aos
usuários o seu fácil acesso. Além disso, durante a construção do LAD, a
proposta foi para que o mesmo possa ser utilizado em notebooks e desktops,
visto que, com telas maiores, é possível entregar ao usuário uma melhor
experiência de visualização dos gráficos e resultados de análise à primeira
vista [14]. Para introdução ao design
proposto, a Tabela 2 mostra as visualizações presentes no LAD.
Tabela
2: Visualizações implementadas no LAD
|
Visualização
|
Descrição
|
|
|
Desempenho satisfatório e insatisfatório
|
Informa o percentual de alunos cujo desempenho predito é satisfatório e
o percentual de alunos cujo desempenho predito é insatisfatório.
|
|
|
|
Dicionário de indicadores
|
Apresenta quais os indicadores dos alunos utilizados no modelo de machine
learning escolhido e o significado de cada um.
|
|
|
|
|
Análise preditiva do desempenho dos alunos
|
Apresenta a quantidade de alunos cujo desempenho predito é satisfatório
e a quantidade de alunos cujo desempenho predito é insatisfatório.
|
|
|
Média dos indicadores dos alunos
|
Apresenta uma comparação da média dos valores de cada indicador dos
alunos cujo desempenho predito é satisfatório com a média dos alunos cujo
desempenho predito é insatisfatório.
|
|
|
Situação dos alunos
|
Permite a visualização das avaliações dos alunos, identificando-os por
classe de desempenho predito,.
|
|
|
Indicadores do aluno e média da classe oposta
|
Apresenta um comparativo de cada indicador do aluno com a média de cada
indicador da classe oposta ao desempenho predito para o aluno.
|
|
|
Análise descritiva do aluno
|
Apresenta um resumo das informações relativas às avaliações feitas pelo
professor ao aluno.
|
|
|
Análise descritiva da turma
|
Apresenta um resumo das informações relativas às médias da turma das
avaliações feitas pelo professor.
|
|
Na sequência,
são apresentadas as visualizações do LAD e uma explicação detalhada do que cada
visualização propõe.
1)
A Figura 4 apresenta a tela
inicial do LAD, onde são mostrados os filtros disponíveis para geração da
análise de desempenho: Modelos treinados; Cursos; Disciplinas; Semestres;
Alunos.
2) As Figuras 5 e 6 apresentam a tela de
visão geral do LAD, onde são mostrados gráficos e informações relativos à
análise geral da turma escolhida:
a)
Cards de predição de
desempenho: blocos
que mostram o percentual de alunos cujo desempenho predito é satisfatório e de
alunos cujo desempenho predito é insatisfatório.
b) Dicionário de indicadores: tabela que apresenta as colunas
“indicador” e “significado”, trazendo a descrição de cada indicador que foi
utilizado no treinamento do modelo escolhido e que é utilizado nas
visualizações.
c) Análise preditiva de desempenho dos
alunos: gráfico de
barras das duas classes do desempenho predito, satisfatório e insatisfatório,
representando a quantidade de alunos em cada uma delas.
d) Média dos indicadores dos alunos: gráfico em barras, apresentado
horizontalmente, que apresenta um comparativo da média de cada indicador das
classes de desempenho predito, satisfatório e insatisfatório.
e) Situação atual dos alunos: gráfico de bolhas que permite a
visualização das avaliações dos alunos, identificando-os por classe de
desempenho predito, sendo as avaliações possíveis: nota do webquest, nota do
fórum e nota da prova. No gráfico da Figura 6, o eixo y é representado pela
nota do webquest, o eixo x representado a nota do fórum e a largura da bolha a
nota da prova.
3)
s Figuras 7 e 8 apresentam a
tela de Alunos do LAD, onde são mostrados gráficos e informações relativos a um
aluno específico, selecionado por um filtro, e o comparativo dos indicadores
desse aluno com médias da turma.
a) Indicadores do Aluno x Médias dos
alunos da classe oposta: gráfico de barras que compara o valor de cada indicador do aluno com a
média de cada indicador dos alunos cuja classe predita é oposta a do aluno em
questão.
b)
Análise Preditiva, Análise
descritiva do aluno e Análise descritiva da turma: cards que mostram,
respectivamente: a quantidade de alunos da classe predita satisfatório e da
classe predita insatisfatório, dando enfoque a qual classe pertence o aluno.
5.
Validação
e Resultados
A validação do
LAD foi realizada com professores do ensino superior que possuem experiência na
modalidade de ensino a distância, onde foi feita uma análise da aceitação da
ferramenta. Para a preparação do ambiente de validação, foram treinados modelos
de machine learning no ambiente do FMDEV para serem utilizados na geração da
análise feita pelo LAD. Além disso, foram disponibilizados, no LAD, dados de
2009 a 2016 da base de dados do NEAD - UPE no Moodle, referentes às disciplinas
de Administração, Biologia, Letras e Pedagogia, para uso dos professores
avaliadores na ferramenta.
Para que a
validação fosse realizada, duas etapas foram percorridas:
1. Os professores receberam uma
explicação inicial sobre o LAD, mostrando como acessá-lo e utilizá-lo.
2. Após utilizarem o LAD pelo tempo que
achassem necessário, os professores tiveram acesso a um questionário contendo
dez perguntas, onde as mesmas estavam agrupadas em três seções: Utilidade
percebida, Facilidade de uso percebida e Intenção de uso. Nesse questionário, os
professores responderam a perguntas de modo a emitirem o seu grau de
concordância ou discordância sobre algo, escolhendo um dentre os cinco
seguintes valores da escala Likert: concordo plenamente, concordo, neutro,
discordo e discordo plenamente. A Tabela 3 mostra as perguntas que compõem o
questionário, baseando-se no modelo TAM, a seção a qual elas pertencem e a
quantidade de professores que escolheram cada valor da escala Likert, relativo
à pergunta.
Tabela
3: Questionário de validação do LAD
respondido por professores
|
Seção
|
Pergunta
|
Quantidades de professores que escolheram cada valor na escala Likert
|
|
|
Utilidade percebida
|
P1. Usar o LAD em meu trabalho me permitiria realizar tarefas mais
rapidamente.
|
Concordo plenamente: 1
Concordo: 5
Neutro: 0
Discordo: 1
Discordo plenamente: 0
|
|
|
|
P2. Usar o LAD em meu trabalho aumentaria minha produtividade.
|
Concordo plenamente: 3
Concordo: 2
Neutro: 1
Discordo: 1
Discordo plenamente: 0
|
|
|
P3. Usar o LAD aumentaria minha eficácia no trabalho.
|
Concordo plenamente: 2
Concordo: 4
Neutro: 0
Discordo: 1
Discordo plenamente: 0
|
|
|
P4. Eu consideraria o LAD útil no meu trabalho.
|
Concordo plenamente: 1
Concordo: 4
Neutro: 1
Discordo: 1
Discordo plenamente: 0
|
|
|
Facilidade de uso percebida
|
P5. Aprender a operar o LAD seria fácil para mim.
|
Concordo plenamente: 3
Concordo: 3
Neutro: 1
Discordo: 0
Discordo plenamente: 0
|
|
|
|
|
P6. Eu consideraria fácil fazer com que o LAD faça o que eu quero.
|
Concordo plenamente: 1
Concordo: 3
Neutro: 3
Discordo: 0
Discordo plenamente: 0
|
|
|
P7. Minha interação com o LAD seria clara e compreensível.
|
Concordo plenamente: 1
Concordo: 3
Neutro: 3
Discordo: 0
Discordo plenamente: 0
|
|
|
P8. Eu consideraria o LAD fácil de usar.
|
Concordo plenamente: 3
Concordo: 3
Neutro: 1
Discordo: 0
Discordo plenamente: 0
|
|
|
Intenção de uso
|
P9. Se o LAD estiver disponível, eu teria a intenção de usá-lo no meu
trabalho com regularidade.
|
Concordo plenamente: 1
Concordo: 5
Neutro: 0
Discordo: 0
Discordo plenamente: 1
|
|
|
P10. Se houver outras opções de visualização disponíveis no LAD, o
mesmo seria a minha primeira opção.
|
Concordo plenamente: 2
Concordo: 3
Neutro: 2
Discordo: 0
Discordo plenamente: 0
|
|
A partir da
análise dos resultados obtidos no questionário, pode-se perceber que: todas as
perguntas da seção “Utilidade percebida” tiveram pelo menos cinco dos
sete professores avaliando a utilidade da ferramenta como satisfatória
(“concordo” ou “concordo plenamente”); na seção “Facilidade de uso percebida”, seis
dos sete professores avaliaram a facilidade de utilização da ferramenta como
satisfatória (“concordo” ou “concordo plenamente”) para as perguntas P5 e P8,
embora três dos sete professores escolheram o valor “neutro” para as
pergunta P6 e P7, mostrando que o LAD pode ter mais recursos que possam
impactar positivamente nas rotinas de trabalho dos professores; na seção
“Intenção de uso”, através da pergunta P9, percebe-se que seis dos sete
professores avaliaram a intenção de utilizar ferramenta em seu trabalho com
regularidade de forma satisfatória (“concordo” ou “concordo plenamente”);
Em suma, foi
possível comprovar a utilidade, a facilidade e, consequentemente, a aceitação
do LAD através de potenciais usuários, evidenciando que a utilização do LAD
pode sim trazer benefícios no processo de ensino-aprendizagem no dia a dia dos
professores e suas turmas.
4.
Conclusão
e Trabalhos Futuros
Neste trabalho
foi proposto um Learning Analytics Dashboard, uma ferramenta para análise de
dados a partir de modelos de mineração de dados educacionais, envolvendo tanto
dados descritivos como preditivos, a partir de indicadores dos alunos que
afetam o seu desempenho em uma disciplina, sendo estes provenientes de um ambiente
virtual de aprendizagem.
Para validar a
arquitetura proposta, foram apresentados resultados preliminares a respeito da
aceitação do LAD e a intenção de utilizá-lo, a partir dos quais foi possível
ver que a ferramenta desenvolvida pode trazer benefícios ao professor e a suas
turmas, no dia a dia de lecionamento.
Apesar da
validação feita, ela ainda é restrita, visto que apenas sete professores
participaram do processo de validação do LAD. Por conta disso, como trabalho
futuro, pretende-se considerar uma nova validação com mais professores
envolvidos, podendo alcançar uma aceitação e intenção de uso de mais potenciais
usuários da ferramenta. Além disso, pretende-se fazer testes de usabilidade da
ferramenta, de modo a receber o feedback dos usuários e desenvolver novas
visualizações baseadas na experiência dos mesmos.
Referências
[1] LONG, P.; SIEMENS, G.
Penetrating the fog: Analytics in learning and education. p. 31-40, 2011.
[2] ROSALES, G. Modelo e framework para o desenvolvimento
de ferramentas analíticas de apoio ao ensino, aprendizagem e gestão
educacional. Tese
de Doutorado, 2014.
[3] VERBERT, D. et al.
Learning analytics dashboard applications. p. 3, 2013.
[4] PARK, Y.; JO, I.-H.
Development of the learning analytics dashboard to support students’ learning
performance. p. 110-133, 2015.
[5] SILVA, R. G. Desenvolvimento de um Ambiente de
Aprendizado de Máquina Automatizado Integrável a Múltiplos AVAs. Dissertação de
Mestrado - Universidade de Pernambuco. Recife, p. 3, 2020.
[6] LITTO, F.; FORMIGA, M. Educação a Distância: o estado
da arte. São Paulo: Person Education do Brasil. 2 ed. 2012.
[7] FARIA A. A., SALVADORI A. Educação a Distância e seu
movimento histórico no Brasil. Revistas das Faculdades Santa Cruz, Curitiba, v. 8, n. 1,
2010.
[8] KATS, Y. Learning
Management Systems and Instructional Design: Best Practices in Online
Education. Idea Group Inc (IGI), 2013.
[9] ZALDIVAR, V. A. R. et al.
Monitoring Student Progress Using Virtual Appliances: A Case Study. Computers
& Education. 2012. 58 (4).
[10] LIU, B. Web Data Mining.
Exploring Hyperlinks, Contents, and Usage Data. Berlin Heidelberg: Springer,
2006.
[11] ROMERO, C.; VENTURA, S.
Educational data mining: A survey from 1995 to 2005. Expert systems with
applications, Elsevier, v. 33, n. 1, p. 135–146, 2007.
[12] BROWN, M. Learning
analytics: the coming third wave. EDUCAUSE Learning initiative, 2011.
[13] GILFUS EDUCATION GROUP. Learning Analytics. Disponível em:
https://www.gilfuseducationgroup.com/learning-analytics/. Acesso em: outubro de
2020.
[14] FEW, S. Information
dashboard design: Displaying data for at-a-glance monitoring (2nd ed.).
Burlingame: Analytics Press, 2013.
[15] PARK, Y.; JO, I.-H.
Factors that affect the success of learning analytics dashboards. Association
for Educational Communications and Technology, 2019.
[16] SHIH, T. K.; HUNG, J. C.;
JIN, Q. A survey of distance education challenges and technologies.
International journal of distance education technologies, 2003.
[17] RODRIGUES, R. L.; RAMOS,
J. L. C.; SILVA, J. C. S.; DOURADO, R. Forecasting Students’ Performance
Through Self-Regulated Learning Behavioral Analysis. International Journal of
Distance Education Technologies. Volume 17, Issue 3. July-September. 2019.
[18] BAZIRE, M.; BRÉZILLON, P.
Understanding context before using it. InInternational and Interdisciplinary
Conference on Modeling and Using Context (p. 29-40). Springer, 2005.
[19] YIN, R. K. Estudo de Caso: Planejamento e Métodos. 5ª
edição. Porto Alegre, Bookman, 2015.
[20] DAVIS,
F. D. Perceived usefulness, perceived ease of use and user acceptance of
information technology. Management Information Systems Quarterly, 13(3),
319-340, 1989.
[21] FISHBEIN, M.; AJZEN, I.
Belief. Attitude, Intention and Behavior: An Introduction to Theory and
Research. Addison-Wesley,
1975.