Teoria de Resposta ao Item e o Paradoxo de Moravec na Obtenção de Algoritmos Ótimos

Resumo

Introdução: O Paradoxo de Moravec aborda a complexidade na resolução de questões muito difíceis para os seres humanos e que são facilmente resolvidas pela Inteligência Artificial (IA) (SHAW, 2020), a qual tem dificuldade em resolver questões simples e que inclusive são resolvidas com facilidade por crianças, como a ação de andar, correr e outras tarefas naturais aos seres humanos. Identificar quando um algoritmo é ruim ou bom consiste no número de acertos em uma tarefa como a classificação de grupos, porém não identifica se o algoritmo acerta se as questões são fáceis ou difíceis (CHEN; AHN, 2020). A Teoria da Resposta ao Item (TRI) possibilita diferenciar se as questões são fáceis ou difíceis, sendo utilizada no Exame Nacional do Ensino Médio (Enem). Objetivo: Identificar algoritmos ótimos em questões difíceis ou fáceis. Metodologia: Foi empregada a TRI ao modelo 2PL, Naive Bayes, máximo verossimilhança e parâmetro Dificuldade (b) para classificar individualmente as questões consideradas fáceis ou não (MARTÍNEZ-PLUMED et al., 2019), em 12 datasets disponíveis no site da UCI. Foi avaliado o desempenho de algoritmos não-supervisionados de cluster de Fanny, Pam, Clara e Sota, com dissimilaridades de Euclidean, Manhattan, Square Euclidean e Jaccard. E então foi calculado pelo Erro Métrico Quadrado (MSE) das classificações o melhor algoritmo dentre os testados. Pela TRI foram identificados quais algoritmos são mais eficientes em questões classificadas como fáceis. Resultados: A TRI é composta por três parâmetros dos quais Dificuldade (b) foi o utilizado para determinar as questões fáceis ou não. Com o cálculo dos MSEs das classificações de cada um dos algoritmos nos respectivos datasets, k.means.HartiganWong obteve o melhor MSE (0,998972) em Blood Transfusion. Apresentou 45,86% classificações corretas e difíceis, 22,46% classificações corretas e fáceis, 24,47% classificações com erro e difícil, e 7,22% classificações com erro e fácil. Conclusão: A possibilidade de identificar o grau de dificuldade de cada questão proporciona a seleção de quais algoritmos são ótimos para tarefas complexas.
Palavras-chave: Paradoxo de Moravec; Machine Learning; Modelagem; Teoria da Resposta ao Item.
Referências:
CHEN, Z.; AHN, H. Item Response Theory Based Ensemble in Machine Learning. International Journal of Automation and Computing, v. 17, n. 5, p. 621–636, 2020.
MARTÍNEZ-PLUMED, F., PRUDÊNCIO, R.B.C, MARTÍNEZ-USÓ, A., HERNÁNDEZ-ORALLO, J.,. Item response theory in AI: Analysing machine learning classifiers at the instance level. Artificial Intelligence, v. 271, p. 18–42, 2019. 
SHAW, I. S. What is an Intelligent System? Fuzzy Control of Industrial Systems, p. 1–3, 2020.