Classificação de perfis emocionais de usuários de metaversos por padrões em suas expressões faciais

Resumo

Introdução: Com a evolução e disseminação da Internet, várias tecnologias foram criadas com o objetivo de proporcionar experiências inovadoras para os usuários através de interações virtuais no ciberespaço. Metaverso, termo formado pela combinação de meta e universo, foi introduzido como um mundo virtual compartilhado, que é alimentado por muitas tecnologias emergentes como redes 5G, realidade virtual e recursos de inteligência artificial. Dentre essas tecnologias, os recursos de inteligência artificial mostraram ser de grande importância para aprimorar a experiência imersiva tornando cada vez mais humano o comportamento de agentes virtuais (DWIVEDI et al., 2022). Nesse contexto, colaboração e comunicação são valores importantes para o metaverso (ZACKERY et al., 2016). Os avatares dos usuários podem colaborar e compartilhar experiências entre si e entre agentes virtuais conhecidos como NPCs (Non-player character ou personagens não controlados por jogadores), criando valores através dessas interações. Diferente do mundo real, essa colaboração permite transcender tempo e o espaço, dando aos usuários um propósito comum e permitindo que o metaverso continue como uma sociedade. No entanto, como a comunicação é baseada em informações limitados em relação à realidade, é possível interpretar mal ou fazer julgamentos errôneos sobre as intenções dos NPCs e de outros usuários. Portanto, é importante é poder conversar com NPCs que tenham personalidades bem definidas (KWANYA et al., 2015). Essa personalidade deve ser claramente comunicada através da aparência, ações e diálogo do NPC. A conversa é usada para transmitir e estender continuamente as experiências dos usuários no metaverso. Assim, considera-se não apenas conversas entre usuários, mas também conversas entre usuários e NPCs. Além de NPCs do tipo humano, conversas com animais e objetos também são possíveis no metaverso. As conversas no metaverso podem ser mais exageradas do que na realidade, variando de acordo com as características dos NPCs e do mundo virtual em que o usuário se encontra. Muitos desses mundos virtuais oferecem diferentes experiências imersivas, vão de redes sociais a jogos digitais construídos de forma distinta. Cada um desses ambientes imersivos reflete regras e leis apropriadas aos seus objetivos específicos. Isso torna esses mundos virtuais incoerentes entre si, mas não exclui características similares compartilhadas, como o fato de possuírem NPCs, que exercem diversas funções mediadas por interações com os usuários. E o diálogo entre personagens dos usuários e NPCs, busca ser semelhante a uma conversa natural, enquanto reflete as características desses NPCs (ZHANG et al., 2018). Dentre as funções e propósitos, pesquisas recentes mostram que NPCs assistentes virtuais, vem sendo desenvolvidos a partir de um conjunto de tecnologias, como o reconhecimento automático de fala, processamento de linguagem, gerenciamento avançado de diálogo e aprendizado de máquina. Esses recursos podem oferecer interações parcialmente semelhantes às humanas no metaverso. Com base no reconhecimento de fala e texto, é possível interpretar uma gama de intenções, decifrar vários idiomas e responder a conversas de formas que imitam diálogos entre humanos (DWIVEDI et al., 2022). Entretanto, o reconhecimento das emoções humanas pode ser considerado característica importante em um processo de comunicação empática, onde respostas as demandas do usuário levariam em consideração mais do que a linguagem falada ou escrita, também seriam considerados os seus estados emocionais. Nesse sentido, estudos sobre recursos computacionais para o reconhecimento das emoções do usuário enquanto mantém um diálogo com esses assistentes virtuais, ainda são escassos. A detecção de emoções do usuário é considerada importante elemento da computação afetiva (Picard, 2000), possui diversas aplicações no campo da interação humano-computador, especialmente em pesquisas ligadas a ambientes virtuais imersivos. Com a inserção da computação afetiva, os aplicativos digitais são propensos à tomada de decisões de forma criativa e inteligente. Para tanto é necessário obter dados sobre o estado emocional dos usuários enquanto interagem em ambientes virtuais e realizam suas tarefas. As técnicas mais utilizadas para a captura desses dados são baseadas em medidas psicofisiológicas, Mekler et al. (2014). O processo de mapear sinais psicofisiológicos adquiridos física ou remotamente envolve a identificação dos sinais que melhor predizem os estados emocionais Jerritta et al. (2011), bem como uma definição adequada dos próprios estados emocionais Mandryk et al. (2006). Objetivo: Este trabalho visa propor experimento realizado de forma assíncrona e a distância, adequado ao contexto do uso de metaversos, para a captura de expressões faciais de usuários, e, com isso, viabilizar a criação de uma base contendo esses dados. A motivação é a inadequação das bases de dados sobre expressões faciais para o estudo de reações emocionais nesse contexto. As bases de dados disponíveis, contendo exemplos de expressões faciais que exprimem as seis emoções básicas felicidade, tristeza, medo, surpresa, raiva e nojo, as representam de forma exagerada, Bevilacqua et al. (2019). Outra questão considerada neste trabalho é a multidimensionalidade das emoções experienciadas, que podem ocorrer simultaneamente e por vezes de forma aparentemente contraditória. Em síntese, trabalhos do estado-da-arte desconsideram a possibilidade de haver uma reação emocional contendo um híbrido de sentimentos, Dzedzickis et al. (2020). Procedimentos metodológicos: O método automatizado de análise proposto utiliza a visão computacional por meio de webcam e a extração de características faciais é feita de forma discreta. Esse sistema permite detectar a atividade de um conjunto de músculos faciais como um método de aferição das 6 emoções básicas obtidas naturalmente durante a interação do usuário com o metaverso. Com o uso desse sistema de visão computacional, a privacidade do usuário é garantida, suas expressões não são gravadas em vídeo, apenas as linhas de expressão, formadas por pontos são coletadas, Saragih et al. (2011). O experimento propões a utilização de um ambiente virtual imersivo em três dimensões, com NPCs e características comuns de multiversos acessíveis através da web. O usuário precisa interagir com o ambiente virtual e três NPCs para completar uma missão, que foi roteirizada com o objetivo de provocar estados emocionais entre o tédio e o estresse. Esse roteiro foi criado como uma abordagem válida na exploração de comportamentos faciais e sinais fisiológicos, ao considerar sua conexão com uma gama de estados emocionais que se deseja capturar. Ao final da interação, o usuário deve responder um questionário sobre seus estados emocionais em momentos específicos, início, meio e fim da missão, e ao se comunicar com o NPC de cada uma dessas etapas.  A base de dados representa variações que determinam as probabilidades das seis emoções básicas: raiva, nojo, medo, tristeza, surpresa e felicidade. A coleta dos dados segue a metodologia desenvolvida no trabalho de Jofilsan, Lima, Alencar et al., (2021), que possui foco na coleta em campo, à distância. Assim, acredita-se que a base de dados autoral não apresentará prejuízo significativo na qualidade dos dados adquiridos. Pretende-se mitigar as principais limitações dos trabalhos do estado-da-arte através de investigação, tratamento estatístico e o uso de redes neurais artificiais aplicados a base de dados autoral, que seguirá o mesmo modelo do trabalho de Jofilsan, Lima, Alencar et al., (2021). Resultados esperados e conclusão: A partir do monitoramento das emoções do usuário, em interações no metaverso, será possível identificar seus perfis emocionais e criar modelos de diálogos com NPCs ajustados para cada um desses perfis. Espera-se, com isso, atender recomendações da computação afetiva ao oferecer interações mais empáticas, adequadas ao perfil específico de cada usuário. Como continuação dessa pesquisa, pretende-se realizar experimento a distância para classificar usuários, delimitando os seus perfis emocionais a partir dos procedimentos metodológicos apresentados no trabalho de Jofilsan, Lima, Alencar et al., (2021).
Palavras-chave: Computação Afetiva; Metaversos; Inteligência Artificial; Interação Humano Computador.
Referências
BEVILACQUA, F.; ENGSTROM, H.; BACKLUND, P. Game-calibrated and user-tailored remote detection of stress and boredom in games, Sensors (Switzerland), vol. 19, no. 13, Jul. 2019.
DZEDZICKIS, A.; KAKLAUSKAS, A.; BUCINSKAS, V. Human Emotion Recognition: Review of Sensors and Methods, Sensors. 2020; 20(3):592. https://doi.org/10.3390/s20030592
JERRITTA, S.; MURUGAPPAN, M.; NAGARAJAN, R.; WAN, K. Physiological signals based human emotion Recognition: A review, In Proceedings of the 2011 IEEE 7th International Colloquium on Signal Processing and its Applications, Penang, Malaysia, 4–6 March 2011; Institute of Electrical and Electronics Engineers (IEEE): Piscataway Township, NJ, USA, 2011; pp. 410–415.
JOFILSAN, N. C.; LIMA, S. M. L.; ALENCAR, R. C.; SILVA, S. H. M. T.; ALBUQUERQUE J. V. O.; FILHO, O. H. S.; MACIEL, A. M. A.; SANTOS, W. P. Classificação de Gamers por Padrões em suas Expressões Faciais. Simpósio Brasileiro de Jogos e Entretenimento Digital SBGames 2021, ISSN: 2179-2259, Gramado, RS, 2021.
KWANYA, T., STILWELL, C., & UNDERWOOD, P. (2015). Library 3.0: intelligent libraries and apomediation. Elsevier.
MANDRYK, R. L.; ATKINS, M. S.; INKPEN, K. M. A continuous and objective evaluation of emotional experience with interactive play environments, In Proceedings of the SIGCHI conference on Human Factors in computing systems, Montréal, QC, Canada, 22–27 April 2006; ACM: New York, NY, USA, 2006; pp. 1027–1036.
MEKLER, E. D.; BOPP, J. A.; TUCH, A. N.; OPWIS, K. A systematic review of quantitative studies on the enjoyment of digital entertainment games, in Proceedings of the 32nd Annual ACM Conference on Human Factors in Computing Systems, CHI 2014, pp. 927–936, May 2014.
PICARD R. W. Affective Computing, MIT Press: Cambridge, MA, USA, 2000.
SARAGIH, J. M.; LUCEY, S.; COHN, J. F. Deformable model fitting by regularized landmark mean-shift, Int J Comput Vis 91(2):200–215. 2011. Disponível em: https://dl.acm.org/doi/10.1007/s11263-010-0380-4. Acesso em: 27 abr. 2021 às 14hs50min.
ZACKERY, A.; SHARIATPANAHI, P.; ZOLFAGHARZADEH, M. M.; POUREZZAT, A. A. (2016). Toward a simulated replica of futures: Classification and possible trajectories of simulation in futures studies. Futures, 81, 40–53.
ZHANG, S.; DINAN, E.; URBANEK, J.; SZLAM, A.; KIELA, D.; WESTON, J. (2018). Personalizing Dialogue Agents: I have a dog, do you have pets too? Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, January 2018, 2204–2213.
DWIVEDI, Y. K. et al. Metaverse beyond the hype: Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy. International Journal of Information Management, v. 66, p. 102542, 1 out. 2022.