DETECÇÃO E CLASSIFICAÇÃO DE ATRIBUTOS SEMÂNTICOS DE OBJETOS EM CENAS NATURAIS NO CONTEXTO DE ROBÓTICA

Resumo

Apesar dos enormes avanços recentemente alcançados nas tarefas que mesclam as áreas de Visão Computacional e Robótica Socialmente Assistiva, resultantes das mudanças e aumentos de necessidades globais, até mesmo soluções autônomas e complexas apresentam dificuldades com a falta de entendimento contextual das tarefas abordadas. Para circunver tal desafio, é necessário abordar o problema de Análise de Semântica, identificando como informações contextuais podem ser adquiridas e utilizadas com sucesso em determinada tarefa. A maior parte das abordagens à extração de informações semânticas requer conhecimento à priori de alto nível e não expansível levantado por um especialista (Monroy et al, 2018; Bhattacharyya et al, 2016). Neste trabalho é desenvolvida uma nova abordagem para obtenção de informações semânticas de objetos presentes em cenas naturais, onde características contextuais de objetos são aprendidas e extraídas diretamente da imagem de origem, sem necessidade de uma ontologia relacionada à classificação de rótulo de objeto. Para tal, uma nova base de imagens foi construída, como subconjunto da base de detecção e classificação de objetos, COCO (LIN et al, 2014), em sua versão mais recente, a COCO 2020. A base possui 1496 imagens e modela 5 atributos de objetos, sendo esses: artefato, concavidade, forma, volume e peso, seguindo a metodologia definida por Bhattacharyya et al (2016). Tal base permitirá que traços contextuais e generalizados de objetos possam ser utilizados para facilitar a realização de tarefas de visão computacional e robótica. O trabalho ainda contribui com a publicação de uma revisão sistemática a respeito de análise de semântica em visão computacional voltada à robótica assistiva, submetida para a revista Journal of Intelligent & Robotic Systems. Nesta revisão, 646 artigos científicos publicados entre os anos de 2015 e 2020, reduzidos para 33 após extensa validação, foram lidos e analisados, respondendo 5 questões de pesquisa orientadas a identificação do estado da arte da análise de semântica em visão computacional e suas aplicações e lacunas em robótica assistiva. Os próximos passos do trabalho envolvem o desenvolvimento e validação de um modelo inteligente treinado na base proposta, o qual foi iniciado, e aplicação do conhecimento extraído em exemplos de tarefa de robótica assistiva.