Estratégia de compressão de modelo de aprendizado profundo aplicada à esteganálise de imagens digitais: Compartilhamento de pesos e quantização

Resumo

A esteganografia é uma subárea da ocultação da informação. Um dos principais objetivos de seu uso consiste em embutir informações secretas a partir de determinada mídia como, por exemplo, uma imagem, áudio, vídeo ou texto (COX et al., 2007). A contramedida da esteganografia é a esteganálise (FRIDRICH, 2009). É muito comum a utilização das técnicas de esteganografia, de forma maliciosa, para promoção de guerras cibernéticas e disseminação de malwares, e a utilização de esteganálise, para problemas de caráter forense (KARAMPIDIS; KAVALLIERATOU; PAPADOURAKIS, 2018). Nesse contexto, o desenvolvimento de técnicas de esteganálise é imprescindível para a segurança da informação. Diversas abordagens sugerem a utilização de métodos de inteligência artificial, mais especificamente o uso de algoritmos de aprendizado profundo, com a utilização de redes neurais convolucionais (TABARES-SOTO; RAMOS-POLLÁN; ISAZA, 2019; CROIX; AHMAD; HAN, 2024). Os modelos de aprendizado profundo podem apresentar uma estrutura complexa, com alta quantidade de elementos, característica que acarreta um alto requisito de memória para sua implementação (PINTO; SEVERO; MADEIRO, 2025). Em (FERREIRA et al., 2025), os autores avaliaram a utilização de técnicas de compressão de modelos de aprendizado profundo tais quais poda, quantização, compartilhamento de pesos e a combinação de poda e quantização no modelo de aprendizado profundo proposto em (TABARES-SOTO et al., 2021), o qual faz uso de redes neurais convolucionais aplicadas à esteganálise de imagens digitais. As estratégias de compressão buscam reduzir os requisitos de espaço em memória ocupado de um modelo de aprendizado profundo sem que haja grandes impactos em seu desempenho, com o objetivo, por exemplo, de viabilizar a implementação do modelo em dispositivos com recursos limitados. Motivado pelo cenário exposto, o presente trabalho tem como objetivo avaliar os resultados de acurácia e de espaço em memória ocupado pelo modelo otimizado a partir da aplicação das estratégias de compartilhamento de pesos e quantização de forma combinada no modelo proposto em (TABARES-SOTO et al., 2021). As simulações foram realizadas no Google Colab Pro, com a utilização do Python na versão 3.10, Tensorflow 2.17.1, keras 3.5.0, Tensorflow Model Optimization Toolkit 0.8.0. A BOSSBase 1.01 foi a base de dados utilizada nas simulações. A base conta com 10.000 imagens originais e 10.000 stego-imagens, ou seja, que contém informação oculta a partir de método de esteganografia. O algoritmo de esteganografia S-UNIWARD com uma taxa de 0,4 bpp (bits por pixel) foi utilizado para fins de ocultação da informação. Quatro métodos de inicialização do centróide para a estratégia de compartilhamento de pesos foram levados em consideração, a saber: baseada em densidade, k-means++, linear e aleatória. As quantizações aplicadas foram as do tipo inteiro de 8 bits (INT8) e a de ponto flutuante de 16 bits (FP16). Considerando o modelo otimizado por compartilhamento de pesos com inicialização do centróide baseada em densidade, quando aplicada à quantização do tipo INT8, o espaço em memória ocupado pelo modelo otimizado foi reduzido em aproximadamente 78,50% enquanto o valor da acurácia decresceu de 87,16% para 84,49%. Já para a quantização do tipo FP16, a acurácia apresentada foi de 86,11% e o espaço em memória ocupado pelo modelo otimizado foi 75,40%. Considerando a inicialização a partir do método k-means++, o espaço em memória ocupado apresentado foi semelhante tanto para a quantização do tipo INT8 quanto FP16, representando uma redução de aproximadamente 77% quando comparado ao modelo original. Para a quantização INT8, a acurácia apresentada foi de 85,05% e para a quantização FP16 foi de 85,60%. Ambos resultados se apresentaram levemente inferiores aos apresentados ao aplicar apenas a técnica de compartilhamento de pesos com inicialização do tipo k-means++. Considerando a inicialização do tipo linear, o espaço em memória ocupado foi de aproximadamente 0,13 MB (redução de 80% em relação ao modelo sem o uso de técnicas de compressão) tanto para quantização INT8 quanto FP16. A acurácia apresentada para a quantização INT8 foi de 84,50% enquanto para a combinação da técnica de compartilhamento de pesos com a quantização FP16 foi de 84,83%. É válido destacar que ambos os valores obtidos foram levemente superiores aos registrados com a aplicação apenas da técnica de compartilhamento de pesos apresentados em (FERREIRA et al., 2025). Considerando a inicialização do tipo aleatória, a acurácia foi de 85,08% para a quantização INT8 e de 85,80% para a quantização FP16 com o espaço em memória ocupado reduzido em aproximadamente 82%. Em resumo, foi possível observar, a partir das simulações realizadas no trabalho, modelos com espaço em memória ocupado reduzidos em mais de 70% e com valores de acurácia levemente inferiores aos apresentados pelos modelos originais. Em alguns cenários verificaram-se modelos mais comprimidos e com valores de acurácia levemente superiores aos apresentados por modelos otimizados exclusivamente pela técnica de compartilhamento de pesos ou a partir da combinação entre poda e quantização.