Cobertura Estatística Robusta para Redes Neurais Profundas através de Estratégias Combinadas de Data Augmentation usando Noise Injection

Resumo

Miscoverage refere-se à inadequação dos intervalos de confiança em capturar a variabilidade real dos dados. A validação cruzada é um método amplamente utilizado onde os dados são divididos em folds (subsets) para que o modelo seja treinado em diferentes partições de dados, permitindo uma avaliação mais robusta do modelo. Estudos recentes mostram que os intervalos de confiança obtidos por validação cruzada para estimar o erro de predição frequentemente falham, mas esse problema pode ser mitigado com o aumento da regularização nos modelos [Bates et al., 2023]. Técnicas de regularização como Data Augmentation (DA) e Noise Injection (NI) são essenciais nesse processo. A DA envolve a criação de novas amostras de treinamento a partir de modificações dos dados existentes, permitindo que o modelo aprenda uma variedade maior de padrões. A NI, por outro lado, introduz ruído nos dados de treinamento, penalizando o conteúdo de alta frequência e promovendo trajetórias de treinamento mais estáveis [Bishop, 1995; Camuto et al., 2020]. Este estudo propõe combinar essas estratégias não apenas como uma forma mais eficiente de regularização, mas também para aumentar a robustez dos modelos e mitigar o overfitting [Li e Spratling, 2023; Rice et al., 2023], que ocorre quando um modelo se ajusta excessivamente aos dados de treinamento. Para uma comparação mais precisa, foram considerados os seguintes cenários: Baseline, ruído Salt & Pepper, ruído Gaussiano, combinação de algumas estratégias de Augmentation [Shorten e Khoshgoftaar, 2019] e as Augmentations combinadas com cada um dos dois tipos de ruído mencionados (DAs+NI). Foram utilizadas duas arquiteturas já consolidadas, ResNet50 e Xception, com os datasets CIFAR-10 e CIFAR-10-C. Neste estudo, propomos uma nova forma de caracterizar o problema do miscoverage dos intervalos de confiança e avaliamos esta proposta utilizando modelos baseados em diferentes estratégias DAs+NI. Para isso, foram treinados modelos utilizando validação cruzada de 15 K-folds e geração de replicações dos resultados com alguns folds removidos de forma sequencial. Em seguida, uma normalização é realizada nos dados por modelo. Os resultados indicaram que a ResNet50 se beneficiou mais da NI em comparação com a Xception, e que a estratégia combinada de DAs e NI melhorou a generalização robusta dos modelos. Esta melhoria foi evidenciada pela redução da variabilidade nos intervalos de confiança, indicando uma melhor cobertura dos erros de predição. No entanto, é importante notar que a eficácia dessas técnicas pode variar dependendo do tipo de perturbação nos dados. Por exemplo, a perturbação por contraste apresentou desafios significativos, onde todas as estratégias, especialmente aquelas envolvendo NI, tiveram um desempenho inferior. Isso sugere que, embora a combinação de DAs e NI melhore a robustez em geral, a eficácia dessas técnicas pode ser dependente da classe específica dos dados [Balestriero et al., 2022]. Em conclusão, a integração de estratégias de DA com NI na regularização de DNNs não só combate o overfitting como também melhora a cobertura dos intervalos de confiança, reduzindo a miscoverage. Isso resulta em uma melhor representação da variabilidade dos dados e uma maior compreensão da incerteza associada às predições do modelo, principalmente em dados OoD. Essas descobertas sublinham a importância de explorar e combinar diferentes técnicas de regularização para alcançar modelos de aprendizado de máquina mais robustos e confiáveis. A atenção contínua à miscoverage e à precisão dos intervalos de confiança é fundamental para o desenvolvimento de modelos que possam operar de maneira eficaz em diversas condições reais.