Woojae Joo ursonice

GLASS 논문리뷰

작성 2024년 7월 30일수정 2025년 7월 19일

Cite

Hui Zhang, Zheng Wang, Zuxuan Wu, Yu-Gang Jiang; arXiv preprint arXiv:2303.08730, 2023.

목차

  • Abstract
  • Introduction
  • Proposed Method
  • Inference
  • Experiments

Abstract

Normal 이미지를 합성하여 비정상 이미지를 만들어 내는(Anomaly Synthesis strategies) 전략

은 비지도 학습기법을 사용한 Anomaly Detection 성능을 향상시키는데 효과적으로 기여하였습니다.

그러나 기존 방법들은 주로 특정 종류의 Anomaly만을 감지하며 다양한 형태의 Anomaly을 잘 감지하지 못합니다. 또한 Normal 이미지와 유사하게 생긴 약간의 결함과 같은 부분에 대해서는 잘 잡아내지 못하고 있습니다.

이를 해결하기 위해 본 논문에서는 Feature Level에서의 전반적인 이미지의 분포를 학습하고(Global Anomaly Synthesis), Image Level에서의 지엽적인 정보를 습득하는(Local Anomaly Synthesis) 통합된 새로운 프레임워크를 고안합니다.

우리가 사용한 이미지 합성 방법은 Gradient ascent를 활용한 Guaussian noise와 truncated projection라는 기법이 사용됩니다.

Introduction

  • 회색 삼각형은 정상 이미지로 부터 Anomaly 합성으로 만들어진 Image Level에서의 특징들(LAS)을 나타냅니다.
  • 빨간 삼각형은 합성이 아닌 실제 Anomaly를 나타냅니다.
  • 핑크색 다이아몬드는 정상 이미지로 부터 전반적인 Anomaly합성으로 만들어진 feature Level에서의(GAS) 특징입니다.
  • 파란 네모 박스는 Anomaly합성 이미지의 분포를 Gradient Ascent를 사용하여 실제 Anomaly Image의 분포와 유사하도록 Control하기 위한 정보를 가지고 있습니다.

회색 삼각형

Image level에서는 매우 정밀하게 Anomaly를 생성해 낼 수 있습니다. 그러나 Anomaly를 생성해내는 다양성이 부족하다는 단점이 있습니다.

  • 예를들어 직물 공장에서 찢어진 부분을 감지해야 한다면 매우 정밀하게 찢어진 Anomaly를 생성해낼 수 있다. 그러나 실제로는 다양한 형태와 크기의 찢어진 부분이 존재할 수 있는데, 이러한 다양성을 충분히 반영하지 못한다.

핑크색 다이아몬드

feautre level에서는 Image level보다 feature map의 사이즈가 작기 때문에 학습에 효과적일 수 있지만 Anomaly의 특정패턴이나 강도, 위치등을 세밀하게 조절하기에는 어렵다는 단점이 있습니다.

  • 예를 들어, 고해상도 이미지를 검사할 때, 매우 작은 결함이나 미세한 색상 변화 등을 정확히 감지하고 생성하기 어렵습니다.

회색 삼각형 + 핑크색 다이아몬드

본 논문에서는 Gaussian noise와 gradient ascent를 사용하여 보다 Anomaly합성을 정교하고 조절 가능 하여 실제 Anomaly 이미지의 특징을 잘 반영하며 다양한 이상에 대해서도 탐지할 수 있도록 한다는 것입니다.

쉽게 말해 이 둘을(회색 삼각형 + 핑크 다이아몬드) 이용해 깊고 광범위하게 Anomaly를 생성하겠다는 것입니다.

Proposed Method

아래 3가지의 요소를 사용해 학습합니다.

  1. Normal Branch
  2. GAS branch
  3. LAS branch

1. Normal branch

  • (E)는 Resnet wide를 backbone으로 했으며 학습하지 않고 특징 추출기로 사용합니다.
  • 특징 추출기(E)로 부터 정상 이미지의 일반적인 특징을 추출합니다.
  • 이미지에 특화된 특징을 학습합니다(A)

2. GAS Branch

  • 1번에서 추출된 특징을 기반으로 기반으로 이미지의 전반적인 Anomaly 특징을 학습합니다.
  • 가우시안 필터를 기반으로 Grandient Ascent에 의해 필터의 모양이나 패턴을 조정합니다.

3. LAS Branch

  • 국소적인 Anomaly를 생성하기 위해 기존 정상 이미지에서 Mask(모양을 가지고있고 무늬는 없음)와 Texture(모양은 없고 무늬가 있음)를 이미지에 투영시킵니다.
  • 특징 추출기(E)로 부터 일반적인 특징을 추출합니다
  • 이미지 Anomaly 특화된 특징을 학습합니다(A)

위 3가지 요소의 정보를 전부 Discriminator에 반영하고 총 3개의 Loss Function을 사용해 학습합니다.

Inference

Noraml Branch 경로를 통해 추론합니다.

Experiments

Train

  • Backbone: WideResnet50
  • Image Size: 288 x 288 (Center Crop)
  • Optimizer: Adam (lr: 0.0001 ~ 0.0002)
  • Epoch: 640
  • Batch_size: 8
  • GPU: NVIDIA Tesla A800
  • CPU: Inter Xeon Gold 6346 CPU @3.10GHz

위 표는 MVTec AD DataSet 학습을 가지고 학습시킨 여러 모델 성능지표를 나타냅니다.

‘/’를 기준으로 왼쪽에 표시된 지표는 이미지 자체가 정상 이미지인지 Anomaly이미지 인지를 구분하는 정확도이며 오른쪽은 이미지 내의 Anomaly가 발생한 위치의 정확도 입니다.

Used Model

  • Glass-m (Global Anomaly Synthesis with Masked Reconstruction)
    • Grandient Ascent를 통해 가우시안 노이즈를 조정하는 기법을 사용한 학습 모델
    • Global anomaly synthesis (GAS) with masked reconstruction focuses on synthesizing anomalies at the feature level, leveraging Gaussian noise uided by gradient ascent.
  • GLASS-h (Hybrid Anomaly Synthesis)
    • GAS와 LAS 기법을 둘다 사용합니다. 분리된 가중치를 사용합니다.
    • Hybrid anomaly synthesis (GLASS-h) combines both GAS and LAS, enabling the detection of both global and local anomalies.”
  • Glass-j (Joint Anomaly Synthesis)
    • GAS와 LAS를 통합하여 사용합니다. 하나의 가중치를 사용합니다.
    • Joint anomaly synthesis (GLASS-j) integrates both GAS and LAS techniques to improve the detection of various types of anomalies.”

위 표는 4개의 Datset을 가지고 타 모델들과의 성능 비교를 나타냅니다.

MAD-man, MAD-sys로 위 표는 Glass-m 이라는 모델을 사용해 다른 모델과의 성능을 비교한다.

  • MAD-man: 15개의 카테고리중 5개의 카테고리를 선택했으며 5명의 개개인이 독립적으로 week data를 sampling해 구성한 데이터 셋.
  • MAD-sys: MVTec-AD 데이터셋 중 5개의 카테고리중 4개의 카테고리를 선발한 데이터셋으로 다양한 결함으로 구성한 데이터셋 입니다.

아래는 논문에 나오는 MAD-man과 MAD-sys데이터셋 일부 예시입니다.