https://arxiv.org/pdf/2303.02404
Fine-Grained Image Classification에서 노이즈 라벨 문제 해결 위해 확률적 임베딩 샘플링과 노이즈 내성 대조 학습 결합한 SNSCL(Stochastic Noise-Tolerated Supervised Contrastive Learning) 프레임워크 제안
배경 및 문제점
- Fine-Grained Image Classification은 매우 유사한 하위 카테고리(예: 새의 종, 자동차 모델 등)를 구분하는 작업
- 라벨에 노이즈(오류)가 있으면 모델이 잘못된 패턴 학습해 성능이 저하됨
- 미세한 차이를 인식하는 Fine-Grained 분류에서 노이즈 라벨은 특히 큰 문제
- 기존 노이즈 라벨 학습(LNL) 방법들은 일반적인 분류 문제에서 효과적이지만, Fine-Grained 분류에서는 성능 저하 심각
- Random Noise에서는 일반적인 분류에서 클래스 간 거리가 크므로 노이즈 라벨이 덜 혼란 주지만, Fine-Grained 분류에서는 클래스 간 경계가 좁아 노이즈 라벨이 큰 영향 미침
- Dependent Noise에서는 두 경우 모두 클래스 간 경계가 더 모호해지며, Fine-Grained 분류에서는 특히 구분하기 어려운 문제를 강조함
세부 내용
- SNSCL 프레임워크
- 대조 학습(Contrastive Learning) 통해 샘플 간의 관계 학습해 노이즈 라벨 보정
- 확률적 임베딩 샘플링으로 다양한 특징을 자동 학습
- 노이즈 내성 대조 학습
- 노이즈 라벨이 포함된 데이터에서도 중요한 샘플 선별해 학습하는 방법
- 기존 데이터 증강 기법을 사용하지 않고도 모델이 패턴을 학습하도록 설계
- 확률적 특징 임베딩
- 수동 데이터 증강 대신, 임베딩을 확률적으로 샘플링해 다양한 특징 학습
- 데이터의 복잡성과 노이즈를 극복해 Fine-Grained 분류 성능 향상
- LNL Framework: 특징 추출기와 완전 연결 층 통해 라벨 노이즈 학습 손실(𝑳_𝑳𝑵𝑳) 계산
- Stochastic Module: 확률적 샘플링 통해 다양한 임베딩 학습, KL 다이버전스 손실(𝑳_𝑲𝑳)이 적용
- Projector와 Momentum Queue: 같은 클래스 샘플은 동일한 색과 모양을 가짐, 가중치 업데이트 및 대조 학습 진행
- Noise-Tolerated Contrastive Loss (𝑳_𝑵𝑻𝑪𝑳): 노이즈 고려한 대조 학습 수행
- WarmUp (F(θ); D^N): Warm-up 단계: 초기 학습을 진행하여 네트워크가 안정적으로 학습되도록 함
- while e < MaxEpoch: 에포크 루프: 최대 에포크까지 반복
- 손실 및 신뢰도 점수 γ 계산: 각 샘플의 손실과 신뢰도 점수를 계산
- 샘플별 가중치 ω 계산: 각 샘플의 신뢰도를 기반으로 가중치 계산 (Eq. 1)
- 가중치 기반 라벨 수정 및 이동 평균: 가중치로 라벨을 수정하고 이동 평균 적용 (Eq. 2, 3)
- for iter ∈ {1, ..., iters}: 배치별 반복 시작
- 랜덤 배치 샘플링 및 LNL 손실 계산: 라벨이 수정된 훈련셋에서 배치 샘플링 후, LNL 손실 LLNLL_{LNL} 계산
- for b ∈ {1, ..., B}: 각 배치의 샘플에 대해 반복
- 임베딩 샘플링 z'_b from p(Q|z_b): 특징 임베딩 zb′z'_b를 확률 분포에서 샘플링 (Eq. 4, 5)
- 모멘텀 큐의 가중치 업데이트: 샘플링된 임베딩 zb′z'_b로 모멘텀 큐를 가중치 업데이트
- KL 손실 및 노이즈 내성 대조 손실 계산: KL 손실 LKLL_{KL}과 노이즈 내성 대조 손실 LNTCLL_{NTCL} 계산 (Eq. 6, 7).
- end for: 배치의 모든 샘플에 대해 완료
- 네트워크 파라미터 업데이트: 배치 손실 평균을 사용해 파라미터 업데이트 θ(e)\theta(e) (손실 함수: LLNL+λ1LNTCL+λ2LKLL_{LNL} + \lambda_1 L_{NTCL} + \lambda_2 L_{KL})
14-16. 루프 종료 후 최적의 파라미터 반환: 최대 에포크에 도달하면 최적의 파라미터 θ∗\theta^* 반환
연구 방법
- 대조 학습(Contrastive Learning): 샘플 간의 유사성과 차이 학습해 노이즈 라벨의 영향 줄임
- 확률적 임베딩 샘플링: 데이터의 임베딩을 여러 번 샘플링해 다양한 패턴 학습하고, 이를 통해 고정된 데이터 증강 없이 효과적인 특징 학습 수행
- 노이즈 내성 손실 함수: 노이즈 라벨이 포함된 데이터에서도 중요한 샘플만 학습하도록 손실 함수 조정
실험 결과
- 데이터셋: Stanford Dogs, CUB-200-2011, Stanford Cars와 같은 Fine-Grained 데이터셋 사용
- 결과: 기존 노이즈 라벨 학습 방법에 비해 SNSCL이 높은 정확도 기록
- 노이즈 비율 증가 시: 노이즈 많아질수록 SNSCL의 성능 우위가 더욱 두드러짐
- (a) Learning Curves: CE+SNSCL, GCE+SNSCL, SYM+SNSCL 등 SNSCL과 다양한 알고리즘 조합의 학습 곡선 비교 SNSCL 적용한 모델들이 CE, GCE, SYM보다 빠르게 학습하며 더 높은 정확도 유지함
- (b) Noise Ratio에 따른 정확도: 노이즈 비율이 증가할수록 CE+SNSCL이 CE보다 더 높은 정확도 유지
- (c) 모멘텀 큐 크기에 따른 정확도: 큐 크기 D 증가할수록 정확도 향상
- (d) 신뢰도 임계값(t)에 따른 정확도: 적절한 임계값(t)에서 가장 높은 성능 보임
결론
- Fine-Grained 분류에서의 개선: 노이즈 라벨 문제 해결함으로써 Fine-Grained Classification 성능 향상
- 다양한 응용 가능성: 의료 영상 분석 등 라벨 정확도가 중요한 분야에서 큰 기여 예상됨
- 미래 연구 방향: 노이즈 라벨 처리의 효율성 향상 및 다른 Fine-Grained 문제에 적용 가능성 검토
