SoTTA: Robust Test-Time Adaptation on Noisy Data Streams

Abstract

• Test-time adaptation(TTA)는 training과 test data 사이에 distributional shift을 다룬다
• 그러나 대부분의 TTA 방법론은 양성 테스트 스트림(benign test streams)을 가정하는데, 실제 상황에서는 Noisy test sample이 있을 수 있다
  • 본 논문에서는 기존 TTA 알고리즘이 입력으로 활용되는 샘플에 맹목적으로 적응하기 때문에 노이즈가 많은 테스트 샘플로 인해 어려움을 겪는다는 것을 발견
• 이 문제를 다루기 위해, Screening-out Test-Time Adaptation (SoTTA)를 제안
• SoTTA의 핵심 실현 요소는 1) input-wise robustenss와 2) parameter-wise robustness이다
  • input-wise robustenss는 noisy sample의 영향을 효과적으로 걸러내는 high-confidence uniform-class sampling을 사용한다
  • parameter-wise robustness는 noisy sample로부터 나타나는 large gradients에 대응하여 entropy-sharpness minimization을 사용한다

1 Introduction

• 딥러닝은 다양한 domain에서 remarkable 성능을 보였지만, 그것의 효과는 training과 test sample이 misalgined 될 때 한계가 있다
  • 이 현상은 domain shift라고 알려져있다
• Domain shift를 완화하는데 TTA는 유망한 방법론이지만, TTA는 test stream이 오직 benign test sample만을 포함한다는 가정이 있었다
• 그러나 test data는 unexpectedly하여 relevant data를 포함하기도 하지만 noisy sample을 포함할 수 도 있다
  • 예를 들어 자율주행 시나리오에서는 malicious user에 의한 adversarial sample이나 카메라에 노폐물이 있을 수 있다.

• 본 논문에서는 기존 TTA 알고리즘이 noisy sample이 존재할 때 크게 성능이 저하한다는 것을 발견했다

• 이 문제를 완화하기 위한, 직관적인 해결법은, test stream으로부터 noisy sample을 screening out (걸러내다) 하는 것지만, privacy issue와 resource constraint 문제가 존재한다
  • 그렇기 때문에 이 문제는 여전히 open question이다
• 본 논문에서는 1) input-wise robustness 2) parameter-wise robustness 방법론을 제안한다

3 Methodology

Problem and challenges.

• 이전 TTA 방법론은 맹목적으로 들어오는 test sample에 adapt한다
• test-time 동안 noisy sample의 존재는 TTA 알고리즘 성능을 크게 저하한다.

Methodology overview.

• SoTTA는 1) input-wise robustness 2) parameter-wise robustness으로 이루어진 두 가지 관점으로 noisy samples에 robustness를 이룬다

3.1 Input-wise robustness via high-confidence uniform-class sampling

Observation.

1. Noisy Sample의 Confidence가 benign Samples보다 낮다
2. Noisy Sample이 종종 예측 관점에서 왜곡된다. (Attack을 제외하고.. Attack의 목표는 모델이 올바르게 분류하지 못하게 하는 것이다)

   

Solution.

• High-confidence Uniformclass Sampling (HUS)를 제안하여 Adaptation동안 Noisy sample을 사용하는 것을 피한다
• HUS는 confident samples을 유지하고 예측 balance를 맞춘다

• $C(\mathbf{x}; \Theta)$는 각 sample의 confidence이다

3.2 Parameter-wise robustness via entropy-sharpness minimization

Observation.

• Figure 6(a)에서 보이는 것처럼, noisy sample의 gradient norm이 크게 감소하는데, 이 것은 model이 점진적으로 noisy data에 적응하는 것을 보인다

 

Solution.

• entropy-sharpness minimization (ESM)

 

---

Reference

https://arxiv.org/abs/2310.10074

SoTTA: Robust Test-Time Adaptation on Noisy Data Streams