TENT

제목: TENT: Fully Test-Time Adaptation by Entropy Minimization 저자: Dequan Wang, Evan Shelhamer, Shaoteng Liu, Bruno Olshausen, Trevor Darrell 소속: UC Berkeley, Adobe Research

연구 배경 및 문제 정의

• 문제: 데이터셋 변화(dataset shift)로 인해 테스트 데이터와 학습 데이터 분포가 다를 경우 모델 성능 저하 발생.
• 상황: 테스트 시점 적응(fully test-time adaptation)은 모델이 테스트 데이터와 모델의 자체 파라미터만을 사용해야 하는 상황.
• 필요성:
  • 데이터 가용성: 대역폭, 프라이버시, 또는 이익 문제로 소스 데이터를 사용할 수 없음.
  • 효율성: 테스트 중 소스 데이터를 다시 처리하는 것이 계산적으로 비효율적임.
  • 정확성: 모델이 적응 없이는 목적을 달성하기에 너무 부정확할 수 있음.
• 해결 과제: 테스트 시점에서 소스 데이터 없이 대상 데이터(target data)만으로 모델을 적응(adapt)시키는 방법 개발.
• 테스트 엔트로피 최소화 방법의 필요성:
  • 기존 도메인 적응 방법론들은 소스와 대상 데이터를 함께 사용하는 것이 일반적이나, 이는 현실적인 제약을 반영하지 못함.
  • CIFAR-10/100-C 및 ImageNet-C에서 테스트 데이터의 부정확성을 개선할 필요성이 있음.
  • SVHN과 같은 도메인 전이(digit recognition)에서 높은 적응성을 유지하는 것이 요구됨.

Datasets

|CIFAR-10|CIFAR-100|ImageNet-C|

ImageNet-C

CIFAR-10-C