A Continual Learning Framework for Uncertainty-Aware Interactive Image Segmentation

• AAAI 2021

Abstract

• 기존 interactive segmentation은 user interaction을 받아서 개선하는거 밖에 못했음
  • The model should effectively learn from user annotations to improve segmentation performance and reduce users’ (repetitive) annotation effort in the future
    • 전달된 user knowledge로부터 학습을 못해서 다른 이미지에도 활용하지 못함
  • Users may make edits on any areas without knowing which edit is most useful to the model for improving the results.
    • 어디를 수정해야 모델이 잘 동작할지 user가 알지 못함
• 따라서, 논문에서는 continual learning을 도입해서 user interaction으로 모델이 다음의 3가지 데이터에서 계속해서 좋은 성능을 낼 수 있도록 하는 방법을 제안 (즉, unseen에 너무 fit하지 않으면서 seen이랑 모두에서 다 잘되도록 학습)
  1. Current image (basic performance)
  2. Unseen Image (forward knowledge transfer)
  3. Previously seen image (backward knowledge transfer)

Methods

Workflow

• 기존의 interactive segmentation workflow랑 매우 유사
• 다른점은, (c)와 같이 uncertainty map이 같이 주어진다는 점
  • User가 uncertainty map을 같이 고려하면서 어디를 refinement할지 interaction을 주는 방식
  • 더 적은 수의 point로 refinement를 할 수 있음

Architecture

• 기본적으로는 Encoder-decoder 구조를 따르며, interactive segmentation과 continual learning을 위한 다음의 3가지가 추가됨
• Bayesian nonparametric modeling
  • 이전 task에서의 knowledge를 probabilistic prior로 해서 현재 task에서의 parameter update를 regularize
• Uncertainty estimation
  • Naturally obtained from the Bayesian convolutional layers
• Interaction
  • Markov Random Field (MRF)를 통해 user interaction이 없는 부분으로 propagate될 수 있도록 함

Results