CVPR Workshop 2024

완성본

<aside> 🖼️ text-to-image 모델이 가지는 문제를 해결해보자!

</aside>

PPT 갤러리를 하면서 여러 text-to-image 모델을 쓰다보니 프롬프트 만으로 해결되지 않는 문제들이 있다.
그 중 하나로, chocolate river, broken diamond 등 일상생활에서 흔치 않은 컨셉을 그리라고 할 경우 제대로 못 그리는 경우가 많다.
- 무조건 river는 파란색으로, diamond는 크고 반짝거리게 그리는 경향이 있음
아마도, 학습데이터에서 강은 항상 파란색, 다이아몬드는 크고 반짝 거리는 이미지가 많기 때문에 이를 모델도 학습한 것으로 보인다.
그러나, 이렇게 학습데이터에 존재하는 bias를 생성 모델이 그대로 학습할 경우 사회적, 문화적으로도 영향을 끼칠 수 있다!
- 예를 들어, 동양인을 항상 눈이 작게 표현한다면 사회적 편견을 악화시킬 수 있다.
따라서, text-to-image 모델이 가질 수 있는 학습 데이터 bias를 해결할 수 있는 방법을 찾아보자!

<aside> 💡 Inpaint Biases: A Pathway to Accurate and Unbiased Image Generation

</aside>