https://arxiv.org/abs/2502.12048
0. 논문 소개
- 뇌파 EEG 데이터와 생성형 AI 기반 연구 동향 논문
- EEG, BCI 분야와 생성형 AI의 결합은 EEG Decoding, 보조 통신, 신경 표현 학습, 다중 모달 통합의 가능성을 증가시킴
- 비침습적 방식으로 뇌의 신경 활동을 유의마한 출력 값으로 변환하는 수단을 제공한다는 점에서 연구들의 중요성이 강조되고 있음
- 기술의 적용 가능성(휴대성 등), 비침습적 등의 특성을 기반으로 활용 가능성이 높은 연구 분야임
- 주요 연구 분야 별로 주요 데이터셋, 활용 사례, 과제, 다양한 EEG Encoding 방법 등으로 나누어 내용을 정리함(Figure 1 & 2, Table 1 참고)
1. EEG to Image
주요 목표 및 해결 과제
- EEG 신호에서 이미지를 생성 및 재구성
- EEG 데이터의 low signal-to-noise ratio 문제 해결,제한된 정보 및 개인별 차이, 단순 이미지(숫자, 문자)에 비해 자연 이미지에서 낮은 성능, 데이터셋 크기의 한계 등의 주요 문제 해결을 목표로 함
- 비지도 학습(unsupervised learning) 대체 방법, 채널 간 상관관계 활용, 다양한 데이터셋에 대한 일반화 성능 향상, 특정 채널 또는 주파수 대역의 중요성을 강조하는 Attention 메커니즘 도입 등 시도
주요 활용 기술
- 생성 모델 (Generative Models)
- Generative Adversarial Networks (GANs)
- Conditional GANs
- Variational Autoencoders (VAEs)
- Diffusion Models(Prior Diffusion Models, Stable Diffusion 등 사전 학습된 모델 포함)
기타 활용 기술
- Contrastive Learning: EEG와 이미지 임베딩을 정렬하고 판별적인(discriminative) 특징 학습
- Attention Mechanism: 이미지 품질을 개선하고 뇌 활동의 공간적 상관관계를 포착하며 중요한 EEG 채널 식별
EEG 인코딩 기법
- EEG 신호를 이미지로 변환하기 위해 먼저 인코더(Encoder)를 통해 잠재 특징 공간(latent feature space)으로 변환하고, 이를 디코더(Decoder)가 이미지 생성