Merge Up SLM
- 여러 SLM을 merge해서 업스케일링
- 같은 tokenizer, architecture를 가지는 SLM들
DDALBA
- Pretrained transformer를 활용해서 Mamba 초기화하기
SQL + RAG (workshop)
- 유사도 기반 모델의 비용/속도 이점 + LLM의 문맥 이해 능력
Reasoning Embedding
- Embedding 자체에 추론 능력을 반영할 수 있는 방법
도메인 특화 성능 측정을 위한 벤치마크
- 프레젠테이션 만족도?