https://jamboard.google.com/d/17-8TeYQJb80I00qPMSTDroh8M2Fhf5WfRlGTXMUTh_M/edit?usp=sharing
- https://arxiv.org/pdf/2101.10382.pdf (curriculum learning에 대한 survey paper)
- optimizer 안 쓰고 learning rate만 바꿔서
- Main : QLORA + curriculum learning
- SGD, Adam + alpha 써서 변경해보자 (Adam W 적용 ,,?)
- 물리, 수학에 약하고 화학, 생명과학에 상대적으로 강함
- 생물(외우면 됨)
- 수학 dataset , 물리 dataset ( 일단 해보자 ) → 추가 및 보완은 그 후에 생각
- 수학 - 태균님, 물리 - 지원 서치 후 일요일 논의