• 관심사

    • NPC (인공지능 게임) - 태균님
    • 상규님 - 인공지능 분야(근무), LLM (PySPARK 등을 활용한 데이터 전달 및 분석)
    • llava(모델)
    • https://www.notion.so/240303-f413ed3dd3de4812a67084de03fc4863?pvs=4 (지원 생각)

    [Task별로 나누기]

    • 쉬운 data 먼저 학습 → 어려운 data 학습 : 데이터 난이도 조절(난이도 결정) 관련 진행
    • NLP 같은 경우 → binary classification (감정 등)
    • Task별로 dataset을 결정한 후, 각 dataset에서 classification(상대적으로 쉬운 과제로 define) , 어려운 task 정의 이런 식으로 난이도별로 LLM training 진행 (performance 비교)
    • 그렇게 난이도별로 test → sLLM처럼 LLM의 parameter 수를 줄이는 게 가능하지 않을까?

    일단 해보자!

    To dos

    • [ ] 어떤 모델 돌릴 것인가? (fine-tuning할 dataset 기반)
    • [ ] architecture 그대로..? GPU 환경 중 가능여부 판단 필요
    • [ ] Task별 과제 defining
    • [ ] dataset 결정
    • [ ] 주제 및 전체적인 프로세스에 대한 구체화 필요
    • 태균님, 지원 : dataset 및 관련 task 먼저 (ASAP) 서치 필요
    • 논문 돌아다니면서 데이터셋 참고하기 —> 정리(~3/6)
    • 모델 정리 —> 최대한 가벼운 모델 (Mistral, llama2, etc…) → 하나는 더 알아보기
    • h100 두개로 7b 돌리기 가능성

    1.5 - 1.6 차이(지원 조사)