LAB 이름 : NLS LAB (Natural Language Summarization LAB)
후보 : PLM 랩 (Pretrained Language Model Research LAB)
개설 동기 :
(토이 프로젝트(dacon challenge)를 함께 진행하기 위해, 딥러닝과 자연어처리에 대한 논문을 함께 분석하고 최종적으로 pretrained model koBART를 활용할 예정입니다.)
LAB 소개 : 2020년 데이콘에서 진행되었던 한국어 문서 생성 요약 대회를 토이 프로젝트로 진행합니다. 생성 요약 태스크를 위한 주요 개념을 학습하고 사전학습 모델을 이용해 대회 상위 랭크 수준의 기록을 내는 모델 제작을 목표로 합니다.
연구목표 : 텍스트 생성 요약 분야의 주요 연구 과제와 필수 지식에 대해 이해하고, 사전학습 언어모델(GPT, BERT 등)과 기존 모델(KoBART)을 활용한 텍스트 생성 요약 모델을 만드는 것을 목표로 합니다.
운영방식
사전학습 언어모델(GPT, BERT)과 이를 이용한 텍스트 요약 모델(BertSum)에 대해 학습하고, 텍스트 요약을 수행하는 사전학습 모델을 함께 개발합니다 (hugging face 프레임웍 이용). 이후에는 텍스트 요약 분야의 SOTA 모델 중 하나인 BART에 대해 학습하고, 기존 모델(KoBART)을 활용해 fine tuning 과 최적화 과정을 반복하며 최종 한국어 텍스트 요약 모델을 함께 제작합니다.