LAB comment

한 달간의 중기적인 목표 ( ~ 5/25)

→ 요약 Must-read 논문 일부 리뷰와 모델 하나 완성 목표. (BertSum)

→ Pre-trained model 개발은 데이터를 모델에 넣기 직전까지, 로드하고 전처리 하는 단계까지 딱 완성 목표 (tokenizer, texts_to_sequences, masking, data_loader)

4/22 모임

다음 주까지 해올 것.

→ BertSum(은성님) , MatchSum(동규) 논문 읽고 발표준비

→ 허깅페이스 살펴보기 , BERT 시작할 수 있으면 시작해보기 (데이터 로드와 전처리부터)

시즌2 목표 결과물

• 허깅페이스를 이용한 다양한 요약 태스크 SOTA 모델(PEGASUS, BertSum, BART) fine tuning 해서 성 능 올려보기. KoBART 모델을 기반으로 해서 좋은 성능을 보여줄 수 있는 한국어 요약 모델.

요약에 대한 공부, 허깅페이스 살펴보기,

• 직접 만든 Pre-trained Model (BERT or GPT)

데이터셋 : 병인님이 주신거

• 데이터 loader , preprocessor (tokenizer + texts_to_sequences + masking)

• huggingface BERT model interface에 맞춰서