해결하려는 문제

• Knowledge-graph-to-text generation 에 Structural information loss during encoding과 Absence of explicit graph-text alignments 보완하기

해결방법

• BART, T5와 같은 PLM 아키텍처 + 그래프의 구조를 반영할 수 있는 structure-aware semantic aggregation module + 그래프와 텍스트 사이의 관계를 반영할 수 있는 3개의 pre-training task
• 이후에 Knowledge-graph-to-text generation 데이터로 fine tuning 한다. 파인튜닝은 kg 인풋으로 받아서 description 생성하는 태스크(WebNLG 데이터셋), kg 인풋으로 받아서 질문 생성하는 태스크(WebQuestions, PathQuestions 데이터셋)에 대해서 진행

structure-aware semantic aggregation module

• linearized graph + text를 인풋으로 넣음

• 일단 전체 인풋에 대한 셀프어텐션을 취함

  

• 셀프어텐션 레이어에 대해서 엔티티, 릴레이션 부분만 mean pooling 해서 z, q를 얻음

  

• z,q에 대해 어텐션 해서 structure embedding 얻음.

  

• 그 결과를 residual layer로 처음의 셀프어텐션 결과에다 더해줘서 최종 임베딩을 얻는다.

  

3 pre-training tasks

1. Graph enhanced text reconstruction
   • 인코더에서 텍스트 인풋을 masking하고 디코더에서 generation task 수행
2. Text Enhanced Graph Reconstruction
   • 인코더에서 linearized graph 부분을 masking하고 entity, relation을 맞추는 task 수행
3. Graph-text embedding alignment

   • 인코더 인풋으로는 linearized graph만 넣고, 디코더 인풋으로는 text를 넣음.

   • polling layer를 인코더에 적용해서 엔티티, 릴레이션에 대한 임베딩 얻음.

   • 인코더의 엔티티, 릴레이션 임베딩과 디코더 생성 결과 사이의 거리를 Loss function으로 해서 학습한다. cross-domain alignment에 주로 쓰이는 Optical Transport (OT) 방법.