101. RoleLLM

https://huggingface.co/datasets/ZenMoore/RoleBench/tree/main

1. instructions-eng/ 및 instructions-zh/

• 내용: 영어(eng) 및 중국어(zh)로 된 지시문을 포함합니다.
• 세부 구성:
  • general: 모든 역할에 공통적으로 적용 가능한 일반 지시문
  • role_specific: 특정 역할에 특화된 지시문
  • nums.jsonl: 각 역할별로 몇 개의 역할 특화 지시문이 있는지 기록
  • split_info.txt: Context-Instruct 단계에서 각 역할의 스크립트를 몇 개의 세그먼트로 나눌 수 있는지 정보 제공

2. profiles-eng/ 및 profiles-zh/

• 내용: 각 역할에 대한 설명과 대화 예시를 포함합니다.
• 세부 구성:
  • desc.json: 모든 역할에 대한 설명 파일
  • profiles-{lang}-{role_name}.jsonl: 각 역할에 대한 대화 데이터 파일
  • scripts.json: 각 역할에 대한 스크립트 이름 목록

3. rolebench-eng/ 및 rolebench-zh/

• 내용: 역할 수행 능력 평가를 위한 벤치마크 데이터

• 세부 구성:

  • instruction-generalization/: 일반 지시문에 대한 일반화 평가 데이터
  • role-generalization/: 역할 특화 지시문에 대한 일반화 평가 데이터
  • 각 폴더 내에 general/ 및 role_specific/ 하위 폴더가 있으며, 각각 학습 데이터(train.jsonl), 테스트 데이터(test.jsonl), RoleGPT 기준 결과(rolegpt_baseline.jsonl)를 포함합니다.
    • rolegpt_baseline을 train test split

• Fine-tuning 모델 개수 및 활용된 구체적인 데이터 검토

• 평가 프로토콜을 위한 데이터셋이 무엇인지 검토

→ Hugging Face 에 있는 각 폴더 경로별 데이터셋 용도 확인