BFCL V2

개요

BFCL v2는 LLM의 함수 호출 능력을 평가하는 벤치마크로, 다양한 함수 호출 시나리오에서 모델의 성능을 측정합니다. 실제 사용자 제공 데이터를 기반으로 하며, 단일 함수 호출, 다중 함수 선택, 병렬 호출, 관련성 판단 등 다양한 테스트 카테고리를 포함합니다.

BFCL V2 • Live Dataset

사용 방법

직접 다운로드

https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard

def load_file(file_path: str):
    result = []
    with open(file_path) as f:
        file = f.readlines()
        for line in file:
            result.append(json.loads(line))
    return result

from datasets import Dataset
import copy
import json

def load_json_dataset(test_entries: List[Dict[str, Any]]):
    data = {"id": [], "question": [], "function": []}
    test_entries_copy = copy.deepcopy(test_entries)

    for item in test_entries_copy:
        data["id"].append(item["id"])
        data["question"].append(item["question"])

        for func in item["function"]:
            func["parameters"]["properties"] = json.dumps(
                func["parameters"]["properties"]
            )
        data["function"].append(func)
    return Dataset.from_dict(data)

# Example usage
test_entries = load_file("path_to_your_file.json")
ds = load_json_dataset(test_entries)