Soft prompts

Parameter-Efficient Fine-Tuning (PEFT)

Preliminary

Transformer

Prompt-based Tuning

• 대규모 언어 모델들의 크기가 커짐에 따라, 프롬프팅과 같은 더 효율적인 훈련 방법에 대한 관심이 증가하고 있음.
• 프롬프팅을 사용하면 각 다운스트림 작업(downstream task)에 대해 별도의 모델을 완전히 훈련할 필요 없이 동일한 고정된 사전 훈련된 모델(frozen pre-trained model)을 사용할 수 있음.
• 이는 동일한 모델을 여러 다른 작업에 사용할 수 있기 때문에 훨씬 쉽고, 프롬프트 매개변수(parameters)의 작은 세트를 훈련하고 저장하는 것이 모델의 모든 매개변수를 훈련하는 것보다 훨씬 더 효율적임.
• 프롬프팅 방법에는 두 가지 범주가 있음:
• Hard prompts는 이산 입력 토큰(discrete input token)을 사용하여 수동으로 만들어진 텍스트 프롬프트이며, 좋은 프롬프트를 만드는 데 많은 노력이 필요하다는 단점이 있음.
• Soft prompts는 입력 임베딩(input embeddings)과 연결된 학습 가능한 텐서로, 데이터셋에 최적화될 수 있음. 단점은 이 "가상 토큰"이 실제 단어의 임베딩과 일치하지 때문에 인간이 읽을 수 없음.
  • ex) p-tuning, prefix tuning, prompt tuning

Prompt Tuning

• Prompt tuning T5 모델에서 텍스트 분류 작업을 위해 개발되었으며, 모든 다운스트림 작업은 텍스트 생성 작업으로 변환됨.

  • 예를 들어, 시퀀스 분류는 보통 텍스트 시퀀스에 단일 클래스 라벨을 할당하지만 이를 텍스트 생성 작업으로 변환함으로써 클래스 라벨을 구성하는 토큰들이 생성됨.

• 프롬프트는 토큰의 시리즈로 입력에 추가됨.

• Prompt tuning의 ****핵심 아이디어는 프롬프트 토큰이 독립적으로 업데이트되는 자체 매개변수를 가짐으로써 사전 훈련된 모델의 매개변수를 고정된 상태로 유지하고, 프롬프트 토큰 임베딩의 그래디언트(gradient)만 업데이트할 수 있음.

• 구현 예시💻

  from peft import PromptTuningConfig, PromptTuningInit, get_peft_model
  
  prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\\n"
  peft_config = PromptTuningConfig(
      task_type="CAUSAL_LM",
      prompt_tuning_init=PromptTuningInit.TEXT,
      num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),,
      prompt_tuning_init_text=prompt_tuning_init_text,
      tokenizer_name_or_path="bigscience/bloomz-560m",
  )
  model = get_peft_model(model, peft_config)
  model.print_trainable_parameters()
  "trainable params: 8,192 || all params: 559,222,784 || trainable%: 0.0014648902430985358"
  

Prefix Tuning