Prompt 튜닝은 모델의 weight를 고정하고 prompt의 파라미터를 업데이트하여 모델을 fine tuning하는 대안입니다.

결과적으로 생성된 프롬프트가 바로 'soft prompt'입니다!

모델 튜닝과 Prompt 튜닝을 비교한 그림을 살펴보면, 모델 튜닝은 같은 모델을 다른 작업에 fine tuning하는 것이고, 이를 통해 여러 다른 모델을 얻을 수 있지만, 이러한 모델들은 입력을 쉽게 묶을 수 없을 수도 있습니다!

반면, Prompt 튜닝은 모든 작업에 동일한 모델을 사용할 수 있도록 해줍니다. 추론 시 적절한 prompt를 추가하기만 하면 다른 작업에 대한 입력을 쉽게 묶을 수 있습니다.

이는 일반적인 Prompting의 이점과 거의 동일합니다.

또한, 단일 모델에 대해 여러 작업을 위해 학습된 soft prompt는 일반적으로 동일한 token 길이를 가집니다.

#소프트 프롬프팅의 이해

소프트 프롬프팅의 기본적인 원리를 이해하기 위해서는 주어진 프롬프트에서 모델 추론이 어떻게 이루어지는지 생각해보는 것이 좋습니다! 🗣️

예를 들어, "2+2는?"라는 프롬프트가 주어졌을 때