LLM의 출력 분포를 교정(calibration)하는 것으로 일부 LLM이 나타내는 편향을 상쇄시킬 수 있다는 사실!

인공지능을 제대로 공부해서 잘 응용할 수 있다는건 앞으로의 인공지능 시대에 있어서 그것을 똑똑하게 활용할 수 있는 사람이 된다는 것과 동일한 말이죠! 😄

챕터6도 곧 마무리되니 잘 따라와주시길 바랍니다 😍

#예시를 통한 LLM에서의 출력 분포 보정 이해하기

간단한 예시를 들어볼까요?

Positive와 Negative 두 개의 라벨을 가지는 감성 분석 문제가 있다고 가정해봅시다.

LLM에 Input: nothing, Sentiment: 라는 문장을 입력했을 때, 이 입력은 어떠한 감성 분류를 위한 문맥 정보를 포함하고 있지 않기 때문에 이를 "context-free input"이라고 부릅니다.

nothing은 긍정적인 의미도, 부정적인 의미도 가지고 있지 않기 때문에 LLM이 Positive와 Negative를 예측하는 확률이 각각 0.5로 출력될 것으로 예상됩니다.

그러나 실제로는 그렇지 않을 때가 많다는 것이죠!

p("Positive" | "Input: nothing Sentiment:") = 0.9 p("Negative" | "Input: nothing Sentiment:") = 0.1

LLM은 때로는 출력 확률에서 편향성을 보일 수 있으며 이는 신뢰성이 떨어지는 결과를 초래할 수 있습니다!

감성 분석 작업에서 "nothing"과 같은 문맥이 없는 입력이 들어오면, 입력이 양수인지 음수인지 예측하도록 LLM을 설정할 때, 입력이 문맥 정보를 포함하지 않으므로 두 레이블에 대해 확률 0.5를 출력해야합니다.