#기본 자가 평가(Basic self eval)

LLM은 자신 또는 다른 LLM의 출력 결과를 확인하는 데 사용할 수 있습니다! 이는 LLM에 질문하면 간단하게 수행할 수 있다는 말인데요!

예를 들어, 아래와 같이 간단한 수식 질문을 할 경우

Q: What is 9+10?

A: 21

우리가 생각하기에 정답은 당연히 19지만, LLM은 21이라고 대답합니다. 정답은 분명 19인데 왜 21이라고 답했는지에 대한 자체적으로 자신의 답을 평가하도록 요청하는 것이 필요하죠.

Q: What is 9+10? A: 21 Do you think 21 is really the correct answer?

No

정답이 아니라고 합니다. 정답이 아닌데 왜 21이라고 했을까요?

이와 같은 경우는 더 큰 LLM 체인에서 간단한 확인으로 사용할 수 있습니다!

#헌법 인공지능(Constitutional AI)

Constitutional AI 는 LLM을 사용하여 모델 완성이 바람직하지 않을 수 있는 특정 방식을 평가하는 것입니다.

예를 들어볼까요?