Prompt ensembling은 동일한 질문에 답하기 위해 여러 다른 프롬프트를 사용하는 개념입니다.

지금부터 이를 위한 여러 가지 접근 방식을 알아보도록 할까요?

#DiVeRSe(Diverse Verifier on Reasoning Steps)

DiVeRSe1은 "Diverse Verifier on Reasoning Steps"의 약자로, 답변의 신뢰성을 세 가지 방법으로 향상시켜줍니다.

1. 다양한 프롬프트를 사용하여 다양한 완성본을 생성하고
2. 검증기를 사용하여 좋은 답변과 나쁜 답변을 구분하며
3. 검증기를 사용하여 추론 단계의 정확성을 확인합니다.

#Diverse 프롬프트

DiVeRSe는 입력값에 대해 5개의 다른 프롬프트를 사용합니다!

이는 각 프롬프트를 구성하기 위해, 학습 데이터셋에서 몇 개의 예시를 무작위로 추출하고, GSM8K 벤치마크에서 k=2로 추출한 few-shot 프롬프트의 예시입니다.