Take a Step back: Evoking Reasoning via Abstraction in Large Language Models

https://arxiv.org/pdf/2310.06117

---

Abstract:

• 이 논문은 STEP-BACK PROMPTING 이라는 기법을 소개함.
• 이 기법은 많은 세부 정보를 포함하는 과제에서 대형 언어 모델(LLM)이 필요한 정보를 효과적으로 추출하지 못하는 문제를 해결하기 위해 나왔음. (수학 문제를 풀 때, 수학적인 원칙 중 어떤 부분과 연관이 있을까? 생각해보거나, 질문을 받았을 때 이 질문에 대한 의도가 무엇일까? 를 생각해보는 것)
• 즉 구체적인 세부 사항이 담긴 사례로부터 고차원적인 개념과 기본 원칙을 추출하도록 하고 이를 활용해서 LLM 이 더 나은 추론을 하도록 만드는 방법임.
• 연구진은 PaLM-2L, GPT-4, Llama2-70B 모델을 사용하여 STEP-BACK PROMPTING을 실험해봤고, STEM 분야, 지식 기반 질문 응답(Knowledge QA), 다중 단계 추론(Multi-Hop Reasoning) 등 복잡한 추론이 필요한 다양한 과제에서 상당한 성능 향상을 관측했다고 함.
• MMLU(물리학과 화학) 성능을 각각 7%와 11% 향상시켰고, TimeQA에서는 27%, MuSiQue에서는 7%의 성능 향상을 이뤘다고 한다.

 

Introduction:

• LLM 의 성능이 발전함에도 불구하고 복잡한 다단계 추론은 여전히 최첨단 LLM들에게도 도전적인 과제로 남아있음.
• 그리고 이를 해결하려는 기법으로 Chain-of-Thought(CoT)(Wei et al., 2022b)와 같은 기법이 등장해서 일관된 중간 추론 단계를 생성해서 문제를 해결하려고도 했다.
• 여기서는 인간이 어려운 문제에 직면했을 때 한 발 물러서서 추상화를 통해 고차원적인 원칙을 도출하고 이를 기반으로 문제를 해결하는 것에 착안한 STEP-BACK PROMPTING이라는 기법을 제안한다.
• 이 기법은 LLM이 추상화를 통해 중간 추론 단계에서 발생할 수 있는 오류를 줄이고, 고차원적인 개념과 원칙에 기반하여 더 정확한 추론을 수행하도록 유도하는 것.
• 추상화라는 건 인간의 인지 능력 중에서도 방대한 정보를 처리하고 일반적인 원칙을 도출하는 데 핵심적인 역할을 함.
• 예시로 치자면 어떤 문제를 바라볼 때 결국 이 문제의 본질은 무엇인가? 를 생각해보는 것을 말함. 한발짝 물러나고 각각의 세부 사항에 신경을 쓰지 않도록 하는 것. 세부 사항에 신경을 쓰다가 핵심적인 개념을 놓칠 수 있으니까.
• Step Back Prompting 은 복잡한 과제를 처리하기 위해 추상화와 추론의 두 단계 프로세스로 구성된다:
  • 첫 번째 단계에서는 인컨텍스트 학습을 통해 LLM에게 한 발 물러서서 특정 예제에 대한 고차원적인 개념과 원칙을 도출하도록 프롬프트를 제공하고
  • 두 번째 단계에서는 이러한 고차원적인 개념과 원칙을 기반으로 추론 능력을 활용하여 문제를 해결하는 것.
• 일부 과제는 매우 어려워서 PaLM-2L와 GPT-4 모두 TimeQA와 MuSiQue에서 약 40% 의 정확도만 달성하고, Chain-of-Thought 프롬프트는 일부 과제에서 소폭의 개선만을 가져온 반면, STEP-BACK PROMPTING은 PaLM-2L의 성능을 전반적으로 향상시켰다고 함.
• MMLU 물리학과 화학에서 각각 7%와 11%, TimeQA에서 27%, MuSiQue에서 7% 의 향상을 이뤘다고 한다.

 

Step back Prompting:

• STEP-BACK PROMPTING은 많은 세부 정보를 포함하는 과제에서 대형 언어 모델(LLM)이 필요한 정보를 효과적으로 추출하지 못하는 문제를 해결하기 위해 고안되었다고 한다.
• 예를 들어, 물리학 문제에서 "이상 기체 법칙"을 적용해야 하는 경우, 문제를 바로 푸는 대신, 먼저 이 문제는 물리학의 어떤 원칙과 관련이 있을까? 라고 한 발 물러서서 생각해보면 훨씬 정답이 올라갈 수 있을 것.
• 또한, 특정 시간 범위를 포함하는 복잡한 질문(예: "Estella Leopold는 1954년 8월부터 11월까지 어느 학교에 다녔는가?")의 경우도, 세부적인 조건으로 인해 답변하기 어렵지만 Estella Leopold의 교육 히스토리를 생각해보고 답변을 하면 알아낼 수 있을 것.
• STEP-BACK 질문은 원래 질문보다 추상화된 고차원적인 질문으로, 문제를 해결하는 데 필요한 핵심 개념이나 원칙을 도출하는데 사용된다.
• 구체적인 세부 사항이 많을 경우 Chain-of-Thought(CoT) 기법은 중간 추론 단계에서 오류를 일으킬 수 있는 반면에 Step back 은 일반적인 개념에 기반하여 추론 오류를 피할 수 있을 것.
• STEP-BACK PROMPTING의 두 단계:
  • 1단계: 추상화(Abstraction):
    • 질문을 바로 풀기보다는, 먼저 고차원적인 개념이나 원칙에 대한 추상화된 STEP-BACK 질문을 모델에게 제시한다.
    • 이 질문은 각 작업에 고유한 질문으로, 가장 관련성 있는 정보를 얻기 위해 설계되어야함.
  • 2단계: 추론(Reasoning):
    • 고차원적인 개념이나 원칙에 대한 사실을 기반으로, 모델이 원래 질문에 대한 답을 추론하면 됨.
  • (STEP-BACK PROMPTING의 1단계 추상화에서 LLM을 활용해 추상화된 질문을 생성하는 과정을 포함시키면, 전체 과정을 3단계로 확장할 수도 있어보임. LM을 이용해 원래 질문에서 한 발 물러서서 고차원적인 개념에 대한 추상화된 질문을 생성하고, 이를 모델에게 제기하는 것)