Premise Order Matters in Reasoning with Large Language Models

https://arxiv.org/pdf/2402.08939

---

Abstarct:

• LLM 이 뛰어난 추론 능력을 가지고 있어도 전제(근거가 되는 정보)의 순서에 예상 외로 취약하다는 사실을 발견
  • 전제라는 건 문제를 해결할 떄 사용되는 정보, 명제, 조건 등을 말함.
  • 논리 추론 문제라면 A -> B, B -> C 와 같은게 전제가 될거임.
  • 이런 전제의 순서를 다르게 준다는 건 추론 과정에서 추론 순서를 뒤바뀌게 준다는 걸 말함.
  • 근데 이런 전제의 순서는 인간에게는 큰 영향이 없음. LLM 만 이런 순서가 중요하다고 함.
  • 인간에게 전제의 순서가 중요하지 않는 케이스:
    • a) If A then B
    • b) If B then C
    • c) A is True
    • 이렇게 명제들이 주어진다고 하면 c -> a -> b 를 통해서 C 는 참이다라는 걸 인간은 쉽게 할 수 있음. 인간은 뇌에서 전제의 순서를 마구 뒤바꿔 볼 수 있으니
    • 하지만 LLM 은 추론 순서대로 줘야한다고 함.
• LLM이 논리적 추론 과정을 그대로 반영한 순서로 전제를 제시받을 때 가장 높은 정확도를 보인다고 함.
• 하지만 이 순서가 뒤바뀌거나 무작위로 섞이면, 정확도가 최대 30% 이상 낮아질 수 있다고 함.

 

Introduction:

• LLM 은 인간과 유사한 인지적 편향을 보인다고 함:
  • Reversal Curse (거꾸로 추론에 약함): “A는 B이다”라고 학습한 모델이 “B는 A이다”를 잘 추론하지 못함(Berglund et al., 2023).
  • Distractibility (무관한 정보에 쉽게 휘둘림): 문제 설명에 불필요한 문맥이 들어가면 성능이 급격히 떨어짐(Jones and Steinhardt, 2022; Shi et al., 2023).
• 인간에겐 제공된 전제 순서가 논리적으로는 무의미함. 머리속에서 조합해보면 되니까. 하지만 LLM 에게는 이 순서가 중요하다고 한다.
• 원본 증명(ground-truth proof) 순서와 동일하게 전제를 배치해 줄 때 가장 높은 성능을 보임
• 전제 순서를 바꾸면 정확도가 최대 30% 이상 감소.
• 그리고 무관한 전제(irrelevant premise)를 추가할 경우, 순서 뒤바뀜으로 인한 영향이 더욱 커짐.
• 이러한 이유는 LLM 의 매커니즘으로 인한 결과로 판단됨. Autoregressive 구조상 왼쪽에서 오른쪽으로 단어를 예측하기 때문에 한방향으로만 읽을 수 있다는 한계점이 있음. 그래서 순서를 올바르게 주는게 중요함.