Key Features of LLMs

Key Features of LLMs: 

• LLM 은 인간의 초두 효과(primacy effect) 와 최신 효과 (recency effect) 와 유사하게 앞과 끝의 말들을 기억함. (이는 트랜스포머 아키텍처의 이론적인 구조와는 조금 다른 점임) 
• LLM 은 종종 인간의 의견에 동조하는 경향이 있음. 이를 아첨'(sycophancy)' 이라고 함. 그래서 의견을 유도하기 보다는 독립적인 의견을 내야함. 
• Context Window: 무한한 텍스트를 한번에 처리할 순 없음. 그럼 메모리 문제가 발생하고 계산양이 무한적으로 되니까. 
• Write clear prompt: 글을 단순하게 개선해달라고 하는 요청은 LLM 이 요구사항대로 해줄리 없음. 좀 더 자세하게 톤이나 스타일 어떤 방식으로 글을 개선해야할 지 명확하게 이야기 할수록 좀 더 잘 들어줄거임. 
• Bias and Hallucinations: LLM 은 훈련 데이터의 특성상 편향을 가질 수 있음. 다음 단어를 예측하려는 특성상 Hallucination 을 가질 수 있다. 
• Scaling laws: Model 의 Performance 는 특정한 알고리즘에 의존하기 보다는 다음 요소에 의존적임 Model size, Data size. 다만 이 둘이 클수록 Compute Budegt 더 많이 들어간다. 가장 가성비 있게 훈련시키려면 모델의 사이즈와 데이터 셋 크기는 1:20 의 비율을 맞추면 좋음.