(1) Building with Claude - Define your success criteria

success criteria:

• LLM 이 하는 작업이 성공했다는 기준을 정하는 걸 말함.
• 목표 같은거임. 이걸 정하는게 정말 중요함.

 

Building strong criteria:

• Specify: 구체적이어야함. 그냥 해당 작업을 잘 수행했다가 아니라 뭐가 잘한건지 구체적이어야 함.
• Measurable: 수치화 할 수 있어야함. (e.g F1 Score, BLEU Score, perplexity, Likert scales)
• Achievable: 달성가능한 수치를 지정해야함
• Relevant: 평가가 사용자의 요구사항과 관련이 있어야함.

 

 

Common success criteria to consider

• Task fidelity"(작업 충실도):
  • 모델이 작업을 얼마나 잘 수행해야 하는가
  • 일반적인 입력 뿐 아니라 엣지 케이스도 고려해야함
• Consistency:
  • 유사한 유형의 입력에 대해 모델의 응답이 얼마나 유사해야 하는가?
  • 사용자가 같은 질문을 했을 때 유사해야하는가? 아니면 변동성이 있어야하는가?
• Relevance and coherence:
  • "모델이 사용자의 질문이나 지시를 얼마나 잘 직접적으로 다루는가?"
  • "정보가 논리적이고 쉽게 따라갈 수 있는 방식으로 제시되는 것이 얼마나 중요한가?"
• Tone and style"(어조와 스타일):
  • "모델의 출력 스타일이 기대치와 얼마나 잘 일치하는가?"
  • "모델의 언어가 목표 청중에게 얼마나 적절한가?"
• Privacy preservation"(개인정보 보호):
  • 모델이 개인 정보나 민감한 정보를 어떻게 다루는지
  • 모델이 개인 정보나 민감한 정보를 다루는 방식을 평가하는 성공적인 메트릭은 무엇인가?
  • 모델이 특정 세부 정보를 사용하거나 공유하지 말라는 지시를 따를 수 있는가?
• Context utilization"(맥락 활용):
  • 제공된 맥락을 모델이 얼마나 효과적으로 사용하는가
  • 모델이 제공된 맥락을 얼마나 효과적으로 사용하는가
  • 모델이 대화 이력의 정보를 얼마나 잘 참조하고 활용하는가
• Latency:
  • "모델의 허용 가능한 응답 시간은 얼마인가?"
• Price:
  • "모델 운영을 위한 예산은 얼마인가?"
  • 고려해야 할 요소: API 호출당 비용, 모델 크기, 사용 빈도