Claude 에서 Evaluation 하는 법

Claude 에서 지원하는 기능 - Generating Prompts:

• 내가 수행하고자 하는 작업을 명시하면 그걸로 일반적인 Prompt 를 생성해주는 역할을 함.

 

Claude 에서 지원하는 기능 - Prompt versioning:

• Prompt 를 버저닝해서 저장할 수 있음.
• 저장된 프롬프트를 같은 입력에 대해서 비교할 수 있다.

 

Claude 에서 지원하는 기능 - Creating Test Cases:

• Add Row 버튼을 누르면 테스트 케이스를 생성해볼 수 있음.
• 테스트 케이스는 Generate Test Case 버튼을 통해서 자동으로 생성해볼 수 있다.
• 테스트 케이스 생성 로직을 변경할 수 있음. 이건 Edit generation logic 버튼을 누르고, 로직에 해당하는 프롬프트를 넣어줘야함.

 

Claude 에서는 Human-based grading 으로 Evaluation 을 하는 거임

• LLM-as-judge 가 아님.
• 그래서 초기 단계의 Prompt 를 생성하는 역할로는 괜찮을듯
• 다만 계속되는 자동화된 실험을 해보려면 LLM-as-judge 를 해야함.