데이터셋 만들기

​

프로덕션 트레이스에서

• Trace-as-example — 전체 트레이스가 예시가 됨. Input = 원 입력, expected output = 주어진 답변 (“있는 그대로 캡처” 표시).
• Corrected-example — 답변이 어떻게 됐어야 할지로 기대 출력 편집.

​

시그널 클러스터에서

• 각 시그널의 트레이스가 예시가 됨.
• 시그널이 텍스트 교정 가지면 그것이 기대 출력.
• 아니면 “needs review” 표시 — 시뮬레이션 실행 전 주석.

​

파일에서

input,expected_output,tags
"비밀번호 리셋 어떻게?","Settings → Security → Reset Password 로 가세요","auth,customer"
"인보이스 언제 만기?","인보이스는 매달 1일 만기","billing,customer"

{"input":{"question":"reset password"},"expected":{"answer":"..."},"tags":["auth"]}

​

처음부터

​

멀티턴 예시

• 각 예시가 대화 (턴 목록).
• 각 턴이 기대 입력·기대 출력 가짐.
• 시뮬레이션이 대화 재생하고 각 턴 채점.

{"conversation":[
  {"role":"user","content":"..."},
  {"role":"assistant","content":"expected answer"},
  {"role":"user","content":"follow-up"},
  {"role":"assistant","content":"expected answer 2"}
]}

​

태그와 그룹핑

• Feature — 어느 제품 기능 운동.
• Difficulty — easy / medium / hard.
• Source — 예시가 온 곳 (prod, synthetic, hand-crafted).
• Language — 다국어 커버리지용.

​

예시별 메타데이터

• Scope — 테넌트별/사용자별 동작 테스트.
• 첨부 컨텍스트 — 세션 메모리, 이전 턴, 기능 플래그.
• Notes — 리뷰어용 자유 텍스트.

​

임포트 후 편집