트레이스의 피드백

Agent 개선의 가장 빠른 방법은 실행을 보고 “아니, 틀렸어” 라고 말하는 것. 트레이스 뷰가 그렇게 하는 곳. 모든 피드백 조각은 개선을 이끄는 시그널 루프의 일부가 됨.

​

피드백 추가

두 진입점:

• 최종 답변의 thumbs 바 (👍 / 👎).
• 타임라인 스텝 우클릭 → Add feedback.

스텝 레벨 피드백은 그 특정 스텝 (잘못된 도구 호출, 나쁜 리트리벌) 에 붙음, 전체 실행 아님.

​

피드백 종류

• 👍 / 👎 — 빠른 시그널.
• 텍스트 교정 — 올바른 답변이 뭐였을지 씀.
• 분류 — 실패 타입으로 태깅 (hallucination, wrong-tool, stale-info, 커스텀 태그).
• 참조 교정 — 올바른 정보가 있는 소스를 가리킴.

이것들 어느 것이든 단일 실행에 결합 가능. 풍부한 피드백일수록 하류에서 더 유용.

​

제출 후

피드백이 즉시 시그널 이 됨 (시그널 개요 참고). 다음은 타입에 따라 다름:

• 독립 시그널 — 단일 이벤트, 시그널 큐에서 볼 수 있음.
• 클러스터 합류 — 실패가 다른 것들과 비슷해 보이면 기존 클러스터에 합류.
• 클러스터 시드 — 새 패턴이면 자라날 수 있는 하나의 클러스터 시드.

풍부한 피드백 (교정과 태그 있음) 이 더 나은 클러스터링과 빠른 개선으로 이어짐.

​

사용자로부터의 피드백

최종 사용자도 피드백 가능 — Agent 채팅 UI 가 턴별 thumbs 바 가짐. 사용자 피드백이 같은 방식으로 시그널에 착지. 익명 vs. 인증:

• 로그인 사용자의 채팅 세션은 사용자 정체성 담음.
• 공개 채팅 피드백은 기본 익명 (세션 ID 만 유지).

​

벌크 피드백

벌크 워크플로우 둘:

• CSV 임포트 — trace_id, verdict, tag, correction 컬럼의 스프레드시트. 시그널에서 업로드.
• 프로그래매틱 — POST /traces/{id}/feedback 로 POST. 오프라인 리뷰 파이프라인이나 Slack 트리거 피드백에 유용.

​

피드백 편집·제거

피드백은 제출 후 7일간 편집 가능. 그 이후는 불변 — 감사 트레일이 되돌리기보다 중요. 시그널이 잘못된 피드백 기반이면 삭제보다 시그널을 false alarm 으로 표시 (확인·묵음 참고).

​

피드백과 프라이버시

피드백은 익명 게시가 아니면 트레이스 작성자 이름 (여러분) 표시. 익명 모드는 하류 뷰에서 정체성 스트립하지만 컴플라이언스용으로 내부 감사 로그에는 보존.

​

피드백을 개선 룰로 기록

팀 저작 피드백은 Save as rule 클릭으로 교정을 절차적 메모리 룰로 프로모트 (절차적 룰 참고). 룰은 미래 실행에 즉시 적용 — 개선을 실행할 필요도 없이 수정이 라이브. 수정이 진술하기 쉬운 고신뢰 교정 (“가격 답변에서 항상 ‘부가세 전’ 언급”) 에 가장 좋음. 적절한 테스트 필요한 미묘한 경우 아님.