경로
스텝별
1. 시그널 발화
사용자가 답변에 👎 클릭. 또는 검증이 응답 블록. 또는 도구가 반복 에러. 어떤 소스 든 큐에 시그널 생성.2. 트리아지
시그널이 실제인지 확인 (확인·묵음 참고). 묵음은 여기서 정지 — 오탐은 진행 안 됨.3. 클러스터링
시그널이 도착하면서 클러스터에 합류 (클러스터 참고). 시그널 하나는 데이터 포인트; 클러스터는 고칠 가치 있는 패턴. 단일 시그널 직접 프로모트 가능하지만 클러스터가 더 나은 기반 — 인스턴스가 아닌 클래스를 고침.4. 개선으로 프로모트
클러스터 (또는 시그널) 에서 Create Improvement 클릭. 개선 플로우가 열림:5. 제안
Nora 가 1-3 후보 수정 제안. 각 제안:- 변경 명명 (프롬프트 조정, 도구 설명 명확화, 리트리벌 프리셋 변경, 새 메모리 룰 등).
- diff 표시 — 정확히 무엇이 바뀔지.
- 영향 예측 (유사 과거 개선 기반).
6. 시뮬레이션
모든 제안이 클러스터의 시그널 + 더 넓은 데이터셋에 실행. 지표: 이전 실패 케이스 중 몇 개가 이제 통과, 이전 통과 케이스 중 몇 개가 이제 실패 (회귀), 비용/지연 델타. 시뮬레이션 과 Before/after 참고.7. 승인
최상 제안이 하이라이트. 여러분 (또는 다른 리뷰어) 이 승인 — 변경이 Draft 에 적용. 승인은 기본 사람 게이트. 강한 시뮬레이션 결과 있는 저위험 변경은 자동 승인 가능.8. 배포
승인된 변경은 정상 배포 플로우 탑승 — Draft 에 적용, 그 다음 Publish (배포 참고).9. 관찰
배포 후 클러스터가 재발 감시. 패턴 매치하는 새 시그널이 재개방 (회귀). 30일 지속 부재 → 클러스터 해결.수정까지의 시간
전형적:- 단순 프롬프트 수정: 시그널에서 배포까지 분.
- 피드백에서 새 룰: 시간 (테스트 → 승인 → 배포).
- 리트리벌 프리셋 변경: 시간~일 (더 넓은 시뮬레이션 필요).
- 새 데이터나 그래프 편집 필요한 복잡한 수정: 일.
수정이 안 되면?
두 안전밸브:- 시뮬레이션이 잡음 — 제안이 절대 배포 안 됨. 다른 레버 시도.
- 배포가 잡음 — 클러스터가 회귀로 재개방. 개선 롤백 (원클릭) 하고 재시도.
다음 단계
데이터셋
수정을 정직하게 유지하는 테스트 케이스 큐레이션.
시뮬레이션
변경이 프로덕션에 히트하기 전 데이터에 실행.
최적화
개선 플로우, 심도 있게.