개선 제안

근본 원인이 알려지면 Nora 가 제안 — 그것을 다룰 구체적 변경 — 생성. 개선당 보통 1-3 후보. 어느 것을 시뮬레이션하고 출시할지 선택.

​

제안의 구조

모든 제안이 가짐:

• 이름 — 짧은 사람 요약 (“리트리벌 키워드에 refund 동의어 추가”).
• 레버 — 시스템의 어느 부분을 바꾸는지 (레버 참고).
• diff — 정확히 무엇이 바뀔지, 라인 레벨.
• 근거 — Nora 가 왜 이것이 근본 원인 다룰 거라 생각하는지.
• 예측 — 실패 클러스터와 홀드아웃에서의 예상 영향, 유사 과거 개선 기반.
• 신뢰도 — Nora 가 이것이 작동할 거라 얼마나 확신하는지.

diff 가 본질. 나머지는 컨텍스트.

​

예 제안

리트리벌 미스 클러스터:

• P1: 리트리벌 프리셋의 쿼리 확장에 “money back” 동의어로 추가.
• P2: 프리셋에서 refund-policy 태그 1.3× 부스트.
• P3: Agent 에 룰 추가: “사용자가 환불 물으면 항상 정책 청크 먼저 조회.”

프롬프트 클러스터:

• P1: Agent 역할에 “항상 특정 정책 문서 인용” 추가.
• P2: Agent 톤 지시를 면책 조항에 더 명시적이도록 변경.

데이터 클러스터:

• P1: 누락 정보로 새 문서 인제스트 (자동 수정이 아닌 노트로 표면화).

​

제안 리뷰

제안 뷰가 모든 후보 나란히 표시: 제안 클릭으로 전체 diff.

​

시뮬레이션

제안에 Simulate 클릭으로 클러스터 + 더 넓은 데이터셋에 실행. 결과가 제안 카드에 피드백, 예측을 측정 델타로 교체. 모든 제안을 한 번에 시뮬레이션 가능 (비교 뷰 — Before/after 참고) 또는 하나씩.

​

제안 편집

시뮬레이션 전 모든 제안 편집 가능. 흔한 편집:

• diff 조임 (동의 안 하는 Nora 가 추가한 조각 제거).
• 타겟 변경 (Agent B 가 아닌 Agent A 에 적용).
• 표현 수정 (Nora 가 제안한 프롬프트 변경을 다르게 표현).

편집이 추적되어 감사 트레일이 Nora 가 제안한 것 vs. 출시한 것 표시.

​

거부

제안을 이유와 함께 거부. 이유가 미래 제안 생성 도움 — Nora 가 유사 클러스터에 유사 제안 회피. 모든 제안 거부하면 클러스터 열린 상태 유지. 할 수 있는 것:

• 다시 진단 (근본 원인이 틀렸을 수 있음).
• Draft 에 수정 수동 저작.
• 그대로 둠 — 일부 문제는 아직 고칠 성숙 안 됨.

​

승자 제안

시뮬레이션 후 최고 성능 제안이 “recommended” 배지로 하이라이트. 보통 최고 홀드아웃 통과율 개선과 최저 회귀 카운트 있는 것. 오버라이드 가능 — 추천은 제안이지 결정이 아님. 특히 동점이거나 차이가 잡음 안일 때 유용.

​

승자 선택 후

선택된 제안이 승인 으로 이동 (승인·배포 참고). 승인되면 diff 가 Draft 에 적용. 그 다음 배포.