채널
1. 사용자 피드백
Agent 답변에 대한 어떤 👎 또는 쓰인 교정. 가장 고품질 시그널 — 실제 사용자가 답변이 틀렸다고 말함. 서브타입: thumbs, 텍스트 교정, 분류 피드백, 참조 교정.2. 검증 실패
Flow 에 인과 그래프가 검증 켜져 붙어 있으면 모든blocked 또는 warned 판정이 시그널 생성 (에이전트 답변 검증 참고). 사용자가 불평 안 해도 Agent 답변이 도메인 지식과 모순되는 경우 잡음.
3. 리트리벌 미스
쿼리에 리트리벌이 0 결과 반환, 또는 top-K 점수가 모두 신뢰 임계값 아래. 지식 갭이나 Agent 가 잘 재작성 못하는 쿼리 시사.4. 도구 에러
지속적 도구 실패. 불안정 API 의 단일 500 은 발화 안 함 — 하지만 같은 도구에 대한 상승하는 에러율은 발화. 인자 모양 에러 (400: missing required field) 도 발화, 그것들은 보통 Agent 오해를 뜻하므로.
5. 가드레일 히트
설정된 가드레일의 어떤 블록 — 나가는 메시지의 PII, 정책 위반, 출력 포맷 체크 실패. 보통 Agent 가 옳은 일을 하려다 레일에 부딪힘; 가끔 레일이 오설정.6. 행동 드리프트
시간에 걸친 통계적 행동 변화 — 실행당 비용 상승, 지연 상승, 도구 사용 패턴 변화, 리트리벌 히트율 하락. 변화가 정상 잡음을 넘어 며칠 지속되면 발화.7. 회귀
이전에 고쳤던 것으로 보이는 새 실패. 해결된 것과 비슷한 시그널이 버전 변경 후 재출현하면 발화. 회귀 참고.8. 승인 거부
이유와 함께 Approvals 큐의 거부. 리뷰어가 특정 종류의 Action 을 계속 거부하면, 그건 Agent 의사결정에 대한 시그널.채널 중요도
모든 채널이 동등하게 가중되진 않음. 기본 심각도 가중:- 사용자 피드백 (교정 있는 👎) — 최고.
- 검증 블록 — 높음.
- 회귀 — 높음 (이미 고친 것이 돌아옴).
- 사용자 피드백 (컨텍스트 없는 👎) — 중간.
- 도구 에러, 가드레일 히트 — 중간.
- 리트리벌 미스 — 낮음-중간.
- 행동 드리프트 — 낮음 (귀속 어려움).