회귀 감지 방식
모든 해결된 개선이 시그니처 (다룬 시그널 패턴) 를 유지. Nora 가 그 시그니처에 대해 새 시그널 감시. 시그널이 회귀 로 플래그되는 조건:- 이전에 해결된 개선의 시그니처에 매치.
- 그 개선의 배포 시간 후 발화.
- 같은 Flow 에서 (Flow 안의 회귀가 Flow 간보다 훨씬 흔함).
회귀 뷰
시그널의 필터 뷰: Signals → Regressions. 표시:- 회귀된 시그널.
- 그것을 고쳤다고 여겨진 개선 (개선 이력 링크와 함께).
- 회귀가 나타난 버전.
- 수정과 회귀 사이 일수 갭.
회귀가 왜 일어나나
흔한 원인:- Flow 변경이 수정 되돌림 — 누군가 같은 프롬프트나 설정을 재편집.
- 데이터 변경 — 문서가 superseded 되거나 제거되어 그 데이터에 의존한 수정 무너짐.
- 외부 변경 — 도구 API 바뀜, 모델 제공자 업데이트, 상류 소스 드리프트.
- 새 인접 행동 — Agent 가 새 영역으로 확장해 새 컨텍스트에서 옛 패턴 재생성.
- 수정이 너무 좁음 — 개선이 특정 경우 커버했지만 약간 다른 변형 놓침.
무엇을 할지
- 실제 회귀인지 확인 (그냥 오래된 시그니처 매치가 아님).
- 무엇이 바뀌었는지 보기 — flow diff, 데이터 변경, 외부 발표.
- 수정을 넓히거나 재적용 — 보통 처음부터가 아니라 개선을 정제.