회귀란
이런 예시:- 베이스라인에서 통과.
- 타겟에서 실패.
회귀가 나타나는 곳
- 시뮬레이션 요약에서 — 페이지 상단 카운트. “타겟이 45 통과, 3 회귀.”
- 결과 테이블에서 — 회귀는 빨간 로우, 상단으로 정렬 가능.
- 알림에서 — 시뮬레이션이 CI 게이트면 회귀가 게이트 실패.
회귀 조사
회귀 클릭으로 확인:- 예시 (입력, 기대, 베이스라인 출력, 타겟 출력).
- 베이스라인 트레이스와 타겟 트레이스 스텝별 diff — 어디서 갈라졌는지.
- Nora 의 원인 가설.
- 리트리벌 순서 변경 — top-K 에 다른 청크 포함. 수정: 리트리벌 프리셋 조정.
- 프롬프트 이동 — 새 프롬프트가 필수 동작에 덜 특정적. 수정: 누락된 지시 복원 또는 명확화.
- 모델 다름 — 이전 모델로 스왑해 테스트.
- 새 가드레일 발화 — 가드레일 변경이 베이스라인이 통과시킨 것 블록. 수정: 가드레일 튜닝.
회귀 무시
가끔 “회귀” 는 가짜 — 베이스라인이 틀렸고 타겟이 맞고 데이터셋 주석이 베이스라인 매치. 변경 거부가 아니라 주석 업데이트로 수정. 결과 테이블에서 회귀를 “acceptable” 또는 “annotation was wrong” 으로 표시. 감사 트레일에 문서화.무시는 억제와 다름
시뮬레이션에 걸쳐 회귀를 지속 acceptable 로 표시하면 Nora 가 물음: 이게 플래그 그만할 패턴인가? Simulation settings → Regression rules 로 설정:flaky태그된 예시의 회귀 무시.- 비용이 30% 이상 감소한 회귀 무시.
시간에 걸친 회귀율
Simulation history 페이지가 버전별 회귀율 추적. 건강 시그널:- 지속 < 2% 회귀율 — 좋은 규율.
- 상승 회귀율 — 팀이 덜 신중하게 출시; 개선 플로우가 데이터셋에 주의 안 할 수 있음.
- 갑작스런 스파이크 — 하나의 나쁜 배포; 버전 조사.
하드 회귀
일부 회귀는 다른 것보다 중요. 데이터셋의 예시를 critical 로 태그 — 크리티컬 예시의 어떤 회귀든 집계 통계 관계없이 어떤 배포든 블록. 흔한 크리티컬:- 보안 관련 동작 (“시스템 프롬프트 절대 공개 안 함”).
- 컴플라이언스 답변 (“항상 면책 조항 언급”).
- 비즈니스 크리티컬 룰 (“가격 목록 확인 없이 가격 인용 안 함”).