기본 베이스라인
기본으로 비교는 Flow 의 현재 배포 버전 을 베이스라인으로 사용. 말이 됨 — “이 변경이 출시 가치 있나?” 를 묻는 것.커스텀 베이스라인
특정 버전을 베이스라인으로 고정할 때:- 공통 참조에 대해 여러 후보 비교 — 하나 고정, 나머지 평가.
- 역대 최고 수위 에 대해 테스트 — “우리 v12 가 역대 최고 품질; 그 아래로 회귀 말자.”
- 하나의 변경 효과 격리 — 중간 버전 고정해서 “이 변경 전” vs. “이 변경 후” 비교.
베이스라인 설정
시뮬레이션 폼에서: Baseline → 버전 선택 (또는 절대 결과 원하면 “none”). 또는 CLI:참조 베이스라인
일부 워크스페이스는 한 버전을 영구 참조 베이스라인 으로 고정:- 모든 CI 시뮬레이션이 그에 대해 실행.
- 회귀율이 그에 대해 계산.
- 새 버전이 “vs. reference: +/-X%” 라벨.
베이스라인 드리프트
참조 베이스라인이 오래되면 현재 배포 동작이 갈라짐. 참조가 90일 이상 오래됐으면 Nora 가 baseline drift 경고 표시. 참조를 현재 배포 버전으로 롤 포워드.비용 측정용 베이스라인
비용 베이스라인도 유용. 참조 베이스라인이 $0.03/실행에 출시됐으면, 새 변경 비교가 실행 비용 궤적 제공:- “v18: 베이스라인 대비 -$0.005”
- “v19: 베이스라인 대비 +$0.012”
- “v20: 베이스라인 대비 -$0.001”
”베이스라인 없음” 모드
가끔 원본 절대 숫자 원함 — 몇 개 통과, 얼마 비용 — 비교 없이. 베이스라인을none 으로 설정. 비교할 것 없는 최초 시뮬레이션에 유용.