Pareto 뷰가 보여주는 것
X축: 실행당 비용. Y축: 통과율. 실행한 모든 시뮬레이션이 점. 베이스라인, 배포 버전, Draft, 개선 후보 — 모두 플롯됨. Pareto 프론티어 는 다른 어느 것에도 지배되지 않는 점 연결 — 자기 비용에서 최고 품질이거나 자기 품질에서 가장 저렴. 프론티어 아래 모든 것은 프론티어 위 어떤 것보다 엄격히 나쁨.결정 내리기
- 더 저렴 + 더 높은 품질 — 당연히 출시.
- 더 저렴 + 같은 품질 — 보통 출시. 엣지 케이스 회귀 주의.
- 같은 비용 + 더 높은 품질 — 보통 출시.
- 더 비쌈 + 더 높은 품질 — 흥미로운 경우. 품질 이득이 비용 이득 가치인가? 도메인에 따름.
- 더 비쌈 + 같거나 낮은 품질 — 출시 안 함.
비용 vs. 품질 vs. 지연
토글 가능한 세 번째 축: 지연. 일부 워크플로우는 지연 임계 (채팅) 이라 저렴한 게 추가 500ms 가치 없음. 다른 것은 배치 (야간) 이고 지연 상관없음. 토글: 차트에서 Add axis 클릭. 3D 산점 또는 여러 2D 투영으로 보기.프론티어 필터
전체 플롯이 어수선할 수 있음. 필터:- 타겟 타입 — Draft 변형만, 또는 개선 후보만, 또는 배포 버전만 표시.
- 데이터셋 — 특정 데이터셋에 대한 결과 표시.
- 차원 — 특정 태그의 성능 표시 (“어려운 케이스만”).
데이터셋 태그별 Pareto
“품질” 이 어느 예시를 테스트하느냐에 따라 다르므로 프론티어가 태그별로 바뀜:easy예시에서 저렴한 모델이 종종 비싼 것 매치 — 프론티어 평평.hard예시에서 비싼 모델이 지배 — 프론티어 가파름.
이력 Pareto
이력 뷰가 시간에 걸친 프론티어 표시. 매주의 최고 점 플롯. 관찰:- 프론티어가 위-왼쪽 이동 — 품질 개선 과 비용 감소. 이상적.
- 프론티어가 위-오른쪽 이동 — 품질 이득이 비용 더 듬. 흔함, 가끔 수용 가능.
- 프론티어가 아래-오른쪽 이동 — 품질 회귀하면서 비용 상승. 나쁨. 조사.
모델 선택
모델을 다양화하는 시뮬레이션 (같은 Flow, 다른 모델 선택) 이 자연스러운 모델 비교 Pareto 구축. 기본 모델 선택할 때 유용 — 트레이드오프를 명시적으로 봄.Pareto 로부터 자동 개선 제안
Draft 가 프론티어 아래 (지배됨) 이면 Nora 가 위로 올릴 수 있는 특정 조정 제안:- “top-K 를 12 에서 6 으로 줄이면 이 데이터셋에서 품질 변화 없이 실행당 $0.02 절약.”
- “리랭커 활성화로 실행당 +$0.01 에 +5% 통과율.”