> ## Documentation Index
> Fetch the complete documentation index at: https://docs.platform.nora.my/llms.txt
> Use this file to discover all available pages before exploring further.

# 비용 vs. 품질

> 트레이드오프 프론티어 — 저렴한 게 항상 나쁘지 않고, 비싼 게 항상 좋지 않음.

모든 변경이 Agent 를 두 축 플롯의 어딘가로 이동: **품질** (통과율) 과 **실행당 비용**. Pareto 뷰가 정확한 위치 표시.

## Pareto 뷰가 보여주는 것

X축: 실행당 비용. Y축: 통과율.

실행한 모든 시뮬레이션이 점. 베이스라인, 배포 버전, Draft, 개선 후보 — 모두 플롯됨.

**Pareto 프론티어** 는 다른 어느 것에도 지배되지 않는 점 연결 — 자기 비용에서 최고 품질이거나 자기 품질에서 가장 저렴. 프론티어 아래 모든 것은 프론티어 위 어떤 것보다 엄격히 나쁨.

## 결정 내리기

* **더 저렴 + 더 높은 품질** — 당연히 출시.
* **더 저렴 + 같은 품질** — 보통 출시. 엣지 케이스 회귀 주의.
* **같은 비용 + 더 높은 품질** — 보통 출시.
* **더 비쌈 + 더 높은 품질** — 흥미로운 경우. 품질 이득이 비용 이득 가치인가? 도메인에 따름.
* **더 비쌈 + 같거나 낮은 품질** — 출시 안 함.

Pareto 뷰는 결정 보조지 결정자가 아님.

## 비용 vs. 품질 vs. 지연

토글 가능한 세 번째 축: 지연. 일부 워크플로우는 지연 임계 (채팅) 이라 저렴한 게 추가 500ms 가치 없음. 다른 것은 배치 (야간) 이고 지연 상관없음.

토글: 차트에서 **Add axis** 클릭. 3D 산점 또는 여러 2D 투영으로 보기.

## 프론티어 필터

전체 플롯이 어수선할 수 있음. 필터:

* **타겟 타입** — Draft 변형만, 또는 개선 후보만, 또는 배포 버전만 표시.
* **데이터셋** — 특정 데이터셋에 대한 결과 표시.
* **차원** — 특정 태그의 성능 표시 ("어려운 케이스만").

다른 하위집합이 다른 Pareto 모양. 변경이 평균에서 지배하지만 어려운 케이스에서 질 수 있음.

## 데이터셋 태그별 Pareto

"품질" 이 어느 예시를 테스트하느냐에 따라 다르므로 프론티어가 태그별로 바뀜:

* `easy` 예시에서 저렴한 모델이 종종 비싼 것 매치 — 프론티어 평평.
* `hard` 예시에서 비싼 모델이 지배 — 프론티어 가파름.

전투 선택: 쉬운 인텐트는 (Router 로) 저렴한 모델, 어려운 인텐트는 비싼 것.

## 이력 Pareto

이력 뷰가 시간에 걸친 프론티어 표시. 매주의 최고 점 플롯. 관찰:

* **프론티어가 위-왼쪽 이동** — 품질 개선 *과* 비용 감소. 이상적.
* **프론티어가 위-오른쪽 이동** — 품질 이득이 비용 더 듬. 흔함, 가끔 수용 가능.
* **프론티어가 아래-오른쪽 이동** — 품질 회귀하면서 비용 상승. 나쁨. 조사.

## 모델 선택

모델을 다양화하는 시뮬레이션 (같은 Flow, 다른 모델 선택) 이 자연스러운 모델 비교 Pareto 구축. 기본 모델 선택할 때 유용 — 트레이드오프를 명시적으로 봄.

## Pareto 로부터 자동 개선 제안

Draft 가 프론티어 아래 (지배됨) 이면 Nora 가 위로 올릴 수 있는 특정 조정 제안:

* "top-K 를 12 에서 6 으로 줄이면 이 데이터셋에서 품질 변화 없이 실행당 \$0.02 절약."
* "리랭커 활성화로 실행당 +\$0.01 에 +5% 통과율."

제안은 시뮬레이션 이력에 그라운드 — Nora 가 과거에 어떤 변경이 작동했는지 앎.