롤업
모든 트레이스 상단:- Total cost — 달러 금액, 모델별 토큰 카운트.
- Total latency — 답변 전송까지 벽시계 시작.
- Compute — 모든 모델 + 도구 시간 합 (대기 제외).
- Wait — 외부 서비스 (API, 데이터베이스, Approvals 큐의 사람) 대기 시간.
스텝별 분해
타임라인의 각 스텝이 개별 비용과 소요 표시. 정렬 뷰: 비용 컬럼 헤더 클릭으로 가장 비싼 스텝 먼저 보기. 비용 높을 때 흔한 범인:- 긴 프롬프트 — 리트리벌이 너무 많은 청크 반환. 프리셋에서 top-K 감소.
- 비싼 모델 — 중간 티어면 될 걸 최상위 티어 사용. 폴백이나 라우터 고려.
- 반복 도구 호출 — Agent 가 같은 도구에 루프. 도구 설명이나 Agent 역할 수정.
- 즉석 강화 — Foundry 파이프라인으로 미리 계산해야지 실행별 안 됨.
지연 워터폴
워터폴 뷰 (상단 바의 Timing 클릭) 가 지연을 병렬 바로 표시. 임계 경로에 없는 것은 나중에 최적화해도 안전. Compute-bound 스텝은 실선 바; wait-bound 는 해치. 실행 중간의 wait 바는 보통 Agent 도구 설정에서 병렬화 가능한 시리얼 API 호출.실행 비교
트레이스에서 Compare with… 클릭하고 다른 트레이스 (같은 Flow, 다른 실행) 선택. 나란한 지연·비용 뷰. 유용:- 지연이 뛰었고 어느 스텝이 바뀌었는지 알고 싶음.
- 새 버전이 비용 증가 — 어디서 보기.
- 두 Agent A/B 테스트.
비용 알림
Flow 별 비용 알림 발화 조건:- 단일 실행이 임계값 초과 (예: “$1 넘는 어떤 실행이든”).
- 실행당 롤링 평균 비용이 N 실행 걸쳐 임계값 초과.
- 일/주/월 총 지출이 예산 초과.
사용자별 / 테넌트별 비용
실행이 스코프 키를 가지면 Insights 페이지가 스코프별 비용 그룹핑:- user_id 별 비용 — 누가 가장 비싼가.
- 테넌트별 비용 — 어느 고객이 비싼가.
- 기능별 비용 (트레이스의 태그 통해).
지연 예산
Flow 별 지연 예산 설정. 예산 초과 실행은 실행 목록에서 플래그. 흔한 예산:- 채팅: 3초.
- 백그라운드: 30초.
- 배치: 5분.