명령
traces list
필터
--status pending|running|completed|error— 실행 상태.--needs-review— 사람 리뷰 플래그된 트레이스만.--search <text>— 프롬프트·도구 인자·도구 응답·답변에 대한 전문.--from <YYYY-MM-DD>/--to <YYYY-MM-DD>— 날짜 범위.--flow <slug>— 한 Flow 로 스코프.--verdict <verdict>— 검증 판정으로 필터:SUPPORT,PARTIALLY_SUPPORTED,NOT_SUPPORT,unverified.--limit <n>— 최대 로우. 기본 50.--page <n>— 페이지네이션, 1 기반.
--json 추가.
traces get
- 오프라인 리뷰용 저장:
nora traces get tr_abc > trace-tr_abc.json. - 도구 호출만 추출:
nora traces get tr_abc | jq '.spans[] | select(.kind=="tool")'. - 두 실행 diff:
diff <(nora traces get tr_a) <(nora traces get tr_b).
traces verify
traces verification 폴링해서 결과 얻음.
플래그:
--decompose-model <m>— 클레임 분해에 쓰는 모델 오버라이드.--verify-model <m>— 각 클레임 체크에 쓰는 모델 오버라이드.
traces verification
SUPPORT— 모든 클레임이 리트리벌된 증거에 뒷받침.PARTIALLY_SUPPORTED— 일부 클레임 뒷받침, 일부 아님.NOT_SUPPORT— 답변에 대한 뒷받침 발견 안 됨.unverified— 검증 트리거 안 됨.
unverified 반환 — 먼저 traces verify 호출.
traces stats
- 총 트레이스 (전체 시간과 최근 24h).
- Flow 별 트레이스.
- 판정 분포.
- 에러율.
--json 추가.
레시피
한 Flow 의 최근 실패 찾기
야간: 검증 누락된 모든 트레이스에 검증기 실행
주간 리포트: NOT_SUPPORT 율
오프라인 분석용 트레이스 벌크 다운로드
트레이스를 시그널에 붙임
트레이스에서 시그널 생성하는 CLI 명령 없음 — 그건 앱 사용. 프로그래매틱 피드백은nora feedback 참고.
트레이스 보존
트레이스가 Flow 설정에 따라 보존 (기본 90일). 페이로드 보존 (원시 프롬프트와 도구 인자) 이 컴플라이언스 워크로드에 더 짧을 수 있음. 트레이스 페이로드가 스크럽되면traces get 이 메타데이터만 반환.
traces stats 가 보존 존중 — 카운터가 스크러빙에 영향 안 받음 (메타데이터가 페이로드보다 오래 유지).
관련
- 트레이스 개요 — 개념.
nora feedback— 트레이스에 피드백 붙임.nora approvals— 사람 기다리는 실행의 승인 결정.