Skip to main content
모든 파이프라인 실행 — 수동·스케줄·워치·웹훅 — 이 기록됩니다. Run logs 페이지에서 최상위 요약부터 단일 항목의 모든 스테이지 여정까지 파고들 수 있습니다.

실행 목록

주어진 파이프라인의 실행 목록이 보여주는 것:
  • Started at — 시작 타임스탬프.
  • Duration — 전체 벽시계 시간.
  • Status — success / partial / failed / running.
  • Items in / out — 몇 개의 소스 항목이 들어왔고 몇 개의 청크가 쓰였는지.
  • Cost — 전체 지출 (임베딩, LLM 강화기, 모델 호출).
날짜 범위, 상태, 트리거 종류로 필터.

실행 파고들기

실행을 클릭하면 스테이지 분해:
  • Trigger — 무엇이 실행을 발동시켰는지 (런 페이로드와 함께).
  • Source — 끌어온 항목, 크기, 캐시 히트.
  • Clean — 드롭 카운트, 편집 통계.
  • Normalize — 소스 항목당 생성된 청크.
  • Enrich — 강화기별 시간과 비용.
  • Output — 목적지별 쓰기.
각 스테이지가 블록별 타이밍을 보여줘 느린 부분을 발견 가능. 긴 스테이지가 반드시 고장은 아님 — 좋은 파이프라인도 시간의 대부분을 임베딩에 쓸 수 있음.

항목 레벨 뷰

파이프라인에 들어온 모든 항목은 엔드투엔드로 검사 가능:
  • 원시 소스 (또는 너무 크면 해시).
  • Clean 스테이지가 무엇을 했는지 (어떤 편집, 어떤 스트리퍼).
  • Normalize 가 어떤 청크를 생성했는지.
  • Enrich 가 어떤 메타데이터를 추가했는지.
  • Output 스토어의 어디에 착지했는지 (또는 왜 스킵됐는지).
“왜 이 문서가 리트리벌에 나타나지 않지?” 를 디버그하는 데 좋음.

에러

에러는 스테이지 뷰에서 빨간 항목으로 나타남. 흔한 것들: 에러를 클릭하면 전체 스택과 그것을 트리거한 정확한 입력.

재실행

두 종류:
  • Rerun (from cache) — 소스 콘텐츠가 바뀐 항목만 재처리. 빠름. 기본.
  • Rerun (ignore cache) — 모든 것 재처리. 파이프라인 로직이 바뀌어 전체 재빌드 원할 때.

알림

파이프라인별 알림 설정:
  • On failure — Slack / 이메일 / 웹훅 게시.
  • On threshold — 드롭 항목 > X%, 비용 > $Y, 소요 > Z 분.
  • On silence — 예상 스케줄 놓침.
알림은 워크스페이스 Notifications 설정을 통해 라우팅됩니다.

보존

실행 로그는 기본 90일 보존. 메타데이터 (소요, 카운트, 비용) 는 1년 보존. 원시 소스 스냅샷은 파이프라인의 페이로드 보존 설정 따름.