이 문서를 통해 아래 질문들에 답할 수 있게 됩니다.
- AI 기능에는 어떤 SLO와 지표가 필요한가?
- 일반 API 지표와 AI 특화 지표는 어떻게 다른가?
- 운영 대시보드에 무엇을 올려야 장애를 빨리 찾을 수 있는가?
개요
AI 기능도 운영 서비스다. latency, availability, error rate 같은 일반 지표가 필요하고, token, validation failure, retrieval, tool, refusal 같은 AI 특화 지표도 필요하다.
SLO는 팀이 어떤 품질을 사용자에게 약속할지 정하는 기준이다.
일반 지표
- request count
- error rate
- P50/P95/P99 latency
- timeout rate
- queue depth
- worker error rate
- dependency error
AI 특화 지표
- input/output token
- validation failure rate
- refusal rate
- fallback rate
- retrieval empty rate
- retrieval latency
- source count
- tool call count
- tool error rate
- prompt version별 error
- tenant별 비용
이 지표가 있어야 “모델이 이상하다”를 구체화할 수 있다.
코드로 이해하기
metric label은 낮은 cardinality로 유지한다.
meterRegistry.counter(
"ai.validation.failure",
"feature", featureName,
"prompt_version", promptVersion,
"failure_type", failureType
).increment();user question이나 source title 같은 고카디널리티 값은 label로 넣지 않는다.
SLO 예시
slo:
document_qa:
availability: 99.5
p95_latency_ms: 8000
validation_failure_rate: 0.02
retrieval_empty_rate: 0.05
fallback_rate_alert: 0.10AI 기능 SLO는 품질과 운영 지표가 함께 들어갈 수 있다.
장애 상황과 대응
fallback rate가 증가하면 provider 장애나 primary model 문제를 의심한다. validation failure가 증가하면 prompt, schema, model 변경을 의심한다. retrieval empty가 증가하면 index와 query rewrite를 본다.
인프라 협업 포인트
인프라팀과 지표 이름과 alert 기준을 맞춘다. AI 기능은 provider, vector DB, queue, worker가 얽히므로 대시보드를 함께 봐야 한다.
실전 팁
- feature별로 지표를 분리한다.
- prompt version별 실패율을 본다.
- token P95와 latency P95를 함께 본다.
- 비용 alert는 tenant별로 둔다.
위험 신호!
- AI 기능 지표가 일반 500 error만 있다.
- token usage metric이 없다.
- validation failure가 로그에만 있고 metric이 없다.
- provider 장애와 내부 오류가 같은 error로 보인다.
확인 질문
확인 질문
- AI 특화 지표가 필요한 이유는 무엇인가?
- 일반 API 지표만으로는 prompt, schema, retrieval, tool, token 문제를 구분하기 어렵기 때문이다.
- validation failure rate가 증가하면 무엇을 의심해야 하는가?
- prompt, schema, model, fallback, output token limit 변경을 의심해야 한다.
Spring AI 적용 연결
- Spring AI 서비스의 SLO는 latency, token usage, provider error, refusal, grounded answer rate를 함께 본다. 관측성 구성은 11. Observability와 장애 대응 런북에서 이어진다.
- SLO를 인프라팀과의 운영 계약으로 바꾸는 방법은 12. Production Readiness와 인프라 협업을 함께 확인한다.