이 문서를 통해 아래 질문들에 답할 수 있게 됩니다.
- prompt, model, schema, index 변경은 어떻게 배포해야 하는가?
- AI 기능에서 rollback은 무엇을 되돌리는 것인가?
- canary와 feature flag는 AI 배포에서 어떻게 쓰이는가?
개요
AI 기능 배포는 코드만 배포하는 일이 아니다. prompt, model, schema, retrieval profile, vector index, tool schema가 모두 사용자 품질에 영향을 준다.
따라서 AI artifact는 버전과 배포 절차를 가져야 한다.
Artifact 목록
- prompt version
- model profile
- structured output schema
- retrieval profile
- embedding model
- vector index version
- tool schema
- guardrail policy
- eval dataset
각 artifact가 바뀌면 eval과 rollback 기준이 필요하다.
Canary 배포
AI 기능 canary는 작은 사용자나 tenant에 새 artifact를 적용하고 지표를 본다.
확인 지표:
- validation failure rate
- refusal rate
- fallback rate
- token usage
- latency
- user feedback
- retrieval source quality
Rollback
rollback은 코드만 되돌리는 것이 아니다.
- prompt version rollback
- model profile rollback
- schema version rollback
- retrieval profile rollback
- old vector index로 route
- tool schema compatibility 유지
vector index rollback은 특히 어렵기 때문에 dual index 전략을 검토한다.
코드로 이해하기
version routing 예시다.
routes:
document_qa:
default:
prompt_version: doc-qa-v3
model_profile: balanced
retrieval_profile: top8-rerank-v2
canary:
traffic_percent: 5
prompt_version: doc-qa-v4
model_profile: balanced
retrieval_profile: top8-rerank-v2이렇게 두면 prompt만 작은 트래픽에 적용할 수 있다.
장애 상황과 대응
배포 후 validation failure 증가:
- prompt/schema/model 중 무엇이 바뀌었는지 확인한다.
- canary만 끈다.
- 이전 prompt version으로 rollback한다.
- 실패 케이스를 eval에 추가한다.
RAG 품질 저하:
- retrieval profile과 index version을 확인한다.
- old index로 route 가능한지 본다.
- 재색인 완료율을 확인한다.
인프라 협업 포인트
인프라팀과 feature flag, config 배포, secret rotation, index version routing, canary traffic splitting을 합의한다.
실전 팁
- prompt와 schema를 동시에 바꾸지 않는다.
- model 변경은 비용과 latency 변화도 본다.
- vector index 변경은 migration처럼 다룬다.
- rollback 방법이 없는 artifact는 production 변경을 신중히 한다.
위험 신호!
- prompt가 DB에서 바로 수정되고 이력이 없다.
- model profile 변경 후 eval이 없다.
- index version이 없어 rollback이 불가능하다.
- canary 없이 전체 배포한다.
확인 질문
확인 질문
- AI 배포에서 rollback 대상은 무엇인가?
- 코드뿐 아니라 prompt, model profile, schema, retrieval profile, vector index, tool schema다.
- prompt와 schema를 동시에 바꾸면 위험한 이유는 무엇인가?
- validation 실패가 발생했을 때 원인을 분리하기 어렵기 때문이다.
Spring AI 적용 연결
- Spring AI에서는 prompt, model profile, vector index 변경을 코드 배포와 별개로 추적해야 한다. model 설정 경계는 04. ChatClient Model Auto Configuration에서 이어진다.
- index 재배포와 rollback 기준은 09. Embedding VectorStore RAG ETL 설계를 함께 본다.