Agent 기본
3줄 요약
- Agent는 모델이 목표를 달성하기 위해 계획하고 tool을 호출하며 여러 단계를 수행하는 구조다.
- 운영 서비스에서는 완전 자율 agent보다 제한된 workflow와 명확한 tool 경계가 안전하다.
- agent의 핵심 위험은 무한 루프, tool 오용, 비용 폭증, 권한 과다, 중복 실행이다.
핵심 정리
- agent는 LLM, tool calling, memory, planning, workflow, evaluation의 조합이다.
- read-only agent와 write-capable agent는 위험도가 다르다.
- agent loop에는 max step, max tool call, max cost, timeout이 필요하다.
- write tool은 approval, idempotency, audit log가 필요하다.
- agent 결과는 trace가 없으면 디버깅하기 어렵다.
헷갈리는 지점
- agent가 자율적으로 처리하므로 설계가 줄어든다고 생각하기 쉽다.
- 핵심은 자율성이 운영 불확실성을 늘린다는 점이다.
- 더 강한 제한과 관측성이 필요하다.
- multi-agent를 쓰면 복잡한 업무가 자동으로 풀린다고 생각하기 쉽다.
- 핵심은 agent 수가 늘수록 통신, 책임, 비용, 실패 경로도 늘어난다는 점이다.
확인 질문
- 운영 agent에서 반드시 제한할 것은 무엇인가?
- max step, max tool call, timeout, cost, write tool 권한이다.
- write tool agent가 위험한 이유는 무엇인가?
- 모델 판단이 실제 외부 상태 변경으로 이어지고 중복 실행 사고가 날 수 있기 때문이다.
Workflow Automation
3줄 요약
- Workflow Automation은 agent의 자율성을 제한하고 업무 단계를 명시적으로 설계하는 접근이다.
- 고객 지원, 문서 처리, 코드 리뷰, 리포트 생성처럼 반복 업무에 적합하다.
- 백엔드에서는 상태 전이, 승인, 재시도, 보상 트랜잭션을 설계해야 한다.
핵심 정리
- workflow는 단계와 상태를 명시한다.
- 각 단계는 입력, 출력, 실패, 재시도 조건을 가진다.
- AI는 일부 단계의 초안, 분류, 추출, 추천을 담당할 수 있다.
- 고위험 단계는 human approval을 넣는다.
- workflow trace는 감사와 장애 대응에 중요하다.
헷갈리는 지점
- workflow는 agent보다 덜 똑똑한 방식이라고 생각하기 쉽다.
- 핵심은 운영에서는 예측 가능성이 큰 장점이라는 점이다.
- 자동화는 자율성보다 안정성이 중요할 때가 많다.
- 모든 단계를 AI로 처리해야 한다고 생각하기 쉽다.
- 핵심은 rule과 일반 코드가 더 안정적인 단계는 그대로 두는 것이다.
확인 질문
- bounded workflow가 운영에 유리한 이유는 무엇인가?
- 단계, 실패, 재시도, 승인, 감사가 명확하기 때문이다.
- AI가 workflow에서 맡기 좋은 역할은 무엇인가?
- 분류, 요약, 추출, 초안 생성, 후보 추천이다.
Agent 평가와 관측성
3줄 요약
- Agent 평가는 최종 답변뿐 아니라 tool 선택, 단계 수, 비용, 실패 복구를 함께 봐야 한다.
- trace에는 plan, tool call, tool result, decision, cost, final output이 연결되어야 한다.
- agent 장애는 재현이 어렵기 때문에 replay 가능한 로그와 eval scenario가 필요하다.
핵심 정리
- agent는 multi-step이라 실패 원인이 많다.
- tool 선택이 맞았는지, 불필요한 tool을 호출했는지, loop가 생겼는지 평가한다.
- 비용과 latency는 step 수에 비례해 커질 수 있다.
- replay 가능한 trace가 없으면 디버깅이 매우 어렵다.
- agent eval에는 정상 업무, tool 실패, 권한 거절, prompt injection이 포함되어야 한다.
헷갈리는 지점
- agent의 최종 답변만 맞으면 내부 과정은 상관없다고 생각하기 쉽다.
- 핵심은 내부 tool 호출이 비용과 side effect, 보안 위험을 만들 수 있다는 점이다.
- 과정 평가가 필요하다.
- agent trace를 모두 저장하면 된다고 생각하기 쉽다.
- 핵심은 tool result와 prompt에는 민감정보가 있을 수 있다는 점이다.
확인 질문
- agent eval에서 최종 답변 외에 볼 것은 무엇인가?
- tool 선택, step 수, 비용, 권한 거절 처리, loop 여부, 실패 복구다.
- agent trace 저장에서 조심할 것은 무엇인가?
- 민감정보, tool result 원문, 고카디널리티, 보존 기간이다.