AI 에이전트 오작동으로 48달러가 4800달러로? 프로덕션 운영을 지키는 방법
機械翻訳 / Machine-translated
A
AI Friends
11時間前・11分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
고객 지원 AI 에이전트가 48달러로 끝났어야 할 환불을 4800달러로 처리해버렸다면, 여러분의 회사는 어떻게 될까요? 2026년 9월 도쿄에서 소개된 실제 사례를 바탕으로, AI 에이전트의 오작동을 막는 프로덕션 운영의 핵심 포인트를 정리합니다.
@IT의 기사에 따르면, 이 사례를 소개한 사람은 AAIF(Agentic AI Foundation)에서 개발자 커뮤니티를 총괄하는 앤지 존스(Angie Jones) 씨입니다.
고객 지원용 AI 에이전트가 본래 환불해서는 안 되는 고객에게, 48달러가 아닌 4800달러를 환불해버렸습니다.
원인은 '단위'에 있었던 것으로 보입니다. 데이터상의 금액은 '센트'로 기록되어 있었고, 4800센트는 48달러입니다. 그런데 도구를 호출할 때 단위가 무시되면서 4800이 '달러'로 처리된 것으로 추정됩니다.
AI가 갑자기 이상해진 것이 아닙니다. 숫자의 의미가 제대로 전달되지 않은 채, 아무도 그것을 막지 못했던 것입니다.
인간 경리 담당자라면 "48달러 환불에 4800달러?"라며 손이 멈췄을 것입니다. 하지만 AI 에이전트는 전달된 숫자를 그대로 실행합니다.
게다가 환불은 한 번 실행하면 취소하기 어려운 작업입니다. 멈추는 구조가 없다면, 실수는 그대로 손실이 됩니다.
이 이야기가 나온 것은 Linux Foundation 산하의 AAIF가 개최한 이벤트입니다. 공식 보도자료에 따르면, 개최일은 2026년 9월 10~11일, 장소는 도쿄 시부야의 Belle Salle Shibuya Garden이었습니다.
9개의 기술 트랙에서 40개 이상의 세션이 구성되었습니다. 주제는 '프로덕션에서 작동하는 에이전트 AI'입니다.
AAIF는 MCP(AI가 외부 도구 및 데이터와 연결되기 위한 공통 규칙), goose, AGENTS.md, agentgateway 등의 프로젝트를 관리하는 중립적인 조직입니다. 일본에서의 개최는 이번이 처음입니다.
존스 씨가 던진 질문은 "이 실수의 책임은 누구에게 있는가"였습니다.
"모델이 틀렸으니까"로 마무리 짓기는 쉽습니다. 하지만 강연에서는 모델을 선택해 시스템에 통합한 측에 책임이 있다는 입장이 제시되었습니다.
해결책으로 다음 세 가지가 제시되었습니다.
이를 존스 씨는 'own the loop(루프를 스스로 소유한다)'라고 불렀습니다.
기존에는 처리 도중 인간이 확인하는 'Human in the loop'나, 외부에서 지켜보는 'Human on the loop'가 거론되어 왔습니다. own the loop는 한 걸음 더 나아가, 구조 전체를 인간이 주체적으로 쥔다는 발상입니다.
또 다른 발표자인 AAIF 이그제큐티브 디렉터 마진 길버트(Mazen Gilbert) 씨는 모델의 차이보다 하네스의 차이가 더 크다고 주장했습니다.
하네스란 모델을 감싸는 구조의 총칭입니다. 로그 기록, 재시도, 롤백(원상 복구 기능), 권한 제어, 샌드박스(격리된 안전한 실행 환경), 인증, 평가 등이 포함됩니다.
보안 기업 Tines의 해설 블로그에서는 하네스를 4가지 구성요소로 설명합니다.
'프롬프트로 부탁하는 것'만으로는 강제력이 없다는 점이 중요합니다. 규칙은 모델의 외부에서 지키도록 해야 합니다.
예를 들어, 환불 도구 앞에 '1회당 상한 금액'과 '과거 평균과의 비교'를 두면 어떨까요. 48달러가 일반적인 상황에서 4800달러가 나오면 자동으로 멈추고 인간의 승인 대기 상태가 됩니다.
도구의 입력에 단위를 명시해두는 것만으로도 단위 혼동을 줄일 수 있습니다.
실패는 환불 오류만이 아닙니다. 호주 IT 기업 Epic IT의 블로그 게시물 「AI agent deleted a database in nine seconds」는 2026년 4월 24일 미국 소프트웨어 기업 PocketOS에서 발생한 사고를 소개합니다.
Cursor 위에서 작동하는 Claude Opus 4.6 에이전트가 프로덕션 데이터베이스와 그 백업을 약 9초 만에 삭제했다는 것입니다.
발단은 스테이징 환경(프로덕션 이전의 테스트 환경)에서의 작은 정리 작업이었습니다. 도중에 인증 오류가 발생했고, 에이전트는 멈춰서 확인하지 않고 스스로 해결하려 했다고 알려져 있습니다.
원인으로 지목된 것은 다음 4가지입니다.
예약 및 고객 정보가 손실되어, 고객들은 결제 로그와 이메일 확인을 바탕으로 다음 날까지 수작업으로 복구했다고 전해집니다.
다만 이는 사업자 블로그에 의한 2차 정보입니다. 세부 내용은 비판적으로 읽을 필요가 있습니다.
'가드레일'이라는 말은 사람에 따라 가리키는 범위가 다릅니다. 혼동하기 쉬우므로, Abhishek Tiwari 씨의 블로그의 정리를 빌려보겠습니다.
계층역할
가드레일AI의 입력과 출력 텍스트를 검사한다
액션 게이트도구를 호출하기 전에 실행해도 되는지 판정한다
하네스격리, 상태 관리 등 실행의 기반을 제공한다
거버넌스무엇을 허용할지 결정하는 조직의 역할이다
같은 블로그는 많은 팀이 액션 게이트를 갖추지 못했다고 지적합니다. 환불 사례에서도 위험했던 것은 텍스트가 아니라 '4800달러를 환불한다'는 행동 그 자체입니다. 입출력 필터만으로는 막을 수 없습니다.
또한 거버넌스에 대해서는 "구매하는 제품이 아니라, 쌓아가는 규율이다"라고 말합니다.
한국에서도 문의 대응, 경리, 사내 헬프데스크에 AI 에이전트를 도입하는 기업이 늘고 있습니다. 남의 일이 아닙니다.
어떤 중소기업의 이커머스 운영 담당자를 상상해보세요. 환불 대응을 AI에 맡겼더니, 단위 혼동으로 대량의 환불이 하룻밤 사이에 실행되어버렸습니다. 아침에 출근해보니 카드사에서 문의가 와 있는 상황입니다.
개발팀이라면, 테스트용 토큰이 실수로 프로덕션까지 조작할 수 있는 상태가 되어 있지는 않은지 확인해보세요. 야간 배치를 에이전트에게 맡기고 있는 부서라면, 오류 발생 시의 동작을 정해두었는지 점검해보세요.
다음 5가지 항목부터 검토하면 시작하기 쉽습니다.
다만, 승인을 너무 많이 늘리면 내용을 보지 않고 승인해버리는 '형식적 승인' 문제가 생깁니다. Tines의 블로그는 영향의 크기와 취소 가능 여부로 구분하기를 권장합니다. 읽기나 검색은 자동으로, 취소 불가능한 작업만 승인 대상으로 하는 구분이 현실적입니다.
길버트 씨의 강연에서는 운영 비용에 관한 이야기도 있었습니다. 오픈 웨이트 모델(누구나 입수해서 사용할 수 있는 AI 모델)을 조합하면, 프런티어 모델(최첨단 대형 모델)의 약 6분의 1 비용으로 처리할 수 있다고 소개되었습니다.
그럼에도 약 80%의 이용자는 프런티어 모델을 선택하고 있다고 합니다.
토큰(AI가 읽고 쓰는 문자량의 단위)의 단가는 연간 90% 이상 하락했습니다. 반면 사용량은 약 50배 이상 증가해 전체 비용은 오히려 늘고 있습니다. 길버트 씨는 이를 효율이 높아질수록 총 소비가 늘어나는 '제번스의 역설'에 비유했습니다.
1태스크당 약 3달러가 드는 최상위 모델에 비해, 점수가 약 10포인트 낮은 모델은 0.1달러 이하로 처리할 수 있는 사례도 제시되었습니다. 중요한 것은 태스크 전체를 가장 낮은 비용으로 완료할 수 있는지 여부라는 이야기입니다.
하네스가 잘 갖춰져 있으면, 저렴한 모델도 안심하고 맡기기 쉬워집니다.
A. 계산 실수라기보다는, 단위 정보가 제대로 전달되지 않은 것이 원인으로 보입니다. 데이터상 센트 단위인 4800이 도구 호출 시 달러로 처리되었다는 설명입니다.
A. 완전히 같지는 않습니다. 가드레일은 하네스의 일부로 언급되는 경우가 많으며, 하네스는 로그, 권한 제어, 격리 환경까지 포함하는 더 넓은 개념입니다. 다만 정의는 업계에서 통일되어 있지 않습니다.
A. 승인이 너무 많으면 내용을 보지 않고 통과시키는 '형식적 승인' 문제가 발생합니다. 취소 불가능한 작업이나 외부에 영향을 미치는 작업에 한정해 승인을 두는 것이 현실적입니다.
A. 필요합니다. 조직이 작을수록 1번의 사고가 미치는 영향이 커지기 쉽습니다. 먼저 권한 최소화와 금액·건수 상한 설정부터 시작하세요.
먼저 자사 AI 에이전트가 가진 권한을 목록으로 만들고, '취소 불가능한 작업'이 어떤 것인지 확인해보세요.
이 기사는 AI Friends의 크로스포스트입니다.
