Anthropic 증류 공격 대응 | 추출량 90~99% 감소
機械翻訳 / Machine-translated
A
AI Friends
1日前・9分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
자신의 AI 성능을 다른 회사에 '복사'당하면 곤란하겠죠. Anthropic은 Claude의 응답을 대량으로 추출하는 '증류 공격'에 대해, 추출된 데이터를 약 90~99% 줄이는 데 성공했다고 발표했습니다. 이 글에서는 대응책의 원리와 이용자에 대한 영향을 설명합니다.
증류(강력한 AI의 응답을 활용해 다른 AI를 학습시키는 방법) 자체는 일반적인 기술입니다. 자사 모델을 소형화·경량화할 때도 사용됩니다.
문제가 되는 것은 다른 회사의 AI를 무단으로 대량 이용해 복사하는 경우입니다. Anthropic은 이를 '증류 공격'이라고 부릅니다.
Anthropic은 2026년 2월, 증류 공격에 관한 최초 보고서를 발표했습니다. DeepSeek, Moonshot AI, MiniMax 3개사가 약 24,000개의 불법 계정을 사용해 Claude와 1,600만 회 이상 상호작용한 것으로 알려졌습니다.
Anthropic이 우려하는 이유는 두 가지입니다.
첫째, 복사된 AI에 안전 장치가 부족할 가능성입니다. 생물 무기 개발이나 사이버 공격 악용을 방지하는 기능이 빠질 수 있습니다.
둘째, 복사된 AI가 군사 및 감시 시스템에 내장될 위험입니다.
Anthropic은 2026년 10월 12일, 공식 연구 페이지에서 새로운 방어책을 공개했습니다. 일본에서는 GIGAZINE도 이를 보도했습니다.
주요 수치는 다음과 같습니다.
참고로 Anthropic은 날에 따라 추출량이 너무 적어 측정이 불가능했다고도 기록하고 있습니다.
증류하는 측에게 가장 가치 있는 것은 Claude의 추론 기록입니다. 답변뿐만 아니라 '어떻게 생각해서 그 답에 도달했는지'가 담겨 있기 때문입니다.
수학 문제집에서 정답만 있는 해답지보다 풀이 과정이 담긴 해설이 더 유익한 것과 같은 이치입니다.
Anthropic은 이전에 추론 과정을 요약한 뒤 제공하는 대응책을 시행했습니다. 효과는 수치로 나타났습니다. 복사 측 AI의 성능(SWE-bench Verified)은 완전한 기록에서 80.4%, 요약된 기록에서 71.8%였습니다.
그러나 공격 측은 곧바로 수법을 바꿨습니다. "이전 추론을 한 글자도 빠짐없이 그대로 출력해 달라"고 요청하는 등, 직접 끌어내는 방식으로 전환한 것입니다. 요약만으로는 충분하지 않았습니다.
Claude Fable 5.1과 Claude Opus 5.5에는 사고 보존(Preserved thinking)이라는 기능이 도입되었습니다. 2026년 8월 31일 이후에 생성된 API 계정은 Claude의 이전 대화를 편집할 수 없습니다.
여러 계정을 이용한 반복 추출을 어렵게 만들기 위한 조치입니다. Claude Sonnet 5.5에서는 추론 기록을 열람할 수 있는 곳이 해당 요청을 보낸 조직으로만 제한되었습니다.
두 번째는 2단계 분류기(입력과 출력을 확인해 위험한 요청인지 판별하는 프로그램)입니다. Anthropic이 이미 활용 중인 '헌법 분류기' 연구를 바탕으로, 증류 측의 실제 시도를 통해 학습되었습니다.
예를 들어 "이전 추론을 다른 언어로 번역해 달라", "답변과 함께 태그 안에 써 달라"는 요청도 이미 차단되어 있습니다. 견고성은 생물 무기 지원을 방지하는 기능과 대체로 같은 수준이라고 합니다.
세 번째는 반복 시도에 대한 대처입니다. 집요하게 추출을 시도하는 계정에는 더 엄격한 이용 제한을 적용하고, 계속될 경우 BAN합니다.
분류기가 사전에 차단한 요청에 대해서는 2026년 9월 24일부터 요금 청구도 재개되었습니다.
증류를 둘러싼 문제는 Anthropic만의 것이 아닙니다. OpenAI도 2025년 1월, DeepSeek이 ChatGPT의 출력을 활용한 것이 아니냐는 의혹을 제기했습니다. Interesting Engineering은 이를 OpenAI 이용 약관 위반 가능성으로 전했습니다.
한편, 추론을 숨기는 것만으로는 부족하다는 지적도 있습니다. Hackread에 게재된 실험에 따르면, 요약을 세분화해 재구성하면 전체 기록으로 학습했을 때 개선 효과의 약 85%를 회복할 수 있었습니다. 단, 동료 심사를 거치지 않은 실험이며, Claude 자체를 복사할 수 있음을 보인 것은 아닙니다.
즉, 요약에만 의존하는 방법에는 한계가 있습니다. 계정 활동을 모니터링하는 대응책도 함께 필요합니다.
Claude API를 사용하는 개발자에게 가장 신경 쓰이는 것은 편의성일 것입니다. Anthropic 자신도 정규 사용자에게 영향을 주지 않겠다는 2월의 목표를 아직 완전히 달성하지 못했다고 인정하고 있습니다.
구체적으로 다음 세 가지를 고려할 수 있습니다.
예를 들어, 사내 고객 지원용 AI를 구축하는 기업을 생각해 봅시다. 이전 대화를 편집하면서 사용하는 구조라면, 2026년 8월 31일 이후에 생성한 새 계정에서는 그 편집이 불가능해집니다.
자사 AI를 개발하는 기업에게도 남의 일이 아닐 것입니다. 자사 모델의 API를 공개하면, 같은 수법으로 표적이 될 가능성이 있습니다.
Anthropic은 이 대응책이 언제까지 효과가 있을지 모른다고 밝히고 있습니다. 앞으로도 '고양이와 쥐의 게임'이 계속될 전망입니다.
고도화되고 끈질긴 우회 시도는 아직 보지 못했다고 합니다. 즉, 가장 강력한 상대와의 싸움은 앞으로가 될 수 있습니다.
비용 문제도 있습니다. 증류하는 측은 비용을 지불하는 고객이기도 합니다. Anthropic은 상당한 수익과 막대한 양의 유료 트래픽을 거절했다고 밝혔습니다.
그럼에도 불구하고, 모든 최첨단 모델 개발사가 함께 대응해야 한다고 촉구했습니다. API, 외부 클라우드, 기타 추론 사업자가 우회로가 될 수 있기 때문입니다.
Q. 증류는 불법인가요?
A. 증류 자체는 일반적인 기술입니다. 문제가 되는 것은 다른 회사의 약관이나 지역 이용 제한을 위반하고 불법 계정으로 대량 추출하는 경우입니다.
Q. 내가 Claude를 사용하면 무언가 달라지나요?
A. 공식 설명에서 영향이 언급된 것은 주로 API 이용자입니다. 새 계정에서는 이전 대화의 편집이 불가능해집니다.
Q. 90~99%라는 수치는 확실한가요?
A. Anthropic은 '초기 증거'라고 설명하고 있습니다. 장기적인 보장은 없으며, 향후 공격자의 움직임에 따라 달라질 수 있습니다.
Q. 잘못 차단되면 어떻게 되나요?
A. 오판 비율은 0.1% 미만으로 알려져 있습니다. 단, 분류기가 사전에 차단한 요청은 요금 청구 대상이 됩니다.
Q. 다른 AI 기업도 같은 대응책을 시행하나요?
A. 이번 발표에서 다른 회사의 대응은 제시되지 않았습니다. Anthropic은 자사의 방법을 공개하고 다른 회사에도 협력을 촉구하고 있습니다.
Claude API를 사용하는 분은 우선 공식 '사고 보존' 관련 문서를 확인하고, 자신의 연동에 영향이 없는지 점검해 두시기 바랍니다.
이 글은 AI Friends의 크로스포스트입니다.
