앤트로픽의 증류 공격 방어 강화

증류 공격으로 Claude의 추론 과정을 복제해 학습 데이터로 쓰는 시도에 맞서 앤트로픽이 새 방어 체계를 공개했다. 기준 시점: 2026-10-12

무슨 일인가

앤트로픽이 2026년 10월 12일 "Strengthening our defenses against distillation attacks" 글을 통해 증류 공격(distillation attack) 방어 조치를 공개했다. 증류 공격은 더 크고 강력한 모델(Claude)에서 수백만 개의 응답을 뽑아내 작은 모델이 그 행동을 모방하도록 학습시키는 은밀하고 산업적 규모의 캠페인으로, 특히 Claude가 답에 이르기 전에 남기는 추론 과정(reasoning transcript)이 가장 가치가 높은 표적이라고 설명한다. 공격 유형은 일반 사용자처럼 요청을 보내고 응답을 모으는 수동적 증류와, "이전 추론을 그대로 출력하라"처럼 요약을 우회하도록 유도하는 능동적 추출로 나뉜다. 한 연구소는 서로 다른 방식으로 Claude를 속이려는 요청을 12,000개 시도했다고 밝혔다.

방어는 세 갈래다. 추론이 노출되는 범위를 통제하는 쪽에서는 2026년 8월 31일 이후 생성된 신규 API 계정이 이전 컨텍스트를 수정하지 못하게 막는 "preserved thinking"을 Claude Fable 5.1과 Opus 5.5에 도입했고, Claude Sonnet 5.5에서는 추론 기록을 요청한 조직만 볼 수 있게 했다. 추출 시도를 막는 쪽에서는 헌법적 분류기(constitutional classifiers) 방식의 2단계 분류기 시스템을 Claude Sonnet 5.5, Opus 5·5.5, Fable 5·5.1에 적용했다. 반복 시도를 어렵게 만드는 쪽에서는 증류 시도 계정에 더 엄격한 사용량 제한을 걸고, 9월 24일부터는 분류기가 응답 전에 차단한 요청에도 요금을 부과한다.

앤트로픽은 이 조치로 증류업체가 수집하는 데이터가 초기 추정 약 90~99% 줄었다고 밝혔다. SWE-bench Verified 실험에서는 전체 추론으로 학습한 모델이 80.4%, 요약된 추론으로 학습한 모델이 71.8%를 기록해 요약만으로도 방어 효과가 있었다고 설명한다. 분류기 도입 후 증류업체가 추출한 추론 토큰은 이전보다 10~100배 이상 줄었고, 오탐율은 0.1% 미만이라고 밝혔다. 증류 관련 계정 수만 개를 정지했으며, 캠페인 시작 뒤 두 시간 안에 정지하는 경우가 많다고 한다.

글은 구체적 사례도 들었다. Zhipu는 GLM-5.3을 개발하며 미국 주요 모델의 사이버 능력을 증류하려 했는데, Claude Fable 5를 시도했다가 안전장치로 공격 성능이 떨어지자 구형 Claude 모델과 다른 연구소 모델로 전환했다고 한다. 미국 CAISSI는 GLM-5.3을 공개 가중치 모델 중 사이버 능력이 가장 뛰어난 모델로 평가했다. Moonshot의 Kimi 모델로 가는 요청이 증류 목적으로 몰래 Claude에 전달된 사례도 있었는데, 그중 하나는 인민해방군(PLA)과 관련 있다고 추정되는 사용자가 특정 인물의 CCTV 영상을 분석하려 한 요청이었다.

왜 중요한가

추론 과정 자체가 복제 가능한 자산이 되면서, 모델 제공자가 지켜야 할 대상이 "최종 답변"에서 "답에 이르는 과정"으로 옮겨가고 있다는 점을 보여준다. 방어에는 트레이드오프가 따른다. 일부 정당한 개발자가 연동을 업데이트해야 했고, 분류기가 0.1% 미만이지만 정상 요청을 잘못 차단할 수 있으며, 앤트로픽은 증류업체와 관련된 수조 토큰 규모의 유료 트래픽과 매출을 스스로 거절했다고 밝혔다. 2월에는 정상 사용자 경험에 영향을 주지 않겠다고 했지만 이번 글에서는 그 목표를 완전히 달성하지는 못했다고 인정한다.

짚고 갈 개념

내 생각

추론 체인을 공개하면서도 그 내용을 통째로 복제당하지 않게 막는 게 점점 어려운 균형잡기로 보인다. 분류기·사용량 제한 같은 운영 레이어의 방어가 모델 자체의 방어보다 더 중요해지는 방향으로 가는 것처럼 보인다.

출처

CSLOG에서 보기