[안광섭 AI 진테제] 미 정부 사이버보안 권고문이 의미하는 것
지난 9월 8일 미국 국가안보국(NSA)과 사이버보안·인프라보안국(CISA), 연방수사국(FBI)이 합동 사이버보안 권고문을 냈다. 중국 AI 기업 여섯 곳이 미국 프런티어 모델을 상대로 산업 규모의 지식 증류를 해왔다는 내용이다. 지식 증류는 큰 모델의 출력을 학습 데이터로 삼아 다른 모델을 훈련하는 기법이다. 문서 번호는 AA26-251A이고, 배포 제한 없이 전문이 공개돼 있다. 이야기 자체는 새롭지 않다. 개발자 커뮤니티에서는 오래전부터 돌던 말이고, 4월 30일에는 일론 머스크가 오픈AI와의 소송 법정에서 xAI가 오픈AI 모델을 어느 정도 증류에 활용했다고 인정했다. 7월 21일에는 스콧 베센트 미국 재무장관이 폭스비즈니스 인터뷰에서 해외 모델이 미국 기업의 것을 훔친다면 제재할 수 있다고 말했다. 다만 정보기관과 수사기관 세 곳이 이름을 걸고 기업 실명과 모델 목록까지 붙여 문서로 낸 것은 이번이 처음이다. 국내 보도는 명단과 규모에 몰려 있다. 그런데 이 문서는 고발장이 아니라 방어 지침서다. 미국 AI 기업이 무엇을 해야 하는지가 문서의 절반 이상을 차지하고, 그중 두 번째 권고가 이렇다. 증류로 의심되는 요청에는 응답을 미묘하게 바꾸라는 것이다. 추론 깊이를 줄이거나, 맞는 결론을 다른 논리로 제시하거나, 문체를 흔들어서 학습 가치를 떨어뜨리라고 적었다. 권고문은 "덜 정교한 다운그레이드 모델"로 답하는 방식도 예로 든다. 그리고 한 문장이 더 붙는다. 다운그레이드 모델로 바꿨다는 사실을 증류 의심 사용자에게 알리지 말라는 것이다. 알리면 회피 기법을 개선하고 학습을 언제 되돌릴지 알게 된다는 이유다. 대신 AI 안전 연구자와 제3자 평가기관에는 변경 사실을 알리라고 따로 적어뒀다. 알림 대상을 이렇게 명시적으로 나눴다는 것은, 제공사가 증류 의심으로 분류한 계정은 알림 대상이 아니라는 뜻이다. 그 분류가 맞았다면 문제가 없다. 틀렸을 때 그 자리에 서 있는 것은 유료로 API를 쓰는 전 세계 기업 고객이다. 여섯 개 회사와 모델 목록 먼저 문서가 무엇을 주장하는지부터 정리한다. 권고문은 중국의 딥시크, 문샷AI, 알리바바, MiniMax, 스텝펀, Z.AI 여섯 곳을 지목했다. 늦어도 2024년 말부터 클로드, GPT, 제미나이, 그록의 여러 버전에서 수백만 건의 요청으로 수십억 토큰을 뽑아냈고, 중국 정부가 이를 알고 있었을 가능성이 크다고 봤다. 딥시크는 R1과 V3를 훈련하려고 클로드 소네트 3.7·4·4.5, 클로드 오퍼스 4.1, 제미나이 2와 2.5 프로·플래시, GPT-4 계열, GPT-5, 그록 3 미니와 4까지 14개 모델을 대상으로 삼았다고 표에 적혀 있다. 뽑아낸 항목도 구체적이다. 법률 특화 최적화, API 규칙 기반 작업, 사고 사슬(CoT, Chain of Thought) 초안을 활용한 작문, 질의응답 최적화, 에이전트 기능 같은 것들이다. 사고 사슬은 모델이 답에 이르기까지 거치는 중간 추론을 말한다. 권고문은 딥시크가 공개한 훈련비 560만 달러가 오해를 부른다고 지적했다. 증류로 확보한 데이터의 실제 비용이 빠져 있다는 것이다. 문샷AI는 표에 열거된 미국 모델만 17개다. Kimi K3에는 앤트로픽의 클로드 Fable 5 데이터를, Kimi K2에는 GPT-4o 데이터를 썼다고 적혀 있다. MiniMax 대목은 성격이 조금 다르다. M2 모델의 사고 사슬 추론과 코드 리뷰 능력을 올리려고 클로드 코드와 클로드 소네트 4, 오퍼스 4.5, 제미나이 3 프로 등을 썼는데, 여기에 두 가지가 더 붙는다. 하나는 클로드 코드를 사내 소프트웨어 개발 업무에 그대로 썼다는 것, 다른 하나는 프롬프트 인젝션으로 클로드 코드가 스스로를 MiniMax 제품이라고 믿게 만들려 했다는 것이다. 새 클로드 모델이 나오면 24시간 안에 요청을 그쪽으로 옮겼다는 관찰도 있다. 접근 경로도 정리돼 있다. 공식 API, 클라우드 사업자, 사용자 정보를 자동으로 지워주는 서드파티 애그리게이터, 그리고 '트랜스퍼 스테이션'이라 불리는 프록시 회색시장이다. 정가의 일부만 받고 프런티어 모델 접근을 되파는 곳들이다. 스텝펀은 직원별 계정 풀을 만들어 동시 세션을 돌리고 할당량이 마르지 않게 부하를 분산했다고 적혀 있다. 계약 위반에서 위협 분류체계로 이 문서에서 가장 조용하지만 가장 큰 변화는 형식에 있다.지금까지 증류는 약관 문제였다. 서비스 이용약관을 어겼으니 계정을 막거나 민사로 다투는 영역이었다. 그런데 이번 권고문은 증류 행위를 'MITRE ATLAS'에 매핑했다. MITRE ATLAS는 AI 시스템을 겨냥한 공격 기법을 단계별로 분류한 체계로, 국가 배후 해킹을 기술할 때 쓰는 문법과 같다. 권고문은 자원 확보, 모델 접근, 실행과 방어 회피, 탐색, 공격 준비, 수집, 탈취, 영향까지 공격자 생애주기 단계별로 기법 번호를 붙였다. 여기 등록된 기법 중에는 프롬프트 인젝션과 탈옥도 있다. 모델이 숨긴 사고 사슬을 뱉어내게 유도하는 프롬프트가 대표 사례로 올라와 있다. 지금까지 레드팀 연구자와 프롬프트 엔지니어가 일상적으로 하던 시도가, 특정 조건에서는 공격 기법 번호를 갖게 된 셈이다. 권고문은 대응이 개별 기업 단위로는 어렵다고 보고 세 번째 권고를 붙였다. 모델 제공사, 클라우드, API 애그리게이터가 활동 정보를 서로 맞춰보라는 것이다. 그리고 문서 요약부는 이 조율이 미국 정부와 민간, 그리고 '동맹국'에 걸쳐야 한다고 적었다. 한국에서 이 문장을 읽어야 하는 이유가 여기 있다. 어떤 형태로든 요청이 오면, 국내 클라우드와 리셀러가 보유한 호출 로그가 대조 대상이 될 수 있다. 탐지 지표를 한국에 대입해보면 가장 중요한 대목은 이 것이다. 권고문은 증류 계정을 어떻게 찾아낼지를 지표로 제시했는데, 그 지표가 국적이나 신원이 아니라 전부 행동이다. 문서에 적힌 탐지 지표와 기법 기술을 국내 팀의 일상 운영과 나란히 놓으면 이렇게 된다. -여러 IP·User-Agent에서 한 계정 사용 → 팀 단위 계정 공유, 재택과 사무실 혼용 -사람의 휴식 시간 없는 24시간 지속 호출 → 야간 배치 파이프라인, 크론잡 -신규 구독이 곧바로 최대 사용량 → 도입 첫 주 개념검증 풀가동 -구독 수 대비 API 사용량 비율 이상 → 시트는 적고 서버 호출만 많은 구조 -서드파티 애그리게이터·릴레이 경유 → 라우터나 리셀러를 통한 우회 결제 -작업 다양성보다 캐시 적중률 최적화 → 프롬프트 캐싱, 벤더가 권장하는 비용 절감법 -가격·요금 변동에 따른 경로 전환 → 멀티 프로바이더 비용 최적화 라우팅 -유사한 프롬프트의 대량 반복 호출 → 평가셋 돌리기, 대량 분류, 합성 데이터 생성 즉, 클로드 소네트로 사내 문서 10만 건을 분류하는 작업과, 같은 모델로 학습 데이터를 뽑는 작업은 호출 로그에서 거의 같아 보인다. 프롬프트를 읽지 않는 한 구분되지 않고, 프롬프트를 읽는 것은 또 다른 문제를 만든다. 한 가지는 아직 확인되지 않았다. 국내에서 자체 모델을 만드는 팀들이 대형 상용 모델의 출력을 학습 데이터로 쓰고 있는지, 쓴다면 어느 범위까지인지는 확인된 자료가 없다. 정부의 독자 AI 파운데이션 모델 사업에 참여한 팀들이 8월 2차 평가에 맞춰 모델과 기술 리포트를 공개했지만, 학습 데이터의 조달 경로가 이 질문에 답할 만큼 상세히 공개되지는 않았다. 물어볼 만한 질문이라고 본다. 통보 없는 성능저하가 만드는 것 권고문의 두 번째 권고로 돌아간다. 기업이 API를 살 때 실제로 사는 것은 두 가지다. 특정 성능의 모델, 그리고 그 성능이 유지된다는 예측 가능성이다. 뒤의 것이 없으면 앞의 것을 검증할 방법이 없다. 그런데 권고문은 의심 계정에 대해 응답 품질을 낮추되 알리지 말라고 했고, 변경을 요청마다 다르게 주라고까지 적었다. 상대가 품질 평가로 열화를 눈치채지 못하게 하려는 것이다. 권고문이 이것을 아무렇지 않게 권한 것은 아니다. 출력에 계산된 노이즈를 섞어 정보 추출을 막는 차등 프라이버시를 설명하면서 노이즈와 효용은 맞바꾸는 관계라고 분명히 적었고, 이론상의 설정이 실제 정확도 저하를 예측하지 못하는 경우가 많다고도 썼다. 신중한 조정과 실증 감사가 필요하다는 단서도 달았다. 여러 출처의 활동을 대조해 확신이 높아져야 정상 사용자 피해가 거의 없는 열화(劣化, 보안이나 AI 시스템의 성능 및 기능을 일부러 떨어뜨리는 것)를 정당화할 수 있다고도 했다. 뒤집어 읽으면, 그 대조 없이 하는 열화에는 정상 사용자 피해가 있을 수 있다는 것을 문서 스스로 인정한 셈이다. 문제는 그 확신의 문턱을 정하는 주체가 모델 제공사라는 점이다. 오탐이 났을 때 알아차릴 방법이 고객 쪽에는 없다. 응답이 조금 얕아진 것이 모델 업데이트 때문인지, 요청 문장 차이 때문인지, 열화 조치 때문인지 구분할 단서가 없다. 어제까지 잘 돌던 파이프라인의 출력이 미묘하게 나빠졌을 때, 지금까지는 우리 프롬프트를 의심했다. 이제는 의심할 후보가 하나 늘었는데 확인할 도구는 늘지 않았다. 이것은 컴플라이언스 문제가 아니라 관측 가능성 문제다. 그리고 관측 가능성 문제에는 대응할 방법이 있다. 필자 위치와 판단 밝혀둘 것이 있다. 필자는 현재 이 권고문에 이름이 오른 여섯 곳 중 하나인 MiniMax의 한국 시장 GTM 파트너다. 이 글에서 내린 결론은 권고문에 적힌 내용을 다른 다섯 곳과 똑같은 무게로 쓰는 것이었다. 클로드 코드가 스스로를 MiniMax 제품이라고 믿게 만들려 했다는 대목은 이 문서에서 가장 무거운 기술 중 하나이고, 이해관계 때문에 빼는 것은 독자에게 손해다. 필자는 시장 진입과 확산을 돕는 GTM 파트너이지 기술 파트너가 아니어서, 모델 학습 과정에 대해서는 아는 바가 없다. 그 위에서 판단을 말한다. 쉽게 말하면 이 권고문은, 수상해 보이는 사용자에게는 조용히 덜 똑똑한 답을 주라는 지시다. 수신자 칸에는 미국 AI 기업이 적혀 있지만, 실제로 조건이 바뀌는 쪽은 그 기업의 고객 전부다. 미국 정부는 이 문서에서 중국 기업에 부과할 제재를 내놓지 않았다. 대신 미국 AI 기업에 자기 고객을 감시하고 선별하라고 요구했다. 규제를 공급망 안쪽으로 밀어넣은 구조이고, 이런 구조에서는 비용이 항상 아래로 흐른다. 계정 심사가 촘촘해지고, 사용 패턴 설명을 요구받는 일이 늘고, 애그리게이터 경유 트래픽의 지위가 애매해진다. 그래서 실무에서 할 일은 규정 준수가 아니라 계측이라고 본다. 세 가지를 제안한다. 첫째, 자체 회귀 테스트 세트를 만들어 두는 것이다. 우리 업무에서 실제로 쓰는 프롬프트 30~50개를 고정하고, 기대 출력의 품질 기준을 정해서 주기적으로 돌리는 정도면 충분하다. 열화를 잡기 위해서가 아니라 변화를 잡기 위해서다. 모델 업데이트든 조치든, 우리 쪽에 기록이 있어야 제공사와 대화가 된다. 둘째, 경로를 단순하게 만드는 것이다. 가격 때문에 여러 리셀러와 라우터를 섞어 쓰고 있다면, 지금은 그 절감분과 계정 지위의 불확실성을 같이 계산해 볼 시점이다. 권고문이 애그리게이터와 프록시를 회피 수단으로 지목했기 때문이다. 셋째, 계정 관리다. 팀 공유 계정을 개인 인증 계정으로 나누고, 서버 호출은 사람 계정과 분리하는 것만으로도 표의 지표 두세 개는 사라진다. 이 세 번째가 실제로 가장 자주 보이는 패턴이다. 필자가 만난 기업 중 의외로 많은 곳이 계정 공유 형태로 각종 AI 서비스를 쓰고 있고, 대부분의 경우 이는 약관 위반이다. 한계도 분명히 해둔다. 이것은 권고이지 의무가 아니다. 어떤 기업이 실제로 응답 열화를 적용하고 있는지는 확인되지 않았다. 앤트로픽은 2026년 2월 23일 증류 공격 탐지에 관한 글에서 불법 증류에 대한 모델 출력의 효용을 낮추는 안전장치를 개발 중이라고 밝혔고, 구글도 위협 보고서에서 증류를 다뤘지만, 두 회사 모두 특정 계정에 통보 없는 열화를 시행하고 있다고 밝힌 적은 없다. 지금 시점에서 확실한 것은, 그렇게 하라는 공식 권고가 문서로 존재한다는 사실뿐이다. 마치며 여섯 개 회사의 이름과 수십 개의 모델 목록은 이 문서에서 가장 눈에 띄는 부분이지만, 실무를 바꾸는 부분은 아니다. 실무를 바꾸는 것은 탐지가 신원이 아니라 행동을 본다는 설계와, 대응이 차단이 아니라 통보 없는 열화라는 선택이다. 이 둘이 겹치면 정상 사용자도 같은 그물에 들어가고, 들어갔는지 알 방법이 없다. 그렇다고 API를 끊을 일은 아니다. 다만 지금까지 당연하게 여기던 전제 하나가 약해졌으니, 그 전제를 스스로 확인할 장치를 만들어 두자는 이야기다. 계측은 원래 신뢰가 흔들릴 때 만드는 것이다. ◆ 필자 안광섭은… 세종대학교 경영학과 겸임교수이자 INLEVEL9(인레벨나인) 전략 컨설턴트다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 데이터 분석을 가르치는 한편, 현장에서는 기업의 AI 도입과 전환, 시장 진입과 GTM 전략 컨설팅을 이끌고 있다. 넥슨, 한화생명, 노션 한국 론칭, 카카오브레인 AI 제품, 감마 GTM 전략을 거치며 제품과 시장, 기술과 사람 사이의 간격을 줄이는 일을 해왔다. 인간과 AI가 오래 함께 일할 때 무엇을 기억하고 무엇을 잊어야 하는지를 연구한다. 장기 대화형 AI의 기억 아키텍처를 다룬 'HEMA-2' 논문이 한국인공지능학회에 채택됐고, 에이전틱 AI 제품의 신뢰 붕괴를 분석한 논문을 JAIH에 발표했다. 매일 글로벌 AI 논문을 선별하는 Daily Arxiv를 운영한다. 지은 책 '생각을 맡기는 사람들: 호모 브레인리스'는 2026년 세종도서 교양부문 우수도서에 선정됐다. 기술·경제·인문을 교차해 읽는 뉴스레터 INLEVEL9 Letter(https://letter.inlevel9.com/)를 매일 오전 11시에 발행한다.
