AI가 답을 내놓기 전에 속으로 생각하는 과정, 이른바 추론 흔적은 사용자에게 감춰져 있습니다. 그런데 연구자들이 그걸 끄집어내는 방법을 찾았습니다.
끌어낸 것 중에는 비밀번호와 API 키도 있었습니다.
어떤 취약점인가
독일 튀빙겐대학교, 막스플랑크연구소, AI 안전 연구기관 MATS Research, 보안기업 Snyk 연구진이 함께 확인했습니다. API로 접근하는 오픈AI·앤스로픽·구글의 최신 모델 전부에서 같은 문제가 나타났습니다.
튀빙겐대 알렉산더 판필로프 연구원은 **"우리가 테스트한 모든 주요 프론티어 모델 제공사가 이 취약점을 공유한다"**고 밝혔습니다.
- 개인정보 유출 가능 — 모델 내부 추론에 남은 비밀번호·API 키를 복원할 수 있었습니다
- 대규모 추론 증류(distillation) 공격이 가능해집니다
개인정보 복원 쪽 취약점은 이미 수정됐다고 합니다.
더 흥미로운 발견
연구진은 이 방법으로 모델들의 추론 흔적을 비교했습니다. 그랬더니 중국 문샷AI의 공개 가중치 모델 Kimi K3가 특정 프롬프트에서 Claude Opus 4.8과 GPT 5.6 Sol의 감춰진 추론 흔적과 놀랍도록 비슷한 출력을 냈습니다.
일부 중국 모델이 미국 선도 모델의 추론 정보를 증류해 학습했을 가능성을 시사하는 대목입니다. 다만 연구진은 선을 그었습니다 — "이 연구로 증류를 인과적으로 입증할 수는 없다".
같은 방식으로 확인한 다른 공개 가중치 모델인 중국 딥시크, 미국 씽킹 머신스의 Inkling은 Claude Opus와 이런 추론 유사성을 보이지 않았습니다.
문샷AI와 Z.ai는 답변 요청에 응하지 않았습니다.
왜 중요한가
- 보안: 감춰졌다고 믿었던 내부 처리 과정이 외부에서 복원 가능하다는 건, AI에 입력한 민감 정보가 그 흔적에 남을 수 있다는 뜻입니다
- 경쟁: 모델 학습에 다른 회사 모델의 출력을 쓰는 문제는 계속 논란이었는데, 이제 추론 패턴 비교라는 관측 도구가 생겼습니다
편집자 시각에서는
이 연구가 당장 개인 사용자에게 미치는 영향은 제한적입니다. 개인정보 복원 취약점은 수정됐고, 공격에는 API 접근이 필요합니다.
다만 방향은 분명합니다. AI에 무엇을 입력하는지가 앞으로도 계속 문제가 될 겁니다. 업무용 계정 정보나 고객 데이터를 챗봇 프롬프트에 그대로 넣는 습관은, 이런 연구가 나올 때마다 위험 목록이 하나씩 늘어난다고 보시면 됩니다.
출처: WIRED, A New Trick Reveals AI Models’ Inner Thoughts (https://www.wired.com)
#AI보안 #추론흔적 #프롬프트보안 #오픈AI #앤스로픽 #구글AI #딥시크 #AI연구
