Model Extraction Attack
개념
Model Extraction Attack(모델 추출 공격)은 외부에서 접근할 수 있는 AI(API 등)에 수많은 질문(Input)을 던지고 그 답변(Output)을 수집하여, 원본 AI와 똑같이 동작하는 ‘복제본 AI(Surrogate Model)’를 만들어내는 해킹 기법이다.
공격 방식
AI모델이 Black-box상태라고 가정을 하자. 하지만 공격자는 다음 세가지를 거쳐 AI모델을 복제를 할 수 있다.
- Querying(질문): 공격자는 타겟 모델에 데이터를 입력한다.
- Response Collection(결과 수집): 모델이 내놓는 결과물들(최종 결과, 신뢰도 점수 등)을 기록한다.
- Training Surrogate Model(복제 모델 훈련): 수집한 결과물들을 공격자가 설계한 모델에 학습을 시켜 원본 모델의 판단 기준을 그대로 흉내 내도록 학습시킨다.
Model Extraction Attack이 치명적인 이유
- 경제적 손실(지적재산권 침해): 막대한 비용이 들여 개발한 AI를 무단으로 복제할 수 있다.
- 2차 공격: 해커가 복제 모델을 사용하여 Evasion Attack등을 테스트할 수 있다.
Model Extraction Attack 방어 방법
| 방어 기술 | |
|---|---|
| 출력값 제한 | “98.7% 확률로 고양이”처럼 디테일한 점수(Soft Label)를 주지 않고, 단순히 “고양이”라는 결과(Hard Label)만 주거나 점수에 노이즈를 섞어 반환한다. 이를 통해 공격자는 정밀한 복제 모델을 만들기 어려워진다. |
| 비정상 쿼리 탐지 | 한 사용자가 짧은 시간에 많은 양의 데이터를 입력하거나, 이상한 패턴 입력을 반복하면 접근을 차단한다. |
| 워터마크 삽입 | 모델 개발 단계에서 특정 이상한 질문에 대해서만 ‘엉뚱한 오답’을 내뱉도록 미리 설계(함정)해 둔다. 이를 통해 모델 복제가 의심이 되는 경우 그 함정 질문을 던져서 똑같은 오답이 나오면 모델을 복제를 했다는 명백한 증거로 활용할 수 있다. |
실제 사례
2011년에 벌어진 구글(Google)과 마이크로소프트 빙(Bing)의 알고리즘 도용 논란이다.
사건 배경
구글은 마이크로소프트가 인터넷 익스플로러(Internet Explorer)와 브라우저 기능을 이용해 사용자의 검색 행동을 수집하고 있다고 의심했다. 사용자가 구글에서 검색한 단어와 클릭한 결과(입력-출력 쌍)를 수집한 뒤, 이를 빙의 검색 알고리즘 개선에 활용하고 있다는 것이었다.
이 의심이 사실이라면 빙은 자체적으로 검색 품질을 높인 것이 아니라, 구글의 검색 결과를 간접적으로 학습하고 있는 셈이었다.
구글의 함정
구글은 이를 검증하기 위해 의도적으로 ‘워터마크’ 역할을 하는 데이터를 만들었다.
엔지니어들은 hiybbprqag라는 실제로 존재하지 않는 문자열을 검색했을 때 특정 극장 홈페이지가 항상 검색 결과 1위에 나타나도록 내부적으로 설정했다.
이 단어는 현실에서 사용되지 않는 문자열이기 때문에, 정상적인 검색 알고리즘이라면 해당 극장 홈페이지를 연결할 이유가 없었다.
즉, 이 검색 결과가 다른 검색 엔진에서도 그대로 나타난다면 외부에서 구글의 검색 데이터를 가져갔다는 강력한 증거가 되는 구조였다.
결과
이후 빙에서 동일한 문자열인 hiybbprqag를 검색을 한 결과 존재하지 않는 단어임에도 구글이 의도적으로 연결해 둔 동일한 극장 홈페이지가 빙에서도 검색 결과 1위로 나타났다.
이는 빙이 구글 검색 결과에서 수집한 데이터를 그대로 학습에 활용했을 가능성을 보여주는 사례가 되었으며, 구글은 이를 근거로 검색 결과 도용 의혹을 공개적으로 제기했다.
출처: BBC News, Google accuses Bing of copying search results, https://www.bbc.com/news/technology-12343597
Leave a comment