AI를 속이는 공격은 스티커만이 아니다 — Data Poisoning부터 Model Backdoor까지
vsec2026. 6. 1. 10:17
트렌드 — SDV·AI 시대의 자동차 보안
시리즈 전체 구성
1
이전 글
차량 보안과 AI는 어떻게 만날까?
AI Vehicle 시대, 사이버보안 패러다임의 변화
DONE
2
이전 글
AI가 차량에 들어가면 TARA는 어떻게 바뀔까?
위협 분석·리스크 평가 방법론의 진화
DONE
3
이전 글
ISO/PAS 8800 — AI 차량 시대의 새로운 안전 표준
21434로 부족한 이유, 그 다음은 무엇인가
DONE
4
이전 글
Adversarial Attack이 자율주행차를 속이는 방법
스티커 한 장으로 AI를 속일 수 있다면
DONE
5
지금 읽는 글 — 시리즈 마지막 편
AI를 속이는 공격은 스티커만이 아니다
Data Poisoning부터 Model Backdoor까지
NOW
AI 보안 이야기를 하면 자주 듣는 말
"Adversarial Attack만 막으면 AI 보안은 충분한 거 아닌가요?"
"AI 모델은 Secure Boot로 서명 검증하면 오염 여부도 알 수 있는 거 아닌가요?"
"Data Poisoning은 공급망까지 침투해야 가능해서 현실적 위협이 아니지 않나요?"
"Backdoor가 심어진 모델은 테스트에서 걸러지는 거 아닌가요?"
지난 편에서 Adversarial Attack을 다뤘다. 도로 표지판에 스티커를 붙여 AI의 눈을 속이는 공격이었다.
이번 글은 한 단계 더 깊은 곳을 본다. 눈을 속이는 게 아니라 — AI가 세상을 배우는 과정 자체를 오염시키는 공격이다. AI가 태어날 때부터 잘못 배우게 만드는 것, 그리고 특정 신호에만 반응하는 비밀 스위치를 뇌 속에 심는 것.
AI는 코드가 아니라 학습의 결과물이다
전통적인 ECU 소프트웨어는 개발자가 한 줄 한 줄 작성한 코드다. 코드를 열면 동작을 이해할 수 있다. 특정 조건에서 특정 동작을 수행하도록 명시적으로 정의되어 있다.
AI는 다르다. 수백만 장의 데이터, 수백만 번의 반복 학습, 수억 개의 파라미터 최적화를 통해 만들어진다. 개발자가 "보행자를 이렇게 인식해라"고 직접 코딩한 것이 아니다. 데이터가 만들어낸 결과물이다.
💡 핵심 차이 — 전통 SW는 코드를 검토하면 동작을 이해할 수 있다. AI 모델은 수억 개의 파라미터를 들여다봐도 "왜 그런 판단을 내리는지" 완전히 설명하기 어렵다. 이 불투명성이 새로운 공격의 진입점이 된다.
그렇다면 공격자는 어디를 노릴까. 코드를 건드리는 것이 아니라, AI를 만들어내는 재료인 데이터와 학습 과정을 건드리면 된다.
Data Poisoning — AI의 기억을 오염시킨다
Data Poisoning은 AI 학습 데이터를 의도적으로 오염시키는 공격이다. 원리는 단순하지만 파급력은 크다.
Data Poisoning 공격 구조
정상 학습데이터
+
오염된 데이터 삽입
→
AI 학습
→
왜곡된 모델 완성
공격은 학습 단계에서 이미 완료된다 — 차량 출시 이후에도 영향이 지속된다
예를 들어 보행자 이미지를 자전거로 잘못 라벨링해 학습 데이터에 섞는다. 전체 데이터의 1~5%만 오염시켜도 AI의 특정 판단 패턴이 조용히 바뀔 수 있다. 모델 전체 성능은 정상 범위 안에 있어 테스트를 통과하지만, 특정 조건에서는 일관되게 오인식이 발생한다.
⚠️ 출시 전에 이미 심어진다
Data Poisoning의 가장 무서운 특성은 공격이 차량 출시 이전, 개발 단계에서 완성된다는 점이다. 공격자는 완성차를 건드릴 필요가 없다. 데이터 공급 파이프라인의 어느 단계든 오염시키면 된다. 그리고 그 영향은 수백만 대의 차량에 동시에 적용된다.
Model Backdoor — AI의 뇌 속에 비밀 스위치를 심는다
Data Poisoning보다 한 단계 더 정교한 공격이 Model Backdoor다. 단순히 AI를 나쁘게 학습시키는 것이 아니라, 특정 트리거가 나타날 때만 오작동하는 비밀 조건을 모델 내부에 심는다.
❌ Backdoor가 심어진 모델은 테스트와 검증에서 발견된다
✅ Backdoor 모델은 트리거가 없으면 완벽하게 정상으로 동작한다
100만 개의 테스트 케이스를 수행해도 문제가 없다. 트리거 조건 — 예를 들어 특정 형태의 스티커, 특정 색상 패턴 — 이 포함된 입력에서만 오작동이 발생한다. 공격자가 트리거를 설계하고 숨겼기 때문에 방어자는 어떤 조건에서 문제가 생기는지조차 모른다.
Model Backdoor 동작 구조
일반 입력
→
Backdoor 모델
→
정상 출력 ✅
트리거 없음 → 완전히 정상. 모든 테스트 통과
트리거 포함 입력
→
Backdoor 활성화
→
오작동 출력 ❌
트리거 발생 → Backdoor 활성화. 공격자만 이 조건을 알고 있다
전통 보안의 트로이 목마(Trojan)와 개념이 같다. 평상시에는 정상 프로그램처럼 보이다가 특정 조건에서 악성 기능을 수행한다. 차이점은 코드 안이 아니라 모델의 가중치(weights) 사이에 숨겨진다는 것이다. 수억 개의 파라미터 안에 숨어 있어 기존 코드 분석 방법으로는 탐지가 불가능하다.
세 가지 AI 공격의 차이
이 시리즈에서 다룬 세 가지 공격을 비교해 보면 공격이 이루어지는 시점과 대상이 각각 다르다.
Adversarial Attack
AI의 눈을 속인다
완성된 AI에 대한 실시간 입력 조작. 표지판 스티커처럼 차량이 운행 중일 때 작동. 모델 자체는 정상이다.
Data Poisoning
AI의 기억을 오염시킨다
학습 단계에서 데이터를 오염. 모델이 특정 패턴을 잘못 학습하도록 유도. 출시 전에 공격이 완료된다.
Model Backdoor
AI의 뇌에 스위치를 심는다
학습 단계에서 트리거 조건을 삽입. 평소에는 완벽히 정상. 특정 신호에만 반응하는 가장 은밀한 공격이다.
구분
공격 시점
공격 대상
탐지 난이도
차량 해킹 필요 여부
Adversarial Attack
운행 중 (실시간)
센서 입력
중간
불필요
Data Poisoning
개발·학습 단계
학습 데이터
높음
불필요
Model Backdoor
개발·학습 단계
모델 파라미터
매우 높음
불필요
세 가지 공격의 공통점이 하나 있다. 모두 차량을 해킹하지 않아도 된다. 기존 자동차 사이버보안의 공격 모델이 전제했던 "시스템 내부 침투"가 없다.
AI 공급망이 새로운 전선이 된다
자동차 업계는 이미 SW 공급망 보안(OSS 관리, SBOM 등)을 중요한 이슈로 다루고 있다. AI Vehicle 시대에는 공급망의 범위가 더 넓어진다.
AI 모델 공급망 — 전 단계가 공격 표면
1
데이터 수집·가공 단계 — 학습 데이터를 수집하고 라벨링하는 과정. 외부 데이터 공급사, 크라우드소싱 라벨러, 퍼블릭 데이터셋 모두 잠재적 오염 경로가 된다.
2
클라우드 학습 환경 — 대규모 GPU 클러스터에서 학습이 진행되는 환경. 학습 파이프라인이나 저장소에 접근할 수 있다면 모델 파라미터를 직접 조작할 수 있다.
3
AI 모델 공급사 — Tier1이나 OEM이 외부 AI 전문사로부터 사전 학습된 모델(Pre-trained Model)을 공급받는 경우, 해당 모델 자체가 이미 오염되어 있을 수 있다.
4
OTA 배포 단계 — 검증된 모델이라도 배포 과정에서 중간자 공격(MITM)이나 서버 침해로 변조될 수 있다. 서명 검증은 필요하지만 이것만으로 Data Poisoning은 막을 수 없다.
ℹ️ Secure Boot와 코드 서명의 한계
AI 모델 파일에 서명을 검증해도 "서명된 모델이 올바르게 학습됐는가"는 알 수 없다. 이미 오염된 모델에 정상 서명이 붙어 배포되는 시나리오는 기존 무결성 검증으로는 탐지 불가능하다. 이것이 ISO/PAS 8800이 데이터 품질과 학습 과정 검증을 별도의 요구사항으로 다루는 이유다.
기존 TARA와 21434로 포착할 수 있는가
ISO/SAE 21434의 TARA는 공격자가 어떤 경로로 시스템에 접근하는지를 분석한다. Data Poisoning과 Model Backdoor는 이 구조에 잘 맞지 않는다.
❌ 21434 TARA를 수행하면 Data Poisoning과 Model Backdoor도 리스크로 식별된다
✅ 기존 TARA는 공격자의 시스템 접근을 전제로 설계되어 있어 학습 단계 공격을 포착하기 어렵다
Data Poisoning의 공격 경로는 "데이터 공급사 → 학습 파이프라인 → 모델"이다. 이것을 기존 TARA의 Asset-Threat-Attack Path 구조로 어떻게 기술할지 아직 업계에 확립된 방법론이 없다. AI 관련 Asset 목록 자체가 기존 21434 프레임워크에는 존재하지 않는다.
이것이 이 시리즈 전반에서 반복적으로 등장한 메시지다. TARA의 전제가 흔들리고, 21434만으로는 부족하며, ISO/PAS 8800이 그 공백을 채우기 위해 등장했다. Data Poisoning과 Model Backdoor는 그 필요성을 가장 구체적으로 보여주는 사례다.
🔧 현업에서 느끼는 변화들
AI 모델의 출처와 학습 이력을 묻는 질문이 생기기 시작했다 — 이전에는 SW 패키지의 버전과 서명만 확인했다. 최근에는 어떤 데이터로 학습됐는지, 학습 환경은 어디인지, 모델의 성능 지표가 무엇인지를 공급망 관리 차원에서 요구하는 흐름이 생기고 있다.
Backdoor 탐지 방법론이 아직 실무 레벨에서 정착되지 않았다 — 학계에서는 Neural Cleanse, STRIP 등 Backdoor 탐지 기법이 연구되고 있지만, 자동차 개발 프로세스에서 이를 어떤 단계에, 어떤 기준으로 수행해야 하는지 확립된 방법이 없다. 검증 방법론 자체가 새롭게 만들어져야 하는 영역이다.
AI SBOM 개념이 논의되기 시작했다 — SW 공급망 관리에서 SBOM(Software Bill of Materials)이 중요해진 것처럼, AI 모델의 학습 데이터 출처, 사용된 프레임워크, 학습 환경을 문서화하는 "AI BOM" 개념이 서서히 논의되고 있다. 아직 표준화되지 않았지만 방향은 분명하다.
스티커는 AI의 눈을 속인다.
Data Poisoning은 AI의 기억을 오염시킨다.
Model Backdoor는 AI의 판단 속에 비밀 스위치를 심는다.
AI Vehicle 시대의 사이버보안은 더 이상 ECU와 CAN 버스만 보호하는 일이 아니다. 차량이 무엇을 배우고, 어떻게 판단하며, 그 판단이 태어날 때부터 신뢰할 수 있는지까지 보호해야 하는 시대가 오고 있다.
시리즈를 마치며 — 5편 돌아보기
1
차량 보안과 AI는 어떻게 만날까? — AI Vehicle 시대, 사이버보안의 패러다임이 바뀐다DONE
2
AI가 차량에 들어가면 TARA는 어떻게 바뀔까? — 위협 분석 방법론의 진화DONE
3
ISO/PAS 8800 — 21434로 부족한 이유, 그 다음은 무엇인가DONE
4
Adversarial Attack이 자율주행차를 속이는 방법 — 스티커 한 장으로 AI를 속일 수 있다면DONE
5
AI를 속이는 공격은 스티커만이 아니다 — Data Poisoning부터 Model Backdoor까지이 글
핵심 요약
1
Data Poisoning은 학습 단계에서 완성되는 공격이다 — 차량 출시 전에 이미 AI가 잘못된 판단을 하도록 설계될 수 있다.
2
Model Backdoor는 테스트를 통과하면서 숨는다 — 트리거 조건 없이는 완벽히 정상으로 보인다. 기존 코드 분석 방법으로는 탐지 불가능하다.
3
공급망 전체가 공격 표면이다 — 데이터 공급사, 클라우드 학습 환경, AI 모델 공급사 어느 단계에서든 오염이 발생할 수 있다.
4
서명 검증만으로는 부족하다 — 이미 오염된 모델에 정상 서명이 붙어 배포되는 시나리오는 기존 무결성 검증으로 막을 수 없다.
5
AI SBOM과 학습 이력 관리가 다음 과제다 — SW SBOM이 공급망 보안의 기반이 됐듯, AI 모델의 데이터 출처와 학습 환경을 추적·관리하는 체계가 필요해질 것이다.