Adversarial Attack이 자율주행차를 속이는 방법 — 스티커 한 장으로 AI를 속일 수 있다면

트렌드 — SDV·AI 시대의 자동차 보안

시리즈 전체 구성

1

이전 글

차량 보안과 AI는 어떻게 만날까?

AI Vehicle 시대, 사이버보안 패러다임의 변화

DONE

2

이전 글

AI가 차량에 들어가면 TARA는 어떻게 바뀔까?

위협 분석·리스크 평가 방법론의 진화

DONE

3

이전 글

ISO/PAS 8800 — AI 차량 시대의 새로운 안전 표준

21434로 부족한 이유, 그 다음은 무엇인가

DONE

4

지금 읽는 글

Adversarial Attack이 자율주행차를 속이는 방법

스티커 한 장으로 AI를 속일 수 있다면

NOW

5

다음 글

AI를 속이는 공격은 스티커만이 아니다

Data Poisoning부터 Model Backdoor까지

NEXT

자동차 보안 이야기를 하면 자주 듣는 말

"차량 해킹은 결국 OBD 포트나 CAN에 접근해야 가능한 거 아닌가요?"

"AI가 틀리는 건 보안 문제가 아니라 성능 문제 아닌가요?"

"표지판 스티커 공격은 연구실 얘기고 실도로에서 재현은 어렵지 않나요?"

"Adversarial Attack은 자율주행보다 이미지 인식 분야 얘기 아닌가요?"

자동차 해킹 하면 대부분 ECU 침투, CAN 조작, OTA 공격을 떠올린다. 공격자가 차량 시스템 내부에 접근해야만 가능하다고 생각한다.

Adversarial Attack은 다르다. 공격자는 ECU를 건드리지 않는다. 도로 표지판에 스티커 몇 장을 붙이는 것으로 충분하다. 그리고 AI는 속는다.

---

사람과 AI는 같은 표지판을 다르게 본다

STOP 표지판 앞에 서 보자. 사람은 색상, 모양, 글자, 주변 맥락을 종합해 즉시 "정지 표지판"이라고 인식한다. 낡아도, 색이 바래도, 스티커가 붙어 있어도 대부분 문제없이 알아본다. 의미를 이해하기 때문이다.

AI는 다르다. AI는 표지판의 의미를 이해하는 것이 아니라 픽셀 패턴을 분류한다. 수천만 장의 이미지를 학습해 "이 패턴이 나타나면 STOP일 확률이 높다"는 통계적 판단을 내린다.

사람의 인식 방식

색상 + 모양 + 글자 + 맥락을 종합

의미 기반으로 이해

부분적 훼손에도 강인

새로운 상황에 직관적으로 대응

AI의 인식 방식

수학적 특징값(feature)을 계산

확률적 패턴 분류

특정 픽셀 변화에 민감

학습 분포 밖 상황에 취약

공격자는 바로 이 차이를 파고든다. 사람의 눈에는 의미 없어 보이는 스티커가 AI의 특징값 계산을 교란하고, 전혀 다른 분류 결과를 만들어낸다.

---

실제로 어떤 일이 벌어졌나

미국의 여러 연구기관에서 수행한 실험 결과는 충격적이었다. STOP 표지판에 특정 패턴의 스티커를 부착했을 때, AI는 이를 STOP이 아닌 SPEED LIMIT 45 또는 YIELD로 오인식했다. 더 우려스러운 점은 AI가 높은 확신도(confidence)로 잘못된 판단을 내렸다는 것이다.

⚠️ AI는 틀렸다는 사실조차 모른 채 틀릴 수 있다

사람이 틀릴 때는 보통 망설임이나 불확실성이 동반된다. AI는 다르다. 잘못된 판단을 99%의 확신도로 내릴 수 있다. 자율주행 시스템이 "나는 확실히 이게 속도 제한 표지판이다"라고 판단하며 정지하지 않는 상황이 발생할 수 있다.

이후 연구들은 공격 방식을 더욱 정교하게 발전시켰다. 단순 스티커에서 나아가 인간 눈에는 거의 보이지 않는 미세한 노이즈를 이미지에 추가하는 방식, 특정 조명 조건에서만 작동하는 물리적 패턴을 활용하는 방식 등이 검증됐다.

---

Adversarial Attack의 구조

Adversarial Attack은 AI 모델이 학습 과정에서 만들어내는 결정 경계(Decision Boundary)의 취약점을 이용한다.

Adversarial Attack 기본 구조

정상 입력
(표지판)

→

미세한
조작 추가

→

AI
오인식

→

위험한
판단·행동

ECU 정상 / 카메라 정상 / 소프트웨어 정상 — 그러나 AI의 판단은 완전히 틀렸다

공격 유형 분류

1

Physical Adversarial Attack (물리적 공격) — 도로 표지판, 차선, 신호등 등 실제 물리 환경을 조작. 차량이 실도로를 달리는 동안 지속적으로 AI를 교란한다. 가장 현실적인 위협이다.

2

Digital Adversarial Attack (디지털 공격) — 카메라가 캡처한 이미지 데이터에 직접 노이즈를 추가. 센서와 AI 모델 사이의 데이터 파이프라인에 개입할 수 있을 때 가능하다.

3

Patch Attack (패치 공격) — 작은 영역에 고밀도 패턴을 집중. 스티커처럼 물리적으로 부착 가능하며, 다양한 각도와 조명에서도 공격 효과가 유지되도록 설계할 수 있다.

4

Invisible Perturbation (비가시 교란) — 사람 눈에는 전혀 보이지 않는 미세한 픽셀값 변화. 카메라로 입력되는 장면에 적용하면 AI만 오인식하고 탑승자는 아무것도 인지하지 못한다.

---

왜 자율주행에서 더 위험한가

추천 알고리즘이 틀리면 불편하다. 번역이 틀리면 어색하다. 하지만 자율주행 AI가 틀리면 사고가 난다.

❌ Adversarial Attack은 AI 연구 분야 문제이고 자동차 보안과는 거리가 있다

✅ 자율주행 AI의 판단이 곧 차량의 물리적 행동이 된다 — Safety 문제이자 Security 문제다

AI가 STOP 표지판을 속도 제한으로 오인식하면 차량이 정지하지 않는다. AI가 보행자를 인식하지 못하면 차량이 멈추지 않는다. AI의 판단 오류는 코드 버그나 센서 고장과 동일한 수준, 혹은 그 이상의 안전 영향을 가진다.

공격 시나리오	AI 오인식 결과	차량 행동	위험 수준
STOP 표지판 → 속도 제한 오인식	정지 불필요로 판단	교차로 무정차 통과	충돌 위험
보행자 → 배경으로 오인식	장애물 없음으로 판단	감속 없이 주행 지속	인명 사고
차선 → 인식 불가	차선 경계 판단 실패	차선 이탈	측면 충돌
공사 표지판 → 일반 표지판 오인식	우회 경로 불필요로 판단	공사구간 직진	2차 사고

---

기존 자동차 보안 체계가 다루지 못하는 이유

Adversarial Attack이 기존 자동차 사이버보안 체계에서 포착하기 어려운 이유는 공격 구조 자체가 다르기 때문이다.

기존 공격 vs Adversarial Attack 비교

기존 공격
OBD/CAN

→

시스템
내부 침투

→

ECU
조작

→

위험

공격자가 차량 내부에 접근해야 한다 → 21434 TARA로 포착 가능

Adversarial
표지판 조작

→

AI
오인식

→

잘못된
판단

→

위험

공격자가 차량 밖 도로 환경만 조작한다 → 기존 Attack Path 개념으로 포착 어려움

ISO/SAE 21434의 TARA는 공격자가 어떤 경로로 시스템에 접근하는지를 분석한다. Adversarial Attack은 시스템에 접근하지 않는다. 공격자는 차량이 달리는 도로 위에 서 있는 것으로 충분하다.

💡 이것이 앞 글에서 다룬 "TARA의 전제가 흔들린다"는 이야기가 현실에서 구체화된 사례다. 기존 Attack Path 분석으로는 이 위협을 포착하기 어렵고, ISO/PAS 8800이 다루는 AI 판단 신뢰성 영역이 필요해지는 이유이기도 하다.

---

방어는 가능한가

Adversarial Attack에 대한 방어 연구도 빠르게 진행되고 있다. 완전한 해결책은 아직 없지만 업계에서 논의되는 접근 방식들이 있다.

현재 논의 중인 방어 방향

1

Adversarial Training (적대적 학습) — 의도적으로 조작된 샘플을 학습 데이터에 포함시켜 모델이 공격 패턴에 강인해지도록 훈련. 하지만 새로운 공격 방식에는 다시 취약해질 수 있다.

2

멀티 센서 융합 (Sensor Fusion) — 카메라 단독이 아닌 LiDAR, Radar 등 복수의 센서 데이터를 융합해 판단. 하나의 센서가 교란되더라도 다른 센서가 보완한다.

3

입력 이상 탐지 (Input Anomaly Detection) — AI 모델 앞단에 입력 데이터의 이상 패턴을 감지하는 레이어를 추가. 비정상적인 픽셀 분포나 통계적 이상을 감지해 판단을 보류하거나 경고를 발생시킨다.

4

판단 불확실성 처리 (Uncertainty Quantification) — AI가 낮은 확신도로 판단하는 상황에서는 자율주행 기능을 보수적으로 작동시키거나 운전자에게 제어권을 이전한다.

ℹ️ 중요한 점은 이 방어 기법들이 보안 도메인과 AI 도메인 양쪽의 전문성을 동시에 필요로 한다는 것이다. 자동차 사이버보안 엔지니어가 AI 시스템을 이해해야 하고, AI 엔지니어가 보안 위협 모델을 이해해야 하는 시대가 오고 있다.

---

🔧 현업에서 느끼는 변화들

TARA에서 Adversarial Attack을 위협으로 정의하는 방법이 아직 없다 — AI 기능이 포함된 제어기에 대한 위협 분석을 수행할 때, Adversarial Attack을 기존 TARA 구조의 어느 단계에 어떻게 기술해야 하는지 명확한 방법론이 없다. 업계 표준이 아직 이 부분을 다루지 못하고 있다.

Safety와 Security가 같은 문제를 다루기 시작했다 — AI 오인식이 기능안전 문제인지 사이버보안 문제인지를 명확히 구분하기 어려운 상황이 실제로 발생하고 있다. 두 영역의 전문가가 같은 시나리오를 함께 분석해야 하는 필요성이 높아지고 있다.

Verification 기준이 달라져야 한다는 논의가 시작됐다 — 기존 보안 기능 검증은 "기능이 스펙대로 작동하는가"를 확인하는 방식이었다. AI 기반 기능은 이 기준만으로 충분하지 않다. "AI가 적대적 환경에서도 안전한 판단을 유지하는가"를 어떻게 검증할지에 대한 방법론이 필요하다.

도로 표지판의 스티커 한 장.

사람에게는 아무 의미 없는 낙서처럼 보이지만, AI에게는 완전히 다른 세상을 보여줄 수 있다.

AI Vehicle 시대의 사이버보안은 ECU와 CAN 버스를 보호하는 것에서 끝나지 않는다. 차량이 무엇을 보고, 어떻게 판단하며, 그 판단이 얼마나 신뢰할 수 있는지까지 보호해야 하는 시대가 왔다.

핵심 요약

1

Adversarial Attack은 시스템이 아니라 AI의 판단을 공격한다 — ECU, 네트워크, 소프트웨어를 건드리지 않고도 차량의 행동을 바꿀 수 있다.

2

AI는 높은 확신도로 잘못 판단할 수 있다 — 틀렸다는 사실 자체를 모르는 것이 가장 큰 위험이다.

3

공격자는 차량 밖에 있어도 된다 — 도로 환경 조작만으로 충분하다. 기존 Attack Path 분석으로는 포착하기 어려운 이유다.

4

Safety와 Security가 동시에 관련된 문제다 — 어느 한 영역 전문가만으로 대응하기 어렵다. 두 도메인의 협력이 필수다.

5

방어는 가능하지만 완전한 해결책은 없다 — Adversarial Training, Sensor Fusion, 입력 이상 탐지 등이 논의되고 있지만 새로운 공격에 대한 지속적인 대응이 필요하다.

AdversarialAttack 자율주행보안 AIVehicle 자동차사이버보안 AIsecurity PhysicalAI ModelSecurity SDV SensorFusion TARA ISO/SAE21434