안전한 인공지능 시스템을 위한 심층 신경망 강화, 인공지능도 잘 속다니...

안전한 인공지능 시스템을 위한 심층 신경망 강화 - 적대적 공격에 속지 않는 심층 신경망 만들기
케이티 워 지음, 김영하 옮김 / 한빛미디어 / 2020년 12월

우리는 아직 활발한 전성기는 아니더라도 다양한 시도가 벌어지고 있는 인공지능 도입기에 살고 있다고 생각한다. 인공지능이 바둑계를 평정한 후, 뭐 별로 바뀐 게 없는데 무슨 소리냐 할 수 있지만, 인공지능은 뒤편에 숨어 다양한 분야를 종횡무진 활약을 하고 있다.

그런데 인간을 능가하고, 완벽할 거 같은 인공지능이라고 해도, 이름 그대로 인공으로 사람의 지능을 모방한 것이다 보니, 분명히 약점도 존재한다. 우리 속담에 '콩 심은 데 콩 나고, 팥 심은 데 팥 난다'는 말처럼 인공지능이 어떤 데이터로 학습했는 가에 따라 완전히 다른 결과를 보일 수 있다. MS의 테이 챗봇은 잘못된 학습으로 인종 차별, 여성 혐오 등의 발언을 했고, 아마존 직원 채용 AI는 여성을 차별했다. 인공지능 알고리즘 자체의 문제로 제대로 이미지, 사운드 인식을 하지 못하는 착시현상과 같은 허점도 발견되고 있다. 이런 문제는 단순 실수로 여길 수도 있으나, 이것을 악용하려는 범죄자가 있다면, 심각한 문제를 초래할 수 있다는 것이다. 교통 표지판에 붙어 있는 몇 개의 스티커가 교통사고를 야기할 수 있고, 잘못된 사진 분류로 범죄자가 될 수도 있다.

그렇기 때문에 안정한 인공지능 시스템 구축을 위해 신경망을 속이는 의도적인 공격을 걸러내야 하고, 미흡한 알고리즘을 보완할 필요가 있는 것이다. '안전한 인공지능 시스템을 위한 심층 신경망 강화'는 이러한 주제를 다룬 책이다. 좀 더 쉽게 말하면, 인공지능이 사기에 안 당하는 방법을 담은 책인 것이다. 주제가 이 분야에서 많이 다루지 않는 독특한 내용이라 관심을 가지고 봤다.

이 책은 4파트로 나눠, 인공지능을 속이는 기술, 적대적 입력 생성하기, 실제 위협 이해하기, 방어라는 주제로 구성되어 있고, 인공지능을 방해하는 요소들을 알아가며, 실제 인공지능 코딩도 해보고 적대적 섭동도 만들어 실험해보고, 최종적으로는 속지 않는 견고한 인공지능 구축 방법을 익히게 한다.

그런데 솔직히 이 책을 보기 전에는 이렇게 인공지능이 손쉽게 공격을 당할 수 있을 거라곤 생각도 못했다. 파트 1에는 인공지능을 속이는 다양한 기술의 예가 나오는데, 이상한 노이즈 추가로 인해 여러 사진이 타조로 분류되고, 코알라가 양배추가 되기도 한다. 음성도 살짝 사운드가 추가되었을 뿐인데, 전혀 다른 소리로 인식한다. 스티커 하나 추가로 바나나가 토스터가 되기도 한다. 이는 마음만 먹으면 얼마든지 검열과 같은 필터링을 우회할 수 있다는 소리가 되는 것이다. 가끔씩 TV 앞에 둔 스마트폰 음성 비서가 저절로 작동되는 것도 이런 문제 중에 하나라 생각된다.

이런 적대적 머신러닝에는 회피 공격, 중독 공격, 리버스 엔지니어링과 같은 유형이 있는데, 여기서는 회피 공격을 위주로 다루고, 지도 학습을 기반한 시각과 청각의 디지털 정보를 처리하는 심층 신경망 모델을 중점으로 여러 가지 방법을 다양하게 알아보고 있다.

책을 슬쩍 떠들어 보면, 회피 공격, 섭동, DNN 등 낯설은 용어와 이상한 그래프, 각종 수학 공식 때문에 무척 어려워 보일 수 있으나, 설명이 잘 되어 있어, 첫 파트부터 차근차근 읽어 나간다면, 그리 어려운 책이 아니라는 것을 알 수 있을 것이다. 이해를 돕기 위해, 추가 설명과 NOTE가 곳곳에 등장한다. 다만 책에서 실습을 위해 파이썬과 텐서플로, 케라스를 사용하고 있으므로 이에 대한 기본적인 지식은 미리 갖추고 있어야 한다.

마지막 파트에서는 각종 공격에 대한 방어 방법을 다룬다. 그레이디언트 마스킹, 적대적 훈련, OoD 감지 등 여러 가지 것들을 코딩과 함께 알아보며, 방어 도구에 대해서도 간단히 소개하고 있다. 다양한 방법이 시도되고 있으나, 아직 적대적 입력을 완벽히 막는 방법은 없는 거 같다. 현재 연구 방향은 보다 복합적으로 생물학적 지능과 닮아지는 쪽으로 하고 있다고 한다. 

세상은 확실히 빛과 어둠이 동시에 존재한다. 한쪽은 좋은 쪽으로 또 다른 한쪽은 나쁜 쪽으로 발전하고 머리를 쓰고 있다. 악은 빈틈이 있으면, 그곳을 집요하게 파고든다. '안전한 인공지능 시스템을 위한 심층 신경망 강화'는 그런 빈틈을 어떻게 막아야 할지 방법을 알려주는 책이다.

인공지능의 새로운 면을 볼 수 있어, 개인적으로 재미있는 책이었다. 인공지능에 관심 있거나, 보안에 관심 있는 분들 모두가 한 번쯤 읽어보면, 좀 더 안전하고 완벽한 인공지능 시스템을 구축하는데 여러 가지로 도움이 될 것이다.