[100자평] 1년 안에 AI 빅데이터 전문가가 되는 법 (심화편)

1년 안에 AI 빅데이터 전문가가 되는 법 (심화편) - 비전공자를 위한 최고의 로드맵 ㅣ 1년 안에 AI 빅데이터 전문가가 되는 법
서대호 지음 / 반니 / 2021년 6월

AI 빅데이터 업계에 관심은 있지만 어디서부터 공부해야 할 지 도무지 감이 안잡히는 분들에게 이 책은 친절한 가이드같은 역할을 한다. 그리고 심화편이다보니 이전의 기본편보다는 좀 더 자세한 내용을 다루고 있는데, 이쪽 분야에 진심인 독자들에게 적잖은 도움이 될 것으로 보인다. 또한 AI 빅데이터 전문가를 할지 말지 여부와 무관하게 우리 일상 생활 속에 깊숙히 침투한 AI관련 알고리즘들이 어떤 방식으로 구현되는지를 이론적인 측면에서 이해하는 데도 도움이 되었다.

오늘은 본문에 나왔던 용어들 가운데 다소 생소했거나 ...

오늘은 본문에 나왔던 용어들 가운데 다소 생소했거나 혹은 핵심이 되는 개념들을 정리해본다.

한국학술지인용색인(Korea citation index, KCI): 한국연구재단의 학술지 평가를 통해 논문을 등재하거나 등재 후보를 선정하는 국내학술지 정보가 모인 전문 정보 서비스다. 게재논문에 대한 각종 정보를 제공한다. - P341

케라스(Keras): 파이썬으로 작성된 오픈 소스 신경망 라이브러리다. 사용자의 부담을 덜기 위해 일관되고 간결한 API를 제공한다. - P341

K-겹 교차검증(K-fold cross validation): 모든 데이터를 최소 한 번 테스트 데이터셋으로 사용하도록, K겹으로 데이터를 나눈 후 매번 테스트 데이터셋을 바꾸어 나가는 방법. - P341

장단기 메모리(Long short-term memory, LSTM): 딥러닝 분야에서 사용되는 순환 신경망 기반의 신경망 모델이다. 셀, 입력 게이트, 출력 게이트, 망각 게이트로 구성되어 셀은 임의의 시간 간격에 대한 값을 기억하고 세 가지 게이트는 셀 안팎으로의 정보 흐름을 조절한다. - P342

무크(MOOC): 웹 서비스를 기반으로 이루어지는 상호참여적이고 대규모의 교육 시스템이다. - P342

주성분 분석(Principal component analysis. PCA): 고차원의 데이터를 저차원의 데이터로 축소시키는 기법을 의미한다. 이때 서로 연관성이 있는 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간(주성분)의 표본으로 변환하기 위해 직교 변환을 사용한다. - P342

파이썬(Python); 1991년 귀도 반 로섬이 발표한 고급 프로그래밍 언어다. 운영체제나 플랫폼에 독립적이며 인터프리터, 객체 지향, 동적 입력이 가능하다는 특징이 있다. - P342

파이토치(Pytorch): 오픈소스 머신러닝 라이브러리다. 1993년에 루아(lua)라는 프로그래밍 언어로 개발된 오픈 소스 머신러닝 라이브러리인 토치(Torch)를 파이썬에 구현한 것이다. 자연어 처리와 관련된 모델이나 응용 프로그램을 개발할 때 주로 사용한다. - P342

R: 통계 계산과 그 결과를 그래픽으로 나타내기 위한 프로그래밍 언어이자 소프트웨어환경이다. 무료로 사용할 수 있는 오픈 소스로 공개되어 있다. - P342

랜덤 포레스트(Random Forest): 분류나 회귀분석 등에 사용되는 앙상블 학습 방법의 하나다. 학습 과정에서 구성한 결정 트리 여러 개에서 분류 또는 평균 예측값(회귀분석)을 출력한다. - P342

지역적 합성곱 신경망(Regions with CNN. R-CNN): 사람이 설정한 지역을 합성곱 신경망의 특징(feature, 입력값)으로 활용하여 객체 인식(Object Detection)을 수행한다. - P342

순환 신경망(Recurrent neural network, RNN): 입력과 출력을 특정 순서(Sequence) 단위로 처리하는 인공 신경망 모델이다. - P342

과학인용색인 확장판(Science Citation Index Expanded. SCIE): 과학 저널들 중 엄격한 심사를 거쳐 선별한 학회지의 목록 - P342

스코퍼스(Scopus): 2004년 네덜란드의 엘스비어 출판사가 만든 전 세계 우수 학술 논문데이터베이스 플랫폼이다. - P342

Seq2seq: 언어 처리에 사용되는 머신러닝 기반 방법론이다. 언어 번역, 이미지 캡션, 대화 모델, 텍스트 요약에 주로 사용한다. - P343

자기조직화지도(Self-organizing map, SOM): 사람이 눈으로 볼 수 있는 저차원(2차원 내지 3차원) 좌표에 고차원 데이터의 개체 각각이 대응하도록 인공 신경망과 유사한 방식의 학습을 통해 군집화하는 기법이다. - P343

SPSS - 통계 분석과 데이터 마이닝 등에 사용되는 통계 분석 프로그램이다. - P343

텐서플로(Tensorflow): 다양한 작업의 데이터 흐름을 제어하는 프로그래밍에 사용하는 오픈 소스 소프트웨어 라이브러리다. 수학 라이브러리이자 인공 신경망 같은 머신러닝 애플리케이션에서 사용한다. - P343

단어 빈도와 역문서 빈도(Term frequency-inverse document frequency, TF-IDF): 정보 검색과 텍스트 마이닝에서 이용하는 가중치를 의미한다. 여러 가지 문서로 이루어진 문서 그룹이 있을 때 어떤 단어가 특정 문서 안에서 얼마나 중요한 것인지를 나타내는 통곗값을 계산한다. - P343

토이셋(Toyset): 데이터를 분석할 때 쉽고 빠르게 결과를 볼 수 있도록 만들어진 예제 데이터셋이다. - P343

검정 데이터셋(Validation set): 학습이 완료된 모델을 검증하기 위한 데이터셋이다. 하이퍼파라미터를 튜닝할 때 꼭 필요하다. - P343

Word2Vec: 신경망 모델을 사용하여 대규모 텍스트 말뭉치(corpus)서 단어 연관성을 학습한다. - P343

YOLO(You only look once): 이미지 전체에 대해서 신경망 하나(a single neural network)가 한번의 계산만으로 바운딩 박스(bounding box)와 클래스 확률(class probability)을 예측한다. R-CNN에 비해서 비약적으로 빠른 속도를 자랑한다. - P343

가설(hypothesis): 현실적 조건에서는 증명하거나 검증하기 어려운 사물, 현상의 원인 또는 합법칙성에 관하여 예측하는 이론. - P343

감성 분석(Sentiment analysis): 자연어 처리, 텍스트 분석, 전산 언어학 및 생체 인식을 사용하여 정서 상태 및 주관적인 정보를 체계적으로 식별, 추출, 정량화하는 기술이다. - P343

결측값(Missing value): 데이터셋에서 누락된 값이다. - P343

경사하강법 (Gradient descent): 함수의 기울기를 구한 후 기울기의 절댓값을 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복하는 최적화 알고리즘이다. - P344

과적합(Overfitting): 학습 데이터에 대해서는 오차가 작지만 실제 데이터에 대해서는 오차가 크도록 과하게 학습된 상태 - P344

네트워크 분석(Network analysis): 노드(node)와 엣지(edge)로 이뤄진 자료구조를 통해 노드사이의 연관관계를 분석하는 것이다. - P344

뉴런(Neuron): 인공 신경망의 모델을 학습할 때 계산을 수행하는 개체다. 수많은 뉴런이 연결되어 병렬 연산을 수행한다. - P344

드롭아웃(Dropout): 학습 데이터를 대상으로 복잡하게 학습하는 작업을 막아 인공 신경망의 과적합을 줄이는 정규화 기술이다. 일부 뉴런을 인위적으로 제거하여 신경망을 간소화한다. - P344

배치 정규화(Batch normalization): 학습할 때 사용하는 미니배치 단위를 정규화하여 학습속도를 개선하고 과적합 문제를 해결하는 것이다. - P344

불용어(Stopword): 큰 의미가 없는 단어 토큰을 의미한다. - P344

시각화(Visualization): 데이터 분석 결과를 쉽게 이해할 수 있도록 시각적으로 표현하고 전달되는 과정을 의미한다. - P344

시계열(Time series): 일정 시간 간격으로 배치된 데이터들의 수열이다. - P344

임베딩(Embedding): 자연어 처리에서 특징 추출을 통해 수치화하는 방법이다. - P344

재현율(Recall): 실제 참(True)인 것 중에서 모델이 참(True)이라고 예측한 비율을 뜻한다. - P344

전처리(Preprocessing): 분석하기 좋게 데이터를 고치는 모든 작업을 의미한다. - P344

정밀도(Precision): 모델이 참(True)이라고 예측한 것 중에서 실제 참(True)인 것의 비율을 뜻한다. - P344

클라우드 서버(Cloud server): 물리적 서버 하나를 나누어 여러 개의 가상 서버로 사용하는 가상화 방법의 한 형태다. - P344

토픽 모델링(Topic modeling): 단어 각각이나 문서 집합에 대해 숨겨진 주제를 찾아내어 문서나 키워드별 주제끼리 묶어주는 비지도 학습 알고리즘이다. - P344

파라미터(Prameter): 수학과 통계학에서 어떠한 시스템이나 함수의 특정한 성질을 나타내는 변수를 뜻한다. - P345

활성화 함수(Activation function): 입력 또는 입력 데이터셋이 주어졌을 때 해당 노드의 출력을 정의하는 함수다. - P345

좋은 기회가 되어 읽어볼 수 있게 되었다. 서두에서 ...

좋은 기회가 되어 읽어볼 수 있게 되었다. 서두에서 저자는 현실과 비현실을 넘나드는 이야기를 썼다고 밝혔었는데, 오늘 처음 밑줄친 문장이 그러한 모습을 대표적으로 잘 보여주는 듯하다. 잠이라는 꿈(비현실)의 세계에서 잠에서 깬 이후의 현실 세계로 돌아온 것인데 주저리주저리 말들이 많지만 여기서의 핵심은 ‘나의 인생은 엄연한 현실‘이라는 사실이다. 아직 소설의 극초반부라 뒤에 어떤 내용들이 나올지 감을 잡을 순 없지만 적어도 지금 현재의 상황에서 현실을 직시해야 하는 것만은 분명해보인다.

잠에서 깬다. 여기가 어디지? 하고 나는 생각한다. 생각만 하는 게 아니라 실제로 입 밖에 내어 나 자신에게 이렇게 묻는다. "여기가 어디지?"라고. 하지만 그건 무의미한 물음이다. 물을 것까지도 없이 대답은 처음부터 알고 있다. 여기는 나의 인생이다. 나의 생활, ‘나‘라고 하는 현실 존재의 부속물. 특별히 인정한 기억이 없는데도 어느 틈엔가 나의 속성으로서 존재하게 된 몇 가지 사항 · 사물 · 상황. - P12

나는 어디에도 포함되어 있지는 않다. - P12

창녀들에게 이름은 있을지 모른다. 하지만 그녀들은 이름을 갖지 않는 세계에서 살고 있는 것이다. - P18

어째서 누군가가 나 때문에 눈물을 흘리는가? - P19

돌고래 호텔로 돌아가는 것은, 과거의 그림자와 다시 한번 대면해야 함을 의미하는 것이다. - P20

그렇다, 나는 이 근래 사 년 동안, 그 냉랭하고 어두운 그림자를 떨어내 버리는 일에 전력을 기울이고 있었다. 그래서 돌고래 호텔로 돌아간다는 것은 내가 사 년 동안 조용히, 부지런히 모아온 모든 것을 송두리째 포기하고 없애 버리는 것이다. - P20

물론 내가 그렇게 대단한 것을 손에 넣었던 건 아니다. 그 대부분은 아무리 생각해봐도 잠정적이고 편의적인 잡동사니였다. 하지만 나는 나름대로 최선을 다했으며, 그 같은 잡동사니를 그럴싸하게 짜 맞추어 현실과 자신을 연결하고, 내 나름의 조그마한 가치관에 기초한 새로운 생활을 구축해 왔다. - P20

다시 한번 본래의 텅 빈 자리로 되돌아가라는 것인가? 창문을 열고 무엇이든 내동댕이치라는 것인가? 하지만 결국 모든 것은 거기서부터 시작되는 것이다. 나는 그것을 알고 있었다. 거기서부터 시작될 수밖에 없다. - P20

단념하자, 하고 나는 생각했다. 단념하자, 무슨 생각을 하건소용없다. 그것은 너의 능력 밖의 일이다. 네가 무슨 생각을 하건, 거기서부터 시작될 수밖에 없다. 그렇게 정해져 있다, 확실히. - P20

내가 나 자신에 대해 도대체 무엇을 알고 있을까? 내가 의식을 통해서 파악하고 있는 나는 진정한 의미의 나일까? 녹음된 목소리가 자기 목소리로 들리지 않는 것처럼, 내가 파악하는 자아의 상像은 왜곡된 채 인식되어 모양 좋게 바뀌어 만들어진 것은 아닐까? - P21

우리는 모두가 가공의 세계에서 가공의 공기를 마시며 살고 있었다. - P22

하지만 아무튼, 무엇인가 지껄이기로 하자. 자신에 관해 무엇인가 지껄이는 데서부터 모든 것이 시작된다. 그것이 우선 첫걸음이다. 바른지 그른지는 나중에 다시 판단하면 된다. 나 자신이 판단해도 되고 다른 누군가가 판단해도 된다. 어쨌든 간에, 지금은 이야기 해야 할 때다. 그리하여 나도 해야 할 말을 고심하지 않으면 안 된다. - P22

사람이 인생에서 무엇인가를 추구할 때 (추구하지 않는 인간이 있을까?), 인생은 좀 더 많은 데이터를 그에게 요구한다. 명확한 도형을 그리기위한, 더 많은 정보가 요구된다. 그렇게 하지 않고선, 아무런 회답도 돌아오지 않는다. - P22

지껄이자. 그러지 않고선, 아무것도 시작되지 않는다. 그것도 되도록 길게. 바른지 그른지는 나중에 다시 생각하면 된다. - P23

타인이 나라는 존재를 어떻게 파악했다 하더라도 나는 그다지 신경을 쓰지 않는다. 다른 사람들이 나를 어떻게보든, 그것은 나와 전혀 상관없는 문제다. 그것은 나의 문제라기보다는 차라리 그들의 문제인 것이다. - P29

‘실제 이상으로‘라는 표현은, 내가 파악한 나 자신의 상像에 비해서 그렇다는 것에 불과하다. - P29

세상에 오해라는 것은 없다. 사고방식의 차이가 있을 뿐이다. 그것이 내 생각이다. - P30

나 자신이 그 쓸쓸함을 제법 잘 견뎌 낼 수 있다는 것도 알고 있었다. 나는 익숙해지고 있는 것이다. - P33

네가 네 자신을 마멸시켜 온 것이다. 네가 생각하는 것보다 훨씬 더 많이 너는 마멸된 것이다, - P33

나는 일의 좋고 싫음을 가릴 만한 처지는 아니었다. 게다가 도대체가 나에게 맡겨지는 일은 그게 무엇이든 좋고 싫고를 가릴 만한 차이가 없었다. - P34

다행인지 불행인지 일반적으로 세상사란 것은 끝으로 가면 갈수록, 그 질의 차이가 확연하게 드러나지 않는 법이다. 주파수와 마찬가지다. 어느 한계점을 넘어 버리면, 인접하는 두 음향 중 어느 쪽이 높은가 하는 것 따위는 거의 분간해 낼 수 없으며, 이윽고 분간은커녕 아무것도 들리지 않게 된다. - P34

쓰레기 치우기나 눈 치우기와 같은 일이다. 누군가는 해야 하는 것이다. 좋고 싫고와 관계없이. - P35

나는 다만 시간이 필요했다. 그 사건에 관한 모든 것을 구체적으로ㅡ실제적으로ㅡ정리하고 검증하는 데 반년이라는 시간이 필요했던 것이다. 나는 결코 자폐적이 되거나, 외부 세계를 완강하게 거부하거나 했던 것은 아니다. 단지 그것은 시간적인 문제였다. 다시 한번 자신을 제대로 회복하고, 재정비하기 위한 순수하게 물리적인 시간이 나에겐 필요했던 것이다. - P37

자신을 재정비한다는 의미와 그다음의 방향성에 대해서까지는 생각하지 않기로 했다. 그것은 또 다른 문제다, 하고 나는 생각했다. 거기에 대해선 다시 다음에 생각하면 된다. 우선 평형감각을 회복하는 일이 먼저다. - P37

한 번 죽어 버리면, 그 이상 잃어버릴 것은 아무것도 없다. 그것이 죽음의 훌륭한 점이다. - P40

하지만 나는 곧 서글픈 기분이 들었다.
시대가 바뀐 것이다. 그뿐이다. - P41

모두 고만고만했다. 아무것도 달라지진 않았다. 언제든 언제든 언제든, 사물의 존재양식은 같다. 다만 연호年號가 바뀌고, 사람이 교체된 정도일 뿐이다. 이러한 의미 없는 일회용 음악은 어느 시대에나 존재했고, 앞으로도 어김없이 존재할 것이다. 달이 차고 이지러지는 것처럼. - P42

아무것도 생각하지 않았다. 나는 그저 음악에 귀를 기울이고 있을 뿐이었다. - P43

‘난 태어나고부터 줄곧 잃어버리기만 했어‘ - P43

‘그리고 난 지금 그대를 잃어버리려고 해.‘ - P43

이따금 그럴 때가 있다. 무엇인가 하찮은 일이 내 마음의 가장 연약한 부분을 건드리는 것이다. - P43

이 거대한 개미집 같은 고도자본주의 사회에서 일을 찾는 것은 그다지 곤란한 작업이 아니다. 물론 그 일의 종류며 내용에 대해서 군소리만 않는다면 말이다. - P45

나는 일감의 좋고 나쁘고를 가리지 않았고, 들어오는 일감은 닥치는 대로 떠맡았다. 마감 날짜를 어긴 적이 없었고, 무슨 일이 있어도 군소리를 하지 않았으며, 글씨도 깨끗했다. 일솜씨도 꼼꼼했다. 다른 사람이라면 적당히 할 일도 성실하게 했고, 대가가 낮아도 싫은 기색 한번 내비치지 않았다. - P46

눈을 치우는 작업과 같았다. 눈이 내리면 나는 그것을 효율적으로 길가로 치웠다. 한 조각의 야심도 없었고, 한 조각의 희망도 없었다. 오는 일거리를 닥치는 대로 거침없이 체계적으로 처리해 나갈 따름이었다. 솔직히 말해서 이건 인생의 낭비가 아닐까 하고 생각한 적이 없는 것도 아니었다. 하지만 종이와 잉크가 이만큼 낭비되고 있으니, 내 인생이 낭비됐다 해도 군소리할 것은 아니지 않느냐, 하는 것이 내가 도달한 결론이었다. - P47

우리는 고도자본주의 사회에서 살고 있다. 거기에선 낭비가 최대의 미덕이다. 정치가는 그것을 내수內需의 세련화라고 부른다. 나는 그것을 무의미한 낭비라고 부른다. 사고방식의 차이다. 하지만 비록 사고방식의 차이가 있다 해도, 어쨌든 그것이 우리가 살고 있는 사회다. 그것이 마음에 들지 않는다면, 방글라데시나 수단으로 가는 수밖에 없다. 나는 방글라데시에도 수단에도 별다른 흥미를 가질 수 없었다. 그래서 묵묵히 일을 계속했다. - P47

내가 그런 식으로 열심히 한 것은, 그렇게 하는 것이 나로선 가장 편했기 때문이다. 자기 훈련. 얼마 동안 일을 시키지 않았던 손가락과 머리에 실제적인ㅡ그리고 되도록이면 무의미한ㅡ일을 시키며 혹사하는 것. - P48

나는 결국 어디에도 가지 않는다. 모두 하나둘씩 떠나가 버리고, 나만이 연장된 유예기간 속에 언제까지나 머물러 있었다. 현실이면서도 현실이 아닌 인생. - P50

가장 큰 문제는, 내가 마음 밑바닥으로부터 그녀를 원하고 있지 않았다는 점이었다. - P51

그렇다, 결국은 그녀 옆에 있으면서 나는 달 위에 있었던 것이다. 옆구리로 그녀의 가슴의 감촉을 느끼면서도 내가 진심으로 찾고 있었던 것은 다른 그 무엇이었다. - P51

생각할 것까지도 없었다. 무엇을 하면 좋은지는 처음부터 알고 있었다. 결론은 훨씬 전부터 짙은 구름처럼 내 머리 위에 빠끔하게 떠 있었다. 나는 다만 그것을 실행에 옮길 결심을 할 수 없어서, 하루 또 하루 미루고 있었을 뿐이다. 돌고래 호텔로 가는 것이다. 그것이 출발점이다. - P51

키키가 출발점의 열쇠를 쥐고 있다. 나는 그녀를 다시 한번 이 방으로 불러들이지 않으면 안 된다. 한번 나가 버린 자는 다시는 되돌아오지 않는 이 방으로. 그런 일이 가능한지 어떤지 나로서는 알 수 없다. 하지만 어쨌든 해보는 수밖엔 없다. 거기서부터 새로운 사이클이 시작되는 것이다. - P52

솔직히 말해서, 이런 종류의 취재를 나처럼 꼼꼼하게 하는 작가는 그다지 많지 않을 것이다. 제대로 하자면 참으로 힘든 일이고, 대충하려고 생각하면 얼마든지 적당히 할 수 있는 일이다. 그리고 제대로 하건, 수고를 덜 하려 하건, 기사로서의 완성도에는 거의 차이가 나지 않는다. 표면적으로는 비슷해 보인다. 하지만 자세히 보면 조금 다르다. - P56

그것이 무엇이든 간에 이왕 하게 된 바에야 제대로 해낸다. 그런 의미에서 우리는 프로다. - P57

실제로 가보면 모든 것이 분명해진다. 가보는 수밖에 없다. 어쨌든 그곳으로 가지 않을 수 없는 것이다. 달리 특별히 이렇다 할 방도가 있는 것도 아니다. - P59

나는 낭비라는 건, 고도자본주의 사회에서는 최대 미덕이라고 그에게 가르쳐 줬다. 일본이 미국으로부터 팬텀 제트기를 사들여 스크램블로 쓸데없이 연료를 소비함으로써, 세계의 경제가 그 몫만큼 더 순환되고, 그 순환에 의해 자본주의는 한층 더 고도화되어 가는 것이다. 만일 모두가 낭비라는 것을 일절 하지 않는다면, 대공황이 일어나서 세계의 경제는 엉망진창이 되고 말것이다. 낭비라는 것은 모순을 일으키는 연료며, 모순이 경제를 활성화하고, 활성화가 다시 낭비를 만들어 내는 것이다, 라고. - P60

익숙해져 있는 것은 아니다. 파악, 인식하고 있을 따름이다. 그 양자 사이에는 결정적인 차이가 있다. - P61

하코다테역 근처 서점에서 산 잭 런던 Jack London의 전기를 읽었다. 잭 런던의 파란만장한 생애에 비하면, 내 인생 같은 건 떡갈나무 꼭대기에 난 홈에서 호두를 베개 삼아 꾸벅꾸벅 졸면서 봄을 기다리는 다람쥐처럼 평온한 것으로 보였다. 적어도 일시적으로는 그런 기분이 들었다. 전기傳記란 것은 그런 것이다. 도대체 어느 누가 평화로이 무사안일하게 살다가 죽어 간 가와자키 시립 도서관원의 전기 따위를 읽겠는가? 요컨대 우리는 대상행위代償行爲를 찾고 있는 것이다. - P61

닮았다ㅡ하지만 다르다. 마치 다른 행성과도 같다. 언어도 복장도 표정도 모두 같지만, 무엇인가 결정적으로 다른 별개의 행성. 어떤 종류의 기능이 통용되지 않는 별개의 행성ㅡ하지만 어떤 기능이 통용되고 어떤 기능이 통용되지 않는가는 하나하나 확인해 보는 수밖에 없다. - P63

내가 고독하다는 것ㅡ이것은 진실이었다. 나는 누구와도 결부되어 있지 않다. 그것이 나의 문제다. 나는 나를 되찾고 있는 중이다. 하지만 나는 누구와도 결부되어 있지 않다. - P64

돈으로 해결되는 일이라면ㅡ그리고 그 돈이 언젠가 되돌아온다는 확신이 있으면ㅡ그들은 거기에 얼마든지 돈을 쏟아붓는다. - P68

오늘은 AI 빅데이터의 주요 분야 중 ‘이상 탐지‘라...

오늘은 AI 빅데이터의 주요 분야 중 ‘이상 탐지‘라는 것에 대해 알아본다. 여기 별도로 밑줄치진 않았지만 본문의 사례를 통해 우리 주변의 멀지 않은 곳에서 어렵지 않게 경험할 수 있는 것들이라는 걸 느낄 수 있었다.

이상탐지란 정상적인 상황, 패턴과 어긋난 현상을 조기에 감지하는 알고리즘을 뜻한다. - P318

이상탐지는 과거 데이터를 기반으로 과거 히스토리에서 벗어난 패턴을 이상 현상으로 감지한다. - P318

이상 탐지 접근 방식은 과거 데이터의 모델과 예측을 기반으로 한다. 정상적인 패턴은 일정하다고 가정한다. 즉, 데이터 생성으로 이어진 기본 프로세스는 크게 변경되지 않은 것으로 간주되는 것이다. 다시 말해, 우리가 이전에 본 것이 앞으로도 이어질 것으로 기대하는 것이다. 하지만 때에 따라서는 시간이 지남에 따라 변경되는 데이터 트렌드나 주기도 정상적인 행동 패턴으로 특징지을 수 있다. - P319

이상탐지는 간단히 말하면 이진 분류 문제라고 볼 수 있다. 데이터를 정상/비정상으로만 구분해주면 된다. 따라서 분류 문제에 많이 쓰이는 머신러닝, 딥러닝 모델이 자주 사용될 수 있다. - P320

이상탐지가 일반적인 머신러닝 문제와는 조금 다른 점이 있다. 우선 정상/비정상 두 클래스 간에 급격한 불균형이 있다. 일반적으로 머신러닝을 적용하기 위해서는 사전에 클래스 라벨링을 해주고 클래스 분류 모델을 만드는데 클래스 간 분포가 비슷해야 학습모델 성능이 우수해진다. 하지만 이상탐지의 경우 학습 셋 자체가 99% 이상이 정상 셋 1% 미만이 비정상 셋이기 때문에 굉장히 불균형한 학습 데이터 셋이 생성된다. 만약 99:1의 비율을 지닌 학습 데이터 셋을 그대로 학습한다면 정상에만 지나치게 모델이 과적합해 모든 데이터에 대해서 정상을 출력할 것이다. 이를 해결하기 위해서는 비정상 데이터셋을 오버샘플링하여 증대하는 방법이 있다. 비정상 데이터셋과 유사한 비정상 데이터셋을 랜덤으로 생성하여 정상/비정상 클래스 분포를 맞추는 것이다. 또는 아예 비지도 학습을 하는 것이다. 비지도 학습은 정상/비정상 라벨이 사전에 필요 없기에 비지도 학습을 통해 패턴을 만들고 해당 패턴에서 벗어난 새로운 데이터들은 비정상으로 판단한다. - P321

이상탐지 알고리즘 적용시 또 주의해야할 점은 센서 데이터의 성격이다. 기계장비 이상탐지의 경우 대부분 센서 데이터를 기반으로 적용된다. - P321

센서는 소음, 온도, 습도, 진동 센서가 대표적이다. 일반적으로 이상 징후를 가장 빨리 잡아내는 센서는 진동이라고 알려져 있다. 센서 데이터는 일반적인 데이터와는 많이 다르기 때문에 분석 시 주의를 기울여야 한다. 우선 센서 데이터는 센서의 개수도 많고 초당 여러 개씩 실시간으로 쌓이기 때문에 데이터량 자체가 굉장히 많다. 그냥 그대로 AI 모델에 다 집어넣으면 연산량이 굉장히 커서 학습시간이 굉장히 오래 걸릴 수 있다. 그래서 모든 데이터를 다 활용하기 보다는 주기별로 특징 값을 추출하거나 분 단위 평균값과 같이 통계 요약 값을 다시 추출해서 모델에 넣는 경우가 많다. - P322

또한 여러 센서 간, 값이 들어오는 시간차가 조금씩 다르다. 예를 들어 센서가 1000 개 있는데 밀리세컨드(ms) 단위로 값이 들어오기 때문에 1000개의 센서마다 값을 받는 시간이 다 다르다. 이 조금씩 다른 시간대를 일치 조정도 해야 한다. - P322

결측값 문제도 있다. 센서가 워낙 많고 초당 여러 개의 값이 마구 들어오기에 중간 값이 종종 잘 안 들어올 수도 있다. 센서가 잠시 오작동 할 수도 있고 배터리가 부족해서일 수도 있는데 아무튼 완벽하게 모든 센서의 모든 값들이 100% 들어오는 경우는 거의 없다. 이렇게 결측값이 생기면 그 자체로는 AI 모델링을 할 수 없기에 결측값을 채워 넣는 작업이 필요하다. 가장 쉬운 방법은 이전에 채워진 값을 이어서 그대로 넣거나 최빈값, 평균값 등으로 대체하는 방식이다. 회귀모형을 세워서 이전 값과 이후 값을 고려한 경향에 맞게 채우는 방법도 있다. - P322

단기간에 서버에 부하가 오는 현상, 로그인 위치나 패턴이 이전과 다른 현상, 사용 시간대가 이전과 다른 현상, 메일 내용이 이전에 받은 메일 내용과는 다른 특이한 형식, 메일에 링크를 삽입한 현상 - P323

이상탐지 알고리즘은 실시간 데이터 처리, 센서 데이터 전처리, 대용량 데이터 적재 및 처리에 능해야 한다. 이러한 작업이 AI 모델링 작업보다 오히려 더 중요한 분야가 이상탐지 분야이다. 이러한 기술들은 수학, 통계보다는 컴퓨터 공학적 코딩 능력에 더 가깝다. - P325

전통적으로 이미지를 처리하기 위해서는 색, 픽셀 간의 상호 관계, 물체 배치, 에지, 윤곽선 등의 이미지 특징이라고 불리는 특징 추출이 중요했다. 이러한 특징 추출을 얼마나 잘 하느냐가 곧 알고리즘의 성능으로 이어졌다. 하지만 최근에는 딥러닝 기술의 발달로 단순히 RGB 3채널의 픽셀값만으로도 충분히 우수한 성능의 알고리즘이 구현되고 있다. - P327

유사도 분석은 두 이미지간의 유사도 분석을 통해 두 이미지가 동일한 이미지인지 아닌지 판별하는 방법론이다. 유사도 분석은 히스토그램 비교, 템플릿 매칭, 피처 매칭 3가지 방법론이 가장 많이 쓰인다. - P327

히스토그램을 이용한 비교는 간단하면서 처리 속도가 빠른 방식으로 가장 오래된 방식이기도 하다. 이 방식은 두 장의 사진을 비교할 때 색의 히스토그램 분포 유사도를 체크한다. - P327

템플릿 매칭은 큰 이미지에서 주어진 작은 이미지가 존재하는지를 검색하는데 주로 사용한다. 즉 이미지를 조각으로 잘게 나누어 각 조각이 큰 이미지 안에 실제 있는지 체크한다. - P327

피처 매칭은 이미지로부터 수많은 특징값들을 추출하여 다른 이미지의 특징값 셋과 비교하는 방식이다. 위의 셋 중 속도는 제일 느리지만 가장 정확하다고 알려져 있다. - P328

이미지 판별은 말 그대로 해당 이미지가 무엇인지 출력하는 알고리즘이다. 개 사진이면 ‘개‘라고 출력하고 고양이 사진이면 ‘고양이‘라고 출력하는 알고리즘이다. - P328

이미지 판별을 위해서 가장 많이 쓰이는 알고리즘은 합성곱 신경망 Convolutional Neural Network, CNN 딥러닝 모델이다. 해당 모델은 이미지넷이라는 이미지 판별 대회에서 2012년에 히트를 친 모델이다. 기존 서포트 벡터 머신SVM 모델보다 엄청나게 높은 성능 향상을 보여 그 이후부터 대부분의 이미지 판별 문제는 합성곱 신경망 네트워크를 쓰고 있다. - P328

합성곱 신경망 네트워크도 더욱 상세하게 살펴보면 많이 나뉜다. AlexNet, VGGNet, ResNet, MobileNet 등이 있다. 각각의 네트워크는 컨볼루션 레이어를 활용해서 변이형 네트워크를 만들었을 뿐이다. ...(중략)... 합성곱 신경망의 핵심은 컨볼루션 레이어이다. 컨볼루션 레이어는 이미지의 지역적 특징점을 찾아내는데 쓰이는 층이다. 쉽게 말하면 전체 이미지 중에서 부분적으로 특징점들을 캐치하고 이를 이용해 전체 이미지 클래스를 분류하는 방식이다. - P328

복수의 컨볼루션 레이어는 전체 이미지를 일정 개수의 그리드로 나누어 각 그리드 셀마다 옮겨가며 투영된다. - P329

합성곱 신경망은 컨볼루션 레이어, 풀링 레이어를 어떻게 구성하느냐에 따라 무한히 많은 형태의 네트워크를 만들 수 있다. AlexNet, VGGNet, ResNet, MobileNet도 다 컨볼루션 레이어, 풀링 레이어의 특정 조합으로 이루어진 네트워크이다. 다만 이 네트워크들은 실험을 통해 그 성능이 입증되었기에 논문에 실리고 유명해진 것뿐이다. - P329

객체 인식은 이미지 판별에서 한 단계 더 올라간 방식이다. 전체 이미지 중에서 특정 객체를 인식하는 알고리즘이다. 예를 들어 농구 시합 전체 사진 안에서 농구공의 위치만 추출하는 방식이다. 객체 인식을 지역적 합성곱 신경망 Regions with CNN, R-CNN이라고도 불린다. CNN에서 regions가 붙어서 R-CNN이다. - P330

가장 전통적인 R-CNN은 선택적 탐색selective search 기법을 사용하여 객체 인식을 하였다. 선택적 탐색selective search 기법의 프로세스는 아래와 같다.

1. 이미지의 초기 조각(segment)를 정하여, 수많은 지역을 생성

2. 그리디(greedy) 알고리즘을 이용하여 각 지역을 기준으로 주변의 유사한 영역을 결합

3. 결합되어 커진 지역을 최종 지역으로 제안(region proposal).

쉽게 말하면 전체 이미지를 잘게 몇 개의 그리드로 나눈 후, 유사한 각 그리드들을 합쳐서 합쳐진 지역을 합성곱 신경망 알고리즘으로 판별하는 것이다. 그러면 전체 농구 시합 이미지 중 사람, 농구공, 골대와 같은 각 객체들이 판별될 수 있다. - P330

문제는 선택적 탐색 기법이 너무 느리다는 점이다. 그래서 이후에 선택적 탐색 기법이 없어도 객체 인식이 가능한 Faster R-CNN, YOLO 등이 나왔다. 특히 YOLO의 경우 속도가 실시간에 가까워 동영상 재생 속 화면의 객체들을 실시간으로 탐지할 수 있다. - P331

객체 인식은 학습 연산량이 굉장히 크기 때문에 학습 시간이 꽤 오래 걸린다. 또한 학습에 필요한 학습 데이터도 많이 필요하다. 특히 학습 데이터셋 구성에 있어서 단순히 사진뿐만 아니라 각 사진속 객체들의 위치를 주석annotation으로 넣는 작업까지 필요하다. 여기서 말하는 주석 작업이란 농구 시합 사진이면 사진속 사람, 농구공, 골대의 좌표 정보를 일일이 사람이 표기해주는 작업을 말한다. 물론 이 작업을 편리하게 해주는 툴이 있긴 하지만 툴을 이용해서 방대한 사진 주석 작업을 하는 데는 꽤 많은 시간이 든다. 이런 작업을 대신 해주는 회사도 있다. 국내에서는 크라우드웍스가 유명한데 현재 상장 준비 중인 꽤 유명한 회사이다. - P331

학습도 기반 정보가 없이 처음부터 하면 파라미터가 수렴하기까지 굉장히 오래 걸린다. 따라서 전이 학습을 주로 한다. 전이 학습은 다른 사람이 미리 학습해놓은 모델을 이어 받아서 학습을 하는 방식이다. 베이스가 없는 상태에서 처음부터 학습하는 것보다는 어느 정도 학습된 모델에서 이어 학습하는 방식이 속도나 정확도 측면에서 훨씬 유리하다. - P331

전이 학습으로 학습을 해도 학습 연산량이 꽤 크기 때문에 CPU로 학습은 거의 불가하고 무조건 GPU를 써야 한다. GPU는 꽤 고가여서 개인 컴퓨터에 설치되어 있지 않은 경우도 많다. 하지만 걱정 안 해도 된다. 구글 코랩을 쓰면 무료로 GPU를 한번에 12시간까지 사용할 수 있다. 월 1만원 결제하는 유료회원으로 가입하면 최대 24시간 한 번에 사용할 수 있다. - P332

이미지 생성 기술은 생성적 적대 신경망Generative Adversarial Network, GAN 알고리즘을 활용한다. 생성적 적대 신경망 알고리즘은 진짜 이미지의 확률 분포를 추정하여 가짜 이미지를 생성하는 과정이다. 이 과정에서 생성자와 적대자가 상호작용하는데 생성자는 가짜 이미지를 생성하고 적대자는 가짜 이미지 감별 역할을 한다. 반복 훈련으로 알고리즘의 성능이 우수해지면 적대자가 진짜인지 가짜인지 판별을 잘 못하게 되는 지점이 발생한다. 그때 학습을 종료하면 된다. 다만 이 알고리즘은 수렴하는 모델을 만들기가 꽤나 까다롭다. 하이퍼 파라미터 튜닝이 꽤 어려운 알고리즘이라 초보자들은 접근하기 어려울 수 있다. - P333

이미지 처리 알고리즘은 텍스트 마이닝과 더불어 AI 빅데이터 분석 분야 중 가장 연구가 활발한 분야이다. 또한 앞으로도 전망이 매우 밝아 AI 빅데이터 분석으로 진로를 잡은 독자 분들이 도전해볼 수 있는 좋은 분야이다. 다만 다수의 학습 셋이 필요하고 학습 연산량도 큰데 단순 반복 작업도 많이 필요해 끈기와 집념이 더욱 요구되는 분야이다. 그래도 이미지 처리에 능한 AI 빅데이터 전문가가 되면 다른 분야의 AI 빅데이터 전문가보다도 훨씬 좋은 대우를 받을 수 있기에 충분히 도전해볼만한 가치가 있다. - P336

책을 읽었으면 자신이 할 수 있는 범위 안에서 최대한 행동으로 실천해보기 바란다. - P337

일단 목표를 세우고 공부를 시작하기 바란다. 그것도 지금 당장 시작해보기 바란다. 개인의 실력과 환경에 따라서 이 책의 내용대로 공부하는 데 1년이 걸릴 수도 있고 3년이 걸릴 수도 있다. 그래도 일단 도전해보는 자세가 중요하다. 도전해보고 안 될 수도 있지만 도전했다는 시도 자체가 앞으로의 인생에 큰 도움이 될 것이다. - P338

공부하는 가운데 어려움이 닥칠 수 있을 것이다. 그때마다 주눅 들지 말고 ‘나는 AI 빅데이터 전문가가 꼭 될 것이다‘ 혹은 ‘나는 AI 빅데이터 전문가다‘라고 스스로 다짐하며 용기를 내기 바란다. 그래도 공부하는 가운데 어려움이 있다면 저자에게 개인적으로 이메일을 보내거나 SNS 메신저 등으로 연락을 주기 바란다. 저자가 할 수 있는 범위에서는 도움을 주도록 노력할 것이다. - P338

마음을 먹고 시작하는 것도 중요하지만 결국에는 이를 지속하느냐도 매우 중요하다. 공부의 성과는 끈기와 집념에 있다고 생각한다. 공부하기로 마음먹고 시작했지만 끈기와 집념이 부족하다면 중도에 쉽게 포기하기 쉽다. 중고등학교처럼 강제로 학교에서 시키지도 않는 공부를 성인이 되어서 갑자기 하는 것은 어려운 일이기 때문이다. 그러나 저자는 독자 여러분 모두가 한번 사는 인생에 열정을 지니고, 배우고 싶은 분야를 열심히 공부하여, 나중에 그 당시 공부했던 시간에 대해 보람을 느끼면 좋겠다는 바람이 있다. 그리고 그 과정에서 이 책이 좋은 길잡이가 되기를 기원한다. - P339

주석(Annotation): 머신러닝 학습 전 사람이 정답을 정하는 과정이다. - P340

집중(Attention) 구조: 디코더에서 예측하는 시점(time step)마다 인코더의 전체 정보를 다시 참고하는 구조를 말한다. 단, 전체를 같은 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야 할 정보와 연관이 있는 입력 정보 부분을 좀 더 집중해 참고한다. - P340

오토인코더(Autoencoder): 비지도 학습으로 데이터를 학습할 때 사용되는 신경망의 한 종류다. 신경망에서 신호 안에 있는 ‘노이즈‘를 무시하도록 학습해 데이터를 차원 감소시키려는 것이다. - P340

오토스케일링(Autoscaling): 클라우드 컴퓨팅에서 활성된 서버의 연산자원량을 동적으로 조정하는 방법이다. - P340

단어 가방(Bag of words): 자연어 처리(Natural language processing, NLP) 및 정보 검색(IR)에 사용하도록 단순화시킨 단어의 모음이다. 이를 이용해 텍스트(문장 또는 문서 등)는 문법 및 단어 순서와 상관없이 다중성을 유지한다. - P340

Bert: 구글에서 개발한 자연어 처리 학습 기술이다. 특정 분야가 아닌 모든 자연어 처리분야에서 좋은 성능을 내는 범용 언어 처리 모델이다. - P340

합성곱 신경망(Convolutional neural network, CNN): 이미지나 영상과 같은 데이터를 처리할때 주로 사용하는 신경망 모델이다. 데이터의 지역적 특징을 모델에 반영할 수 있다. - P340

CRUD: 데이터베이스에서 데이터를 다루는 기본적인 기능인 생성(Create), 읽기(Read), 갱신(Update), 삭제(Delete)를 일컫는 말이다. - P340

탐색적 자료 분석(Exploratory data analysis, EDA): 데이터를 수집했을 때 다양한 각도에서 관찰하고 이해하는 과정을 의미한다. - P340

ELMo: 2018년에 제안된 새로운 단어 임베딩 방법론이다. 사전 훈련된 언어 모델(Pre-trained language model)을 사용하여 단어를 임베딩하기 전에 전체 문장의 성격을 파악한다. - P341

전문가 시스템(Expert System): 특정 분야에 대한 전문적인 지식을 정리하고 표현하여 컴퓨터에 기억시켜 일반인도 이 전문 지식을 이용할 수 있도록 하는 시스템이다. - P341

생성적 적대 신경망(Generative adversarial network, GAN): 비지도 학습에 사용되는 인공지능 모델이다. 정답이 없는 데이터 안에서 생성자와 판별자라는 신경망 2개가 서로 정답을 내려고 경쟁하면서 효율적인 학습 결과를 이끌어낸다. - P341

GPU: 컴퓨터 시스템에서 그래픽 연산을 빠르게 처리하여 결과값을 모니터에 출력하는 연산 장치다. - P341

게이트 순환 유닛(Gated recurrent unit, GRU): 순환 신경망의 한 종류다. 출력, 입력, 삭제할 정보를 적절히 구분하는 게이트의 개념을 이용해 필요한 데이터 위주로 빠르게 모델을 학습하는 LSTM을 보완한 것이다. 이전 데이터 중 필요없는 것을 리셋하는 리셋 게이트와 필요한 최신 데이터의 비율을 갱신하는 업데이트 게이트만 이용해 모델의 학습 속도를 높인다. - P341

피인용지수(Impact Factor): 학술지의 영향력을 평가하는 지표다. - P341

사물인터넷(Internet of things, IoT): 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술이다. - P341

캐글(Kaggle): 2010년 설립되었고 성능 좋은 데이터 예측 및 분석 모델을 만들기 위해 경쟁하는 대회 플랫폼이다. - P341

드디어 이 작품을 읽어본다. 개인적으로 그간 저자가 ...

드디어 이 작품을 읽어본다. 개인적으로 그간 저자가 쓴 책들을 소설이든 에세이든 가릴 것없이 이것저것 마구 읽다가 어느 순간부터 저자가 썼던 작품들의 출간 순서를 대략적으로나마 알게 되어서 가급적 그 흐름에 맞춰 읽어보려 하고 있다.

밑줄친 문장은 이 책의 서문에 나온 글의 일부인데, 이것 외에도 이 책의 앞표지와 뒷표지 그리고 앞 뒤 책날개에 간략하게나마 나온 글들을 통해 본문에서 어떤 내용들이 다뤄질지를 조금이나마 느껴볼 수 있었다. 대략 이런저런 사랑 얘기들과 더불어 거기서 파생된 어떤 것들을 통해 독자들이 생각해볼만한 여러가지 교훈적인 메시지들을 던져 주지 않을까 조심스레 예상해보며 시작한다.
.
.
.
쭉 읽다가 중간쯤에 등장하는 나가사와 선배라는 캐릭터가 개인적으로 매력있게 느껴졌다. 주인공이자 화자인 후배에게 왠지모르게 의미있는 말들을 많이 해줬기 때문이다. 물론 이야기의 핵심은 주인공과 그 주변을 맴도는 인물들 간의 썸씽이라고 보는 것이 맞겠지만, 그에 못지 않게 화자와 나가사와 선배 간의 관계도 한 번쯤 주목해서 볼만한 대목이라고 생각한다.

제가 여기서 그려내고 싶었던 것은 사람이 사람을 사랑한다는 것의 의미입니다. 그것이 이 소설의 간명한 테마입니다. - P8

한 시대를 감싸고 있는 분위기라는 것도 그려보고 싶었습니다. 사람을 진실로 사랑한다는 것은 자아自我의 무게에 맞서는 것인 동시에 외부 사회의 무게에 정면으로 맞서는 것이기도 하기 때문입니다. 그리고 이렇게 말하는 것은 참 가슴 아픈 일이지만, 누구나 그 싸움에서 살아남게 되는 건 아닙니다. - P8

나는 고개를 들어 북해北海의 상공에 뜬 검은 구름을 바라보면서 내가 지금까지의 인생 과정에서 잃어버린 많은 것들을 생각했다. 잃어버린 시간, 죽었거나 떠나버린 사람들, 이젠 돌이킬 수 없는 추억들. - P14

"Auf Wiedersehen!" (안녕!) - P14

나는 무슨 일이든 글로 써보지 않고서는 사물을 제대로 이해하지 못하는 유형의 인간인 것이다. - P17

"언젠가는 끝나. 끝날 때 우린 다시 한 번 생각을 바꾸면 돼, 앞으로 어떻게 할 것인가." - P20

"우린 손익 계산서를 보면서 살고 있는 건 아니잖아. 만약 네가 나를 지금 당장 필요로 하면 나를 이용하면 되는 거야. 안 그래?" - P20

"어깨에서 힘을 빼면 훨씬 몸이 가벼워지게 돼." - P20

"나는 머리가 좋은 사람이 아니라서 무엇이든 이해하는 데 시간이 걸려. 하지만 만약 시간만 있다면 나는 너를 제대로 이해할 수 있을 거야. 그렇게 되면 나는 이 세상의 누구보다도 제대로 이해할 수 있을 거라고 생각해." - P21

이젠 알게 됐다. 결국 따지고 보면ㅡ하고 나는 생각한다ㅡ글이라는 불완전한 그릇에 담을 수 있는 것은 불완전한 기억이나 불완전한 상념밖엔 없는 것이다. 그리고 나오코에 관한 기억이 내 안에서 희미해져가면 갈수록 나는 더욱 깊이 그녀를 이해할 수 있게 되었다고 생각한다. - P23

일상생활이라는 차원에서 본다면, 우익이든 좌익이든, 위선이든 위악이든, 그리 대단한 차이가 있는 건 아닌 것이다. - P27

정말이지 세상엔 여러 가지 희망이 있고 인생의 목적이 있구나, - P31

"그래. 다들 나를 가냘픈 여자라고 생각하지. 하지만 사람은 겉보기와는 다른 거야." - P39

"요즈음 늘 이런 상태가 계속되고 있어. 뭔가를 말하려 해도 늘 빗나가는 말밖에 떠오르지 않는 거야. 말이 빗나가거나 아니면 전혀 반대가 되기도 해. 그래서 그걸 정정하려면 더 큰 혼란에 빠져서 빗나가버리고, 그렇게 되면 처음에 내가 무슨 말을 하려 했는지조차 알 수 없게 되어버려. 마치 내 몸이 두 개로 갈라져서 숨바꼭질을 하는 것 같은 그런 느낌이야. 한복판에 굉장히 굵은 기둥이 서 있어서 그 주위를 빙빙 돌며 술래잡기를 하는 거야. 딱 알맞은 말은 늘 또 다른 내가 품고 있어서, 이쪽의 나는 절대로 그걸 따라잡을 수 없는 거야." - P40

"모두가 자신을 표현하려고 하지만 정확하게 표현이 안 되니까 초조해하지." - P40

나는 나를 둘러싸고 있는 세계 속에서 나 자신의 위치를 분명하게 정할 수가 없었다. - P45

도쿄에 올라와서 기숙사에 들어가 새로운 생활을 시작했을 때, 내가 해야 할 일은 하나밖에 없었다. 모든 사물을 너무 심각하게 생각하지 말 것, 모든 사물과 나 자신 사이에 적당한 거리를 둘 것ㅡ그것뿐이었다. - P45

처음 한동안은 그렇게 잘될 것만 같았다. 그러나 아무리 잊어버리려 해도 내 안에는 뭔가 뿌옇게 흐린 공기덩어리 같은 것이 남아 있었다. 그리고 시간이 흐를수록 그 덩어리는 단순하면서도 뚜렷한 형상을 갖추기 시작했다. 나는 그 형상을 이런 말로 바꿔놓을 수가 있다. 그것은 이런 것이었다.

‘죽음은 삶의 반대편에 있는 것이 아니라, 그 일부로서 존재하고 있다.‘ - P46

우리는 그것(죽음)을 마치 미세한 티끌처럼 폐 속으로 들이마시면서 살고 있는 것이다. - P46

죽음은 ‘나‘라는 존재 속에 본질적으로 이미 포함되어 있는 것이며, 그 사실은 아무리 노력해도 잊어버릴 수가 없는 것이다. - P46

심각해진다는 것이 반드시 진실에 가까워진다는 것과 같은 뜻이 아니라는 것 - P47

그녀가 찾고 있는 것은 내 팔이 아니라 누군가의 팔인 것이다. 그녀가 찾고 있는 것은 나의 온기가 아니라 누군가의 온기인 것이다. - P52

그(나가사와)는 나 따위는 따라잡지도 못할 정도의 굉장한 독서가였는데, 죽은 지 삼십 년이 지나지 않은 작가의 책에는 원칙적으로 손도 대려고 하지 않았다. 그런 책밖에는 믿지 않는다고 그는 말했다.
"현대문학을 믿지 않는다는 건 아니야. 다만 나는 시간의 세례를 받지 않은 걸 읽느라 귀중한 시간을 쓸데없이 낭비하고 싶지 않은 거야. 인생은 짧아." - P55

"나가사와 선배는 어떤 작가를 좋아하나요?" 내가 물어봤다.
"발자크, 단테, 조셉 콘래드, 디킨스." 하고 그는 즉석에서 대답했다.
"그렇게 현대적 성향이 있는 작가라곤 할 수 없겠네요."
"그러니까 읽는 거야. 다른 사람과 똑같은 걸 읽고 있으면 다른 사람과 똑같은 생각밖엔 못하게 돼. 그런 건 촌놈, 속물의 세계야. 제대로 된 인간은 그런 부끄러운 짓은 안 하지. 알고 있나. 와타나베? 이 기숙사에서 조금이라도 멀쩡한 사람은 나와 너뿐이야. 나머지는 죄다 휴지조각 같은 것들이지." - P56

"알지도 못하는 여자와 자고 다녀봤자 얻는 건 아무것도 없지. 피곤하고, 자신이 싫어질 뿐이야. 그건 나도 마찬가지라구." - P61

"왜 도스토옙스키가 도박에 관해서 쓴 것(《도박사》를 두고 하는 말임ㅡ옮긴이) 있지? 그것과 마찬가지야. 즉 그건 말이지. 가능성이 주위에 충만해 있을 때, 그것을 그냥 두고 지나친다는 건 대단히 어려운 일이야. 알겠어?" - P61

"날이 저문다, 여자아이가 거리에 나와 주변을 어정거리면서 술을 홀짝거리고 있다. 그녀들은 무엇인가를 찾고 있고, 나는 그 무엇인가를 그녀들에게 줄 수 있는 거지. 그건 정말 간단한 일이야. 수도꼭지를 비틀어 물을 마시는 것과 마찬가지로 간단한 일이지. 그렇게 눈 깜짝할 사이에 쓰러뜨릴 수 있고, 상대방도 그걸 기다리고 있는 거야. 그것이 가능성이라는 거지. 그런 가능성이 눈앞에 굴러다니고 있는데, 그저 보고만 지나칠 셈인가? 자신에게 능력이 있고, 그 능력을 발휘할 장소가 있는데, 넌 잠자코 지나치겠단 말이야?" - P61

"네가 이런 걸 공허하다고 느낀다면, 그건 네가 제대로 된 인간이라는 증거고, 그건 아주 바람직한 일이야." - P61

여러 가지 일에 신경 쓰지 말았으면 해. 설령 무슨 일이 일어났다 해도, 또 설령 아무 일도 일어나지 않았다 해도, 결국은 이렇게 될 수밖에 없지 않았을까. - P74

네가 나에게 상처를 입힌 건 아니야. 나에게 상처를 준 건 나 자신이야. 나는 그렇게 생각하고 있어. - P74

나는 그 같은 안타까운 심정을 어딘가로 가져갈 수도, 어딘가에 간직할 수도 없었다. 그것은 몸 주변을 스치고 지나가는 바람처럼 윤곽도 없고, 무게도 없었다. 나는 그런 심정을 마음에 담아두는 일조차 할 수 없었다. 풍경이 내 앞을 천천히 스쳐 지나갔다. 그것들이 하는 말이 전혀 내 귀에는 와 닿지 않았다. - P75

나와 텔레비전 사이를 가로지르는 막막한 공간을 둘로 나누고, 그 갈라진 공간을 또 둘로 나눴다. 그리고 몇 번이고 몇 번이고 그 일을 계속해, 마지막에는 손바닥에 올려놓을 수 있을 만큼 작은 공간을 만들었다. - P75

그런 졸렬한 패거리들은 바람의 방향 하나에도 큰소리를 내거나 움츠러들거나 하는 것이다. 이봐, 기즈키, 여긴 형편없는 세계야, 하고 나는 생각했다. 이런 놈들이 버젓이 대학에서 학점을 따고, 사회에 나가 부지런히 졸렬한 사회를 만들어가는 것이다. - P80

‘아니오, 신께서도 불행한 사람이 하는 말에는 귀 기울이려 하지 않으신답니다.‘ - P83

"고독을 좋아하는 인간이란 없어. 억지로 친구를 만들지 않을 뿐이지. 그런 짓을 해봐야 실망할 뿐이거든." - P86

"특별히 좋아하는 건 아냐. 무슨 색이면 어때?" - P87

"천만에. 대개는 얼간이들이지. 얼간이 아니면 변절자들이야. 관료 나부랭이나 되려는 인간의 95퍼센트 정도는 쓰레기거든. 이건 거짓말이 아니라니까. 그놈들은 글자조차 똑바로 읽지 못한다구." - P90

"제일 큰 이유는 내 자신의 능력을 테스트해보고 싶은 거야. 어차피 테스트한다면 제일 커다란 그릇 속에서 테스트해보고 싶다, 이거지. 말하자면 국가 말이야. 이 덩치만 커다란 관료 기구 속에서 어디까지 내가 올라갈 수 있는가, 어디까지 내가 힘을 가질 수 있는가, 그런 걸 시험해보고 싶은 거야." - P90

"그렇지, 게임 같은 거야. 나에겐 권력욕이랄까 금전욕이랄까, 그런 건 거의 없어, 정말이야, 난 하찮은 고집스런 남자일지 모르지만, 그런 욕심은 놀랄 만큼 없는 놈이야. 이를테면 무사무욕無私無慾, 그런 인간이거든. 다만 호기심이 있을 뿐이야. 그리고 넓고 거친 세계에서 나 자신의 힘을 시험해보고 싶을 뿐이지." - P90

"그럼 이상이랄까, 그런 것도 갖고 있지 않다 그 말인가요?"
"물론 없지" 하고 그는 말했다. "인생에 그런 건 필요 없어. 필요한 건 이상이 아니라 바로 행동 규범이야." - P90

"이봐, 와타나베." 하고 식사가 끝나자 나가사와 선배는 나에게 말했다. "나와 너는 여기를 나가 십 년이나 이십 년이 지난 후에 또 어딘가에서 만나게 될 것만 같아. 그리고 어떤 형태로든 서로 관련을 가질 것만 같고"
"꼭 디킨스의 소설 같은 이야기군요." 하고 말하곤 나는 웃었다.
"그렇군." 하고 그도 웃었다. "하지만 내 예감은 잘 맞는단 말이야." - P91

"신사여야 한다는 거야." - P91

"자기가 하고 싶은 일을 하는 게 아니라, 해야 할 일을 하는 게 신사야." - P92

데우스엑스마키나(고대 그리스 연극에서 쓰인 무대 기법의 하나. 기중기 같은 것을 이용해 갑자기 신이 공중에서 나타나 위급하고 복잡한 사건을 단숨에 해결하는 수법-옮긴이) - P93

에우리피데스에 나오는 신이 아이스킬로스나 소포클레스의 그것과 어떻게 다른가 - P93

이 녀석들의 진짜 적은 국가 권력이 아니라 상상력의 결핍일 것이라고 나는 생각했다. - P94

"뭐, 괜찮아. 난 시간이 너무 남아도는 인간이니까."
"그렇게 한가해?"
"내 시간을 조금 줘서, 그동안 너를 잠자게 해주고 싶을 정도야." - P95

"친절한 게 아니고, 단순히 한가한 거야." - P95

미도리는 요쓰야 역에서 잠시 걸어가면 있는, 그녀의 고등학교 앞으로 나를 데리고 갔다.
요쓰야 역 앞을 지나갈 때 나는 문득 나오코와의 그 끝없는 산책을 떠올렸다. 그러고 보면 모든 것은 이 장소로부터 비롯되었던 것이다. 만약 그 오월의 일요일에 주오센 전철 안에서 우연히 나오코를 만나지 않았더라면, 내 인생도 지금과는 완전히 달라져 있겠지, 하고 나는 생각했다. 그리고 곧 아니다, 만약 그때 만나지 않았다 하더라도 결국은 똑같이 되었을 것이라고 고쳐 생각했다. 아마도 우리는 그때 만나야 했기 때문에 만난 것이고, 만약 그때 만나지 않았더라도 어딘가에서 만났을 것이다. 특별한 근거가 있는 것은 아니지만, 나는 그런 느낌이 들었다. - P96

"한 번도 쉬지 않았어. 지는 것이라고 생각했거든. 한 번 지고 나면 끝장이란 생각. 한 번 지고 나면 그대로 질질 끌려가게 되지 않나 싶어서 겁이 났던 거야." - P97