오늘은 본문에 나왔던 용어들 가운데 다소 생소했거나 혹은 핵심이 되는 개념들을 정리해본다.

한국학술지인용색인(Korea citation index, KCI): 한국연구재단의 학술지 평가를 통해 논문을 등재하거나 등재 후보를 선정하는 국내학술지 정보가 모인 전문 정보 서비스다. 게재논문에 대한 각종 정보를 제공한다. - P341

케라스(Keras): 파이썬으로 작성된 오픈 소스 신경망 라이브러리다. 사용자의 부담을 덜기 위해 일관되고 간결한 API를 제공한다. - P341

K-겹 교차검증(K-fold cross validation): 모든 데이터를 최소 한 번 테스트 데이터셋으로 사용하도록, K겹으로 데이터를 나눈 후 매번 테스트 데이터셋을 바꾸어 나가는 방법. - P341

장단기 메모리(Long short-term memory, LSTM): 딥러닝 분야에서 사용되는 순환 신경망 기반의 신경망 모델이다. 셀, 입력 게이트, 출력 게이트, 망각 게이트로 구성되어 셀은 임의의 시간 간격에 대한 값을 기억하고 세 가지 게이트는 셀 안팎으로의 정보 흐름을 조절한다. - P342

무크(MOOC): 웹 서비스를 기반으로 이루어지는 상호참여적이고 대규모의 교육 시스템이다. - P342

주성분 분석(Principal component analysis. PCA): 고차원의 데이터를 저차원의 데이터로 축소시키는 기법을 의미한다. 이때 서로 연관성이 있는 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간(주성분)의 표본으로 변환하기 위해 직교 변환을 사용한다. - P342

파이썬(Python); 1991년 귀도 반 로섬이 발표한 고급 프로그래밍 언어다. 운영체제나 플랫폼에 독립적이며 인터프리터, 객체 지향, 동적 입력이 가능하다는 특징이 있다. - P342

파이토치(Pytorch): 오픈소스 머신러닝 라이브러리다. 1993년에 루아(lua)라는 프로그래밍 언어로 개발된 오픈 소스 머신러닝 라이브러리인 토치(Torch)를 파이썬에 구현한 것이다. 자연어 처리와 관련된 모델이나 응용 프로그램을 개발할 때 주로 사용한다. - P342

R: 통계 계산과 그 결과를 그래픽으로 나타내기 위한 프로그래밍 언어이자 소프트웨어환경이다. 무료로 사용할 수 있는 오픈 소스로 공개되어 있다. - P342

랜덤 포레스트(Random Forest): 분류나 회귀분석 등에 사용되는 앙상블 학습 방법의 하나다. 학습 과정에서 구성한 결정 트리 여러 개에서 분류 또는 평균 예측값(회귀분석)을 출력한다. - P342

지역적 합성곱 신경망(Regions with CNN. R-CNN): 사람이 설정한 지역을 합성곱 신경망의 특징(feature, 입력값)으로 활용하여 객체 인식(Object Detection)을 수행한다. - P342

순환 신경망(Recurrent neural network, RNN): 입력과 출력을 특정 순서(Sequence) 단위로 처리하는 인공 신경망 모델이다. - P342

과학인용색인 확장판(Science Citation Index Expanded. SCIE): 과학 저널들 중 엄격한 심사를 거쳐 선별한 학회지의 목록 - P342

스코퍼스(Scopus): 2004년 네덜란드의 엘스비어 출판사가 만든 전 세계 우수 학술 논문데이터베이스 플랫폼이다. - P342

Seq2seq: 언어 처리에 사용되는 머신러닝 기반 방법론이다. 언어 번역, 이미지 캡션, 대화 모델, 텍스트 요약에 주로 사용한다. - P343

자기조직화지도(Self-organizing map, SOM): 사람이 눈으로 볼 수 있는 저차원(2차원 내지 3차원) 좌표에 고차원 데이터의 개체 각각이 대응하도록 인공 신경망과 유사한 방식의 학습을 통해 군집화하는 기법이다. - P343

SPSS - 통계 분석과 데이터 마이닝 등에 사용되는 통계 분석 프로그램이다. - P343

텐서플로(Tensorflow): 다양한 작업의 데이터 흐름을 제어하는 프로그래밍에 사용하는 오픈 소스 소프트웨어 라이브러리다. 수학 라이브러리이자 인공 신경망 같은 머신러닝 애플리케이션에서 사용한다. - P343

단어 빈도와 역문서 빈도(Term frequency-inverse document frequency, TF-IDF): 정보 검색과 텍스트 마이닝에서 이용하는 가중치를 의미한다. 여러 가지 문서로 이루어진 문서 그룹이 있을 때 어떤 단어가 특정 문서 안에서 얼마나 중요한 것인지를 나타내는 통곗값을 계산한다. - P343

토이셋(Toyset): 데이터를 분석할 때 쉽고 빠르게 결과를 볼 수 있도록 만들어진 예제 데이터셋이다. - P343

검정 데이터셋(Validation set): 학습이 완료된 모델을 검증하기 위한 데이터셋이다. 하이퍼파라미터를 튜닝할 때 꼭 필요하다. - P343

Word2Vec: 신경망 모델을 사용하여 대규모 텍스트 말뭉치(corpus)서 단어 연관성을 학습한다. - P343

YOLO(You only look once): 이미지 전체에 대해서 신경망 하나(a single neural network)가 한번의 계산만으로 바운딩 박스(bounding box)와 클래스 확률(class probability)을 예측한다. R-CNN에 비해서 비약적으로 빠른 속도를 자랑한다. - P343

가설(hypothesis): 현실적 조건에서는 증명하거나 검증하기 어려운 사물, 현상의 원인 또는 합법칙성에 관하여 예측하는 이론. - P343

감성 분석(Sentiment analysis): 자연어 처리, 텍스트 분석, 전산 언어학 및 생체 인식을 사용하여 정서 상태 및 주관적인 정보를 체계적으로 식별, 추출, 정량화하는 기술이다. - P343

결측값(Missing value): 데이터셋에서 누락된 값이다. - P343

경사하강법 (Gradient descent): 함수의 기울기를 구한 후 기울기의 절댓값을 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복하는 최적화 알고리즘이다. - P344

과적합(Overfitting): 학습 데이터에 대해서는 오차가 작지만 실제 데이터에 대해서는 오차가 크도록 과하게 학습된 상태 - P344

네트워크 분석(Network analysis): 노드(node)와 엣지(edge)로 이뤄진 자료구조를 통해 노드사이의 연관관계를 분석하는 것이다. - P344

뉴런(Neuron): 인공 신경망의 모델을 학습할 때 계산을 수행하는 개체다. 수많은 뉴런이 연결되어 병렬 연산을 수행한다. - P344

드롭아웃(Dropout): 학습 데이터를 대상으로 복잡하게 학습하는 작업을 막아 인공 신경망의 과적합을 줄이는 정규화 기술이다. 일부 뉴런을 인위적으로 제거하여 신경망을 간소화한다. - P344

배치 정규화(Batch normalization): 학습할 때 사용하는 미니배치 단위를 정규화하여 학습속도를 개선하고 과적합 문제를 해결하는 것이다. - P344

불용어(Stopword): 큰 의미가 없는 단어 토큰을 의미한다. - P344

시각화(Visualization): 데이터 분석 결과를 쉽게 이해할 수 있도록 시각적으로 표현하고 전달되는 과정을 의미한다. - P344

시계열(Time series): 일정 시간 간격으로 배치된 데이터들의 수열이다. - P344

임베딩(Embedding): 자연어 처리에서 특징 추출을 통해 수치화하는 방법이다. - P344

재현율(Recall): 실제 참(True)인 것 중에서 모델이 참(True)이라고 예측한 비율을 뜻한다. - P344

전처리(Preprocessing): 분석하기 좋게 데이터를 고치는 모든 작업을 의미한다. - P344

정밀도(Precision): 모델이 참(True)이라고 예측한 것 중에서 실제 참(True)인 것의 비율을 뜻한다. - P344

클라우드 서버(Cloud server): 물리적 서버 하나를 나누어 여러 개의 가상 서버로 사용하는 가상화 방법의 한 형태다. - P344

토픽 모델링(Topic modeling): 단어 각각이나 문서 집합에 대해 숨겨진 주제를 찾아내어 문서나 키워드별 주제끼리 묶어주는 비지도 학습 알고리즘이다. - P344

파라미터(Prameter): 수학과 통계학에서 어떠한 시스템이나 함수의 특정한 성질을 나타내는 변수를 뜻한다. - P345

활성화 함수(Activation function): 입력 또는 입력 데이터셋이 주어졌을 때 해당 노드의 출력을 정의하는 함수다. - P345


댓글(0) 먼댓글(0) 좋아요(9)
좋아요
l 공유하기 l 북마크하기찜하기 lthankstoThanksTo
 
 
 

좋은 기회가 되어 읽어볼 수 있게 되었다. 서두에서 저자는 현실과 비현실을 넘나드는 이야기를 썼다고 밝혔었는데, 오늘 처음 밑줄친 문장이 그러한 모습을 대표적으로 잘 보여주는 듯하다. 잠이라는 꿈(비현실)의 세계에서 잠에서 깬 이후의 현실 세계로 돌아온 것인데 주저리주저리 말들이 많지만 여기서의 핵심은 ‘나의 인생은 엄연한 현실‘이라는 사실이다. 아직 소설의 극초반부라 뒤에 어떤 내용들이 나올지 감을 잡을 순 없지만 적어도 지금 현재의 상황에서 현실을 직시해야 하는 것만은 분명해보인다.

잠에서 깬다. 여기가 어디지? 하고 나는 생각한다. 생각만 하는 게 아니라 실제로 입 밖에 내어 나 자신에게 이렇게 묻는다. "여기가 어디지?"라고. 하지만 그건 무의미한 물음이다. 물을 것까지도 없이 대답은 처음부터 알고 있다. 여기는 나의 인생이다. 나의 생활, ‘나‘라고 하는 현실 존재의 부속물. 특별히 인정한 기억이 없는데도 어느 틈엔가 나의 속성으로서 존재하게 된 몇 가지 사항 · 사물 · 상황. - P12

나는 어디에도 포함되어 있지는 않다. - P12

창녀들에게 이름은 있을지 모른다. 하지만 그녀들은 이름을 갖지 않는 세계에서 살고 있는 것이다. - P18

어째서 누군가가 나 때문에 눈물을 흘리는가? - P19

돌고래 호텔로 돌아가는 것은, 과거의 그림자와 다시 한번 대면해야 함을 의미하는 것이다. - P20

그렇다, 나는 이 근래 사 년 동안, 그 냉랭하고 어두운 그림자를 떨어내 버리는 일에 전력을 기울이고 있었다. 그래서 돌고래 호텔로 돌아간다는 것은 내가 사 년 동안 조용히, 부지런히 모아온 모든 것을 송두리째 포기하고 없애 버리는 것이다. - P20

물론 내가 그렇게 대단한 것을 손에 넣었던 건 아니다. 그 대부분은 아무리 생각해봐도 잠정적이고 편의적인 잡동사니였다. 하지만 나는 나름대로 최선을 다했으며, 그 같은 잡동사니를 그럴싸하게 짜 맞추어 현실과 자신을 연결하고, 내 나름의 조그마한 가치관에 기초한 새로운 생활을 구축해 왔다. - P20

다시 한번 본래의 텅 빈 자리로 되돌아가라는 것인가? 창문을 열고 무엇이든 내동댕이치라는 것인가? 하지만 결국 모든 것은 거기서부터 시작되는 것이다. 나는 그것을 알고 있었다. 거기서부터 시작될 수밖에 없다. - P20

단념하자, 하고 나는 생각했다. 단념하자, 무슨 생각을 하건소용없다. 그것은 너의 능력 밖의 일이다. 네가 무슨 생각을 하건, 거기서부터 시작될 수밖에 없다. 그렇게 정해져 있다, 확실히. - P20

내가 나 자신에 대해 도대체 무엇을 알고 있을까? 내가 의식을 통해서 파악하고 있는 나는 진정한 의미의 나일까? 녹음된 목소리가 자기 목소리로 들리지 않는 것처럼, 내가 파악하는 자아의 상像은 왜곡된 채 인식되어 모양 좋게 바뀌어 만들어진 것은 아닐까? - P21

우리는 모두가 가공의 세계에서 가공의 공기를 마시며 살고 있었다. - P22

하지만 아무튼, 무엇인가 지껄이기로 하자. 자신에 관해 무엇인가 지껄이는 데서부터 모든 것이 시작된다. 그것이 우선 첫걸음이다. 바른지 그른지는 나중에 다시 판단하면 된다. 나 자신이 판단해도 되고 다른 누군가가 판단해도 된다. 어쨌든 간에, 지금은 이야기 해야 할 때다. 그리하여 나도 해야 할 말을 고심하지 않으면 안 된다. - P22

사람이 인생에서 무엇인가를 추구할 때 (추구하지 않는 인간이 있을까?), 인생은 좀 더 많은 데이터를 그에게 요구한다. 명확한 도형을 그리기위한, 더 많은 정보가 요구된다. 그렇게 하지 않고선, 아무런 회답도 돌아오지 않는다. - P22

지껄이자. 그러지 않고선, 아무것도 시작되지 않는다. 그것도 되도록 길게. 바른지 그른지는 나중에 다시 생각하면 된다. - P23

타인이 나라는 존재를 어떻게 파악했다 하더라도 나는 그다지 신경을 쓰지 않는다. 다른 사람들이 나를 어떻게보든, 그것은 나와 전혀 상관없는 문제다. 그것은 나의 문제라기보다는 차라리 그들의 문제인 것이다. - P29

‘실제 이상으로‘라는 표현은, 내가 파악한 나 자신의 상像에 비해서 그렇다는 것에 불과하다. - P29

세상에 오해라는 것은 없다. 사고방식의 차이가 있을 뿐이다. 그것이 내 생각이다. - P30

나 자신이 그 쓸쓸함을 제법 잘 견뎌 낼 수 있다는 것도 알고 있었다. 나는 익숙해지고 있는 것이다. - P33

네가 네 자신을 마멸시켜 온 것이다. 네가 생각하는 것보다 훨씬 더 많이 너는 마멸된 것이다, - P33

나는 일의 좋고 싫음을 가릴 만한 처지는 아니었다. 게다가 도대체가 나에게 맡겨지는 일은 그게 무엇이든 좋고 싫고를 가릴 만한 차이가 없었다. - P34

다행인지 불행인지 일반적으로 세상사란 것은 끝으로 가면 갈수록, 그 질의 차이가 확연하게 드러나지 않는 법이다. 주파수와 마찬가지다. 어느 한계점을 넘어 버리면, 인접하는 두 음향 중 어느 쪽이 높은가 하는 것 따위는 거의 분간해 낼 수 없으며, 이윽고 분간은커녕 아무것도 들리지 않게 된다. - P34

쓰레기 치우기나 눈 치우기와 같은 일이다. 누군가는 해야 하는 것이다. 좋고 싫고와 관계없이. - P35

나는 다만 시간이 필요했다. 그 사건에 관한 모든 것을 구체적으로ㅡ실제적으로ㅡ정리하고 검증하는 데 반년이라는 시간이 필요했던 것이다. 나는 결코 자폐적이 되거나, 외부 세계를 완강하게 거부하거나 했던 것은 아니다. 단지 그것은 시간적인 문제였다. 다시 한번 자신을 제대로 회복하고, 재정비하기 위한 순수하게 물리적인 시간이 나에겐 필요했던 것이다. - P37

자신을 재정비한다는 의미와 그다음의 방향성에 대해서까지는 생각하지 않기로 했다. 그것은 또 다른 문제다, 하고 나는 생각했다. 거기에 대해선 다시 다음에 생각하면 된다. 우선 평형감각을 회복하는 일이 먼저다. - P37

한 번 죽어 버리면, 그 이상 잃어버릴 것은 아무것도 없다. 그것이 죽음의 훌륭한 점이다. - P40

하지만 나는 곧 서글픈 기분이 들었다.
시대가 바뀐 것이다. 그뿐이다. - P41

모두 고만고만했다. 아무것도 달라지진 않았다. 언제든 언제든 언제든, 사물의 존재양식은 같다. 다만 연호年號가 바뀌고, 사람이 교체된 정도일 뿐이다. 이러한 의미 없는 일회용 음악은 어느 시대에나 존재했고, 앞으로도 어김없이 존재할 것이다. 달이 차고 이지러지는 것처럼. - P42

아무것도 생각하지 않았다. 나는 그저 음악에 귀를 기울이고 있을 뿐이었다. - P43

‘난 태어나고부터 줄곧 잃어버리기만 했어‘ - P43

‘그리고 난 지금 그대를 잃어버리려고 해.‘ - P43

이따금 그럴 때가 있다. 무엇인가 하찮은 일이 내 마음의 가장 연약한 부분을 건드리는 것이다. - P43

이 거대한 개미집 같은 고도자본주의 사회에서 일을 찾는 것은 그다지 곤란한 작업이 아니다. 물론 그 일의 종류며 내용에 대해서 군소리만 않는다면 말이다. - P45

나는 일감의 좋고 나쁘고를 가리지 않았고, 들어오는 일감은 닥치는 대로 떠맡았다. 마감 날짜를 어긴 적이 없었고, 무슨 일이 있어도 군소리를 하지 않았으며, 글씨도 깨끗했다. 일솜씨도 꼼꼼했다. 다른 사람이라면 적당히 할 일도 성실하게 했고, 대가가 낮아도 싫은 기색 한번 내비치지 않았다. - P46

눈을 치우는 작업과 같았다. 눈이 내리면 나는 그것을 효율적으로 길가로 치웠다. 한 조각의 야심도 없었고, 한 조각의 희망도 없었다. 오는 일거리를 닥치는 대로 거침없이 체계적으로 처리해 나갈 따름이었다. 솔직히 말해서 이건 인생의 낭비가 아닐까 하고 생각한 적이 없는 것도 아니었다. 하지만 종이와 잉크가 이만큼 낭비되고 있으니, 내 인생이 낭비됐다 해도 군소리할 것은 아니지 않느냐, 하는 것이 내가 도달한 결론이었다. - P47

우리는 고도자본주의 사회에서 살고 있다. 거기에선 낭비가 최대의 미덕이다. 정치가는 그것을 내수內需의 세련화라고 부른다. 나는 그것을 무의미한 낭비라고 부른다. 사고방식의 차이다. 하지만 비록 사고방식의 차이가 있다 해도, 어쨌든 그것이 우리가 살고 있는 사회다. 그것이 마음에 들지 않는다면, 방글라데시나 수단으로 가는 수밖에 없다. 나는 방글라데시에도 수단에도 별다른 흥미를 가질 수 없었다. 그래서 묵묵히 일을 계속했다. - P47

내가 그런 식으로 열심히 한 것은, 그렇게 하는 것이 나로선 가장 편했기 때문이다. 자기 훈련. 얼마 동안 일을 시키지 않았던 손가락과 머리에 실제적인ㅡ그리고 되도록이면 무의미한ㅡ일을 시키며 혹사하는 것. - P48

나는 결국 어디에도 가지 않는다. 모두 하나둘씩 떠나가 버리고, 나만이 연장된 유예기간 속에 언제까지나 머물러 있었다. 현실이면서도 현실이 아닌 인생. - P50

가장 큰 문제는, 내가 마음 밑바닥으로부터 그녀를 원하고 있지 않았다는 점이었다. - P51

그렇다, 결국은 그녀 옆에 있으면서 나는 달 위에 있었던 것이다. 옆구리로 그녀의 가슴의 감촉을 느끼면서도 내가 진심으로 찾고 있었던 것은 다른 그 무엇이었다. - P51

생각할 것까지도 없었다. 무엇을 하면 좋은지는 처음부터 알고 있었다. 결론은 훨씬 전부터 짙은 구름처럼 내 머리 위에 빠끔하게 떠 있었다. 나는 다만 그것을 실행에 옮길 결심을 할 수 없어서, 하루 또 하루 미루고 있었을 뿐이다. 돌고래 호텔로 가는 것이다. 그것이 출발점이다. - P51

키키가 출발점의 열쇠를 쥐고 있다. 나는 그녀를 다시 한번 이 방으로 불러들이지 않으면 안 된다. 한번 나가 버린 자는 다시는 되돌아오지 않는 이 방으로. 그런 일이 가능한지 어떤지 나로서는 알 수 없다. 하지만 어쨌든 해보는 수밖엔 없다. 거기서부터 새로운 사이클이 시작되는 것이다. - P52

솔직히 말해서, 이런 종류의 취재를 나처럼 꼼꼼하게 하는 작가는 그다지 많지 않을 것이다. 제대로 하자면 참으로 힘든 일이고, 대충하려고 생각하면 얼마든지 적당히 할 수 있는 일이다. 그리고 제대로 하건, 수고를 덜 하려 하건, 기사로서의 완성도에는 거의 차이가 나지 않는다. 표면적으로는 비슷해 보인다. 하지만 자세히 보면 조금 다르다. - P56

그것이 무엇이든 간에 이왕 하게 된 바에야 제대로 해낸다. 그런 의미에서 우리는 프로다. - P57

실제로 가보면 모든 것이 분명해진다. 가보는 수밖에 없다. 어쨌든 그곳으로 가지 않을 수 없는 것이다. 달리 특별히 이렇다 할 방도가 있는 것도 아니다. - P59

나는 낭비라는 건, 고도자본주의 사회에서는 최대 미덕이라고 그에게 가르쳐 줬다. 일본이 미국으로부터 팬텀 제트기를 사들여 스크램블로 쓸데없이 연료를 소비함으로써, 세계의 경제가 그 몫만큼 더 순환되고, 그 순환에 의해 자본주의는 한층 더 고도화되어 가는 것이다. 만일 모두가 낭비라는 것을 일절 하지 않는다면, 대공황이 일어나서 세계의 경제는 엉망진창이 되고 말것이다. 낭비라는 것은 모순을 일으키는 연료며, 모순이 경제를 활성화하고, 활성화가 다시 낭비를 만들어 내는 것이다, 라고. - P60

익숙해져 있는 것은 아니다. 파악, 인식하고 있을 따름이다. 그 양자 사이에는 결정적인 차이가 있다. - P61

하코다테역 근처 서점에서 산 잭 런던 Jack London의 전기를 읽었다. 잭 런던의 파란만장한 생애에 비하면, 내 인생 같은 건 떡갈나무 꼭대기에 난 홈에서 호두를 베개 삼아 꾸벅꾸벅 졸면서 봄을 기다리는 다람쥐처럼 평온한 것으로 보였다. 적어도 일시적으로는 그런 기분이 들었다. 전기傳記란 것은 그런 것이다. 도대체 어느 누가 평화로이 무사안일하게 살다가 죽어 간 가와자키 시립 도서관원의 전기 따위를 읽겠는가? 요컨대 우리는 대상행위代償行爲를 찾고 있는 것이다. - P61

닮았다ㅡ하지만 다르다. 마치 다른 행성과도 같다. 언어도 복장도 표정도 모두 같지만, 무엇인가 결정적으로 다른 별개의 행성. 어떤 종류의 기능이 통용되지 않는 별개의 행성ㅡ하지만 어떤 기능이 통용되고 어떤 기능이 통용되지 않는가는 하나하나 확인해 보는 수밖에 없다. - P63

내가 고독하다는 것ㅡ이것은 진실이었다. 나는 누구와도 결부되어 있지 않다. 그것이 나의 문제다. 나는 나를 되찾고 있는 중이다. 하지만 나는 누구와도 결부되어 있지 않다. - P64

돈으로 해결되는 일이라면ㅡ그리고 그 돈이 언젠가 되돌아온다는 확신이 있으면ㅡ그들은 거기에 얼마든지 돈을 쏟아붓는다. - P68


댓글(0) 먼댓글(0) 좋아요(11)
좋아요
l 공유하기 l 북마크하기찜하기 lthankstoThanksTo
 
 
 

오늘은 AI 빅데이터의 주요 분야 중 ‘이상 탐지‘라는 것에 대해 알아본다. 여기 별도로 밑줄치진 않았지만 본문의 사례를 통해 우리 주변의 멀지 않은 곳에서 어렵지 않게 경험할 수 있는 것들이라는 걸 느낄 수 있었다.

이상탐지란 정상적인 상황, 패턴과 어긋난 현상을 조기에 감지하는 알고리즘을 뜻한다. - P318

이상탐지는 과거 데이터를 기반으로 과거 히스토리에서 벗어난 패턴을 이상 현상으로 감지한다. - P318

이상 탐지 접근 방식은 과거 데이터의 모델과 예측을 기반으로 한다. 정상적인 패턴은 일정하다고 가정한다. 즉, 데이터 생성으로 이어진 기본 프로세스는 크게 변경되지 않은 것으로 간주되는 것이다. 다시 말해, 우리가 이전에 본 것이 앞으로도 이어질 것으로 기대하는 것이다. 하지만 때에 따라서는 시간이 지남에 따라 변경되는 데이터 트렌드나 주기도 정상적인 행동 패턴으로 특징지을 수 있다. - P319

이상탐지는 간단히 말하면 이진 분류 문제라고 볼 수 있다. 데이터를 정상/비정상으로만 구분해주면 된다. 따라서 분류 문제에 많이 쓰이는 머신러닝, 딥러닝 모델이 자주 사용될 수 있다. - P320

이상탐지가 일반적인 머신러닝 문제와는 조금 다른 점이 있다. 우선 정상/비정상 두 클래스 간에 급격한 불균형이 있다. 일반적으로 머신러닝을 적용하기 위해서는 사전에 클래스 라벨링을 해주고 클래스 분류 모델을 만드는데 클래스 간 분포가 비슷해야 학습모델 성능이 우수해진다. 하지만 이상탐지의 경우 학습 셋 자체가 99% 이상이 정상 셋 1% 미만이 비정상 셋이기 때문에 굉장히 불균형한 학습 데이터 셋이 생성된다. 만약 99:1의 비율을 지닌 학습 데이터 셋을 그대로 학습한다면 정상에만 지나치게 모델이 과적합해 모든 데이터에 대해서 정상을 출력할 것이다. 이를 해결하기 위해서는 비정상 데이터셋을 오버샘플링하여 증대하는 방법이 있다. 비정상 데이터셋과 유사한 비정상 데이터셋을 랜덤으로 생성하여 정상/비정상 클래스 분포를 맞추는 것이다. 또는 아예 비지도 학습을 하는 것이다. 비지도 학습은 정상/비정상 라벨이 사전에 필요 없기에 비지도 학습을 통해 패턴을 만들고 해당 패턴에서 벗어난 새로운 데이터들은 비정상으로 판단한다. - P321

이상탐지 알고리즘 적용시 또 주의해야할 점은 센서 데이터의 성격이다. 기계장비 이상탐지의 경우 대부분 센서 데이터를 기반으로 적용된다. - P321

센서는 소음, 온도, 습도, 진동 센서가 대표적이다. 일반적으로 이상 징후를 가장 빨리 잡아내는 센서는 진동이라고 알려져 있다. 센서 데이터는 일반적인 데이터와는 많이 다르기 때문에 분석 시 주의를 기울여야 한다. 우선 센서 데이터는 센서의 개수도 많고 초당 여러 개씩 실시간으로 쌓이기 때문에 데이터량 자체가 굉장히 많다. 그냥 그대로 AI 모델에 다 집어넣으면 연산량이 굉장히 커서 학습시간이 굉장히 오래 걸릴 수 있다. 그래서 모든 데이터를 다 활용하기 보다는 주기별로 특징 값을 추출하거나 분 단위 평균값과 같이 통계 요약 값을 다시 추출해서 모델에 넣는 경우가 많다. - P322

또한 여러 센서 간, 값이 들어오는 시간차가 조금씩 다르다. 예를 들어 센서가 1000 개 있는데 밀리세컨드(ms) 단위로 값이 들어오기 때문에 1000개의 센서마다 값을 받는 시간이 다 다르다. 이 조금씩 다른 시간대를 일치 조정도 해야 한다. - P322

결측값 문제도 있다. 센서가 워낙 많고 초당 여러 개의 값이 마구 들어오기에 중간 값이 종종 잘 안 들어올 수도 있다. 센서가 잠시 오작동 할 수도 있고 배터리가 부족해서일 수도 있는데 아무튼 완벽하게 모든 센서의 모든 값들이 100% 들어오는 경우는 거의 없다. 이렇게 결측값이 생기면 그 자체로는 AI 모델링을 할 수 없기에 결측값을 채워 넣는 작업이 필요하다. 가장 쉬운 방법은 이전에 채워진 값을 이어서 그대로 넣거나 최빈값, 평균값 등으로 대체하는 방식이다. 회귀모형을 세워서 이전 값과 이후 값을 고려한 경향에 맞게 채우는 방법도 있다. - P322

단기간에 서버에 부하가 오는 현상, 로그인 위치나 패턴이 이전과 다른 현상, 사용 시간대가 이전과 다른 현상, 메일 내용이 이전에 받은 메일 내용과는 다른 특이한 형식, 메일에 링크를 삽입한 현상 - P323

이상탐지 알고리즘은 실시간 데이터 처리, 센서 데이터 전처리, 대용량 데이터 적재 및 처리에 능해야 한다. 이러한 작업이 AI 모델링 작업보다 오히려 더 중요한 분야가 이상탐지 분야이다. 이러한 기술들은 수학, 통계보다는 컴퓨터 공학적 코딩 능력에 더 가깝다. - P325

전통적으로 이미지를 처리하기 위해서는 색, 픽셀 간의 상호 관계, 물체 배치, 에지, 윤곽선 등의 이미지 특징이라고 불리는 특징 추출이 중요했다. 이러한 특징 추출을 얼마나 잘 하느냐가 곧 알고리즘의 성능으로 이어졌다. 하지만 최근에는 딥러닝 기술의 발달로 단순히 RGB 3채널의 픽셀값만으로도 충분히 우수한 성능의 알고리즘이 구현되고 있다. - P327

유사도 분석은 두 이미지간의 유사도 분석을 통해 두 이미지가 동일한 이미지인지 아닌지 판별하는 방법론이다. 유사도 분석은 히스토그램 비교, 템플릿 매칭, 피처 매칭 3가지 방법론이 가장 많이 쓰인다. - P327

히스토그램을 이용한 비교는 간단하면서 처리 속도가 빠른 방식으로 가장 오래된 방식이기도 하다. 이 방식은 두 장의 사진을 비교할 때 색의 히스토그램 분포 유사도를 체크한다. - P327

템플릿 매칭은 큰 이미지에서 주어진 작은 이미지가 존재하는지를 검색하는데 주로 사용한다. 즉 이미지를 조각으로 잘게 나누어 각 조각이 큰 이미지 안에 실제 있는지 체크한다. - P327

피처 매칭은 이미지로부터 수많은 특징값들을 추출하여 다른 이미지의 특징값 셋과 비교하는 방식이다. 위의 셋 중 속도는 제일 느리지만 가장 정확하다고 알려져 있다. - P328

이미지 판별은 말 그대로 해당 이미지가 무엇인지 출력하는 알고리즘이다. 개 사진이면 ‘개‘라고 출력하고 고양이 사진이면 ‘고양이‘라고 출력하는 알고리즘이다. - P328

이미지 판별을 위해서 가장 많이 쓰이는 알고리즘은 합성곱 신경망 Convolutional Neural Network, CNN 딥러닝 모델이다. 해당 모델은 이미지넷이라는 이미지 판별 대회에서 2012년에 히트를 친 모델이다. 기존 서포트 벡터 머신SVM 모델보다 엄청나게 높은 성능 향상을 보여 그 이후부터 대부분의 이미지 판별 문제는 합성곱 신경망 네트워크를 쓰고 있다. - P328

합성곱 신경망 네트워크도 더욱 상세하게 살펴보면 많이 나뉜다. AlexNet, VGGNet, ResNet, MobileNet 등이 있다. 각각의 네트워크는 컨볼루션 레이어를 활용해서 변이형 네트워크를 만들었을 뿐이다. ...(중략)... 합성곱 신경망의 핵심은 컨볼루션 레이어이다. 컨볼루션 레이어는 이미지의 지역적 특징점을 찾아내는데 쓰이는 층이다. 쉽게 말하면 전체 이미지 중에서 부분적으로 특징점들을 캐치하고 이를 이용해 전체 이미지 클래스를 분류하는 방식이다. - P328

복수의 컨볼루션 레이어는 전체 이미지를 일정 개수의 그리드로 나누어 각 그리드 셀마다 옮겨가며 투영된다. - P329

합성곱 신경망은 컨볼루션 레이어, 풀링 레이어를 어떻게 구성하느냐에 따라 무한히 많은 형태의 네트워크를 만들 수 있다. AlexNet, VGGNet, ResNet, MobileNet도 다 컨볼루션 레이어, 풀링 레이어의 특정 조합으로 이루어진 네트워크이다. 다만 이 네트워크들은 실험을 통해 그 성능이 입증되었기에 논문에 실리고 유명해진 것뿐이다. - P329

객체 인식은 이미지 판별에서 한 단계 더 올라간 방식이다. 전체 이미지 중에서 특정 객체를 인식하는 알고리즘이다. 예를 들어 농구 시합 전체 사진 안에서 농구공의 위치만 추출하는 방식이다. 객체 인식을 지역적 합성곱 신경망 Regions with CNN, R-CNN이라고도 불린다. CNN에서 regions가 붙어서 R-CNN이다. - P330

가장 전통적인 R-CNN은 선택적 탐색selective search 기법을 사용하여 객체 인식을 하였다. 선택적 탐색selective search 기법의 프로세스는 아래와 같다.

1. 이미지의 초기 조각(segment)를 정하여, 수많은 지역을 생성

2. 그리디(greedy) 알고리즘을 이용하여 각 지역을 기준으로 주변의 유사한 영역을 결합

3. 결합되어 커진 지역을 최종 지역으로 제안(region proposal).

쉽게 말하면 전체 이미지를 잘게 몇 개의 그리드로 나눈 후, 유사한 각 그리드들을 합쳐서 합쳐진 지역을 합성곱 신경망 알고리즘으로 판별하는 것이다. 그러면 전체 농구 시합 이미지 중 사람, 농구공, 골대와 같은 각 객체들이 판별될 수 있다. - P330

문제는 선택적 탐색 기법이 너무 느리다는 점이다. 그래서 이후에 선택적 탐색 기법이 없어도 객체 인식이 가능한 Faster R-CNN, YOLO 등이 나왔다. 특히 YOLO의 경우 속도가 실시간에 가까워 동영상 재생 속 화면의 객체들을 실시간으로 탐지할 수 있다. - P331

객체 인식은 학습 연산량이 굉장히 크기 때문에 학습 시간이 꽤 오래 걸린다. 또한 학습에 필요한 학습 데이터도 많이 필요하다. 특히 학습 데이터셋 구성에 있어서 단순히 사진뿐만 아니라 각 사진속 객체들의 위치를 주석annotation으로 넣는 작업까지 필요하다. 여기서 말하는 주석 작업이란 농구 시합 사진이면 사진속 사람, 농구공, 골대의 좌표 정보를 일일이 사람이 표기해주는 작업을 말한다. 물론 이 작업을 편리하게 해주는 툴이 있긴 하지만 툴을 이용해서 방대한 사진 주석 작업을 하는 데는 꽤 많은 시간이 든다. 이런 작업을 대신 해주는 회사도 있다. 국내에서는 크라우드웍스가 유명한데 현재 상장 준비 중인 꽤 유명한 회사이다. - P331

학습도 기반 정보가 없이 처음부터 하면 파라미터가 수렴하기까지 굉장히 오래 걸린다. 따라서 전이 학습을 주로 한다. 전이 학습은 다른 사람이 미리 학습해놓은 모델을 이어 받아서 학습을 하는 방식이다. 베이스가 없는 상태에서 처음부터 학습하는 것보다는 어느 정도 학습된 모델에서 이어 학습하는 방식이 속도나 정확도 측면에서 훨씬 유리하다. - P331

전이 학습으로 학습을 해도 학습 연산량이 꽤 크기 때문에 CPU로 학습은 거의 불가하고 무조건 GPU를 써야 한다. GPU는 꽤 고가여서 개인 컴퓨터에 설치되어 있지 않은 경우도 많다. 하지만 걱정 안 해도 된다. 구글 코랩을 쓰면 무료로 GPU를 한번에 12시간까지 사용할 수 있다. 월 1만원 결제하는 유료회원으로 가입하면 최대 24시간 한 번에 사용할 수 있다. - P332

이미지 생성 기술은 생성적 적대 신경망Generative Adversarial Network, GAN 알고리즘을 활용한다. 생성적 적대 신경망 알고리즘은 진짜 이미지의 확률 분포를 추정하여 가짜 이미지를 생성하는 과정이다. 이 과정에서 생성자와 적대자가 상호작용하는데 생성자는 가짜 이미지를 생성하고 적대자는 가짜 이미지 감별 역할을 한다. 반복 훈련으로 알고리즘의 성능이 우수해지면 적대자가 진짜인지 가짜인지 판별을 잘 못하게 되는 지점이 발생한다. 그때 학습을 종료하면 된다. 다만 이 알고리즘은 수렴하는 모델을 만들기가 꽤나 까다롭다. 하이퍼 파라미터 튜닝이 꽤 어려운 알고리즘이라 초보자들은 접근하기 어려울 수 있다. - P333

이미지 처리 알고리즘은 텍스트 마이닝과 더불어 AI 빅데이터 분석 분야 중 가장 연구가 활발한 분야이다. 또한 앞으로도 전망이 매우 밝아 AI 빅데이터 분석으로 진로를 잡은 독자 분들이 도전해볼 수 있는 좋은 분야이다. 다만 다수의 학습 셋이 필요하고 학습 연산량도 큰데 단순 반복 작업도 많이 필요해 끈기와 집념이 더욱 요구되는 분야이다. 그래도 이미지 처리에 능한 AI 빅데이터 전문가가 되면 다른 분야의 AI 빅데이터 전문가보다도 훨씬 좋은 대우를 받을 수 있기에 충분히 도전해볼만한 가치가 있다. - P336

책을 읽었으면 자신이 할 수 있는 범위 안에서 최대한 행동으로 실천해보기 바란다. - P337

일단 목표를 세우고 공부를 시작하기 바란다. 그것도 지금 당장 시작해보기 바란다. 개인의 실력과 환경에 따라서 이 책의 내용대로 공부하는 데 1년이 걸릴 수도 있고 3년이 걸릴 수도 있다. 그래도 일단 도전해보는 자세가 중요하다. 도전해보고 안 될 수도 있지만 도전했다는 시도 자체가 앞으로의 인생에 큰 도움이 될 것이다. - P338

공부하는 가운데 어려움이 닥칠 수 있을 것이다. 그때마다 주눅 들지 말고 ‘나는 AI 빅데이터 전문가가 꼭 될 것이다‘ 혹은 ‘나는 AI 빅데이터 전문가다‘라고 스스로 다짐하며 용기를 내기 바란다. 그래도 공부하는 가운데 어려움이 있다면 저자에게 개인적으로 이메일을 보내거나 SNS 메신저 등으로 연락을 주기 바란다. 저자가 할 수 있는 범위에서는 도움을 주도록 노력할 것이다. - P338

마음을 먹고 시작하는 것도 중요하지만 결국에는 이를 지속하느냐도 매우 중요하다. 공부의 성과는 끈기와 집념에 있다고 생각한다. 공부하기로 마음먹고 시작했지만 끈기와 집념이 부족하다면 중도에 쉽게 포기하기 쉽다. 중고등학교처럼 강제로 학교에서 시키지도 않는 공부를 성인이 되어서 갑자기 하는 것은 어려운 일이기 때문이다. 그러나 저자는 독자 여러분 모두가 한번 사는 인생에 열정을 지니고, 배우고 싶은 분야를 열심히 공부하여, 나중에 그 당시 공부했던 시간에 대해 보람을 느끼면 좋겠다는 바람이 있다. 그리고 그 과정에서 이 책이 좋은 길잡이가 되기를 기원한다. - P339

주석(Annotation): 머신러닝 학습 전 사람이 정답을 정하는 과정이다. - P340

집중(Attention) 구조: 디코더에서 예측하는 시점(time step)마다 인코더의 전체 정보를 다시 참고하는 구조를 말한다. 단, 전체를 같은 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야 할 정보와 연관이 있는 입력 정보 부분을 좀 더 집중해 참고한다. - P340

오토인코더(Autoencoder): 비지도 학습으로 데이터를 학습할 때 사용되는 신경망의 한 종류다. 신경망에서 신호 안에 있는 ‘노이즈‘를 무시하도록 학습해 데이터를 차원 감소시키려는 것이다. - P340

오토스케일링(Autoscaling): 클라우드 컴퓨팅에서 활성된 서버의 연산자원량을 동적으로 조정하는 방법이다. - P340

단어 가방(Bag of words): 자연어 처리(Natural language processing, NLP) 및 정보 검색(IR)에 사용하도록 단순화시킨 단어의 모음이다. 이를 이용해 텍스트(문장 또는 문서 등)는 문법 및 단어 순서와 상관없이 다중성을 유지한다. - P340

Bert: 구글에서 개발한 자연어 처리 학습 기술이다. 특정 분야가 아닌 모든 자연어 처리분야에서 좋은 성능을 내는 범용 언어 처리 모델이다. - P340

합성곱 신경망(Convolutional neural network, CNN): 이미지나 영상과 같은 데이터를 처리할때 주로 사용하는 신경망 모델이다. 데이터의 지역적 특징을 모델에 반영할 수 있다. - P340

CRUD: 데이터베이스에서 데이터를 다루는 기본적인 기능인 생성(Create), 읽기(Read), 갱신(Update), 삭제(Delete)를 일컫는 말이다. - P340

탐색적 자료 분석(Exploratory data analysis, EDA): 데이터를 수집했을 때 다양한 각도에서 관찰하고 이해하는 과정을 의미한다. - P340

ELMo: 2018년에 제안된 새로운 단어 임베딩 방법론이다. 사전 훈련된 언어 모델(Pre-trained language model)을 사용하여 단어를 임베딩하기 전에 전체 문장의 성격을 파악한다. - P341

전문가 시스템(Expert System): 특정 분야에 대한 전문적인 지식을 정리하고 표현하여 컴퓨터에 기억시켜 일반인도 이 전문 지식을 이용할 수 있도록 하는 시스템이다. - P341

생성적 적대 신경망(Generative adversarial network, GAN): 비지도 학습에 사용되는 인공지능 모델이다. 정답이 없는 데이터 안에서 생성자와 판별자라는 신경망 2개가 서로 정답을 내려고 경쟁하면서 효율적인 학습 결과를 이끌어낸다. - P341

GPU: 컴퓨터 시스템에서 그래픽 연산을 빠르게 처리하여 결과값을 모니터에 출력하는 연산 장치다. - P341

게이트 순환 유닛(Gated recurrent unit, GRU): 순환 신경망의 한 종류다. 출력, 입력, 삭제할 정보를 적절히 구분하는 게이트의 개념을 이용해 필요한 데이터 위주로 빠르게 모델을 학습하는 LSTM을 보완한 것이다. 이전 데이터 중 필요없는 것을 리셋하는 리셋 게이트와 필요한 최신 데이터의 비율을 갱신하는 업데이트 게이트만 이용해 모델의 학습 속도를 높인다. - P341

피인용지수(Impact Factor): 학술지의 영향력을 평가하는 지표다. - P341

사물인터넷(Internet of things, IoT): 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술이다. - P341

캐글(Kaggle): 2010년 설립되었고 성능 좋은 데이터 예측 및 분석 모델을 만들기 위해 경쟁하는 대회 플랫폼이다. - P341


댓글(0) 먼댓글(0) 좋아요(8)
좋아요
l 공유하기 l 북마크하기찜하기 lthankstoThanksTo
 
 
 

드디어 이 작품을 읽어본다. 개인적으로 그간 저자가 쓴 책들을 소설이든 에세이든 가릴 것없이 이것저것 마구 읽다가 어느 순간부터 저자가 썼던 작품들의 출간 순서를 대략적으로나마 알게 되어서 가급적 그 흐름에 맞춰 읽어보려 하고 있다.

밑줄친 문장은 이 책의 서문에 나온 글의 일부인데, 이것 외에도 이 책의 앞표지와 뒷표지 그리고 앞 뒤 책날개에 간략하게나마 나온 글들을 통해 본문에서 어떤 내용들이 다뤄질지를 조금이나마 느껴볼 수 있었다. 대략 이런저런 사랑 얘기들과 더불어 거기서 파생된 어떤 것들을 통해 독자들이 생각해볼만한 여러가지 교훈적인 메시지들을 던져 주지 않을까 조심스레 예상해보며 시작한다.
.
.
.
쭉 읽다가 중간쯤에 등장하는 나가사와 선배라는 캐릭터가 개인적으로 매력있게 느껴졌다. 주인공이자 화자인 후배에게 왠지모르게 의미있는 말들을 많이 해줬기 때문이다. 물론 이야기의 핵심은 주인공과 그 주변을 맴도는 인물들 간의 썸씽이라고 보는 것이 맞겠지만, 그에 못지 않게 화자와 나가사와 선배 간의 관계도 한 번쯤 주목해서 볼만한 대목이라고 생각한다.

제가 여기서 그려내고 싶었던 것은 사람이 사람을 사랑한다는 것의 의미입니다. 그것이 이 소설의 간명한 테마입니다. - P8

한 시대를 감싸고 있는 분위기라는 것도 그려보고 싶었습니다. 사람을 진실로 사랑한다는 것은 자아自我의 무게에 맞서는 것인 동시에 외부 사회의 무게에 정면으로 맞서는 것이기도 하기 때문입니다. 그리고 이렇게 말하는 것은 참 가슴 아픈 일이지만, 누구나 그 싸움에서 살아남게 되는 건 아닙니다. - P8

나는 고개를 들어 북해北海의 상공에 뜬 검은 구름을 바라보면서 내가 지금까지의 인생 과정에서 잃어버린 많은 것들을 생각했다. 잃어버린 시간, 죽었거나 떠나버린 사람들, 이젠 돌이킬 수 없는 추억들. - P14

"Auf Wiedersehen!" (안녕!) - P14

나는 무슨 일이든 글로 써보지 않고서는 사물을 제대로 이해하지 못하는 유형의 인간인 것이다. - P17

"언젠가는 끝나. 끝날 때 우린 다시 한 번 생각을 바꾸면 돼, 앞으로 어떻게 할 것인가." - P20

"우린 손익 계산서를 보면서 살고 있는 건 아니잖아. 만약 네가 나를 지금 당장 필요로 하면 나를 이용하면 되는 거야. 안 그래?" - P20

"어깨에서 힘을 빼면 훨씬 몸이 가벼워지게 돼." - P20

"나는 머리가 좋은 사람이 아니라서 무엇이든 이해하는 데 시간이 걸려. 하지만 만약 시간만 있다면 나는 너를 제대로 이해할 수 있을 거야. 그렇게 되면 나는 이 세상의 누구보다도 제대로 이해할 수 있을 거라고 생각해." - P21

이젠 알게 됐다. 결국 따지고 보면ㅡ하고 나는 생각한다ㅡ글이라는 불완전한 그릇에 담을 수 있는 것은 불완전한 기억이나 불완전한 상념밖엔 없는 것이다. 그리고 나오코에 관한 기억이 내 안에서 희미해져가면 갈수록 나는 더욱 깊이 그녀를 이해할 수 있게 되었다고 생각한다. - P23

일상생활이라는 차원에서 본다면, 우익이든 좌익이든, 위선이든 위악이든, 그리 대단한 차이가 있는 건 아닌 것이다. - P27

정말이지 세상엔 여러 가지 희망이 있고 인생의 목적이 있구나, - P31

"그래. 다들 나를 가냘픈 여자라고 생각하지. 하지만 사람은 겉보기와는 다른 거야." - P39

"요즈음 늘 이런 상태가 계속되고 있어. 뭔가를 말하려 해도 늘 빗나가는 말밖에 떠오르지 않는 거야. 말이 빗나가거나 아니면 전혀 반대가 되기도 해. 그래서 그걸 정정하려면 더 큰 혼란에 빠져서 빗나가버리고, 그렇게 되면 처음에 내가 무슨 말을 하려 했는지조차 알 수 없게 되어버려. 마치 내 몸이 두 개로 갈라져서 숨바꼭질을 하는 것 같은 그런 느낌이야. 한복판에 굉장히 굵은 기둥이 서 있어서 그 주위를 빙빙 돌며 술래잡기를 하는 거야. 딱 알맞은 말은 늘 또 다른 내가 품고 있어서, 이쪽의 나는 절대로 그걸 따라잡을 수 없는 거야." - P40

"모두가 자신을 표현하려고 하지만 정확하게 표현이 안 되니까 초조해하지." - P40

나는 나를 둘러싸고 있는 세계 속에서 나 자신의 위치를 분명하게 정할 수가 없었다. - P45

도쿄에 올라와서 기숙사에 들어가 새로운 생활을 시작했을 때, 내가 해야 할 일은 하나밖에 없었다. 모든 사물을 너무 심각하게 생각하지 말 것, 모든 사물과 나 자신 사이에 적당한 거리를 둘 것ㅡ그것뿐이었다. - P45

처음 한동안은 그렇게 잘될 것만 같았다. 그러나 아무리 잊어버리려 해도 내 안에는 뭔가 뿌옇게 흐린 공기덩어리 같은 것이 남아 있었다. 그리고 시간이 흐를수록 그 덩어리는 단순하면서도 뚜렷한 형상을 갖추기 시작했다. 나는 그 형상을 이런 말로 바꿔놓을 수가 있다. 그것은 이런 것이었다.

‘죽음은 삶의 반대편에 있는 것이 아니라, 그 일부로서 존재하고 있다.‘ - P46

우리는 그것(죽음)을 마치 미세한 티끌처럼 폐 속으로 들이마시면서 살고 있는 것이다. - P46

죽음은 ‘나‘라는 존재 속에 본질적으로 이미 포함되어 있는 것이며, 그 사실은 아무리 노력해도 잊어버릴 수가 없는 것이다. - P46

심각해진다는 것이 반드시 진실에 가까워진다는 것과 같은 뜻이 아니라는 것 - P47

그녀가 찾고 있는 것은 내 팔이 아니라 누군가의 팔인 것이다. 그녀가 찾고 있는 것은 나의 온기가 아니라 누군가의 온기인 것이다. - P52

그(나가사와)는 나 따위는 따라잡지도 못할 정도의 굉장한 독서가였는데, 죽은 지 삼십 년이 지나지 않은 작가의 책에는 원칙적으로 손도 대려고 하지 않았다. 그런 책밖에는 믿지 않는다고 그는 말했다.
"현대문학을 믿지 않는다는 건 아니야. 다만 나는 시간의 세례를 받지 않은 걸 읽느라 귀중한 시간을 쓸데없이 낭비하고 싶지 않은 거야. 인생은 짧아." - P55

"나가사와 선배는 어떤 작가를 좋아하나요?" 내가 물어봤다.
"발자크, 단테, 조셉 콘래드, 디킨스." 하고 그는 즉석에서 대답했다.
"그렇게 현대적 성향이 있는 작가라곤 할 수 없겠네요."
"그러니까 읽는 거야. 다른 사람과 똑같은 걸 읽고 있으면 다른 사람과 똑같은 생각밖엔 못하게 돼. 그런 건 촌놈, 속물의 세계야. 제대로 된 인간은 그런 부끄러운 짓은 안 하지. 알고 있나. 와타나베? 이 기숙사에서 조금이라도 멀쩡한 사람은 나와 너뿐이야. 나머지는 죄다 휴지조각 같은 것들이지." - P56

"알지도 못하는 여자와 자고 다녀봤자 얻는 건 아무것도 없지. 피곤하고, 자신이 싫어질 뿐이야. 그건 나도 마찬가지라구." - P61

"왜 도스토옙스키가 도박에 관해서 쓴 것(《도박사》를 두고 하는 말임ㅡ옮긴이) 있지? 그것과 마찬가지야. 즉 그건 말이지. 가능성이 주위에 충만해 있을 때, 그것을 그냥 두고 지나친다는 건 대단히 어려운 일이야. 알겠어?" - P61

"날이 저문다, 여자아이가 거리에 나와 주변을 어정거리면서 술을 홀짝거리고 있다. 그녀들은 무엇인가를 찾고 있고, 나는 그 무엇인가를 그녀들에게 줄 수 있는 거지. 그건 정말 간단한 일이야. 수도꼭지를 비틀어 물을 마시는 것과 마찬가지로 간단한 일이지. 그렇게 눈 깜짝할 사이에 쓰러뜨릴 수 있고, 상대방도 그걸 기다리고 있는 거야. 그것이 가능성이라는 거지. 그런 가능성이 눈앞에 굴러다니고 있는데, 그저 보고만 지나칠 셈인가? 자신에게 능력이 있고, 그 능력을 발휘할 장소가 있는데, 넌 잠자코 지나치겠단 말이야?" - P61

"네가 이런 걸 공허하다고 느낀다면, 그건 네가 제대로 된 인간이라는 증거고, 그건 아주 바람직한 일이야." - P61

여러 가지 일에 신경 쓰지 말았으면 해. 설령 무슨 일이 일어났다 해도, 또 설령 아무 일도 일어나지 않았다 해도, 결국은 이렇게 될 수밖에 없지 않았을까. - P74

네가 나에게 상처를 입힌 건 아니야. 나에게 상처를 준 건 나 자신이야. 나는 그렇게 생각하고 있어. - P74

나는 그 같은 안타까운 심정을 어딘가로 가져갈 수도, 어딘가에 간직할 수도 없었다. 그것은 몸 주변을 스치고 지나가는 바람처럼 윤곽도 없고, 무게도 없었다. 나는 그런 심정을 마음에 담아두는 일조차 할 수 없었다. 풍경이 내 앞을 천천히 스쳐 지나갔다. 그것들이 하는 말이 전혀 내 귀에는 와 닿지 않았다. - P75

나와 텔레비전 사이를 가로지르는 막막한 공간을 둘로 나누고, 그 갈라진 공간을 또 둘로 나눴다. 그리고 몇 번이고 몇 번이고 그 일을 계속해, 마지막에는 손바닥에 올려놓을 수 있을 만큼 작은 공간을 만들었다. - P75

그런 졸렬한 패거리들은 바람의 방향 하나에도 큰소리를 내거나 움츠러들거나 하는 것이다. 이봐, 기즈키, 여긴 형편없는 세계야, 하고 나는 생각했다. 이런 놈들이 버젓이 대학에서 학점을 따고, 사회에 나가 부지런히 졸렬한 사회를 만들어가는 것이다. - P80

‘아니오, 신께서도 불행한 사람이 하는 말에는 귀 기울이려 하지 않으신답니다.‘ - P83

"고독을 좋아하는 인간이란 없어. 억지로 친구를 만들지 않을 뿐이지. 그런 짓을 해봐야 실망할 뿐이거든." - P86

"특별히 좋아하는 건 아냐. 무슨 색이면 어때?" - P87

"천만에. 대개는 얼간이들이지. 얼간이 아니면 변절자들이야. 관료 나부랭이나 되려는 인간의 95퍼센트 정도는 쓰레기거든. 이건 거짓말이 아니라니까. 그놈들은 글자조차 똑바로 읽지 못한다구." - P90

"제일 큰 이유는 내 자신의 능력을 테스트해보고 싶은 거야. 어차피 테스트한다면 제일 커다란 그릇 속에서 테스트해보고 싶다, 이거지. 말하자면 국가 말이야. 이 덩치만 커다란 관료 기구 속에서 어디까지 내가 올라갈 수 있는가, 어디까지 내가 힘을 가질 수 있는가, 그런 걸 시험해보고 싶은 거야." - P90

"그렇지, 게임 같은 거야. 나에겐 권력욕이랄까 금전욕이랄까, 그런 건 거의 없어, 정말이야, 난 하찮은 고집스런 남자일지 모르지만, 그런 욕심은 놀랄 만큼 없는 놈이야. 이를테면 무사무욕無私無慾, 그런 인간이거든. 다만 호기심이 있을 뿐이야. 그리고 넓고 거친 세계에서 나 자신의 힘을 시험해보고 싶을 뿐이지." - P90

"그럼 이상이랄까, 그런 것도 갖고 있지 않다 그 말인가요?"
"물론 없지" 하고 그는 말했다. "인생에 그런 건 필요 없어. 필요한 건 이상이 아니라 바로 행동 규범이야." - P90

"이봐, 와타나베." 하고 식사가 끝나자 나가사와 선배는 나에게 말했다. "나와 너는 여기를 나가 십 년이나 이십 년이 지난 후에 또 어딘가에서 만나게 될 것만 같아. 그리고 어떤 형태로든 서로 관련을 가질 것만 같고"
"꼭 디킨스의 소설 같은 이야기군요." 하고 말하곤 나는 웃었다.
"그렇군." 하고 그도 웃었다. "하지만 내 예감은 잘 맞는단 말이야." - P91

"신사여야 한다는 거야." - P91

"자기가 하고 싶은 일을 하는 게 아니라, 해야 할 일을 하는 게 신사야." - P92

데우스엑스마키나(고대 그리스 연극에서 쓰인 무대 기법의 하나. 기중기 같은 것을 이용해 갑자기 신이 공중에서 나타나 위급하고 복잡한 사건을 단숨에 해결하는 수법-옮긴이) - P93

에우리피데스에 나오는 신이 아이스킬로스나 소포클레스의 그것과 어떻게 다른가 - P93

이 녀석들의 진짜 적은 국가 권력이 아니라 상상력의 결핍일 것이라고 나는 생각했다. - P94

"뭐, 괜찮아. 난 시간이 너무 남아도는 인간이니까."
"그렇게 한가해?"
"내 시간을 조금 줘서, 그동안 너를 잠자게 해주고 싶을 정도야." - P95

"친절한 게 아니고, 단순히 한가한 거야." - P95

미도리는 요쓰야 역에서 잠시 걸어가면 있는, 그녀의 고등학교 앞으로 나를 데리고 갔다.
요쓰야 역 앞을 지나갈 때 나는 문득 나오코와의 그 끝없는 산책을 떠올렸다. 그러고 보면 모든 것은 이 장소로부터 비롯되었던 것이다. 만약 그 오월의 일요일에 주오센 전철 안에서 우연히 나오코를 만나지 않았더라면, 내 인생도 지금과는 완전히 달라져 있겠지, 하고 나는 생각했다. 그리고 곧 아니다, 만약 그때 만나지 않았다 하더라도 결국은 똑같이 되었을 것이라고 고쳐 생각했다. 아마도 우리는 그때 만나야 했기 때문에 만난 것이고, 만약 그때 만나지 않았더라도 어딘가에서 만났을 것이다. 특별한 근거가 있는 것은 아니지만, 나는 그런 느낌이 들었다. - P96

"한 번도 쉬지 않았어. 지는 것이라고 생각했거든. 한 번 지고 나면 끝장이란 생각. 한 번 지고 나면 그대로 질질 끌려가게 되지 않나 싶어서 겁이 났던 거야." - P97


댓글(0) 먼댓글(0) 좋아요(8)
좋아요
l 공유하기 l 북마크하기찜하기 lthankstoThanksTo
 
 
 

오늘 읽기 시작한 부분에서는 AI 빅데이터의 여러 분야들 중 하나인 ‘추천 시스템‘과 관련된 얘기들이 나온다. 우리가 온라인 쇼핑을 할 때 특정 제품을 클릭하면 해당 페이지 측면이나 하단에 그 제품과 관련된 추천 상품들이 뜨는 것을 어렵지 않게 볼 수 있는데, 이런 경우가 추천 시스템이 실무에 적용된 대표적인 사례라고 볼 수 있다.

그리고 이러한 제품 추천 외에도 페이스북과 같이 비슷한 선호를 가진 친구가 추천되는 시스템도 있는데, 본문에서는 이것을 ‘네트워크 기반 추천 시스템‘이라 지칭한다. 오늘 처음 밑줄친 문장에서는 이러한 추천 시스템 알고리즘에 호기심이 있는 독자들이 참고할 수 있는 논문 검색 방법에 대해 간략히 소개하고 있다.

네트워크 기반 추천 알고리즘에 대해 궁금하신 독자는 관련 논문을 찾아보기 바란다. 구슬 학술검색에서 ‘social network recommender system‘로 검색하면 관련 논문 다수를 찾아볼 수 있다. - P292

사람 추천과 같은 쌍방향 추천 시스템을 상호 추천 시스템이라고 하며 전통적인 추천 시스템 알고리즘과는 다소 다른 알고리즘을 써야 한다. - P292

협업 필터링 알고리즘은 다수의 사용자들 평가 데이터를 협력적으로 이용하여 추천 스코어를 산출한다. 추천 시스템은 평가 매트릭스에 빈 부분을 예측하는 방식으로 동작한다. - P293

협업 필터링 알고리즘의 가장 기본 아이디어는 결측값은 관련된 사용자 및 아이템의 관찰값으로 추정 가능하다는 점에 있다. 협업 필터링은 크게 사용자 기반과 아이템 기반 두 가지 형태로 나뉜다. - P293

사용자 기반 협업 필터링은 사용자 A와 비슷한 성향의 사용자들을 추정하는 게 핵심이다. 사용자 A가 평가하지 않은 결측값들을 사용자 A의 동료 그룹이 평가한 평점을 가중 평균하여 추정한다. - P293

이외에 아이템 기반 협업 필터링이 있다. 사용자 A의 아이템 B에 대한 평점을 추정하기 위해서 아이템 B와 유사한 아이템 셋 S를 지정한다. 아이템 셋 S에 해당하는 아이템들을 사용자 A가 평가한 과거 평점을 기반으로 A의 B에 대한 평가를 추정한다. - P294

콘텐츠 기반 추천 알고리즘은 아이템 자체의 설명적 특성을 추천 알고리즘에 활용한다. 사용자의 평가 또는 구매 행동 패턴이 아이템 정보와 결합된다. - P294

콘텐츠 기반 추천 시스템은 충분한 사용자-아이템 평점 데이터가 확보되지 않은 새로운 아이템에 대한 추천을 할 때 협업 필터링 알고리즘을 대체할 수 있다는 이점이 있다. 그러나 협업 필터링 알고리즘과 비교할 때 비슷한 아이템이 계속 추천될 수 있는 단조로움이 단점으로 지적된다. - P294

협업 필터링과 콘텐츠 기반 추천 시스템은 서로 상호보완 관계에 있기 때문에 두 알고리즘을 결합한 하이브리드 추천 형태로 알고리즘을 만드는 경우도 많다. - P295

지식 기반 추천 시스템은 자주 구매되기 힘든 고가 아이템을 추천할 때 유용하다. 예를 들어 부동산, 자동차, 명품, 금융 서비스들은 개인이 빈번하게 구매하기 힘든 아이템이기에 지식 기반 추천 시스템이 안성맞춤이다. 간혹 구매가 있긴 하지만 그 빈도가 너무 낮기 때문에 너무 과거의 일이라 학습 모델에 사용할 수가 없다. - P295

고가의 물품들을 구매할 때에는 한두 가지 특성만 고려하는 게 아니라 여러 특성을 복합적으로 고려해야 해서 과거 몇몇의 데이터로 학습하기가 어렵다. - P295

고가 물품과 같이 과거 학습데이터 양이 한정되어 있고 여러 요소를 복합적으로 고려해야하는 경우에 지식 기반 추천 시스템이 활용될 수 있다. 지식 기반 추천 시스템은 사용자의 명시적인 쿼리에 따라 추천이 된다. 예를 들어 가격 상한선, 하한선을 사용자가 지정하면 그에 맞는 아이템 리스트 후보군이 도출될 수 있다. 한 개의 쿼리만 지정하는 게 아니라 복합적인 쿼리를 넣을 수 있어 복합적인 쿼리 모두를 만족시키는 아이템 리스트를 추출할 수 있다. - P296

지식 기반 추천 시스템은 사용자의 쿼리를 실시간으로 받아야 하기 때문에 웹 인터액티브 개발이 필요하다. 그리고 그 안에 사용자의 취향을 반복적인 질문을 통해 얻어내는 기능, 영역 필터 기능이 필요하다. - P296

지식 기반 추천 시스템은 콘텐츠 기반 추천 시스템과 아이템의 설명적 특성을 활용한다는 공통점이 있다. 차이점은 콘텐츠 기반 추천 시스템이 과거 사용자의 행동을 기반으로 추천 하는 것에 반해 지식 기반 추천 시스템은 실시간 사용자 요구에 따라 추천한다는 점이다. - P296

최근에는 딥러닝의 발달로 딥러닝 기반 추천 알고리즘도 꽤 쓴다. 다만 딥러닝의 핵심은 높은 정확도에 있는데 추천 시스템은 사람의 미묘한 감성과 심리가 반영되기 때문에 딥러닝을 사용한다고 해도 엄청나게 놀라울 정도의 성능 향상이 일어나지 않는다. 괜히 딥러닝을 사용했다가 성능은 크게 향상 안 되는데 계산 연산량만 늘어나서 일부러 사용 안하는 경우도 많다. 따라서 다른 도메인에 비해서는 아직까지 전통적인 방법이 더 많이 활용되고 있다고 볼 수 있다. - P297

텍스트 마이닝은 텍스트 형태의 데이터를 알고리즘에 기초하여 수집, 처리, 분석하는 연구기법을 통칭한다. 알고리즘을 적용하려면 기본적으로 수치형 데이터여야 한다. 따라서 텍스트의 단어 또는 문장을 숫자화 또는 벡터화하여 알고리즘에 적용하여야 한다. - P298

텍스트 마이닝이 각광받게 된 이유는 간단하다. 오늘날과 같이 텍스트가 폭발적으로 넘쳐나는 시기에 전통적으로 사람이 일일이 텍스트를 다 읽고 내용을 분석하는 방식이 거의 불가능하기 때문이다. - P298

텍스트 마이닝을 하기 위해서는 전처리가 굉장히 중요하다. 텍스트 전처리의 품질에 따라 딥러닝, 머신러닝 알고리즘을 적용한 결과가 달라지기 때문이다. 또한 언어마다 전처리 방법이 조금씩 다르기 때문에 언어별로 따로 익혀야 한다. 그렇다고 모든 언어를 다 알 필요는 없다. 나는 영어, 한국어 텍스트 전처리 방법만 익히고 있다. 그 외 언어는 분석할 일이 거의 없고 만약 그 외 언어를 분석할 일이 생기면 번역기를 통해 영어로 번역 후 영어 텍스트 마이닝 기법을 적용한다. - P300

한국어 텍스트 전처리는 주로 형태소 분석기를 사용한다. 한국어는 단어마다 조사, 어미가 붙어있는 특이한 형태이다. 따라서 영어처럼 띄어쓰기 단위로 단어를 나누어 분석하면 이상하게 분석이 된다. 예를 들어 ‘행복‘이라는 단어가 ‘행복한‘, ‘행복하게‘, ‘행복하다‘, ‘행복이‘, ‘행복은‘과 같이 여러 어미, 조사와 함께 올 수 있다. 단순하게 띄어쓰기 단위로 나누어 분석하면 위에서 열거한 예시가 모두 다른 단어로 구분되어 분석될 것이다. 따라서 우리는 여기서 ‘행복‘이라는 명사만 추출해서 분석해야 한다. 이렇게 형태소에 따라 단어를 뽑아주는 역할을 형태소 분석기가 수행한다. - P300

형태소 분석기를 스스로 만들 필요는 없다. 오픈소스로 나와 있는 여러 형태소 분석기들 중 적당한 것을 골라 쓰면 된다. 여러 형태소 분석기중 mecab 형태소 분석기가 성능이 가장 우수한 것으로 알려져 있다. 최근에는 카카오에서 개발한 khaiii도 많이 쓰인다. 다만 khaiii는 윈도우 운영 체제는 지원하지 않는다는 단점이 있다. 아무튼 한국어는 형태소 분석기를 활용해 명사, 형용사, 동사 등의 주요 형태소만 추출한 후 텍스트 마이닝 알고리즘을 적용하면 된다. - P301

mecab : https://github.com/taku910/mecab 참고. 한국어판은 https://bitbucket.org/eunjeon/mecab-ko-dic/src/master 참고. - P300

khaiii : https://github.com/kakao/khaiii - P300

전처리를 조금 더 잘하고 싶다면 신조어 추가, 같은 단어 동일시 정도만 수동으로 해주면 된다. 신조어 추가의 경우 새로 나온 단어들은 형태소 분석기로 추출이 안 되기 때문에 수동으로 해줘야한다. - P301

형태는 다 다르지만 의미상 다 똑같은 단어이기에 이 경우는 같은 단어라는 점을 하드코딩으로 명시해주어야 한다. 분석하려는 텍스트의 주요 핵심어들만 이런 처리를 해주면 된다. 모든 단어들을 일일이 이런 식으로 처리하기는 사실상 불가능하기 때문이다. - P301

영어의 경우에는 전처리 작업이 여러 개로 나뉜다. 앞으로 말한 전처리 작업을 착실히 모두 수행해주어야 의미 있는 텍스트 분석 결과가 나올 것이다. 물론 모두 파이썬 또는 R 코드로 수행할 줄 알아야 한다. 우선 대소문자를 통일해야 한다. 컴퓨터는 알파벳은 같지만 대소문자가 다른 단어에 대해서는 서로 다르게 인식한다. 따라서 모든 단어들을 모두 대문자 또는 모두 소문자로 변환해서 분석하는 게 좋다. 일반적으로 모두 소문자로 변환해서 분석하곤 한다. - P301

둘째, 숫자 표현은 제거해야 한다. 텍스트 데이터는 문자뿐만 아니라 숫자도 포함한다. 숫자도 분명한 의미가 있기는 하다. 하지만 문맥에 따라서 숫자 표현이 서로 달라질 수 있기 때문에 통일성있는 분석을 위해 숫자는 제거하고 분석하는 게 일반적이다. - P302

셋째, 문장부호, 특수문자, 이모티콘은 제거한다. 이러한 것들은 분석에 별 도움이 안 되는 경우가 많다. 느낌표, 물음표가 많다는 점이 크게 결과 해석에 도움이 되지 않는다. ‘^^‘와 같은 웃는 문자나 카카오톡 이모티콘도 크게 결과 해석이 도움이 되지 않는다. 글을 쓰는 사람이 별 생각 없이 이러한 기호를 남발하는 경향이 많아 오히려 결과 해석에 독이 될 수도 있고 기호까지 고려하게 되면 지나치게 복잡해질 수 있다. 물론 때에 따라서는 이러한 기호도 알고리즘에 적용하기도 한다. 트위터 텍스트의 경우 글자 수 제한이 있기 때문에 글을 쓰는 사람들이 단어와 함께 여러 가지 기호로 강조를 하는 경우가 많다. 이러한 경우는 문장 부호, 특수 문자, 이모티콘도 함께 고려하여 분석하는 게 타당할 수 있다. - P302

넷째, 불용어는 삭제한다. 단순히 텍스트 데이터의 모든 단어들을 빈도순으로 나열하면 ‘the‘가 가장 많이 나올 것이다. 하지만 ‘the‘는 단순히 관사일 뿐 큰 의미가 없다. 이러한 단어들을 불용어라고 하는데 사전 단계에서 삭제한 후 분석을 해야 유의미한 결과를 얻는다. 불용어 리스트는 한정되어 있기에 불용단어 리스트에 해당하는 단어들만 매칭하여 삭제하면 된다. - P303

다섯째, 어근 동일화 처리를 해야 한다. ‘play‘라는 단어는 ‘played‘, ‘playing‘과 같이 여러 형태로 바뀔 수 있다. 이러한 단어들을 모두 ‘play‘로 치환해주어야 한다. 어근 동일화 처리를 위한 라이브러리들이 몇 개 있는데 포터 어간 추출 알고리즘Porter stemming algorithm이 가장 보편적으로 쓰이고 있다. - P303

여섯째, 엔그램 적용을 해야 한다. 엔그램이란 번 연이어 등장하는 단어들의 연쇄를 뜻한다. 예를 들어 ‘United States‘는 띄어쓰기 단위로 United‘, ‘States‘ 각각을 추출하여 분석하는 것보다 ‘United States‘로 한꺼번에 분석하는 게 타당하다. 이 경우는 n=2인 바이그램bigram이 되겠다. 보편적으로는 n=3인 트라이그램까지 적용하여 분석한다. - P303

텍스트 마이닝은 딥러닝, 머신러닝 알고리즘이 가장 활발히 적용되는 분야로 무수히 많은 알고리즘이 존재한다. 각 알고리즘은 세부 목적에 맞도록 제작되어 있어서, 알고리즘을 하나하나 살펴보기보다는 각각의 텍스트 마이닝 방법의 목적이 무엇인지 살펴보는 게 전체적으로 이해하는데 적합하다. - P304

우선 핵심어 분석이 있다. 가장 기본적인 텍스트 마이닝이다. 논문을 쓸 때 필수적으로 5~6개 키워드를 써야하는데 이를 알고리즘으로 추출한다고 생각하면 된다. 가장 기본적으로는 단순히 빈도가 가장 많은 단어를 핵심어로 볼 수 있다. 좀 더 깊이 들어가면 TF-IDF와 같은 통계적 가중치를 이용해 핵심어를 추출할 수 있다. 아니면 텍스트 구조, 단어 순서 등을 복합적으로 고려한 딥러닝 모델을 통해 핵심어를 추출 할 수도 있다. - P304

둘째, 연관어 분석이 있다. 단어들은 각각 쓰이기보다는 단어 간에 서로 연관관계를 보이며 쓰이는 경우가 대부분이다. 특정 단어와 단어 간의 연관도를 계산하는 방식도 여러 알고리즘으로 나뉜다. 가장 간단하게는 같은 문장 또는 같은 문서에 함께 출현한 빈도가 있을 수 있다. 또는 구매 관리 지수 Purchasing Manager Index. PMI와같은 통계적 방식이나 Word2Vec 과 같은 딥러닝 방식으로 연관도를 측정할 수 있다. - P304

단순히 두 단어 간의 연관도를 측정하는 것에서 벗어나 전체적인 단어들 간의 모든 연결관계를 네트워크로 표현하기도 한다. ...(중략)... 그 모든 단어들 간의 연결 관계는 단순히 두 단어의 연관도를 넘어 전체 네트워크 경로에서 특정 단어의 중심성을 나타낼 수 있다. 연결 중심성, 근접 중심성, 매개 중심성과 같은 지표가 대표적이다. - P305

토픽 모델링은 텍스트 마이닝 방법 중 가장 많이 쓰이는 방법이다. 텍스트 데이터 전체를 의미적으로 군집하여 주요 토픽 몇 개를 도출하는 방식이다. 토픽 모델링을 통해 전체 텍스트를 일일이 읽지 않고도 어떠한 내용들이 적혀있는지 알 수 있다. - P305

토픽모델링 출력방식은 군집 분석과 유사하다. 전체 텍스트를 몇 개의 군집(토픽)으로 나누고 각 군집(토픽)에 해당하는 주요 단어 리스트를 추출해준다. 잠재 디리클레 할당Latent Dirichlet Allocation, LDA이 가장 보편적으로 쓰이는 방법이며 구조적 토픽 모델링 Structural Topic Modeling, STM, 비음수 행렬 분해Non-negative Matrix Factorizaion, NMF 등의 방법들도 자주 쓰인다. - P306

넷째, 감성 분석이 있다. 텍스트에는 감정이 들어갈 수 있다. 특히 정치, 연예 관련 사회문화 텍스트에 감성이 더욱 고조되는 경향이 있다. 감정은 긍정/부정으로 크게 나뉠 수 있고 좀 더 세부적으로 들어가면 놀람/행복/슬픔/두려움/흥분/재미 등과 같이 잘게 나눌 수도 있다. 이렇게 텍스트를 사람의 감성으로 분류하는 기법이 감성 분석이다. 가장 쉽게 사용하는 방법은 텍스트에 단어들을 일일이 감성 사전과 매칭하여 분류를 하는 방식이다. - P306

딥러닝, 머신러닝 기반으로도 감성 분석을 한다. 텍스트-감성 라벨링이 있는 학습셋으로 모델을 생성 후 새로운 텍스트에 대해서 감성 정도를 도출하는 방식이다. 가장 많이 사용하는 학습셋으로는 영어는 IMDB 영화 리뷰 텍스트이고 한국어는 네이버영화 리뷰 평점셋이다. 알고리즘은 순환 신경망 계열의 시계열 딥러닝 알고리즘이 많이 쓰인다. - P307

다섯째, 문서 요약 기술이 있다. 방대한 텍스트를 짧은 몇 개의 문장으로 요약해주면 훨씬 빠르고 쉽게 이해할 수 있다. 대표적으로 네이버 뉴스에 요약봇이라는 문서 요약 기술이 적용되어 있다. - P307

문서 요약은 크게 추출 요약과 생성 요약 2가지로 나뉜다. 추출 요약은 전체 텍스트에서 핵심 문장들 몇 개를 추출해서 이어붙이는 방법이다. 반면에 생성 요약은 아예 요약문을 알고리즘이 새로 생성하는 방식이다. 핵심 문장을 추출하는 방식은 통계적 방식 또는 딥러닝 방식 모두 사용할 수 있다. 추출 요약이 더 간단하고 성능이 좋아 보편적으로 쓰인다. 생성 요약의 경우는 seq2seq 알고리즘이 많이 쓰이는데 아직까지 실제 비즈니스에 적용되는 경우는 드물다. - P307

자동 번역, 음성 인식(Speech to Text, STT), 이미지 자동 캡션 등 텍스트 마이닝이 활용되는 목적은 꽤 많다. 텍스트 마이닝은 활용되는 목적도 다양하지만 언어마다 알고리즘이 적용되는 방식이 상이하기 때문에 특히 더 많은 연구가 필요한 분야이다. 단순히 컴퓨터, 통계뿐만 아니라 언어적인 측면도 함께 고려되어야 하는 경우가 많아 대형 IT기업의 자연어 처리팀에는 언어학 출신들도 포진해 있다. - P308

프로세스 마이닝은 이벤트 로그를 기반으로 운영 프로세스의 분석을 지원하기 위한 데이터 마이닝 기법이다. 프로세스 마이닝 기술은 이벤트 데이터를 사용하여 사람, 기계 및 조직이 실제로 무엇을 하고 있는지 보여준다. - P309

ERP 또는 CRM 같은 정보 시스템은 모든 로그 데이터를 실시간으로 적재한다. 프로세스 마이닝은 IT 시스템의 이 데이터를 활용하여 프로세스 모델 또는 프로세스 그래프를 만든다. 여기에서 종단 간 프로세스를 검사하고 세부 사항 및 변형에 대해 통찰을 제공해준다. 알고리즘은 이상 현상의 원인에 대한 통찰력을 제공할 수 있다. 이러한 시각화와 알고리즘을 통해 경영진은 프로세스가 의도한 대로 작동하는지 확인할 수 있으며, 그렇지 않은 경우 최적화에 필요한 리소스를 할당한다. - P310

프로세스 마이닝에 필요한 필수적인 데이터 항목들이 있다. 다른 데이터 분석 알고리즘과 다소 다른 형태의 데이터이기 때문에 사전에 필요 항목들을 수집하기 위한 시스템을 구축해두어야한다. 모든 시스템 로그들은 인스턴스instance, 작업자worker, 활동activity, 시간timestamp, 튜플 형태로 저장되어야 한다. - P310

대부분의 정보 시스템은 이렇게 구조화된 데이터 적재 시스템을 미리 구축해두지 않았다. 시스템 적재 시스템을 아예 고치기 어려울 경우에는 여러 곳에 흩어져 있는 테이블 안의 데이터들을 직접 가공해야 한다. 이러한 데이터 추출 및 가공 업무도 프로세스 마이닝의 중요한 부분 중 하나이다. - P311

프로세스 마이닝은 크게 3가지 목적을 지닌다. 우선 발견 목적이 있다. 발견 기술은 이벤트 로그를 받아들여 그대로 모델을 산출한다. 대표적으로 알파 알고리즘이 있다. 알파 알고리즘은 이벤트 로그를 받아들여 전체 프로세스를 페트리넷Petri-net으로 간결하게 표현해준다. 단순히 페트리넷으로 표현해주었을 뿐인데 전체적인 안목으로 프로세스를 살펴볼 수 있어 경영자에게는 큰 도움이 될 수 있다. - P312

두 번째 목적은 적합성 검사이다. 여기에서는 기존 프로세스 모델을 동일한 프로세스의 이벤트 로그와 비교한다. 적합성 검사는 로그에 기록된 현실이 모델과 일치하는지 또는 그 반대인지 확인하는데 사용할 수 있다. - P312

적합성 검사는 규범과 현실간의 편차를 감지 및 설명하고 이러한 편차의 심각도를 수치로 표현한다. - P312

세 번째 목적은 프로세스 향상이다. 일부 이벤트 로그에 기록된 실제 프로세스에 대한 정보를 사용하여 기존 프로세스 모델을 확장하거나 개선할 수 있다. 적합성 검사가 규범과 현실 사이의 편차를 측정하는 반면, 향상 목적의 프로세스 마이닝은 현실 모델을 변경하거나 확장하는 것을 목표로 한다. 예를 들어 두 활동이 순차적으로 모델링 되었지만 실제로는 순서에 상관없이 어떤 순서로든 발생할 수 있는 경우 이를 반영하도록 모델을 수정할 수 있다. - P312

프로세스 마이닝은 거대 조직 시스템 안의 로그데이터 분석을 기반으로 한다. 그런 이유로 개인이 이러한 데이터를 얻기는 쉽지 않다. 건설사, 제조업, 대학 병원과 같은 대형 조직 프로세스에서 필요한 연구 분야이다. 따라서 텍스트 마이닝, 이미지 분석과 같은 대중화된 연구 분야에 비해서는 연구 활동이 활발하지는 않다. 하지만 본인이 조직 프로세스 이해와 개선에 관해 관심이 있다면 도전해볼만한 연구 분야이다. 연구자가 많지 않기 때문에 이 분야의 선구자가 되기도 쉽고 상대적으로 고난이도의 수학적 알고리즘이 사용되지 않는 분야이기 때문이다. - P317


댓글(0) 먼댓글(0) 좋아요(7)
좋아요
l 공유하기 l 북마크하기찜하기 lthankstoThanksTo