스파크를 활용한 실시간 처리

스파크를 활용한 실시간 처리 - 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
제러드 마스.프랑수아 가릴로 지음, 김인범 옮김 / 한빛미디어 / 2021년 4월

아파치 스파크는 SQL, 스트리밍, 머신러닝, 그래프 처리를 위한 대규모 데이터 처리용 통합 분석 엔진입니다.

스파크는 분산 시스템에 속하는데요.

주로 인 메모리 처리 아키텍처에 쓰입니다.

스파크에 관심 있는 분들에게 추천하고 싶은 책이 있습니다.

책 제목은 '스파크를 활용한 실시간 처리'입니다.

여기서는 스파크는 아파치 스파크를 줄여서 말하겠습니다.

이 책을 통해 스트리밍 데이터를 처리하는 방법을 배워가는 시간이 되길 바랍니다.

1. 스트림

분석 도구로 빠르게 인사이트를 얻으려면 어떻게 해야 할까요?

데이터를 실시간처리 하는 방법을 알아야 합니다.

실시간 처리라 하면 생방송을 예로 들 수 있습니다.

생방송이 중간에 끊기면 시청자들은 불만을 느끼게 됩니다.

끊김 없이 바로바로 처리되어야 문제가 없는 겁니다.

이처럼 데이터를 처리할 때 실시간 처리가 잘 이뤄져야 오류 없이 실행됩니다.

직렬과 병렬을 비교하면 직렬보다 병렬이 빠르게 동작합니다.

병렬처리는 속도는 빠르지만, 비용이 많이 듭니다.

2. 분산처리

분산처리는 쉽게 표현해보겠습니다.

100명의 사람이 한길로 가게 되면 오랜 시간이 걸리게 됩니다.

하지만 100명의 사람이 10개의 길로 간다면 시간은 십 분의 일이 줄어듭니다.

분산처리란 자원을 효과적으로 관리하는 것을 의미합니다.

간단한 경우 설명이 쉽지만 복잡한 구조의 경우 구조에 대한 이해가 필요합니다.

Ps

아파치 스파크 이론과 예제를 통해 학습하신다면 스파크를 이해하는 데 도움 될 것입니다.

기본개념부터 머신러닝을 사용하는 고급 스파크 스트리밍 기술까지 알려줍니다.

이 책을 통해 스파크 스트리밍 라이브러리와 최신 구조적 스트리밍 API를 배울 수 있습니다.

스트리밍은 사람들이 실시간 처리로 알고 있습니다.

데이터 처리 방식에는 예를 들어 일괄처리방식이 있는데요.

데이터를 모아뒀다가 일괄적으로 처리하는 것을 말합니다.

스파크가 궁금하신 분들은 이 책을 한 번 읽어보시길 추천합니다.

한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다.

미적분의 쓸모

미적분의 쓸모 - 미래를 예측하는 새로운 언어 ㅣ 쓸모 시리즈 2
한화택 지음 / 더퀘스트 / 2021년 5월

고등학교 시절에 수학 공부를 하면 미적분에서 어렵게 느끼긴 했습니다.

올해부터 수능이 변경되면서 기하와 벡터 및 미적분2가 빠졌죠.

AI에서 미적분 등 수학적 지식이 필요한 시점에서 안타까운 소식이었습니다.

실상 시험을 위한 공부라 실생활에서 어디에 쓸지는 궁금했습니다.

국민대에서 30여 년간 공대생들을 가르치신 교수님께서 직접 풀어준 책이 나왔습니다.

바로 '미적분의 쓸모'란 책인데요.

이 책을 하나하나씩 알아보도록 하겠습니다.

1. 작은 움직임을 모으면 변화의 축이 보인다

코로나 확진자를 예를 들어 미적분을 알아보겠습니다.

일일 확진자는 하루의 확진자 수이지만 누적 확진자는 일일 확진자를 모두 합친 것과 같습니다.

누적이란 수가 계속 누적되는 것을 말합니다.

일일 확진자는 확진자의 증가 수를 나타냅니다.

누적 확진자는 일일 증가분을 적분한 값으로 해당합니다.

이를 통해 봤을 때 우리나라는 일 일 확진자 수는 여전히 높습니다.

하지만 변화 기울기는 완만함을 보입니다.

2. 미적분으로 예측하는 미래

로켓 추진체 재활용 사업을 아시나요?

많은 실패를 해왔지만, 드디어 성공을 거뒀습니다.

성공하려면 안전하게 착륙시키는 게 중요했습니다.

하강 속도 제어와 자세제어 기술이 사용됐습니다.

각도 조정과 미세한 회전력을 만들려면 회전운동을 미분 적으로 파악해야 가능합니다.

PS.

학창 시절에 미리 이 책을 봤으면 즐겁게 미적분을 공부했을 것이라는 생각이 많이 들었습니다.

Ai 관련해 수학 공식들을 다시 들춰보는데요.

정말 수학적 지식이 갈급함을 많이 느낍니다.

이 책을 통해서 미적분을 왜 공부하고 어디에 쓰이는지 궁금한 분들에겐 단비 같은 책이라 추천해 드립니다.

심리학이 돈을 말하다

심리학이 돈을 말하다 - 당신의 부에 영향을 미치는 돈의 심리학
저우신위에 지음, 박진희 옮김 / 미디어숲 / 2021년 3월

돈은 살아가는 데 쓰이는 곳이 많습니다.

돈을 가지고 많은 것을 할 수 있습니다.

돈의 사전적인 의미는 사물의 가치를 나타냅니다.

또한 상품을 교환하는 매개체 역할도 합니다.

사전적인 의미 안에 돈의 의미를 다 담을 순 없습니다.

사람들은 심리학에 관심이 많은데요.

돈과 관련된 심리학책을 소개하고자 합니다.

책 제목은 ‘심리학이 돈을 말하다'입니다.

돈과 심리학이 연관이 있다는 것을 알고 계셨나요?

모르셨다면 이 책을 통해 돈과 인간 심리를 파악하는 시간이 되길 바랍니다.

1) 돈이 인간의 심리를 조종

돈은 인간의 심리를 조종합니다.

심리학의 관점에서 인간과 돈의 관계는 5가지 유형으로 볼 수 있습니다.

5가지 유형은 심리, 사회생활, 소비행위, 가정생활, 도덕적 평판입니다.

소비행위에서는 합리적인 소비를 하고 있는지 잘못 소비하고 있는지 다루게 됩니다.

사람들은 일을 마치고 가정으로 돌아간 후에도 돈을 관리합니다.

일상에서 살아가려면 돈을 사용하며 돈 이야기도 많이 합니다.

2) 돈이 주는 심리

돈이 인간의 심리에 어떤 영향을 미칠까요?

돈과 심리학의 실험 결과 돈을 세는 것만으로도 진통 효과가 나타난다고 합니다.

돈을 셀 때 자신의 소유를 확인하게 되면서 안정이 되는 게 아닌가 싶습니다.

사람들은 돈 때문에 상처를 받습니다.

돈을 빌리는 것도 미안하면서도 못 빌리면 실망감을 느끼게 됩니다.

갑자기 큰돈을 번 사람들은 삶이 망가지는 경우도 있습니다.

돈을 많이 번다고 행복해지는 것은 아닌 것 같습니다.

돈이 많으면 행복할 수 있겠지만 잘못 쓰게 되면 불행해질 수 있습니다.

Ps

돈이 돈을 부른다는 말이 있습니다.

돈의 주인은 돈을 부르면서 생활을 합니다.

하지만 돈의 노예가 된다면 돈에 쫓기고 쫓기는 삶을 살게 됩니다.

사람이 돈과 어떤 관계를 맺고 있는지 알아보게 도와주는 책입니다.

돈을 어떻게 사용하고 모으는 것이 좋을지 생각해보시길 바랍니다.

투자를 통해 이익이 발생한다면 발생한 사람만 알게 됩니다.

어떻게 버는지는 본인밖에 모르는 겁니다.

돈과 심리학이 어떤 관련이 있는지 궁금하신 분들에게 이 책을 추천합니다.

몽고DB 완벽 가이드

MongoDB 완벽 가이드 - 실전 예제로 배우는 NoSQL 데이터베이스 기초부터 활용까지, 3판
크리스티나 초도로우 외 지음, 김인범 옮김 / 한빛미디어 / 2021년 3월

IT기술은 새로운 기술들이 많이 나옵니다.

시간이 흐르면서 없어지는 언어도 있고 새로 생기는 것도 있는데요.

데이터베이스의 큰 틀은 한번 공부해두면 크게 변화지 않아서 쭉 사용할 수 있습니다.

전통적인 데이터베이스 구조는 관계형 데이터베이스입니다. 많은 분이 관계형 데이터베이스는 다뤄봤을 것으로 보입니다.

NO sql 중 많이 쓰이는 몽고 DB는 도큐맨트 형태의 구조로 궁금하신 분들이 많을 것 같아 소개해 드리려고 합니다.

그 책은 바로 ‘몽고DB 완벽 가이드’입니다.

이 책은 몽고DB의 핵심 용어부터 동작 방식을 알려줍니다.

몽고DB에 대해 몇 가지 이야기 나눠보겠습니다.

1) 몽고DB NO SQL

몽고 DB는 페이스북, 트위터에서 등 메신져 회사나 게임에서 많이 사용합니다.

사용 방법은 기존 관계형 데이터베이스를 바탕으로 쓰면서 서브로 NO SQL을 비정형 데이터 위주로 씁니다.

NOSQL 특성상 데이터 모델을 관계형 데이터베이스보다 융통성 있게 사용 할 수 있기 때문이죠.

로그 자료나 여러 대의 데이터베이스 서버를 묶어서 사용할 때 주로 쓰입니다.

2) 공부 방법

공부 방법은 직접 DB를 설계해보면서 감을 잡는 게 제일 빠릅니다.

하지만 그게 어렵다면 이 책을 통해서 예제 파일들을 실행해 보는 게 가장 빠른 길이겠죠.

이 책은 몽고디비 최신 버젼인 4.x에 맞춰져 있어서 트랜잭션, 집계 표현식 등 성능이 이슈에 개선이 돼 실습하는 데 버젼 이슈는 없습니다.

또한 기존 RDB에 대한 경험이 있다면 큰 차이는 없으며, JSON 구조라 편하다는 점도 느낄 수 있습니다.

Ps

몽고DB 관련된 책 중 가장 최적화된 책으로 볼 수 있습니다.

입문자나 데이터베이스 관리 및 운영자들에게는 단비 같은 책으로 볼 수 있는데요.

1독을 하면서 전체 큰 틀을 잡고 하는 방향이나 예제 파일을 돌려 보면서 필요한 부분만 사전 형식으로 봐도 무방해 보입니다.

몽고DB에 관심 있는 분들에게 이 책을 추천합니다.

웹 애플리케이션 보안

웹 애플리케이션 보안 - 정찰, 공격, 방어 세 단계로 배우는 웹 애플리케이션 보안의 모든 것
앤드루 호프먼 지음, 최용 옮김 / 한빛미디어 / 2021년 2월

보안에 대해 어떻게 생각하시나요?

필수적인 요소로 생각합니다.

보안이 중요해진 것은 지킬 것이 있기 때문입니다.

돈을 지키기 위해선 금고가 필요합니다.

금고도 도둑이 들게 되면 돈을 빼앗길 수 있습니다.

지금 살펴볼 책은 ‘웹 애플리케이션 보안’입니다.

보안에 대해 같이 이야기를 나눠 보겠습니다.

1. 보안의 역사

보안의 역사를 설명하겠습니다.

예시로 웹사이트를 들려고 합니다.

웹사이트는 로그인 보안이 초반에는 약했습니다.

아이디나 비밀번호가 틀리면 틀렸다 친절하게 알려줬습니다.

틀린 것을 기반으로 존재하는 아이디임을 확인하고 공격의 위험성을 느끼게 됩니다.

로그인 횟수 제한과 무엇이 틀렸는지 알 수 없게 변경되기도 했습니다.

보안도 점차 강화되고 있는 것을 느낄 수 있습니다.

2. 보안의 중요성

보안의 중요성은 중요합니다.

보안 사고가 발생해도 벌금이 적어서일까요?

보안을 중요하게 생각해야 할 것으로 보입니다.

소프트웨어 개발도 방어적으로 공격을 대비할 수 있어야 합니다.

보안 공격도 어느 종류가 있는지 알 수 있습니다.

현재 어떤 취약점들이 있고 보안 수준도 미리 대비해야 보안이 가능합니다.

해커가 어떻게 공격하는지 알아야 공격을 대비할 수 있습니다.

보안 정찰, 공격, 방어에 대해 알려주는 책인데요.

실제로 사용되는 여러 기법과 안전을 확보하는 법도 알려줍니다.

Ps

끝으로 이미테이션 게임 영화를 아시나요?

이 책은 천재 수학자 앨런 튜링의 에니그마로 책을 시작합니다.

보안은 가볍게 생각하는 사람들도 있습니다.

그것은 벌금이 적기 때문에 심각하게 안 받아드릴 수 있어 보입니다.

미국은 보안 위반 시 벌금이 크기 때문에 보안에 더 민감하게 생각합니다.

우리나라도 닮아야 할 부분이라 생각합니다.

보안 인식이 적었을 때는 웹의 허점이 많았습니다.

하지만 보안 인식이 강해지면서 보안도 많이 향상됨을 느낍니다.

보안에 관심 있는 분들에게 이 책을 추천합니다.