스파크 완벽가이드 리뷰

스파크 완벽 가이드 - 스파크를 활용한 빅데이터 처리와 분석의 모든 것
빌 체임버스.마테이 자하리아 지음, 우성한.이영호.강재원 옮김 / 한빛미디어 / 2018년 12월

해당책은 스파크 기능 구성부터 차근차근 잘 설명해주고있다.

책의 내용을 간단하게 정리해보았다.

아파치 스파크는 통합 컴퓨팅 엔진이며 클러스터 환경에서 테이터를 병렬로 처리하는 라이브러리 집합이다.

스파크는 가방 활발하게 개발되고 있는 병렬 처리 오픈소스 엔지닝며 빅데이터 에 관심이있는 여러 개발자와 데이터 과학자에게 표준도구가 되어가고있다.

스파크는 파이썬, 자바, 스칼라, R) 을 지원하며 SQL 뿐만 아니라 스트리밍 , 머신러닝에 이르는 범위까지의 라이브러리를 제공한다.

스파크 기능 구성

먼저 스파크의 버전은

스파크 1.0 구조화된 데이터를 기반으로 동작하는 신규 api스파크 sql이 추가 되었다고 한다.

책에서는 스파크 다운로드 페이지와 예제소스를 제공하고있다.

https://spark.apache.org/downloads.html

스파크 설치후 아래와 같이 spark 명령을 실행하면 sparksession을 확인할수있다.

책은 그림도 적절히 인용되어 설명을 쉽게 풀이 해주었다.

스파크는 dataset,dataframe,sql 테이블 그리고 rdd라는 몇가지 핵심 추상화 개념을 가지고 있다.

이개념 모두 분산 데이터 모음을 표현한다. 이중 가장 쉽고 효율적인 dataframe은 모든 프로그래밍 언어에서 사용할수있다.

스파크는 모든 익스큐터가 병렬로 작업을 수행할수 있도록 파티션이라 불리는 청크 단위로 데이터를 분할한다.

파티션은 클러스터의 물리적 머신에 존재하는 로우의 집합을 의미한다.

스파크에 대해 입문하는데 이책을 통해 어려움이 없었고, 자세한 설명과 예제를 통해 스파크에 대해 한발더 다가갈수있었다.

쉬운 포토샵을 통해 포토샵 상세 페이지 디자인 을 할수있다.

매출 팍팍 포토샵 상세 페이지 디자인 - 쇼핑몰, 오픈마켓, 스마트스토어, 모바일을 한 방에!
임화연.김소영 지음 / 제이펍 / 2020년 10월

포토샵을 접해보지 못했거나, 디자인에 약한 사람은 다소 막연할수 밖에 없다.

이책은 그런 두려움을 없애주는 책이라고 할수있다.

포토샵에 기본적인 작업환경 설정과 기본 포토샵 툴 사용법 정도를 간단하게 앞에서 다루고 있어 초보 독자를 배려한 모습이 보인다.

타겟에 맞는 기획에 대한 부분도 설명하고 있다.

기획에 대한 부분도 다소 어려운 부분일수 있는데 쉽게 예시와 사진들을 통해 쉽게 설명해주고 있다.

예제를 통해 쉽게 상품페이지를 따라함으로써 만들어 볼수있었다.

설명이 상세하게 스탭별로 잘나와있기 때문에 큰어려움없이 따라 할수있었다.

완성된 파일역시 제공하고 있어서 만든결과물과 비교하여 확인해볼수도 있었다.

역시 저자의 오랜경험이 녹아져있는 책 같다는 생각이든다.

어렵지 않으면서도, 꼭 필요한 내용들로 책이 알차게 구성되어있어,

쇼핑몰이나 오픈마켓에 디자인이 필요한 사람에게 이책을 추천하고 싶다.

notion 에 새로 눈뜨다.

업무와 일상을 정리하는 새로운 방법 노션 Notion - 생각 정리부터 업무 생산성, 협업 관리 도구를 노션 하나로!, 개정판
이해봄.전시진 지음 / 제이펍 / 2020년 10월

이 글에는 스포일러가 포함되어 있습니다.

notion을 접하기전 에버노트, onenote, trello 등 다양한 툴을 접했지만

유료로 서비스를 해야 좀 쓸만하거나, 기능이 제약이 있는 부분들이 많았는데

notion 이 제공해주는 부분은 상상을 초월한다.

이책은 그런 notion이 제공해주는 기능들을 하나하나 세부적으로 활용할수있게 예제로 들며 설명해준다.

내가 NOTION 책을 보고 익힌 기능중에 가장 강력한 기능이라 생각된다.

바로 임베디드 기능이다,

임베디드 기능은 아래와 같은 내용을 임베디드하여 notion 내에서 바로 확인이 가능하다.

나같은 경우에는 PDF파일을 바로 임베디드 해서 NOTION 에서 바로 확인이 가능해서 다운로드 받지않고 notion만 접속가능하면

언제 어디서든 볼수가 있었다

이외에도 템플릿을 활용하면 얼마든지 좋은 페이지를 쉽게 완성할수있다.

이처럼 다양한 활용방법이 이책에 표현되어있고 notion에대해 깊게 활용하고 싶어하는 사람에게 이책을 권한다.

웹어셈블리 입문서

웹어셈블리 인 액션 - C++ 코드와 엠스크립튼을 활용한 실전 웹어셈블리
제러드 갤런트 지음, 이일웅 옮김 / 한빛미디어 / 2020년 10월

이책을 처음 접했을때 웹어셈블리라는것을 왜 접해야되는것인가에 의문이 들었다.

하지만 웹어셈블리는 브라우저에서자바크스립트 이외의 언어를 사용할수 있게 해주 고

그런코드를 재활용 할수 있게 해준다.

자바스크립트 못해주는 저수준 에 프로그래밍을 가능하게끔 해준다.

이책은 그런 생소한 책을 쉽게 풀어서 설명해준다.

웹 어셈블리 의 구조나 모듈을 만들면서 차근차근 접할 수 있었다.

emcc 라는 것을 설치후

calculate_primes.c 라는 파일을 하나 만들어보자.

#include <stdlib.h>
#include <stdio.h>
#include <emscripten.h>

int IsPrime(int value){
    if(value ==2){return 1;}
    if(value <=1|| value %2==0){return 0;}
    for(int i = 3; (i*i)<=value;i+=2){
        if (value %i==0){return 0 ; }
    }
    return 1;
}
int main(){
    int start = 3;
    int end = 1000000;

    printf("Prime numbers between %d and %d:\n",start,end);
    for (int i = start;i<=end;i+=2){
        if(IsPrime(i)){
            printf("%d",i);
        }
    }
    printf("\n");
    return 0;

}

(base) Macs-MacBook-Pro:webassembly mac$ emcc calculate_primes.c -o html_template.html

해당 명령 수행시 이제 빌드가 된다.

해당 소스를 실행할수가 있었다.

해당과정까지 c 로 웹을 만든다는게 처음부터 쉽지는 않지만 익히고 나면 먼가 새로운 도전을 할수있을것같다.

디지털 뉴딜 시대 리더가 꼭 알아야할 데이터 3법 리뷰.

디지털 뉴딜 시대 리더가 꼭 알아야 할 데이터 3법 - IT 전문가와 변호사가 쉽게 풀어가는 데이터 3법
백남정 외 지음 / 지식플랫폼 / 2020년 9월

데이터의 중요성과 데이터의 법에 대해서 다룬다. 

어쩌면 그중요성을 알면서도 간과 하고, 주변에 많은 데이터를 다룸으로써 좀더 데이터를 중요하고, 다른관점에서 접근해야된다고 생각이 들었다. 

이책은 크게 3부분으로 나뉜다. 

처음에는 왜 데이터가 중요한가. 

두번째는 데이터를 다루는 사례 

세번째는 법률적 사례를 예로 들면서 데이터를 책에서 설명한다. 

데이터를 다룸에서또한 중요한 저작권이나 , 개인정보에 대해 정확한 지식이 없었는데 해당책을 통해 알게 되었다. 

요즘같이 빅데이터를 다루기위해 국가에서도 4차산업으로 빅데이터를 가공하고 있는만큼 해당 책은 꼭 읽어봐야 될 책이라고 생각된다 .

향후 인공지능에 대해서도 많은 관심과 기술의 수준이 높아지고있다. 

현재 컴퓨터 대학원에 재학중이지만 학부때와는 달리, 대학에서도 앞다투어 인공지능에 대해 다루고 있다. 

데이터에 따라 예측모델들이 많이 개발되면 향후, 데이터 3법에 대한 이해가 한몫을 할것이라 생각된다. 

스타벅스나 카카오 삼성등 우리가 알만한곳에서 데이터 사용등의 사례등을 설명해주면서, 

이책은 굳이 데이터의 전문가가 아니어도, 이해할수있는 교양 책으로 봐도 무방하다. 

데이터에 대해 관심이있는 독자라면 이책을 권장한다.