혼자 공부하는 데이터 분석 리뷰 .

혼자 공부하는 데이터 분석 with 파이썬 - 1:1 과외하듯 배우는 데이터 분석 자습서 ㅣ 혼자 공부하는 시리즈
박해선 지음 / 한빛미디어 / 2023년 1월

해당 책은 파이썬을 통한 데이터 분석 을 하는 방법을 점점 수준을 높여가며 하나의 프로젝트를 마치는 느낌으로 책이 완성 되어있다.

chapter1. 데이터 분석

데이터 분석을 시작하는 단계에서는 데이터 분석을 하기 위한 기초 지식을 다루고 있다.

구글 코랩과 도서 데이터는 이책의 마지막까지 따라 다닌다.

꼭 학습해야될 내용이다.

import gdown gdown.download('https://bit.ly/3eecMKZ','남산도서관 장서 대출목록 (2021년 04월).csv', quiet=False) Downloading... From: https://bit.ly/3eecMKZ To: /content/남산도서관 장서 대출목록 (2021년 04월).csv 100%|██████████| 58.1M/58.1M [00:00<00:00, 96.4MB/s] 남산도서관 장서 대출목록 (2021년 04월).csv import chardet with open('남산도서관 장서 대출목록 (2021년 04월).csv', mode='rb') as f: d = f.readline() print(chardet.detect(d)) with open('남산도서관 장서 대출목록 (2021년 04월).csv', encoding='euc-kr') as f: print(f.readline()) print(f.readline()) 번호,도서명,저자,출판사,발행년도,ISBN,세트 ISBN,부가기호,권,주제분류번호,도서권수,대출건수,등록일자, "1","인공지능과 흙","김동훈 지음","민음사","2021","9788937444319","","","","","1","0","2021-03-19", import pandas as pd df = pd.read_csv('남산도서관 장서 대출목록 (2021년 04월).csv', encoding='euc-kr', low_memory=False) df.head()

gdown 을 통해 csv파일을 다운받아

해당 csv read 로 데이터를 읽어온다.

df.to_csv('ns_202104.csv') with open('ns_202104.csv') as f: for i in range(3): print(f.readline(), end='')

3번째 라인까지 해당 데이터를 읽어온다.

ns_df = pd.read_csv('ns_202104.csv', low_memory=False) ns_df.head()

ns_df = pd.read_csv('ns_202104.csv', index_col=0, low_memory=False) ns_df.head()

첫번재 열을 데이터 프레임의 인덱스로 지정한다.

2장 api사용하기

해당 챕터에서는 api를 활용하기위한 기본적인 다뤄야되는 내용들에 대해 다룬다.

전체 책의 내용을 다 다루지는 못했지만 해당 csv파일을 가지고 수집 , 정제, 시각화 까지 점점 데이터 분석을 완성해 나가는데

통계와 머신러닝까지 데이터를 분석한다.

하나의 과제를 끝낸느낌으로 책을 끝낸다.

데이터를 시작부터 마지막까지 어떻게 데이터를 분석해야되는지 알려주는 책이다.

다양한 데이터 방법을 배우기위한다면 해당책을 추천한다.

비지니스 데이터 과학 리뷰

비즈니스 데이터 과학 - 비즈니스 의사결정을 위한 통계학, 경제학, 인공지능의 만남
맷 태디 지음, 이준용 옮김 / 한빛미디어 / 2022년 6월

이책은 R을 배우기 위한 책은 아니란는 내용을 저자의 설명에서 해주고 있다.

책내용에서도 r에 대한 부가적인 설명은 없어서 초보자들에게 는 좀 내용이 어려울 수 있다.

머신러닝에 기조가 되는 통계학에 대해 설명하고 있는 책이라 기존 머신러닝보다는 좀더 수학적으로 접근하는 느낌이었다.

실제 머신러닝에서 필요한 알고리즘들에 설명들이 통계분석에서도 내용이 설명되어서 해당내용을 좀더 통계학적으로 접해보고 싶은 사람은 이책이 맞을것같는 생각이 들었다.

1. 실습

나는 rstudio online에서 실습을 했고 일반 desktop 에서 설치된 화면과 크게 다르게 불편한 점은 없었다.

좀 속도는 좀 느린편인거 같다.

왼쪽 상단은 실습창으로 결과는 아래 하단 콘솔에 표시되고 오른쪽윈도우에 차트나 기타 뷰어등이 있다.

9개의 공변량을 사용한 지출 희귀 분석에 fdr 제어를 위한 bh 알고리즘. 9개의 p값은 해당 순위에 따라 표시되며 선의 기울기는 0.1/9이다.

이선 아래 5개의 p값은 유의미하며, 이러한 방식으로 유의성을 정의하는 절차는 10%의 fdr을 갖는다.

이처럼 간단하게 불확실성에 대해 알아 보았다.

내용은 좀 어려울 수 있지만 기존에 통게와 머신러닝을 학습한 독자에게는 유용한 내용일 수 있다.

.

코딩 개념 잡는 자바 코딩 문제집 리뷰

코딩 개념 잡는 자바 코딩 문제집 - 문제를 최대한 많이 풀어라!
앵겔 레너드 지음, 심지현 옮김 / 길벗 / 2022년 9월

이책은 코딩문제집이라는 제목으로 되어있지만 챕터별로 문제를 제시하고,

문제를 해결하는 다양한 해법을 제시하는 책이다.

문자열, 수, 배열, 컬렉션, 데이터구조, 날짜와 시간, 불변성, 타입추론,optional , java i/o, 자바리플렉션, 함수형 프로그래밍, 동시성, http 클라이언트 api 등 기초부터 실무에서 다양하게 다루는 예제 들을 다루고 있다.

해당책은 코딩 인터뷰뿐만 아니라 가볍게 문제별로 찾아볼 목적이나 챕터별로 다양한 문제들의 해법을 다루고 있다.

먼저 해당 문제들의 다양한 주제들을 책에서 나열하고, 해당문제들을 한번 고민하게 만든다.

다양한 문제들의 해법을 고민해보고 뒤에 나오는 문제들을 다시한번 확인하게 구성되어있다.

해법의 해당되는 내용들도, 하나의 해법이 아닌 다양한 해법들을 제시한다.

최대한 쉽고 가볍게 책의 내용을 다루고 있기 때문에 초급자들이 한단계 내용을 업그레이드 하기위해 좋은 책이다.

코딩 인터뷰를 위한 알고리즘 치트시트 리뷰.

코딩 인터뷰를 위한 알고리즘 치트시트 - 리트코드LeetCode 문제를 풀면서 배우는 코딩 테스트
푸둥라이 지음, 이춘혁 옮김 / 제이펍 / 2022년 10월

이책은 알고리즘 테스트에서 잡할수있는 알고리즘의 문제 유형을 설명하고 해법을 제시하는 알고리즘 유형과 친해질수 있는 길을 제시한다고 나와있다.

leecode를 통한 개발을 다루는데 별도로 부록으로 다뤄진다.

일단 리드 코드 사이트게 가입하여 문제를 확인해야 되는 절차를 거쳐야 한다.

explore 는 둘러보기, problems는 문제 풀이, interview 는 인터뷰 문제 확인 contest는

유저간 콘테스트 discuss는 질의/토론 게시판 store는 관련 제품이나 알고리즘으 구매 할수 있다고 한다.

책에서는 c++,자바, 파이썬3 에 해당하는 언어를 다룬다.

코드를 작성해본 화면이다 .

화면 왼쪽에는 가이드가 주어지고 , 오른쪽에는 코드를 작성하고

컴파일에 결과를 화면 하단에 표시해 준다.

대표적인 알고리즘인 피보나치에 대한 결과를 실행해 보았다.

결과가 나오면 accepted결과를 확인할수 있다.

재귀를 호출하는 다양한 방법에 대해 애기하고 알고리즘에 대해 설명해주고 있다.

submit을 누르면 해당되는 결과를 상세하게 확인 할수 있다.

이처럼 예제를 실행하면서 코드에서 설명하는 내용을 익히다보면 충분히 코딩테스트에 자신감이 생길수 있을것같다.

코딩인터뷰를 다양한 언어를 통해 준비하고 leecode를 통해 앞으로 알고리즘을 익히고싶은 사람에게 추천한다.

코딩인터뷰,알고리즘치트시트,리드코드

네트워크 운용 및 유지보수의 모든것 리뷰

네트워크 운용 및 유지 보수의 모든 것 - 25년 차 베테랑에게 배우는 네트워크 운용/관리 꿀팁
오카노 신 지음, 이민성 옮김 / 제이펍 / 2022년 10월

이책은 네트워크 운용 및 유지 보수 업무를 하는사람에게 저자의 노하우를 전수하는 내용을 담았다.

아무래도 개발자고 네트워크를 고려하여 개발하여야 되거나, 개발자임에도 네트워크 환경을 고려해야 할 때가 많은데 이책을 통해 많은 도움이 될수 있었다.

1. 네트워크 운용 및 유지 보수의 전체상

해당장에서는 유지보수의 등장인물에 대해 소개하고 각 역활에 대해 애기한다.

고객에서 사용자는 본래의 업무를 하기위한 수단으로 네트워크를 이용한다.

정보시스템부서의 역할은 사용자가 본래의 업무를 원할히 하기 위한 네트워크나 시스템을 제공하고 운용 관리 하는것이다.

네트워크 감시 요원의 역할은 고객의 네트워크를 24시간 365일 체제로 안정적으로 가동하는 서비스를 제공하는 것이다.

보수요원은 실제 현장에 달려가 대응하는 엔지니어 입니다.

보수 요원이 고객처를 찾는 것은 장애 대응을 할 때 만이 아니다. 기술려과 더불어 커뮤니케이션 능력도 요구된다.

상주 보수 요원은 운용 및 유지 보수 회사로부터 파견되어 고객의 현장에 상주해, 고객의 네트워크나 시스템 운용 관리의 대행 업무를 하는 엔지니어 이다.

2. 네트워크 운용 관리의 기본

네트워크 운용 업무에는 네트워크 감시나 월간 트래픽 보고서 작성 등의 일상 업무와 네트워크에 어떤 문제가 일어났을 때 대응하는 등의 비일상 업무가 있다.

장애 영향의 최소화

네트워크 운용 관리에서 최우선이며 네트워크 장애가 고객의 사업에 주는 영향을 최소한으로 줄이는 것이 가장 중요하다.

접근관리

네트워크 서비스로의 접근은 허가된 사람만이 제공받을 수 있는 상태를 지속적으로 유지하는것.

인스턴트 관리

서비스가 평소와는 다른 상태가 됐을 대 초기 대응함으로써 서비스의 영향을 최소화 하는 것.

문제 관리

발생한 인시던트 및 운용 상황 중에서 근복적인 원인을 특정해야 한다고 판단한 것

접근 관리

발생한 인시던트 및 운용 상황 중에서 근복적인 원인을 특정해야 한다고 판단한 것

헬프 데스크의 역할

사용자의 문의를 하나의 채널로 접수하는 창구를 제공하는 것.헬프데스크는 모든 대응 이력을 기록 합니다.

3. 네트워크 운용 감시의 기본

네크워크 운영 감시 업무

보수업무는 장애 대응보다도 미연에 방지하는 행동이 더 많기 때문이다.

보통은 원격으로 감시를 진행합니다. 통신 단절 등으로 네트워크 기기의 장애가 의심될대는 실제로 현장에 나가서 눈으로 직접 확인

네트워크 감시 장치

감시 소프트웨어를 설치한 서버

사활감시

기기의 IP 주소를 ping 을 보내 본체가 가동되고 있는지를 감시

기기의 cpu나 메모리의 이상 수치 등 본체를 내부까지 감시

SNMP

매니저 : 네트워크 감시 장치에 설치해서 사용하는 소프트웨어

에이전트 : 네트워크 기기나 서버가 가진 기기의 상태 정보를 통보하는 기능

MIB : SNMP 로 관리되는 네트워크 기기나 서버가 자신의 상태를 외부에 알리기 위해서 공개하는 관리 정보

트리 구조이며 트리 구조의 마디 는 번호를 붙여서 나타낸다는 규칙.

매니저와 에이전트의 역할

정보의 요청과 응답

매니저가 에이전트에게 대상 기기의 정보를 요청합니다. 에이전트는 정보를 매니저에게 응답합니다.

설정과 요청과 응답

매니저가 에이전트에게 대상 기기의 설정 변경을 요청합니다. 에이전트는 설정을 변경하며 그 결과를 매니저에게 으답합니다.

상태 변화의 통보

에이전트가 매니저에게 대상 기기의 상태 변화를 통보.

장치 환경의 감시

폴링을 통한 MIB 감시로는 IP 주소를 갖지 않는 전원이나 CPU 상태 등도 감시 할수 있다.

폴링의 함정 - 모든 감시가 불가능해지다

데이터 센터와 감시센터 사이의 네트워크에 장애가 발생하면 고객 네트워크에 폴링을 할수 없습니다.

모든 감시가 불가능해지는 사태를 피하기 위해서는 WAN 회선을 이중화 해야 한다.

트랩 : 에이전트인 라우터나 스위치가 자발적으로 매니저인 SNMP 서버에게 정보를 통보

커뮤니티 이름이란?

매니저와 에이전트가 같은 커뮤니티 이름일때만 통신을 주고받습니다.

폴로: 네트워크에 흐르는 공통된 속성을 가진 패킷의 집합

4. 유지보수용 네트워크의 기본

업무용 네트워크란 실제로 사용자가 업무용으로 사용 중인 네트워크

유지보수용 네트워크란 운용 및 유지 보수 작업을 하기 위해서 사용하는 네트워크

시리얼 케이블을 사용해 접속을 할 때는 관리자가 네트워크 기기 앞에서 콘솔 단말과 네트워크 기기를 직접 연결

5. 유지보수용 네트워크의 기본

이중화 만일 장치가 고장 나더라도 서비스를 계속해서 제공할 수 있도록 네트워크나 시스템을 구축하는 것.

액티브 스탠바이 하나를 액티브로서 가동하며, 다른 하나를 스탠바이로서 대기 상태로 둔다.

콜드 스탠바이 액티브 스탠바이와 같지만 액티브와 스탠바이 간에 동기화는 하지 않는다.

멀티 섀시 링크 애그리게이션 링크 애그리게이션과 스택 연결이라는 두가지 기술을 조합한 것.

링크 애그리게이션 이더넷 포트의 링크를 여러 개 묶어서 하나의 링크로 취급. '

스택 연결 여러대의 스위치를 하나의 스위치인 것처럼 기능

스톰 컨트롤 단일 스위치에서 대역폭의 사용량을 감시함으로써 루프 연결을 탐지

루프 탐지 정기적으로 독자적인 루프 탐지(킵 얼라이브 프레임)를 보내서 이 프레임이 자신에게 돌아오면 루프가 발생했다고 간주해 포트를 끄는 기능

네트워크 이론부터 장애시 내용까지 다양하게 내용을 수록하고 있어 초보자가 네트워크에 가볍게 입문하기에 좋은 책이었다.

입문용으로 접하고자 하는 사람에게 추천하고 싶다.