-
-
파이썬으로 웹 크롤러 만들기 - 3판
라이언 미첼 지음, 최경현 옮김 / 한빛미디어 / 2025년 1월
평점 :
네이버 블로그 리뷰: https://blog.naver.com/rock1192/223789992247
이 책의 1부에서는 웹 스크레이핑의 기본에 대해서 다룬다
파이썬으로 웹 서버에 정보를 요청하는 법, 서버 응답을 처리하는 기본적인 방법, 웹사이트와 자동적으로 통신하는 법이 1부의 주된 내용이다
1부를 마치고 나면 인터넷을 쉽게 여행할 수 있고, 도메인으로 건너뛰며 정보를 수집하고 저장하는 스크레이퍼를 만들 수 있게 된다
웹 스크레이핑은 비교적 적은 투자로 엄청난 소득을 올릴 수 있는 환상적인 분야이다
웹 스크레이핑 프로젝트의 90% 정도는 이 책에서 배운 내용만으로 만들 수 있다
이 책의 2부에서는 원형 그대로의 데이터를 분석해서 그 뒤에 숨은 이야기, 웹사이트에서 종종 자바스크립트 계층이나 로그인 폼, 기타 스크랩을 방해하는 것들 뒤에 숨겨진 이야기를 알아본다
웹 스크레이퍼를 사용해 사이트를 테스트하고, 작업을 자동화하고, 더 큰 규모로 인터넷을 사용하는 방법을 배운다
2부가 끝날 때쯤에는 인터넷의 어디에서든, 어떤 형식이든, 어떤 타입의 데이터라도 가져올 수 있는 도구를 갖게 된다
특히 요즘처럼 데이터가 중요한 시기에는 웹 크롤러 개발의 필요성이 더욱더 중요해 졌다 생성형 AI의 발전으로 인해 웹 크롤러 개발 방식도 매우 편리하게 변하고 있고 적재적소에 원하는 웹 크롤러 개발을 빠르고 편리하게 개발할 수 있지만 문제가 발생했을 때 이해하지 못해 대응하기가 매우 어려울 수 있다
그러므로 웹 크롤러와 웹 스크레이핑을 사용하고자 한다면 생성형 AI에만 의존해서 개발하기 보다는 이 책을 통해 웹 크롤러와 웹 스크레이핑의 기본기를 확실하게 다질 필요성이 있다