유일한 레이 입문서

러닝 레이 - 대규모 모델 훈련에 효율적인 라이브러리로 빠르게 구현하는 파이썬 분산 처리
막스 펌펄라.에드워드 옥스.리처드 리우 지음, 김완수 옮김 / 한빛미디어 / 2024년 1월

ML을 하면서 분산 컴퓨팅 및 HPO에 대한 필요성은 안느낄래야 안느낄 수 없는.. 반드시 알아야하는 내용중 하나라고 생각한다.

리뷰에서는 다루지 않았지만 실제로 Ray Tune을 활용한 HPO도 존재하지만 아마 일반적으로 딥러닝을 하는 사람들이라면 Wandb Sweep, Optuna 등과 같은 툴들도 분명 들어봤을 것이다.
하지만... 사실 Ray의 HPO툴보다는 위에서 언급한 Wandb의 sweep을 애용하지 않을까 싶긴한데... 강화학습을 다루는 분들이라면 RLlib과 함께 활용하기에는 충분히 좋아보이긴 한다.

그리고 가장 아쉬운 점이 있었다.
이건 이전에도 다른 책에서도 느낀것인데 책에서 제공하는 코드가 너무 오래된 것이다.
ipynb 노트북 파일들을 보면 전부 2년전의 내용들이다.

MLFlow를 공부하면서도 느꼈던 것은 이러한 툴들은 메인 버전뿐만이 아니라 마이너 버전이 바뀌더라도 사용법이나 종속성버전의 경우가 빠르게 바뀌고 있던 에러가 없어지기도하고 없던 에러가 발생하기도한다.

실제로 노트북을 통해서 실습을 하는 동안 pydantic 버전이 맞지 않는다거나 기타 다른 라이브러리 에러도 많이 발생했었고, 새로운 것을 배운다는 신기함이나 재미는 있었지만, 아쉬움이 계속 느껴졌다.
하지만 그래도 이책을 통해서  파이썬의 영원한 친구인 GIL(GIL이 삭제될 것이라는 희망적인 기사가 23년 8월에 나왔었다_링크) 때문에 고통 받았던 사람들, Multiprocess를 활용해서 병렬처리만 해보았던 사람들에게 분산 컴퓨팅 프레임워크인 Ray가 어떻게 동작하는지, 어떻게 활용하는지를 알려주는 책이 그리 많지 않다.

기본 Document도 잘나와있다는 이야기도 있으니 책에서 아쉬은 점은 공식 Document를 참고해서 더 보도록 하자.