실무로 통하는 인과추론 with 파이썬 - 데이터 분석에서 정책 수립까지, 이론과 사례 연구를 통한 실용적인 학습법
마테우스 파쿠레 지음, 신진수.가짜연구소 인과추론팀 옮김, 박지용 감수 / 한빛미디어 / 2024년 3월
평점 :
장바구니담기


AI가 아직 해결하기 힘든 난제이자 진리로 향하는 필수 도구인 인과추론의 개념과 도출 기법을 다룬 몇 안되는 희귀한 도서.

인과관계는 상관관계와 다르다.”(이 책에서는 상관관계를 연관관계라는 단어로 표현한다.)

아이스크림이 많이 팔리면 상어에게 인간이 잡혀먹힐 확률이 높다라는 가정은 직관적으로 생각해도 말이 안되는 명제이지만 일상에서 생각보다 많은 사람들이 상관관게의 현상에 가려 잘못된 인과를 도출한다.

실상 원인은 기온이고 그에 따른 결과로 아이스크림이 많이 팔릴 뿐이다. 기온이 올라가니 사람들이 해변에서 수영을 즐기는 빈도가 높아지고 자연스레 상어로 부터의 위험에 노출될 확률이 올라가는 것이다.

그럼에도 해당 도메인 분야에 약간의 무지만 더한다면 상관관계와 인과관계를 구별하는 것은 생각보다 쉬운일이 아니다. 이 책은 통계학적 기법을 중심으로 그 차이를 분별해 낼 수 있는 능력을 키워주는 도서이자 나아가 통계 모델과 수학을 활용하여 관측된 데이터를 객관적으로 해석할 수 있는 방법을 도출하는데 도움을 준다.

사실 인과추론은 결코 쉬운 주제가 아니다. 경험의 축적을 통해 충분히 인과관계를 밝힐 수 있는 직관이 확립된 일상생활이나 또는 수십년간의 연구를 통해 해당 도메인 분야에 내공이 쌓인 경우가 아니라면 결국은 관측 데이터를 통해 궁금증을 해결할 수 밖에 없기 때문이다.

위험한 함정에 빠지지 않기위해 이 책에서는 실제 데이터와 파이썬의 시각화를 통한 검증을 거쳐가며 가급적 쉽게 인과추론의 타당성을 검증해 나간다.예시데이터

책의 구성 상 차례대로 읽어나갈 것을 권하고 싶다. 특히 1장의 경우 인과추론 입문 과정의 필수지식을 담고 있기에 반드시 정독해야 한다. 인과추론의 기본 개념은 물론 관계 심슨의 역설과 같은 반드시 알아두어야 할 인과 함정 등의 내용이 등장한다.심슨의 역설

특히, ATE(평균 처치효과), 실험군에 대한 평균 처치효과(ATT), 조건부 평균 처치효과(CATE) 개념은 반드시 숙지해 둬야 할 개념이다. 인과추정량을 모르고는 2장부터 마지막까지 이어지는 대부분의 내용을 이해하기 어려울 것이다.인과추정량

인과의 함정을 피하기 위한 도구로 후반부 까지 지속적으로 검증에 도움을 주는 도구로 활용되기 때문이다.

초반부에는 인과를 검증하기 위한 어려 장치들이 등장한다. 통계학 진영에서 긴 세월동안 축적해 온 귀무가설의 p-value를 측정할 때 활용하는 유의성 검증부터 시각적 도구로 난해한 관계에 직관을 부여하는 그래프 인과 모델 등이 그러한 예시이다.유의성검증
그래프인과모델

2부로 넘어가면 회귀분석을 활용하여 편향을 제거하는 방법이나 및 성향점수나 이중 강건 추정법을 활용하는데 마치 연안에서 망망대해를 나가는 과정에 비유할 수 있겠다.

3부에서는 머신러닝을 활용한다. 그간 전통적인 통계 기법은 엄밀성을 강조한 나머지 추론한 결과의 신빙성은 보호할 수 있었으나 경영진이 의사결정하는데 있어 정작알고 싶은 가려운 구석은 긁어주지 못하는 한계를 가지고 있었다.

최근 화두가 된 AI 진영의 기법이 더해지면서 보다 실용적으로 인과추론을 활용하는 시도들이 소개된다. T, X, S러너들이 대표적인 기법들인데 개인화에 초점을 맞춘다거나 편향을 제거하는데 보다 좋은 성과를 얻을 수 있다.

4부는 개인적으로 가장 흥미롭게 읽었던 부분이다. 솔직히 통계학 전공이 아니기에 매 순간 이해하는데 어려움이 많았는데 이 파트는 더욱 이해하기 어려웠다. 인과에 시간이 더해지는 파트이다.

사실 인과 자체도 어려운 영역인데 시간 역시 만만치 않다. 시간을 정의내리는 것이 쉽지 않기 때문이다. 과학을 넘어 철학까지 이어지는 여정은 흥미롭고 신비한 여정이지만 그에 상응하는 고통도 수반한다. 누구도 시간을 흔쾌히 정의내리지 못한다. 아인슈타인의 시공간이 하나라는 개념이 더해지면 더욱 그렇다.

문제는 인과는 정의만 쉽지 검증이 어렵다. 이 두 난해한 과제가 만나 시계열 분석은 물론 인과추론까지 접목되어 통계학에서 그간 애용된 이중차분법과 같은 모델이 만나니 왠만한 내공의 독자가 아니면 이 파트를 속시원히 설명하긴 어려울 듯 하다.

마지막 5부에서는 불연속 설계나 스위치 백 실험들이 등장하고 추가로 학습해 볼만한 주제들이 등장한다.

저자는 이 책을 인과추론의 입문서 정도로 소개했지만 안에 담긴 내용은 결코 입문서 수준이 아님에 유의하길 바란다. Python 예제들은 직관을 도출하거나 난해한 통계 검증 기법을 시각화 시켜주는데 도움을 주지만 인과추론을 연역적으로 기술하는 도구는 아니다. 어디까지나 보조장치로 활용되기에 Python으로 인과추론을 이해하는 구성이라 생각하면 안될 것 같다.

그보다는 머신러닌 진영의 기법이나 특히 통계학의 수학을 기반으로 한 연역 기법이 많이 활용되고 있어 Python과 같은 프로그래밍 스킬은 물론 통계학이나 수학적 지식의 베이스가 탄탄한 독자가 읽는 것이 이해에 무리가 없을거라 생각한다.

개인적으로 인과추론은 향후 AGI에의 도달을 위해 해결해야 할 가장 큰 장애물 중 하나라고 생각한다. 현 시점 묵과할 주제가 아니라는 말이다.

게다가 인과추론은 신생 학문이고 참조할 만한 레퍼런스가 너무 적다. 그런 의미에서 현 시점 이 책이 가지는 가치는 상당할 것으로 평할 수 있을 것이다. 한 단계 고차원적인 AI 기법의 하나이자 보다 정확한 진실을 향해 다가가는데 활용할 수 있는 도구로써 인과추론에 관심있는 독자들에게 본 도서의 일독을 권하는 바이다.




댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지 I LLM FAQ, AI/ML 용어 해설집 수록
시난 오즈데미르 지음, 신병훈 옮김 / 한빛미디어 / 2024년 2월
평점 :
장바구니담기


LLM이라는 망망대해를 직관적인 도식 자료를 활용해 실용적 관점에서 핵심 원리와 본질만 전달하고자 노력한 점이 인상적이다. 특히, 다양한 예제 실습을 통해 머릿속의 반짝이는 창의력을 제품화 할 수 있도록 가이드한다.

LLM이라는 거대하고 복잡한 바다를 이렇게 간결하게 설명하는 책이 등장할 줄은 몰랐다. LLM이라는 주제에 대한 확실한 이해와 남다른 통찰을 수십년 간의 경험으로 다져온 전달력으로 표현한 것 같다. 다른 책들과 달리 서문에 이 책에 대한 저자의 자신감이 느껴졌는데 이 조차도 읽는 내내 겸손의 표현임을 깨달았다.

단순히 1장만 읽어도 LLM을 구성하는 망망대해가 얼마나 거대한지는 초보자도 느낄 수 있다. 현재 가장 유명한 LLM 모델인 BERT, GPT-4, T5에서 LLM을 가능케한 사전훈련, 전이학습, 파인튜닝, 어텐션 등 하나하나의 주제도 그 깊이가 어마어마하기에 사실 이 모든 것을 전달하는 책은 등장할 수 없다는 생각을 했다.

하지만 천재들은 늘 나같이 흔한 범인들의 선입견의 박살내는 매력이 있는 듯 하다. 이 망망대해로 직접 뛰어들지 않고 실용적인 관점에서 기본원리와 본질이 무엇인지 축척 높은 지도를 만들어 나간다.본질

이를 설명하는데 있어 핵심은 알기쉽게 설명한 직관적인 도식으로 대체하고 추상적인 개념은 예제 실습을 통해 눈으로 보게 만든다. 예를 들어 어텐션이 무엇인지 모르는 NLP 초보자도 아래 그림을 보면 대략적으로 어떤 의미인지는 파악할 수 있을 것이다.어텐션

예제의 경우도 LLM을 가능케 한 주류 기술 특히 파인튜닝을 중심으로 짧은 코딩으로 엄청난 결과물을 얻을 수 있는 형태로 구성되어있으니 각 개념들의 내부에 집중하느라 길을 잃지않도록 본질을 알고 원하는 문제를 해결할 수 있도록 정보 전달의 수급을 조절한다. 아래 시각적 질문 답변 시스템을 만드는 과정이 대표적인 예시이다.VAQ

이 책에 등장하는 예제들은 굉장히 다양한데 클로즈드 소스를 활용하는 방법부터 오픈소스를 파인튜닝하는 방법에 이르기까지 저변이 상당히 다양하기에 좋은 아이디어만 있다면 이들을 참조하여 빠르게 원하는 제품을 얻을 수 있을 듯 하다. 예제도 재밌는 주제가 많다. 예를 들어 아래 자연어를 레이텍으로 변환하는 예제가 그렇다.LaTex

3장이나 5장에서 프롬프트 엔지니어링을 다루는 것도 이색적이다. ChatGPT를 곁에 두고 사는 독자들이라면 이미 3장 정도의 기법은 잘 알고 있겠지만 5장에 등장하는 프롬프트 인젝션이나 스터핑과 같은 기법은 생소할지도 모른다.

다른 이들이 올린 질문 자체 혹은 방식 또는 사용한 데이터를 가져오는 기술을 자연어 세계에서도 적용할 수 있다는 것 자체가 LLM에 얼마만큼의 창의성을 적용시킬 수 있는 것인지 그 거대함에 자주 위압을 느낀다.

마지막 단원에는 실습한 모델이나 예제들을 프로덕션 환경에서 활용할 수 있는 방법도 소개된다. Hugging Face 모델 허브에 올리는 것을 마지막으로 이 책의 여정은 끝이 난다.
Hugging Face

이러한 거대한 망망대해를 읽는데 있어 시종일관 재미를 줄 수 있는 책은 결코 흔치 않을 것이다. LLM을 시작하는 사람 혹은 이 분야에 도전하는 이에게 특히 큰 용기를 복돋게 해줄 명작이다. 물론 AI 대격변 시대에 살고 있는 누구나 한 번 쯤 읽으며 실습해본다면 막연한 미래를 대비하는데 큰 도움이 될 것이다.




댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
코딩도 하고, 사장도 합니다 - 오너프로그래머의 개발자 36년, 회사 대표 24년의 기록
한수봉 지음 / 제이펍 / 2024년 2월
평점 :
장바구니담기


한 평생 IT에 종사한 역사의 기록. 창업 그리고 프로그래머로써 살아가기 위한 이정표 및 조언이 가득 담겨있다.

본 도서에는 평생 IT업계에 종사한 대선배님의 시종일관 후배들을 위한 사랑과 조언이 담겨있다. 내용은 최대한 담백하고 진솔하고 정보가 가득 담겨있는 문체인데 다 읽고 나면 신기하게도 묘한 감동의 여운이 남는다.

특별히 문학작품 같은 어귀가 담겨있지 않은데도 감동이 남으니 정말 이상하다고 생각했다. 저자의 진솔함과 진심이 고스란히 담겨있기 때문인걸까?

프로그래머이자 창업을 꿈꾸는 독자로써 늘 창업과 관련된 도서를 즐겨 읽는다. 주로 실리콘밸리 우리나라의 경우 판교 지역과 관련된 주제의 책들이 많다. 오너는 바빠서 쓰지도 못하는데 정작 그 기업들을 조사한 기자 혹은 이해 관계가 얽혀있는 분들이 쓴 글이 많다.

펼치면 하나같이 심장이 두근거리는 건 사실이다. 그러나 늘 그렇듯 심장 박동은 평정심을 유지한다. 물론 세상을 지배하는 가치를 창출하는 내용들이 언젠가는 반드시 알아야 할 궁극의 목적이니 폄훼하고 싶은 마음은 없다.

하지만 당장의 현실의 문제를 해결하고 일단 한 걸음 한 걸음 걸음마를 떼는 입장에서는 너무 먼 얘기다. 솔직히 와 닿지가 않는다. 책을 다 읽고 덮으면 이내 많은 것을 잊게된다.

조금 더 진실한 책을 원했다.

현실이 가급적 듬뿍 반영되어 왜 그게 그렇게 잘 안되는지 나의 현 문제를 명확히 콕 찝어주고 알려줄 책이 필요했다. 오랜 시간에 걸쳐 드디어 그런 책을 만나게 되니 너무 기뻤다.

저자는 시종일관 소박하게 생각을 전개해 나간다. 이 책에 등장하는 백배창업, 열배창업이라는 규모로 기업을 정의하고 본인이 추구하는 사업은 열배창업 임을 밝힌다. 한발 더 나아가 스스로를 오너 프로그래머라고 칭하고 기업가라는 단어와는 거리를 둔다.열배창업

솔직히 누구나 열배창업을 거친다. 천배창업을 할지라도 언젠가 열배창업에 성공한 것이다. 그런의미에서 창업서적이라면 그런 초기단계를 진솔하게 담아내야 한다고 생각한다. 시작이 반이라는 말이 인생에도 적용된다고 생각하기 때문이다. 이 책에서 가장 가치있다고 평가하는 부분이 바로 이런 부분이다.

저자 평생을 담아낸 책 답게 이 책은 후배들을 위한 조언으로 가득차 있다. 평생을 CEO로 지낸 분인만큼 필력도 상당한데 가장 재미있게 읽었던 부분은 “20장 프로그래머 청조 씨의 하루“편이다.

이는 박태원 작가의 유명한 소설 “소설가 구보씨의 일일”을 모방한 것인데 여기서 청조는 파랑새를 뜻한다. 파랑새는 저자가 자주 쓰는 닉네임이라고 한다.청조씨의 하루

문학 작품을 읽는 것처럼 흥미진진하고 드라마 미생을 보는 듯한 느낌을 얻었다. IT 업계에 종사하면서 하루하루 최선을 다해 살아가는 IT 종사자들의 인생이 해학적으로 담겨있고 그 안에 프로그래머라면 관심있게 지켜볼만한 필살기(?)도 등장한다.

더불어 인생 전반에 대한 조언이 가득하다. 한 평생 받을 수 있는 급여를 미리 계산해보고 노후의 자금을 안배하는 과정도 흥미로웠다. 나 역시 직장 신입시절 한 평생 받을 수 있는 급여를 계산해 본적은 있지만 이렇게 세심하게 먼 미래를 설계해 본 적은 없었다. 역시 사업가의 미래를 보는 눈은 범인이 쫓기 힘든 것 같다.평생급여

이 책은 총 3개의 파트로 이루어져있다. 첫번째 파트는 오너프로그래머로 정의한 저자의 가치관, 삶의 기록이 담겨있고, 두번째 파트는 주로 프로그래머의 삶과 목표 등이 담겨있으며, 마지막 파트에는 창업에 관한 조언이 담겨있다.

소프트웨어를 개발하여 삶과 경제력을 영위하는 조언부터 백배창업의 정의 그리고 영업권 매도와 같은 소소한 팁까지 배울점이 가득하다. 그 안에서 살아가는 사람의 이야기도 흥미롭다. 이직 시 인계기간을 보고 그 사람의 인성과 능력을 판단하는 기준은 인생의 관록에서 얻을 수 있는 인사이트였다.

내가 책을 좋아하는 이유는 너무도 많지만 가장 큰 이유를 꼽으라면 식사 한끼 할 가격으로 그 사람의 인생을 살 수 있어서이다. 저자 역시 책 안에서 언급했던 내용으로 유한하게 사는 인간의 삶에 이보다 더 큰 경험을 어디에서 얻을 수 있단 말인가?

책 한끼로 IT 업계 종사자의 전 인생의 중요한 이슈를 어깨너머 배울 수 있다는 것은 엄청난 기회라 생각한다. 창업을 꿈꾸는 프로그래머라면 이 책이 톡톡한 인생의 동반자 역할을 할 것임은 물론 프로그래머라면 누구나 배우고 감동할 수 있을 것이기에 이 책의 일독을 꼭 권하고 싶다.




댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
머신 러닝 교과서: 파이토치 편 - 탄탄한 이론과 다양한 예제로 배우는 머신 러닝/딥러닝 실전 가이드
세바스찬 라시카.유시 (헤이든) 류.바히드 미자리리 지음, 박해선 옮김 / 길벗 / 2023년 11월
평점 :
장바구니담기


핸즈온 머신러닝과 쌍벽을 이루는 AI의 AtoZ를 담은 교과서라는 말이 무색하지 않은 AI계의 명작.

머신 러닝 교과서는 2가지 버전으로 구성되어있다. 2021년에 출간된 텐서플로 편 그리고 지금 소개하는 파이토치 편이다. 물론 동일한 저자와 역자가 참여했다고는 하나 초판과 개정판 사이에는 3년 정도 시간차가 있기 때문에 AI 영역에서 가장 핫한 이슈들이 추가로 수록되어있다.

보통은 개정판이 등장하면 굳이 구판은 볼 필요가 없는 법이지만 이 책은 조금 다르다. 텐서플로와 파이토치를 둘 다 능숙하게 다루고 싶거나 둘의 차이를 느껴보고 싶은 독자라면 초판과 개정판의 책을 모두 실습하면 큰 효과를 볼 수 있을 것이다.개정판

사실 나의 경우 초판인 텐서플로편에 베타리더로 참여했다. 직접 모든 내용들을 읽고 실습에 참여했는데 당시 한가지 아쉬운 점이 남았다. 그래서 당시 편집자이신 안윤경 과장님께 언젠가 기회가 되면 파이토치 교과서 편을 출간해주시면 좋겠다고 말씀드렸었는데 약 2년의 시간이 지나 그 소원을 들어주시니 나에게는 또 다른 의미로 다가오는 책이다. 이 자리를 빌어 편집자님께 깊이 감사드린다.

AI를 본격적으로 공부하고 싶은 책은 많지만 그 중에서도 가장 추천하고 싶은 책을 꼽으라면 이 책과 핸즈온 머신러닝 책을 꼽고 싶다. 그만큼 AI 전반에 걸친 탄탄한 기본기를 모두 아우르는 책이기 때문이다.

LLM과 Generative AI가 등장하는 요즘 이 기본기를 소화하지 않고 그 모델들을 이해하는 것은 불가능에 가깝다. 아예 OpenAI나 Gemini같은 서비스에 AI를 맡기고 서비스 구현 부분에 치중한다면 모를까 AI에 발을 딛기 위해선 이런 책들을 섭렵하는 것이 필수 단계이다.

이 책은 현대 AI의 역사를 축약해서 각 챕터별로 소개하고 있는 만큼 그 양이 방대하다. 크게 전반부에 머신러닝 파트가 등장하고 중반부에 파이토치를 배우며 잠깐 쉬었다가 후반부에 가열차게 딥러닝을 향해 돌진하는 구조이다.

원서는 2022년도에 출간된 것으로 알고 있는데 당시 화두였던 트랜스포머 부분이 수록된 것이 특징이고 그래프 신경망이 수록된 것도 눈에 띄는 부분이다.트랜스포머

그 외에도 CNN, RNN, RL, GAN 과 같은 굵직한 모델들도 담겨 있다. 전반부 머신러닝 영역이야 주로 사이킷런을 사용하기에 파이토치와 무관하지만 후반부는 딥러닝의 영역이므로 파이토치를 반드시 알아야 한다.

때문에 12 ~ 13장에 걸쳐 파이토치의 특징과 기본 문법을 맛보게 되는데 이 부분 또한 이 책의 큰 특징 중 하나이다. 시중에 파이토치만 똑 떼어서 알려주는 책은 없는 것 같은데 그동안 읽었던 책 중에서는 이 책이 파이토치를 가장 깊숙히 소개하고 있다고 느꼈다.

파이토치에서 주로 활용하는 패턴이 순차적으로 잘 소개되어있고, 파이토치 라이트닝과 텐서보드와의 연동까지 다루고 있어 딥러닝 실습에 필요한 파이토치의 기능을 대부분 다루고 있다. 덕분에 후반부에는 파이토치와 종속되지 않은 순수 모델의 구현에 집중할 수 있게 도와준다.파이토치

또 하나의 특징은 수학을 배제하지 않는다. 어려운 수식도 필수적인 것은 반드시 등장시켜 이론과 개념을 충실히 하고 있다. 이런 부분은 초기에는 가독성을 떨어뜨려 반갑지 않겠지만 이해의 수준이 깊어질수록 많은 도움이 된다. 원서 제목과 달리 책 제목에 교과서라는 단어를 포함시킬 수 있는 이유이기도 하다.수학

더불어 이 책을 번역한 역자에 대한 칭찬도 빼놓을 수는 없을 것 같다. 같이 소개한 명서 핸즈온 머신러닝도 박해선 역자님이 번역하셨는데 이렇게 양대산맥을 독점하셔도 되는건지 모르겠다. 독과점(?) 문제를 논외로 하면 덕분에 두 책 다 일관성 있는 번역으로 독자 입장에서는 편히 이해할 수 있어 좋았다.

특히 번역과정에서 손실될 수 있는 정보나 원저자가 생략한 징검다리 지식들을 역자 노트로 보충설명하고 있어 이해에 큰 도움이 된다.

머리말 근처에 한 줄 씩 소감을 남기신 베타리더 분들이 코드를 일일이 실습했을 것이기에 코드의 오류는 거의 찾아보기 어려울 것이고 완성도 높은 코드를 담고 있다. 이는 초판에 내가 경험했기 때문에 산 증인으로써 자신있게 말할 수 있는 부분이다. 아마 파이토치나 각종 라이브러리의 버전 호환성 정도만 유의하면 될 것이다.

딥러닝도 결국 머신러닝의 한 영역이기에 초반부의 머신러닝 파트 또한 중요하다. 완숙한 경험이 쌓여야 활용할 수 있는 다양한 기법들도 이 책의 백미 중 하나이다.머신러닝

길벗 출판사의 책 첫장을 펴면 “장맛이 밴 책을 만들고 싶습니다.”라는 문구를 만날 수 있다. 난 늘 읽을 때마다 이 구절이 맛깔나는데 이 책이야 말로 장맛이 제대로 밴 책이다. 뭐하나 흠잡을 수 없을 만큼 어느 부분을 펴서 읽어봐도 주옥같다.

AI 방향으로 진로나 학업을 꿈꾸는 이들에게 가장 추천하고 싶은 책이다. AI에도 영역이 다양해서 특정 모델 혹은 기술로 전향하고 싶은 현직자에게도 알찬 책이다. 책장에 이 책 한 권 장만해 놓는다면 두고두고 요긴할 것이기에 AI와 관련이 있는 모든 사람에게 꼭 추천하고 싶은 책이다.




댓글(0) 먼댓글(0) 좋아요(0)
좋아요
북마크하기찜하기 thankstoThanksTo
 
 
 
머신 러닝 교과서: 파이토치 편 - 탄탄한 이론과 다양한 예제로 배우는 머신 러닝/딥러닝 실전 가이드
세바스찬 라시카.유시 (헤이든) 류.바히드 미자리리 지음, 박해선 옮김 / 길벗 / 2023년 11월
평점 :
장바구니담기


아는 만큼만 보인다고 밑에 분 명작에 편협적인 댓글 달지마세요. AI 연구개발 하는 사람 입장에서 최고 명작 중 하나입니다.

댓글(0) 먼댓글(0) 좋아요(1)
좋아요
북마크하기찜하기 thankstoThanksTo