How to Read a Paper (S. Keshav)
연구실 형의 컴퓨터를 물려받게 되었다. 형 자리에 앉아 파일을 보던 중, 파티션에 자석으로 붙어 있는 이 한 장짜리 페이퍼를 발견했다. 제목이 아주 명쾌할뿐더러 흥미를 당겼기 때문에 자석을 떼고 읽기 시작했다.
이 페이퍼에서는 three-pass approach를 소개한다. 요약하자면, 첫 단계에서 대략 훑어서 감을 잡은 후에 더 읽고 싶은지 판단한다. 더 읽고 싶다면 간단히 메모도 하고, 특히 figure를 자세히 살펴본다. 마지막 단계에서는 이 논문을 직접 재현해본다는 생각으로 자세히 읽어본다.
1st pass:
title, abstract, introduction을 읽고서 다음에 이어지는 각 섹션의 제목만 훑는다. 중간중간 나오는 수식도 눈에 담아 관련 배경 이론을 짐작해보고 conclusion을 읽어본다. 마지막으로 reference 목록에서 읽었던 것이 있는지 살핀다.
간단하게 훑는 과정이다. 해당 논문에 대한 bird's-eye-view를 만들기 위함이다. 이 과정을 통해 다음 5가지 질문 (5 Cs)에 대해 답해본다.
1. Category: 어떤 종류의 논문인지? 리뷰? 방법론…?
2. Context: 이것과 관련된 다른 논문은 무엇인지? 해당 분야 연구 흐름에서 이 논문이 쓰인 맥락을 파악해보기. 배경이론 생각해보기.
3. Correctness: 가설이 타당한지?
4. Contributions: 이 논문의 가치는? 의의? 밝혀낸 것?
5. Clarity: flow 구성은 잘 짜여 있는지? 문장은 잘 읽히도록 쓰였는지?
이 과정을 통해서 이 논문을 더 깊게 읽을 것인지를 결정한다. 이 과정 후에도 머릿속이 아리송하다면 내가 잘 모르는 분야, 흥미 없는 분야이거나 해당 논문이 학문적으로 잘못된 것일 수 있다. (가정이 타당치 않다든지).
보통 리뷰어들도 이런 훑는 과정을 통해 리뷰할 논문 대부분을 판단하게 된다. 첫인상 탐색.
내 글에 관심이 전혀 없거나 아주 있는 사람은 어쩔 수 없다. 쳐다보지도 않거나 어떻게 해서든 읽어내려 할 것이기 때문이다.
내 글에 적당히 흥미 있거나 없는 사람들, 그리고 리뷰어들. 바로 이 사람들의 마음을 돌려놓아야 한다. Main title, sub-sectioin title을 신중히 결정하고, abstract를 신경 써서 작성한다. 문앞의 마네킹을 갖고 싶어 할 만한 옷으로 꾸며서 손님의 발걸음을 붙잡는 것이다. 내 논문 전체를 한눈에 보여주는 그림을 통해 'graphical abstract' 를 설치하는 것도 좋다.
2nd pass: 더 자세히 읽되 증명과 같은 곁가지는 넘어간다. Main flow를 따라가면서 모르는 용어나 의문점 등을 메모한다. Figure는 자세히 살펴본다. 축 제목이나 단위는 잘 표기되어 있는지, error bar (혹은 분포를 나타내는 다른 통계량)를 보여주고 있는지 확인한다 (이런 사소해 보이는 것이 글의 퀄러티를 결정한다). 참고문헌 중 읽지 않은 것이 있다면 표시해 놓고 후에 읽어본다 (해당 글이나 분야의 배경지식이 된다).
이 과정을 통해 논문의 큰 흐름을 파악할 수 있다. 어떤 취지로 무슨 연구를 했고 관련 이론이나 가정, 결론과 근거 등을 통해 논문을 요약할 수 있게 된다. 그저 관심 있는 논문이라면 이 정도 수준으로 만족할 수 있다. 하지만 자신의 연구에 직접 쓰이는 논문이라면 지금 단계보다 더 깊게 이해해야 한다.
지금도 이 논문이 아리송하다면 나에게 너무 어려운 것일 수 있다. 혹은 글이 잘 쓰인 것이 아니거나 그저 읽을 때 집중을 잘 못 해서 일 수도 있다.
이제 세 가지 옵션이 있다. 이 정도로 그만두기, 다음에 다시 읽어보기 (더 배경지식을 쌓고), 세 번째 단계로 넘어가기.
3rd pass: 이 논문에 근거해서 가상으로 같은 연구를 진행해본다. 같은 가정과 이론에서 시작해서 같은 측정 방법을 사용해 같은 결과를 얻어 본다. Re-constructing.
한 문장, 한 문장 의심해보며 자세히 살핀다. 배경 이론과 가정이 올바른지, 측정 방법에는 문제가 없는지, 얻어진 결과는 타당한 값 또는 경향을 가지는지 등 살펴본다. 이를 통해 이 논문이 어떤 점에서 흥미로운지, 약점은 무엇인지 등을 파악할 수 있다. 그리고 앞으로 이 논문과 관련해 어떤 연구가 더 필요할지 생각하게 되기도 한다.
Other issues
문헌 조사 skill
관련 주제에서 가장 피인용 횟수가 높은 논문을 몇 개 찾는다. 찾은 논문의 reference를 살펴보고 가장 자주 등장하는 저자를 찾는다. 그 저자의 대표 논문을 찾아 저장해놓고, 그 저자가 최근에 가장 많이 투고한 저널을 찾는다.이 저자들이 이 분야의 선구자일 것이고 그런 사람은 대부분 그 분야에서 가장 저명한 저널에 투고하기 때문이다.
해당 저널 홈페이지에 들어가서 어떤 주제의 논문이 올라오는지 훑어본다. 보통 이 논문들이 내가 찾고자 하는 분야의 high-quality paper들이다. 이 paper와 이전에 찾아 놓은 대표 저자의 대표논문을 2nd pass 단계까지 읽어 본다. 다시 이 논문에서 참고한 key reference를 찾아 같은 과정을 반복한다.
이 저자들이 이 분야의 선구자일 것이고 그런 사람은 대부분 그 분야에서 가장 저명한 저널에 투고하기 때문이다. 해당 저널 홈페이지에 들어가서 어떤 주제의 논문이 올라오는지 훑어본다. 보통 이 논문들이 내가 찾고자 하는 분야의 high-quality paper들이다. 이 paper와 이전에 찾아 놓은 대표 저자의 대표논문을 2nd pass 단계까지 읽어 본다. 다시 이 논문에서 참고한 key reference를 찾아 같은 과정을 반복한다.
여기까지다. 이후에는 읽어볼 만한 정보가 있는 웹사이트를 몇 개 소개한다. 이 중 두 개를 더 살펴볼 예정이다.
1.
https://www.microsoft.com/en-us/research/people/simonpj/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fpeople%2Fsimonpj%2Fpapers%2Fgiving-a-talk%2Fgiving-a-talk.htm
2.
http://www.ee.ucr.edu/~rlake/Whitesides_writing_res_paper.pdf