하지만 지난 100년간 남산은 한국 근현대사의 아픔을 모두 감당한 슬픈 공간이었다. 이곳에는 총독부의 전신인 통감부 건물이 세워졌고, 이토 히로부미가 죽자그를 기리는 박문사(오늘날 신라호텔 자리)가 만들어지기도 했다. 1925년에는 조선 신궁이 들어섰다. 일본 신화의 시조인 아마테라스 오미카미와 메이지 천황을 주신의로 삼은 최고급 신사였다. 해방 후에는 이곳에 이승만 대통령의 동상이 세워졌다. 하지만 4.19 혁명이 일어나 이승만 대통령이 하와이로 쫓겨나자 시민들이 직접철거했다.
과거 독재 정권 시절, 남산은 이름만으로도 두려움을 자아내던 곳이었다. 중앙정보부 건물이 이곳에 있었는데, 지금의 서울 유스호스텔, 서울종합방제센터, 서울시청 남산 별관 등이 모두 관련 건물들이다. 1964년에는 한국반공연맹 자유터가 만들어지기도 했는데, 지금은 한국자유총연맹 본부가 들어서 있다. 남영동대공분실을 설계한 김수근이 지은 건물이다.