유제프 피우수트스키는 1867년 12월 5일 지금의 리투아니아 영토인 잘라바스에서 태어났다. 피우수트스키의 집안은 대대로 이 지역의 귀족 가문이었고 잘라바스는 원래 폴란드-리투아니아 연방의 일원인 리투아니아 대공국의 영토였지만 18세기에 러시아 제국과 프로이센, 오스트리아 제국에 의해 이뤄진 폴란드 분할로 러시아 영토가 되었다.
그의 집안은 스스로를 폴란드인으로 인식하고 있었기에 유제프의 아버지도 1863년 1월 봉기에 참여했으며 어머니 마리아 빌레비츠도 러시아 제국을 증오했다. 1863년 봉기는 많은 폴란드인들의 참여에도 불구하고 이들을 이끌 확실한 구심점이 없어 실패했다. 그 후 러시아는 크림전쟁에서 패배한 여파로 국가개혁에 나서 폴란드 지역의 귀족 무력화 및 농민 지지 확보 목적으로 농노 해방을 했는데 이때 피우수트스키 가문도 몰락한다.
유제프 피우수트스키는 빌뉴스에 있는 러시아식 고등학교에 다니며 차르에 대한 충성심과 정교회 신앙을 교육받았다. 이 시절에는 딱히 재능있다는 평가는 못받았으며 재미있는건 훗날 소련의 비밀경찰인 체카(Cheka)의 창설자가 되는 펠릭스 제르진스키와도 같은 학교를 다녔다는 것이다. 피우수트스키와 제르진스키는 서로 1년 선후배 사이였으며 피우수트스키는 제르진스키가 거짓말을 잘 못했다고 회고했다. 또한 이 시기에 어머니를 통해 폴란드어와 문학, 역사도 배웠다고 한다.
1885년 피우수트스키는 하르키우 대학교 의예과에 입학했다. 재미 있게도 중국의 쑨원, 쿠바의 체 게바라, 필리핀의 호세 리살, 칠레의 살바도르 아옌데, 프랑스의 프란츠 파농 같은 세계의 혁명가들의 전 직업의 상당수가 의사였다. 그런 전통 때문인지 피우수트스키도 나로드니키의 일파인 '인민의 의지당'에 가입해서 활동했었는데 1886년 학생 운동을 그만두고 타르투 대학교에 입학할려다가 거부되었다. 인민의 의지당 활동 시절에는 젊은 사회주의자들과 어울리며 카를 마르크스의 <자본론>을 읽었으나 이 책의 추상적인 논증은 그와 맞지 않았다.
거기다가 인민의 의지당에 소속된 알렉세이 울리야노프 등의 혁명가들이 차르 알렉산드르의 암살 음모를 세우던게 당국에 발각되고 형인 브로니스와프가 그들과 가까웠기 때문에 피우수트스키도 체포되었다. 하지만 곧 비교적 관대한 처분을 받아 시베리아로 5년 유배형을 떠나게 되었고 유배지로 이송되기까지 몇주간은 이르쿠츠크 형무소에서 복역했다.
이후 레나 강 유역의 키렌스크와 툰카 등지에서 유배 생활 및 강제노역에 참여하게 되었는데 유배지 환경이 매우 열악했는지라 배고픔을 참지 못한 유형수들이 봉기를 일으켜 관리들과 충돌하는 과정에서 피우수트스키는 이빨 두개를 잃기도 했다. 겨울에는 영하 40도까지 떨어지는 추위 속에서 피우수트스키의 건강은 악화되었고 결국 1888년이 되서 요양 차원에서 6개월 간의 복역 중지 결정을 허가받았다.
유배 기간 동안 유제프 피우수트스키는 시베리아에서 복역하는 많은 폴란드인들을 많았는데 이때 1863년 1월 봉기의 주도자였던 브로니스와프 슈바르체도 있었다. 피우수트스키는 여러 언어에 능통했던 탓에 모국어인 폴란드어를 비롯해 프랑스어, 리투아니아어, 러시아어와 영어까지 구사했기 때문에 그 지역의 아이들을 상대로 수학과 언어를 가르치는 가정교사 일도 맡기도 했다.
1892년 유배형을 마친 피우수트스키는 현재 리투아니아의 실라레 디역인 아도마바스 마노르로 가게 되었다. 다음해에는 폴란드 사회당에 입당해 리투아니아 지부 설립에 참여했고 극좌 성향에 가까웠으나 국제주의 노선보다는 민족주의적 성향을 크게 보였다. 1894년에는 지하신문이자 당 기관지인 '로보트니크'를 발행해 이 신문의 주필 겸 편집인으로 활동했고 어느덧 다음해에는 폴란드 사회당의 지도자 자리에 올라가 당 강령을 손봐 폴란드 독립을 주요 목표로 설정했다.
1899년 7월, 어느 개신교 교회에서 폴란드 토목기사와 이혼한 적이 있는 마리아 유슈키에비치와 결혼한 후에는 우치로 옴겨 '로보트니크'의 인쇄를 계속했다. 그러나 다음해에 비밀 인쇄소가 발각되어 피우수트스키는 체포되었고 바르샤바 인근의 형무소에 수감되었다. 1901년 5월에 정신병 행세를 한 피우수트스키는 상트페테르부르크의 병원으로 옮겨졌다가 탈출해 오스트리아령 폴란드 지역인 크라코프로 갔다가 1902년 4월에 다시 러시아령 폴란드로 이주했다.
러일전쟁이 발발한 1904년에 피우수트스키는 런던, 뉴욕, 샌프란시스코, 벤쿠버, 호놀룰루를 거쳐 도쿄로 갔다. 목적은 일본의 폴란드 독립 지지를 받아내는 것에 있었고 그의 형인 브로니스와프가 일본인과 결혼했기 때문에 일본과도 나름 접점이 있는 셈이었다. 일본 정부 측과 접촉한 피우수트스키는 러시아군 내 폴란드인들을 통한 정보 제공과 포로 중 폴란드인들을 선발해 폴란드 군단을 창설할 것을 약속했다.
하지만 일본은 유럽 정세 크게 휘말릴 생각은 없었기에 선전선동과 후방교란 비용으로 2만 파운드의 돈만 피우수트스키에 줌으로써 직접적인 지원은 거절했다. 왜냐면 이때 피우수트스키의 정적인 민족민주당의 드모프스키가 먼저 일본에 도착해 피우수트스키의 계획이 불가능하다고 떠벌렸기 때문이다. 그래도 어쨌든 지원금을 받은 피우수트스키는 이 시기에 일본에 대해 좋은 인상을 가졌는지라 훗날 독재자로 군림하던 1928년에 러일전쟁에서 공을 세운 일본군 장교 51명에게 훈장을 주기까지 한다.
한편 피우수트스키는 드모프스키와는 정적 관계를 유지했다고 한다. 당시 드모프스키가 이끄는 민족민주당은 참정권 요구와 두마 진출이 노선이었는데 반해 피우수트스키는 폭력 혁명과 전쟁을 통해 독립을 쟁취하려고 했기 때문이다. 어쨌거나 폴란드의 자치를 내걸었던 드모프스키는 1905년 두마 선거에 진출하는데 이와 반대로 피우수트스키는 사회당의 선거 참여 자체를 거부한다.
다시 폴란드로 돌아온 피우수트스키는 곳곳에 널리퍼지고 있던 혁명운동을 이끌었고 아예 준군사조직인 폴란드 사회당 전투단까지 조직한다. 사회당 전투단은 1904년 10월 28일 바르샤바에 주둔하는 코사크 기병대를 습격하며 러시아에 대한 저항을 선언했고 초반에는 정찰 활동이 중심이었지만 1905년을 거치며 러시아 정치인을 암살하기까지 한다.
1905년 1차 러시아 혁명은 폴란드에서도 일어났다. 12월 12일, 사회당은 폴란드 내 모든 노동자의 총파업을 호소했고 무려 40만명의 노동자가 총파업에 참여했다. 파업은 워낙 거셌기에 두 달이 지나서야 겨우 막을 수준이었고 상황이 악화되자 러시아 당국의 유화책으로 두마(의회) 선거를 열기로 확정했다. 하지만 피우수트스키는 앞서 말했듯이 폭력 혁명이 독립을 쟁취할 수 있다고 여기며 사회당의 선거 참여 자체를 막아버렸다.
머지않아 유럽에 큰 전쟁이 날 것이라고 본 피우수트스키는 이걸 기회로 보고 오스트리아로 망명해 폴란드 독립군을 양성하기로 판단, 1906년에는 오스트리아 참모본부의 지원으로 크라코프에 군사학교를 세워 800여명의 정예 요원들을 키웠다. 피우수트스키 일파는 한해 동안 무려 336명의 러시아 관리를 암살했는데 '피의 수요일'이라고 알려진 1906년 8월 15일 특수작전 동안에는 러시아 경찰에게 77건의 저격을 감행해 29명을 사살하고 43명을 부상입히기도 했다.
1908년 9월 26~27일에는 그가 결성한 군사 행동 연합이 바르샤바에서 상트페테르부르크로 세금을 운반하던 우편 열차를 기습하기도 했다. 당시 빼앗은 금액은 무려 200,812 루블로 이는 군자금으로 쓸 돈이었다. 습격 장소는 빌뉴스 근방의 베즈다니 였고 200,812 루블은 지금 가치로 환산하며 500만 달러에 가까운 금액이다. 피우수트스키는 곧 이어 준군사조직을 '적극 저항 연맹'으로 재편했고 이곳의 구성원들은 훗날 폴란드군 장교단의 핵심이 된다. 또 1912년에는 사실상 사관학교인 총포협회를 만들어 1만명 이상의 규모까지 키웠다.
피우수트스키는 자신의 주장이 사회당의 강령으로 채택될 만큼 점점 세가 커져갔지만 사회당이라고 전부 피우수트스키에게 동조한 것은 아니었다. 특히 사회당 내 좌파는 피우수트스키가 사회주의적 대의를 배신했다고 믿었는데 피우수트스키에게 있어서 사회개혁은 독립을 위한 도구일 뿐이었다. 실제로 그는 나중에 예전 동료들에게 "우리는 함께 붉은 기차를 타고 여행했다. 그러나 나는 '독립'이라는 이름의 역에서 내렸다"라며 본심을 털어놓았다.