환향녀에 대한 사대부들의 태도는 평민들에게도 큰 영향을주었다. 그들은 임금의 지시 없이도 이혼할 수 있었으므로 환속한 아내와 며느리를 헌신짝처럼 버렸다. 그리고 그녀들에게 ‘환향녀‘라는 사회적 낙인을 찍었다. 이는 본디 ‘고향에 돌아온 여자‘라는 의미였으나, 오랑캐와 잠자리를 한 더러운 여자라는 악의적인 뜻으로 인구에 회자되었다. 정절을 잃지 않은 여자들도환향녀의 굴레는 벗어날 수 없었다. 손가락질은 집안에서 시작돼 동네 전체로 번졌다. 환향녀의 이빨에 빨간 칠, 까만 칠을 해서 사람들과 마주할 수 없도록 한 마을도 있다고 한다.