가장 먼저 음양사는 공식 관료였다. 중무성에 속한 음양료라는 기관에서 일하는 공무원이었던 것. 비슷한 직책은 중국에도, 우리나라에도 있었다. 우리나라에서는 ‘일관(日官)’이라고 불렀다. 천문을 관측하고, 기상을 측정하고, 때로는 별자리 등을 통해서 일종의 운을 점치기도 했던. 점을 친다는 것을 빼면 대체로 그 당시의 과학기술관료에 가까웠는데, 또 이 점이라는 것도 약간의 우연성이 개입된다는 것을 빼면, 그 해석에 있어서는 결국 통계와 맞닿는 부분이 있기도 하다.
원래는 주금사라고 불리는, 말 그대로 주술을 전문으로 하는 좀 더 무당에 가까운 조직과 관리들도 있었다. 그러나 10세기 경 이들 주금사들이 하던 일을 점차 음양사가 흡수하게 되었다고 한다.
중세 일본은 말 그대로 약육강식의 시대였다. 끊임없이 권력다툼이 일어나고, 왕은 있었으나 실권을 가진 권신들이 국정을 주물렀다. 그런 시대에 관료로서 살아남으려면 어쩔 수 없이 어딘가에 줄을 서야 했을 것이고, 그건 음양사들도 마찬가지였다. 권력다툼의 여파로 밀려나거나 목숨을 잃는 음양사들도, 반대로 권력의 지원을 받아 단숨에 최고 지위인 음양두까지 올라가는 일도 생긴다.
초반에 언급했던 세이메이 같은 인물이 그렇게 성공한 음양사인데, 그 후손들이 자기 가문의 명성을 높이기 위해 다분히 과장된 다양한 설화들을 만들어 냈다. 세이메이의 어머니가 하얀 여우가 변한 여자라든가, 그가 죽었다가 살아났다던가, 수많은 식신들을 부렸다던가 하는 전설들이 그것.
