陰陽師というと平安時代というイメージが強いかもしれませんが、陰陽師が務めた「陰陽寮」は、奈良時代中期に施行された『養老令』下にあり、『養老令』は飛鳥時代末期に施行された『大宝令』とほとんど同じ内容です
陰陽師の属す陰陽寮は室町時代でも存続していましたが、朝廷の政治力の衰退もあり、その下に仕える陰陽師の存在感も低下していました。ついには陰陽道に懐疑的だった豊臣秀吉による弾圧を受け、室町時代末期にはほぼ権威を失ってしまっていました。
その代わり陰陽寮に属さないフリーランスの陰陽師が民間の信仰を集めていましたが、応仁の乱など戦乱で荒れていた時代ですから、星を読み未来への展望を示してくれる陰陽師は心の拠り所だったんです。
ただ朝廷にとっては、民衆を反権力の側に煽動する危険分子でしかなく、圧力をかけて潰そうとしていました。
陰陽師で初めて公卿(くぎょう)になった安倍有世(安倍晴明の子孫)は室町時代の人です。安倍家が土御門家を名乗るようになったのは公卿となったこの後です。
土御門家は上述した時勢もあり、室町時代末期にはかなり衰退しますが、江戸時代幕府より全国の陰陽師の統括権を与えられてから息を吹き返しました。