鄒衍諸人的政治的陰陽家，已是一個很大的思想迷信大組合了。然而這還隻是狹義的陰陽家。廣義的陰陽家所包更多，更雜。依《藝文誌》所記，有兵家陰陽十六家，書二百四十九篇，圖十卷，序曰：
陰陽者，順時而發，推刑德，隨鬥擊，因五勝，假鬼神而為助者也。
“順時而發”，是順著時日幹支；“推刑德”，是推陰陽，陰是刑，陽是德；“隨鬥擊”，是占星鬥（《淮南·天文訓》：“北鬥之神有雌雄，雄左行，雌右行，五月合午，謀刑，十一月合子，謀德”）；“因五勝”，是依著五德相勝之理。這是兵家的陰陽，是陰陽家的一派。
《藝文誌》又有術數之五行三十一家，書六百五十二卷，中有《泰一陰陽》《黃帝陰陽》《黃帝諸子論陰陽》……等等書。序曰：
五行者，五常之行氣也。（以木金火土水配仁義禮智信）《書》（《洪範》）雲：“初一曰五行，次二曰羞用五事。言進用五事，以順五行也，貌，言，視，聽，思（是為五事），心失而五行之序亂，五行之變作，皆出於律曆之數而分為一者也。其法亦起五德終始，推其極則無不至。而小數家因此以為吉凶，而行於世，浸以相亂。”
這裏明說五行術數出於五德終始之學。這也是陰陽家的一派。
此外，如天文，曆譜，雜占，形法，醫經，房中，各家都和陰陽五行有很密切的關係。其中一部分是陰陽家的支流，一部分也許是陰陽家的祖宗。
陰陽五行之說都來自民間，陰陽出於民間迷信，五行出於民間常識。那些半迷信半常識的占星、看相、卜筮、醫藥等等，自然是陰陽五行說最初征服的區域。從這些區域裏流傳出來，陰陽五行說漸漸影響到上層社會的思想學術。
這種思想到了學者的手裏，經過他們的思索修改，裝點起來，貫串起來，遂成了一種時髦的學說了。這種下層思想受了學者尊信和君主歡迎以後，醫卜星相等等更要依托於陰陽五行之說了。