秦始皇後妃妻妾成群，因而也子女成群。依據宗法家庭製度，作為父家長，他有權主宰子女的一切，包括婚嫁。於是，他又通過安排子女的男婚女嫁，締結了一批姻親。
秦始皇共有子女數十人之多，準確數字不詳。其中“有二十餘子”。皇子姓名見於曆史記載的有四人，即長子扶蘇、公子將閭、公子高和胡亥。第十八子胡亥後為秦二世。公主則不少於十人。
秦始皇與兒子們的關係，可以確知者有三件事：其一，秦始皇不封諸子，父子君臣關係相對簡化。其二，長子扶蘇備受器重，地位特殊，後因勸阻“坑術土”受到斥責，派遣到上郡監兵。秦始皇臨死命其會葬鹹陽。
其三，第十八子胡亥受到寵愛，秦始皇為其安排師傅，修習法律，又攜他一起出巡，使之得以篡奪皇位。其中第一件事標誌著秦始皇對帝王家庭關係的一大變革，也是秦朝所特有的政治現象。
秦始皇徹底廢除分封製度，堅決貫徹功勳爵製度，不僅功臣及宗室的公子王孫，就連自己的皇子皇孫也概不例外。他沒有封賜諸子尺土寸地，隻是對子孫、親屬實行“以公賦稅重賞賜之”的政策，讓他們安享富貴榮華。
臨終時，他依然“無詔封王諸子”。秦始皇的這個行為旨在維護一種他認定合理且親自製定的製度，與其個人的權力欲並無直接關係。從文獻記載看，秦始皇在世時，皇子皆稱“公子”,都沒有貴族頭銜。除地位特殊的長子扶蘇外，其他皇子一律沒有官銜。
對此，當時一些人就頗有微詞。後世的絕大多數儒者及一些舊史家和政論家也認為這是秦始皇貪圖個人權勢而導致的失策乃至無道，甚至將這列為秦朝亡國之因。其實秦始皇這樣做，與其說是主要出於對個人權勢的關切，不如說是探索“安寧之術”, “而求其寧息”的結果。