1962年，史玉柱出生在安徽北部的懷遠縣城裏。童年時代的他，看起來“平淡無奇”，卻有自己的獨特喜好。他喜歡躲在被窩裏用手電筒照明看小人書，也喜歡沿著一條叫“永平街”的小巷，步行到當年的永平小學（懷遠縣第二實驗小學）上學。小學畢業前，他一直住在離學校不遠的一個居民區。
在老鄰居和他母親的老同事李爺爺眼裏，史玉柱是個內向、話少的孩子。當時，他以優異的成績考取了懷遠一中。此後，以前的老平房區要改造了，他便隨一家人搬到新住處，認識了新鄰居崔懷陽。據崔懷陽回憶，史玉柱在中學時勤奮好學，理科成績非常優異。
年少時的史玉柱人很老實，做事有一股韌性，並有極強的耐心和恒心，這也是他日後可成就大事的基礎。
史玉柱的老師劉宗英，她老公正好是史玉柱父親的老同事，所以史玉柱的一舉一動自然印刻在劉老師的腦海中。劉老師說，上小學時，史玉柱就要求自己必須把作業先做完才吃飯，即使父母勸他都不行，他不是那種拖拖拉拉不願寫作業的學生。
史玉柱特別愛看書。《十萬個為什麽》在當時很流行，他愛不釋手。在讀這本書的時候，他腦子裏除了“為什麽”，還有“為什麽要為什麽”的想法。直白點說，他想弄明白那些為什麽。那時的史玉柱就是個實幹派，說幹就幹。
五年級時，史玉柱按照書上所寫，準備自製一台收音機。他的這台收音機很簡陋，基本是用最現成的物件測試原理，與芯片之類無關。
還別說，他真的大功告成了，“收音機”發出了很大的聲響，這讓他喜出望外。
此外，他的膽子特別大，居然可以自製“炸藥”。
“一硝二磺三木炭”，他照著書本依樣畫葫蘆，有模有樣地做起了炸藥。經過一番折騰，他果然造出了。造出的目的是讓它爆炸，故此他在一天晚上悄悄地把炸藥埋在路旁。隨著一聲巨響，剛好經過的鄰居都被嚇壞了。也因此，他挨了父母的一頓暴揍和責罵。大概就是從這時開始，他有了“大膽”的綽號。