吳玉章生於四川省自貢市榮縣雙石橋蔡家堰，家族是被人稱為“三榮望族”的書香門第。
他6歲開始讀書，7歲卻喪父，13歲又失去慈母，從此，靠兄嫂撫養成人。
他篤誠忠厚，沉毅堅韌，喜讀史書，學識淵博，贏得“金玉文章”美譽。
他幼年時期，深受二哥的影響。他二哥吳永錕，號紫光(前清秀才)，服膺宋人理學，是一個講究氣節的人。他就是借助二哥在成都尊經書院的助學金，踏上求學深造的道路。
他幼年時就和二哥共燈夜讀“通鑒輯覽”，讀到南宋衰亡史實，就聯想到當時中國的危局，好像亡國之痛就在眼前。他們把文天祥的正氣歌，訣命詞貼在牆上誦讀，他們尤其喜歡讀明末烈士黃淳耀所作的一篇時文，《見義不為，無勇也》。
其中幾句話令他印象深刻：“一則放之須庾，而已與草木同腐矣；一則忍之須庾，而已與日月爭光矣。”意思是說忠奸之分就在那臨危授命的一刹那間。
二哥又把黃淳耀的事跡寫在那篇文章的後麵。他讀著這篇文章，很感動於黃淳耀的節義之舉。
1892年初，他剛滿13歲，就隨二哥到成都，進入“尊經書院”。同伴中，有個黃芝和他二哥是同榜秀才，其父是個“刻字匠”，很多人看不起黃芝，但吳玉章兄弟卻與其成了朋友。
黃芝讀書多，對文字學、漢學頗有研究。他和黃芝一起，常遊武侯祠、草堂寺。每到傍晚，他們一起散步，黃芝總要給他講諸葛亮、杜甫等人的故事，有時，還聯係國事危機，大發感慨。他喜讀《通鑒輯覽》《正氣歌》《出師表》等，養成了關心國家大事的習慣。
1895年，甲午戰敗，而喪權辱國的《馬關條約》，使少年時代的他痛心疾首。甲午戰敗的消息傳來了，他讀到光緒求和詔書中“將不知兵，士不用命，師徒撓敗，陵寢震驚”，忍不住落下淚來。這時他才17歲。他後來回憶說：“光緒皇帝乞和的詔書傳來之後，就和二哥抱頭痛哭。但痛哭思定後，自己決心為祖國尋找一條救亡圖存的道路，做點有益於人、有益於國的事。”