1877年2月1日，徐特立作為家中排行老二，於湖南省長沙府善化縣四都觀音塘(今長沙縣江背鎮觀音塘)出生，來到這個令人費解的世界。
他祖父，是個中醫，懸壺濟世，在當地頗有一些聲望。
他父親，是個忠厚老實的農民，沉默寡言，不善言辭，一生為農，遠離士族階層，遠離讀書人群，飽受地主欺壓，意誌慢慢麻木，從來沒有想過要通過讀書來改變生活境況。不僅他父親是個文盲，連他哥哥也一字不識。
不久，他的一個妹妹出生。一家五口，生活清苦，卻也安樂，並沒感到生活的窮困。
然而，他4歲時，母親操勞過度，病倒在床，終於有一天，臉色蠟黃的母親，斜躺在渾濁的油燈下，顫顫巍巍地拉著他和妹妹的手，淚水滑出了眼窩，不甘心地閉上了雙眼。
不久，他祖父也離開了人世。
前後兩件喪事，尤其是母親去世後，全家陷入更加艱難的境地，加上地主盤剝、沉重的徭役賦稅，一家人的日子越過越艱難。此時，他剛能說清話語，就開始學洗衣服、做家務，照顧妹妹，跟父親下地，幫忙拔草。
年幼的他曾經不解地問父親：“為啥我們要在田裏幹活，地主們隻是叼著煙鬥來看看就行了？”父親隻是長歎一聲，無可奈何地回應說：“這是命喔。”“命是啥呀？”他好奇地問。
父親卻對他說：“命就是我們應該在這裏幹活，然後收了稻子，大部分交給地主。”
他看著父親，似懂非懂，難道命就該是這樣？
他6歲那年的除夕，兄妹三人聽著遠處爆竹聲聲，等待父親去領打短工的工錢回來過年。
然而，天黑了很久，爆竹聲都淡下去了，父親還沒有回來。正當哥哥安頓好他和妹妹，打算去找父親時，父親兩手空空，一身泥土和傷痕的回來了。他和哥哥清楚，地主家又賴賬了，這不是第一次，這月推下月，下月推年底，年底推來年，已然多次。