徐中舒，初名道威，以字行。1898年10月15日（農曆九月初一）生於安徽懷寧（今安慶市）盛唐山下的月形山。徐家是一個大族，在月形山聚族而居，故人們也把此地稱為徐家阪。徐中舒的父親家文，係貧苦農民，後外出學木工，擅長雕花。1900年在大通縣建房時因事故摔死。時他方3歲，母年23，伶仃孤苦，無以為生，最後進了安慶設立的慈善救濟機構清節堂。該堂由地方士紳管理，因主持得人，效果尚好。堂內設義學，後改名育正小學，主要是供堂內孤兒學習。另還置有織布廠，讓受救濟的婦女學得生產技能，補助收益，改善生活。徐母沒有讀過書，卻很有誌氣，通達事理。她於1902年帶著兒子入堂後，從此以驚人的毅力，日日夜夜孜孜不息地勞作，一心要把兒子撫養成人。她在清節堂整整度過了近20年。中舒先生是在7歲進育正小學開始讀書的。這段“備極人世之淒涼”的生活經曆，他在自撰的《先妣事略》中曾有動人的描述：
每日辨色而興，則使不肖起，不肖東行入學，則吾母西行入織。及薄暮，不肖歸自學，則吾母歸自織。入夜則一燈熒然。凡日間未竟之事，如不肖母子衣服縫治與浣濯，皆於此時為之。往往刀剪聲與碓杵聲相雜下。或至淩晨雞鳴，入息片刻即興。吾母織作之勤，恒倍他人，每當盛夏，汗出如沈，機旁恒置水一盆，巾一方，汗下則出巾自拭，閑時絞之，則若小雨淅瀝自簷溜間下注於盆。及今思之，其艱辛之狀，不禁為淚涔涔下也。
徐母的吃苦耐勞，堅毅犧牲的示範作用，對先生一生誌學立德無疑產生著重大的影響。據先生說，母愛於他是無微不至的；但幼小的他，如有過錯，則“痛扶之”，決不姑息。他純謹厚重品行的養成，與母教之嚴殆有關係。
徐先生對育正小學，懷有美好的回憶，認為教師品質才能優秀，教學認真，他的進德就是由此打定基礎的。育正小學在辛亥革命那年停辦了一段時間，他轉學尚誌小學畢業。旋考入皖省中學，讀了一年，以無力籌費而輟學，但仍堅持自學。1914年他考入安慶初級師範學校（後改稱第一師範學校），因他已讀中學一年，考試成績又很優良，便被編入三年級。該校教師胡遠浚（字淵如），擅長桐城派古文，與最後一位巨子吳汝綸（字摯甫）有交情，著有《老子通義》《莊子詮詁》二書行世，後來曾在南京中央大學哲學係任教。徐先生向他請學，並和一些同學互相切磋，他利用《康熙字典》作工具，專心閱讀《古文辭類纂》和《經史百家雜鈔》，這樣便逐步打下了牢固的國學基礎。他對韓愈在《答李翊書》中說的“惟陳言之務去”一句話，深有領會，認為學問之道，後來居上，非創新便失去存在的價值。1917年1月徐先生在安慶師範學校畢業，留任附屬小學教師。其年暑期考入武昌高等師範學校的數理係，旋又休學。又到安徽廬江縣裴家崗小學教了一段時間的書。1918年8月他又考入南京河海工程學校，進堂後對圍繞水利工程而講授的各門自然科學，與平日愛好文史之學的興趣難以調協，思想陷於迷惘，這時忽得母親生病的消息，遂請假歸侍湯藥，後來母病雖愈，但逾假已久，難以回校。經胡遠浚介紹，到桐城方守敬家擔任教師，主課講授《左傳》。1922年又到上海李國鬆家任教師，也講授《左傳》。經他反複研閱，心得積多，為他日後研究先秦史能熟練自如地運用古史資料，打下了堅實的基礎。李國鬆的祖父鶴章是李鴻章之弟，家富藏書，他教學任務不重，閑暇頗多，嗜學如命的他，在李家三年半的時間中，舉凡經史、諸子、小學之書，無不擇要披覽，這就大大充實了知識學問，同時也拓展了他的視野。上海是人文薈萃之所，學術信息往往得風氣之先，他這時開始接觸到金文和甲骨文，新知舊學，互相勘補，使他深刻認識到古文字與古史研究的關係，掌握古文字知識則是研究古代曆史文化必不可少的工具。