在廈門同安區大同鎮城區西北角葫蘆山南側，有一幢建築，坐西北朝東南，占地麵積約一千七百多平方米，整座祠堂呈現出典型的閩南建築風格，祠堂前供奉著蘇頌的塑像。這裏便是蘇頌高祖蘇光誨始建於五代後晉開運年間（944—946年）的府第，蘇氏後世子孫世代居住在此。宋天禧四年（1020年），蘇頌便誕生在這個地方。
蘇頌的母親，是杭州知州陳從易的長女。陳從易是北宋的一代名臣，曾任荊湖南路轉運使等很多重要的職務。陳從易博覽群書，著有《泉山集》《中書製稿》《西清奏議》等書，在當時頗有名氣。由於母親生長於官宦知書達理之家，從小就受過良好的教育，所以母親的言傳身教，對蘇頌的成長都起到了耳濡目染的作用。
蘇頌的父親蘇紳初任宜州（今廣西宜山縣）推官（負責刑獄），後來曾任史館修撰、翰林院學士、尚書禮部郎中、龍圖閣直學士等中央和地方官職。蘇紳博學多智，寫得一手好文章。蘇紳對蘇頌更是要求嚴格，並擔負起了親自教育蘇頌的責任。蘇頌後來曾在“感事述懷詩”中，回憶父親教他讀書的故事：我昔就學初，髫童齒未齔。嚴親念癡狂，小藝誘愚碩。始時授章句，次第教篇韻。蒙泉起層瀾，覆簣朝九仞……意思是說我往昔讀書的初期，那是在我留著乳發，牙還未換齊的時候，當時幼小的我就對新鮮事物有著強烈的好奇心，父親看在眼裏，喜在心頭，他就用最簡單的知識教導並開發我懵懂的心靈。父親開始教我誦讀章句，後來給我講授篇章與音韻的知識。這些小時候的啟蒙教育，就像涓涓的泉水湧起了我求知的波瀾，我求知的欲望就像用一筐筐的黃土，漸漸堆起了萬丈的高山……
無疑，蘇紳是一位很成功的教育家。他不僅重視兒子的早期教育，而且還很懂得如何為蘇頌創造一個優秀的學習環境。在蘇頌十歲的時候，蘇紳到京城任官，他就把蘇頌帶到了京城。在京城，蘇頌開闊了視野，增進了見識。後來，蘇頌的父親每到一地任官，他做的第一件事就是要為蘇頌請當地最好的教師，並且讓他的各位叔父、當地的名人子弟與蘇頌共同讀書，以便互相切磋，砥礪前進。