嚴光在歸隱之前已久負盛名，他在學問、人品和道德文章之上都有著過人之處。年少的嚴光曾與漢光武帝劉秀一同遊學，稱帝後的劉秀仰慕嚴光的滿腹才華和一身正氣，進而對他恩寵有加，邀他一同治理天下，被嚴光斷然拒絕。飽讀詩書、學富五車的嚴光深知一切的禍害都是源於權力之爭，如果天下人都甘願去做農夫漁翁，不去爭奪那代表榮華富貴的“赤符”，天下早就得以太平了。他雖然不事光武帝，但是心係百姓，為飽受戰亂的無辜民眾痛心疾首。作為中國古代著名的隱士，嚴光承襲了許由、巢父等隱士的品德，視富貴如浮雲，淡泊名利，堅持終身不仕，歸隱富春山耕讀垂釣。
隱士思想，自古以來都在傳統文化精神中占據著重要的地位。在中國曆史上，隱士實際上是操持和推動中國文化發展的幕後重要角色，無論是小隱隱於山野，還是大隱隱於朝市，他們的動機都是高尚的，著名的思想家孔子也非常推崇伯夷、叔齊和吳太伯的讓位、退隱的做法，讚同其“賢者避世，其次避地”的作為。至於嚴光的不事王侯之舉，也必然有著特定的曆史原因。當時外戚王莽新政，劉秀複漢，為了皇帝的寶座浴血奮戰，瞬間生靈塗炭，百姓無家可歸，“采山中之蕨，捕水中之魚，與山水為伴，涵養精神，遠遠避開了世上的戰亂與紛爭，安閑度日”。
嚴光出生於兩漢相交之際，自小便聰慧過人，多才善辯，而且邏輯縝密多思。年少之時與漢光武帝劉秀一起遊學各地，又同求學於太學府。直到王莽篡政，天下起兵，嚴光又開始攻習醫學，博覽群書。據說他精通歧黃，並且醫術精湛，上通天文下曉地理，但是滿腹經綸的嚴光卻不願做官。後劉秀即位，他便隱姓埋名隱居起來。因為仰慕嚴光的才能，光武帝依嚴光的形貌全國尋找。後在齊國有了消息，光武帝準備了車乘和禮物派人去請，請了3次才請到京師。舊識司徒侯霸差人送信於嚴光：“侯公聽說先生到了，一心想立刻就來拜訪，限於朝廷的有關製度不便，所以不能來。希望能在天黑後，親自來向你表達歉意。”嚴光回口信給侯霸說：“君房先生：官位到了三公，很好。懷著仁心輔助仁義天下都高興，拍馬屁看人臉色這些東西你可全掌握了。”光武帝聞訊，當夜便去館舍看望嚴光。嚴光睡著不起來，光武帝摸著嚴光的腹部說：“唉呀，嚴子陵，就不能相幫著做點事嗎？”過了好些時候，嚴光才睜開眼睛說：“過去唐堯那樣顯著的品德，巢父那樣的人聽說要授給官職尚且去洗耳朵。讀書人本各有誌，何以要到強迫人家做官的地步？”光武帝歎息道：“嚴子陵，我竟然不能使你作出讓步？”後又一次以交往舊事為由請嚴光入宮。嚴光與光武帝同枕數日，授予諫議大夫之職，不肯屈意接受。到建武十七年，再一次征召他，他還是沒有去，就這樣帶著他的才能在富春山終其一生。