方以智曾經為自己的妹夫《孫武公集》作序文，對於青少年時期在南京的情況做了深情的回憶：
餘往與農公、克鹹處澤園，好悲歌，蓋數年所，無不得歌至夜半也。農父長餘，克鹹少餘，皆同少年。所誌同，言之又同，往往酒酣，夜入深山，或歌市中，旁若無人。人人以我等狂生，我等亦相謂天下狂生也。
也就是說少年方以智和孫臨等皆為耿懷報國之誌的慷慨悲歌之士，他們都習文蹈武、飽讀詩書、多才多藝、誌同道合而不拘禮法特立獨行。然而壯誌未酬，在仕途飽經滄桑後，頓悟人生，以身許國。孫臨犧牲在抗清一線。方以智在崇禎十二年（1639年）二十九歲考中舉人。一年後，又以殿試第二甲第五十四名的成績中進士，此時老父親方孔炤因在香油坪戰役中失利而被逮下獄，方以智每天膝行宮前為父伸冤不果。到了第二年的春天他懷揣血書，呼號在朝門外，終於感動崇禎皇帝，帝以“求忠臣必以孝子之門”之歎，開釋方孔炤。
方以智入職工部，為觀正，鬱鬱不得誌，卷入黨爭。崇禎十五年（1642年）授翰林院檢討。兩年後即遭遇甲申之變，因哭先皇帝靈柩而被義軍逮捕，逃出後一路乞討到達南都，受到魏閹餘孽阮大铖的通緝，到處躲藏。直到弘光朝覆滅，先後追隨魯監國朱以海和唐王朱聿鍵從事抗清活動，最終被永曆帝朱由榔十次下詔受內閣大學士。他固辭不拜，決心退隱，自謂“烽火尚容人玩世，山川不勸客趨朝”。生性狂放的方以智，表麵上告別當年慷慨報國的誌趣，縱情悠遊於山水之間，骨子裏依然關心朝政，不甘寂寞。不去做官，卻身在草野，心存魏闕，多次上書小朝廷將帥鼓勵他們戮力同心、臥薪嚐膽、愛民勤政，選用賢才。在二上辭書不久，嘔心瀝血向永曆皇帝進《芻蕘妄言》條陳五策，計言複明。當清兵大舉南下時，他曾聯絡東南抗清力量抵抗。順治七年（1650年）閏十一月清軍攻陷廣西平樂，方以智被捕。