“肥而短黑，性滑稽”——這是吳偉業傳文中毫不避諱的描述，可知他的這位大師朋友其貌不揚，長得又黑又矮，然又性情滑稽幽默，是一個東方朔式的人物。他喜歡講段子，喜歡拿街頭巷尾那些荒誕不經的傳說談笑，有時他講的一些橋段因為見聞陳舊，反而受到別人取笑，這個出了名的好脾氣的人也不以為忤。這樣一個有趣得緊的人，又有一手好活計，自然人緣就好，當世名流也樂於延他為座上賓，張南垣與他們以布衣論交，一點也不局促。
吳偉業扇麵
有一則關於張南垣與吳偉業的故事在當時的知識界廣為流傳，說的是張、吳一起看一出戲，演的是以朱買臣休妻為題材的《爛柯山》。劇中有個角色張石匠，台上演員因有張南垣在場，念白時特意把張石匠說成李木匠，以示避諱，吳偉業聽了，拿折扇敲著茶幾說：“有竅。”有竅是吳地方言裏誇人機敏的意思。旁人聽了，哄堂大笑，張南垣則是默不作聲。不一會兒，戲演到朱買臣妻子認夫，當朱買臣唱到“切莫提起朱字”，張南垣突然也以扇柄敲著茶幾，說：“無竅。”一下舉座為之愕然。眾所周知，吳偉業在順治十年（1653）應兩江總督馬國柱之薦不得不扶病入京，在新政府由侍讀、纂修官一路升任至國子監祭酒，張南垣以朱買臣之“朱”來暗示朱明王朝之“朱”，實是戳到了吳的最痛處，以至戲還沒演完他就匆忙逃席。這個故事見諸王應奎的《柳南續筆》、錢泳《履園叢話》、顧公燮《丹午筆記》等當時的多種私家筆記，黃宗羲的傳文老實不客氣地引述了這個故事，能借此刺激一下吳偉業這種仕清的“貳臣”，這個老牌遺民當然不會放過這樣的機會。
張南垣為詩人（這是吳偉業最喜歡的一個身份）設計建造的梅村別墅占地約百畝，錯落於山陂河池之間。園外長垣繚繞，園內清水縈紆，曲徑通幽，據吳偉業自述，裏麵有樂誌堂、梅花庵、交蘆庵、嬌雪樓、舊學庵、榿亭、蒼溪亭等勝跡。吳偉業曾寫下許多不無誇耀意味的詩歌自述他在園內的悠閑生活，諸如“枳籬茅舍掩蒼苔，乞竹分花手自栽”這樣的意境還是讓人向往的，更不必說桑落酒香的田園之樂裏還有一份“閑窗聽雨攤詩卷”的從容，但一句“慣遲作答愛書來”，還是掩不住春草般漸長的孤獨。這個園子在明末之前已蔚成規模，後又不斷擴建、重建，即便是後來被迫任職北京的三年，吳偉業也常起故園之思，不斷寫信給三弟，要他妥為照顧，時常修葺，等待自己脫離塵網、白衣還家的一天。