三絕詩書畫，一官歸去來。
——李嘯村贈板橋聯
乾隆十八年（1753）春，板橋被解職。關於解職的原因，說法不一。《揚州府誌》《國朝詩人小傳》謂“以疾歸”，《興化縣誌》謂“乞休歸”，曾衍《小豆棚雜記》謂“因邑中有罰某人金事，控發，遂以貪婪褫職”。《清史列傳》《清代學者像傳》謂“以請賑忤大吏，乞疾歸”。我認為以後者為可信。《小豆棚雜記》所雲是由於得罪大吏，大吏對板橋加以誹謗和冤枉，與《清史列傳》並不相悖。
在封建社會，邪惡、諛諂、卑鄙、險惡、自私織成一張網，正直、高尚的人往往身罹其禍。但是，有的人卻以圓熟的心智，“遊刃有餘”地斡旋各種矛盾之間。板橋的朋友丹翁就是這樣一位“解連環妙手”。他對於一次冒濫領賑的判詞是：“寫賑時原有七口，後一女出嫁，一仆在逃，隻剩五口；在首者既非無因，而領者原非虛冒。”對此，板橋一遍又一遍玩味，十分佩服。他覺得丹翁包容了人世間的衝突，就像蘭花包容了荊棘。他在一幅送給朋友的長卷中，畫著一叢叢搖曳有致的蘭花，幾竿清瘦孤標的勁竹，幾塊錯錯落落的石頭，然後穿插畫有數枝荊棘，題雲：“滿幅皆君子，其後以荊棘終之，何也？蓋君子能容納小人，無小人，亦不能成君子。故棘中之蘭，其花更碩茂矣。”他還寫了“難得糊塗”四個字，注雲：“聰明難，糊塗難，由聰明而轉入糊塗更難。放一著，退一步，當下心安，非圖後來福報也。”這些都反映了板橋對於理想、個性與現實之間的矛盾的認識與體驗。
認識歸認識，實行又是另一回事。可惜，板橋的性格太倔強，為人處世不能做到糊塗和圓融。他在濰縣作畫常署“橄欖軒主人”，這是頗含深意的。橄欖是生長於南方的常綠喬木，《本草綱目》卷三十一“橄欖”條雲：“其味苦澀，久之方回味。王元之作詩，比之忠言逆耳，亂乃思之，故人名為‘諫果’。”北宋王禹偁喜臧否人物，遇事敢言，任左司諫等官，八年三黜。曾作《橄欖》詩雲：“良久有回味，始覺甘如飴。”板橋用“橄欖”命名己室，正是以放言高論自許。以下一些記載和板橋的詩文，雖語焉不詳，但很可據以推測他“忤大吏”而遭致解職的原因：