返回華盛頓之後，惠特曼繼續照顧尚未出院的傷兵。此時，他在內政部也得到了升遷，由原來的抄寫員升為管理員，管理一些較重要的文件，但是上班時間反而沒有原來那麽自由了。
當時的內政部部長是詹姆斯·哈蘭。哈蘭早年是美以美教會的牧師，後來迷上政治，競選議員成功後，他在政治上開始平步青雲。林肯競選總統時，他想與林肯搭檔競選副總統，後來因林肯的反對作罷。美以美的教徒在失望之餘，希望總統能派哈蘭出任內政部部長。開始的時候林肯有些猶豫，但是等到開會決議的那一天，支持哈蘭的人非常多。林肯覺得牧師應該都是誠實善良的，因此決定重用哈蘭，派他出任內政部部長。
哈蘭就職後，決定來個“新官上任三把火”。他宣布要清除部門內對國家不忠、對工作不敬，又不能接受宗教約束的人。
惠特曼的小上司最先違命，帶領屬下宣布不與哈蘭合作，結果他就首當其衝地被開除了。沒幾天，內政部就裁掉了80名職員，惠特曼也是其中之一。
這一舉動惹火了惠特曼的老朋友奧康納，他火冒三丈地去找朋友亞士頓（亞士頓在檢察長那兒當助理，有機會晉見部長）。
奧康納表示，惠特曼與世無爭，也沒有政治野心，為什麽要開除他？亞士頓決定為朋友出把力。第二天，當亞士頓在部長辦公室詢問緣由的時候，哈蘭說是因為一本粗俗的書。哈蘭不慌不忙地抽出一本在波士頓印行出版的《草葉集》。這本書裏，惠特曼圈圈點點地做了好些修改。通常這本書都是放在惠特曼的抽屜內，不知何時到了部長手裏。亞士頓還想為朋友說幾句話，哈蘭卻先打斷他說：“我決不會在本部內繼續錄用此書的作者，決不可能！就算有總統手諭要他複職，我也會讓他在回來之前辭職。”