離開隨州，李白回到安陸，搬離了許家，在白兆山桃花岩建造了石頭房子，開辟山田，遠離人間，從此以耕種、讀書度日，開始了一段新的隱居生活。
雲臥三十年，好閑複愛仙。蓬壺雖冥絕，鸞鶴心悠然。歸來桃花岩，得憩雲窗眠。對嶺人共語，飲潭猿相連。時升翠微上，邈若羅浮巔。兩岑抱東壑，一嶂橫西天。樹雜日易隱，崖傾月難圓。芳草換野色，飛蘿搖春煙。入遠構石室，選幽開山田。獨此林下意，杳無區中緣。永辭霜台客，千載方來旋。
——《安陸白兆山桃花岩寄劉侍禦綰》
李白的每次隱居，都是虔誠的，愉悅的。他像一個單純天真的孩童，終於到了夢寐以求的一方小天地，他在山水中發現無限的樂趣，攀登到翠微峰頂俯瞰大地，在高大的樹下享受陰涼，看芳草一年四季變換山野的顏色，春風吹動女蘿長長的藤條……移步換景，美妙絕倫，他怡然自得，心中充滿純粹的歡樂，就這樣安然度過一生，仿佛也沒什麽遺憾了。
兩人對酌山花開，一杯一杯複一杯。我醉欲眠卿且去，明朝有意抱琴來。
——《山中與幽人對酌》
他在山中讀書耕作，喝酒會友，過著神仙般的日子。在山中尋訪隱居的道士，與道士把酒言歡，兩人意氣相投，酒喝幹了一杯又一杯。李白喝多了，昏昏欲睡，隻好打發朋友先走，他坦率地對朋友說，請自便吧，我要睡著啦。醉倒了依然餘興未盡，招呼友人明朝抱琴來，他們繼續開懷暢飲。
李白似乎有一種磁場，能夠將周圍各種各樣的人都聚集到他身邊，變成他的朋友。對待朋友，他率真而豪爽，沒有絲毫遮掩，喝酒聊天，快意恩仇，一副江湖兒女的氣魄，活得肆意灑脫。他的心始終是晶瑩透亮的，容易被感動，容易交付信任，好像沒有受過任何傷害，沒有任何仇恨與悲傷，沒有任何不好的事情會發生在他身上。人們自然會喜愛這樣的人，天真如孩童，爛漫如小獸，還有一股誰也無法比擬的，上天賦予他的靈氣，將他與凡人區分了開來。人們羨慕他的真性情，羨慕他的純真與勇氣。