解縉的失寵，還是源於他擁立太子的態度。
世子朱高熾被立為太子儲君後，朱棣的二兒子朱高煦被封為漢王，並將他的藩地定在雲南。朱高煦聞訊後，惱怒地說：“我有什麽罪，把我貶斥到萬裏之外，我不去！”朱高煦知道解縉一直在為朱高熾說話，因此對他恨之入骨。
自立朱高熾為太子後，朱棣心中總覺得對不起二兒子朱高煦，因之對他的寵愛超過以往。朱高煦不肯去雲南，他也就聽之任之，並讓他待在身邊，參與國家大事，受到的待遇超過太子。眼見此情，大臣們都頗感憂慮，但不敢說出來。解縉不改愣頭青的脾氣，他向朱棣勸諫說：“陛下，厚漢王而輕太子，這是引發爭端啊！”朱棣聽了很不高興，認為這是離間他們骨肉之間的感情，對解縉開始冷淡。
永樂五年的二月，有官員上表彈劾解縉，說他於上年的廷試中閱卷不公道。而這時朱高煦也趁機在父皇麵前進讒，說解縉在外頭炫耀自己擁立太子的功勞，故意泄露宮中的機密。朱棣聽罷，將解縉貶為廣西參政。
解縉的被貶，在朝廷中算是一件大事。欣賞他才華的人為之惋惜，而忌恨他的人莫不彈冠相慶。曾被他在密信中譏刺過的禮部郎中李至剛，趁機給朱棣上書，揭發解縉對貶出京城心懷不滿。朱棣看到這封奏章立刻批示，將尚在赴任路上的解縉再貶一次，從廣西調到交趾，命令他在化州督餉，職務是化州參軍。
解縉此去化州，路遠山長，一去就是四年多，其間沒有回過京城。直到永樂九年的六月，他才得到機會到南京奏事。此時，朱棣正好北征，解縉便前往宮中拜謁行監國權力的皇太子。漢王朱高煦知道這件事後，便在父皇麵前進讒說：“解縉趁皇上離京，私自從化州跑回來拜見皇太子，他背著皇上見太子，究竟想幹什麽？”朱棣聽罷，聯想到當年解縉擁立太子的堅決態度，頓時震怒，立即動了逮捕解縉的念頭。