在請求江萬載勸說太後同意衛王開府瓊州的事情上，其實不隻是應節嚴來過，朝中還有多人通過各種渠道，以各種理由找到他，其中也不乏朝中重臣，但都為江萬載一一所拒。而他之所以如此，並不隻是自己一直在權衡利弊，還有一個原因便是顧忌到太後的聲譽。
世人皆知度宗皇帝留有三子，嫡子趙顯繼位後短短兩年便丟了江山，被韃子擄往北方削了帝號。餘下兩位皇子在謝太後的主持下於臨安失陷的前夜出逃福州，按說這兩位皇子皆非嫡出，又都是不通世事的幼童，立誰為帝都說得過去。
可最終還是落到了趙昰的頭上，公開解釋也是說其身份高貴，自幼聰穎，至誠純孝，年紀又稍長。但誰都也明白，論出身趙昰生母也不過是個嬪，生下皇子才被升為妃，不比趙昺生母高多少。而同為先帝的兒子，身份高貴豈不是胡言。那自幼聰穎和至誠純孝同樣是胡說八道，一個孩子能看出什麽來。也隻有年紀稍長還說得過去，符合立長不立幼的禮法。
於是乎在趙昰繼位不久便有非議傳出，言稱眾臣有意立趙昺為帝，但因為其生母已逝。而今先帝後妃中楊淑妃地位最高被尊為太後，因為其一意要立自己的親子為帝，所以才在國舅楊亮節的周旋下皇位才落到了趙昰的頭上。潛台詞便是趙昰的皇位是搶的弟弟的，而楊太後則處事不公，偏袒自己的親子，排擠其他皇子。
尊太後、擁立新帝的事情江萬載一直參與其中，他當然清楚其中的經過，而那些非議都是謠言，除一些是別有用心的人編造的，還有便是國舅楊亮節因為爭權與皇室宗親和朝臣們交惡，從而引起眾多人的不滿，失敗者便用傳言來打擊政敵的。這些謠言傳播甚廣，雖然最終被一一澄清，可還是給了楊太後很大的精神壓力。
此後又接連發生了衛王誤上疫船與朝廷大隊失散，和衛王主動要求出質蒙古的事件，使得謠言再起，稱太後為保親子的帝位穩固，不惜假手他人除掉衛王。知情者清楚這兩件事都與太後無關，但不知情者因為事情太過詭異，卻不由不信。