從太極殿到兩儀殿的路並不長，但李卻用了比往常更多的時間才走完。
有幾次，眼看到了殿門前，他又折回去了。然而，一想到皇命如天，他就為自己的猶豫而慚愧、自責。
他的這種難堪，從圍繞要不要召武媚回京就開始了。永徽二年六月的戶縣、杜陵之行，他主動請見李治，轉奏長孫無忌等人以立李忠太子為條件而同意武媚回宮的諫言，在很長時間裏，他被同僚們私下非議，很是糾結了一陣子。
現在，他又麵臨新的抉擇。要麽跟著長孫無忌等人走，堅決反對立武媚為皇後；要麽順著皇上的意思，不惜得罪同僚，站在許敬宗、李義府等人一邊。他在心裏埋怨自己，怎麽越老越膽小怕事了呢？
他不是先帝臨終選定的顧命大臣，卻又是當朝資質最老的朝臣之一，皇上每臨大事又偏要把他拉進這些人中間。他至今忘不了永徽元年，當他被剛剛登基的皇上從疊州任上召回京城時，君臣之間在兩儀殿裏的那一次談話。
“朕初承宏業，百廢待舉，愛卿在先帝朝時，被稱為‘純臣’，還請為複興大唐基業盡股肱之力。”李治當時顯得十分誠懇。
李聞言十分茫然，他是“純臣”麽？長孫無忌乃太子元舅，自不必說，褚遂良憑什麽就能成為顧命大臣呢？論資質，他二十三歲歸唐，一直不離高祖和太宗皇帝左右，不曾有過任何的離心叛道之舉；論功勞，他跟隨李世民參與了討伐劉武周、王世充等多次戰役；太宗朝，他與李靖負戈被甲，先後多次征討東突厥，平定北地，血染戰袍。又在高祖興業故地並州任都督十六年，被朝廷視為“稱職”，入朝以後，先後任太子詹事同中書門下三品，並被高祖賜姓“李”，這樣的“純臣”何以在太宗臨崩之際，就忽然不純了呢？難道皇上封他為英國公，僅僅是為了安定他這個異姓重臣的心麽？