神龍元年（705年）新年過後，武則天病情加重，大臣概不接見，親子亦不得見麵。隻有張易之、張昌宗兄弟二人常在床側。
在各位大臣上奏要求處罰二張時，有一個重量級大人物卻選擇了沉默——張柬之。他心裏已經有了另一個主意：不僅僅要把張氏兄弟除掉，還要把則天皇帝請下台！
宰相張柬之和崔玄暐、中台右丞敬暉、司刑少卿桓彥範、右台中丞袁恕己五人都想恢複李唐江山，他們積極招募心中的同道。朝中官員的嗅覺是十分敏銳的，都心照不宣地積極加入。張柬之怕二張覺察出異樣，打草驚蛇，讓阿附張氏兄弟的武攸宜擔任右羽林衛將軍，以安其心。
作出了上述安排後，張柬之仍然不準備行動，他認為還缺關鍵一步，就是調動禁軍的權力！
早在四年前的久視元年（700年），時任荊州都督府長史的張柬之，被提拔為洛陽司馬。快要離開荊州時，張柬之向他的繼任楊元琰辦理移交手續。交談一番之後，張柬之大有知己之感，邀請楊元琰到長江的一艘船上秘談。“恢複李唐”的宗旨和實施辦法被確定下來。
後來，張柬之當上了宰相，他忘不了船中秘盟，提拔楊元琰為右羽林衛將軍。
不過，隻擁有楊元琰的支持還不夠。要實施兵諫，必須有一擊而中的把握，否則萬一失敗，僅靠右羽林那一點點人，怎能是整個京畿衛戍部隊的對手？武則天還是皇帝，大周軍隊仍然是效忠於她的。
宮廷衛士及京都衛戍兵力各有數隊，步兵騎兵俱有。大略來說，南衛專掌京城巡警，保持京城治安；北衛專司保衛皇城，皇城內除皇宮之外，有朝廷各官衙。南北衛又分為若幹部，由六個上將軍統領。其中以右羽林衛大將軍李多祚最為重要。
李多祚是靺鞨後裔，早就遷居中原，自幼驍勇，擅長弓馬，因屢立戰功升為右羽林衛將軍，現擔任玄武門宿衛。在張柬之的巧舌之下，李多祚毅然加入政變行列。隨後，他把三個密友——桓彥範、敬暉及右散騎侍郎李湛等心腹都安排進左、右羽林衛。