江西、南京起事的時候，袁總統動員國會，希望由國會提出征伐叛黨的議案。那時，參議院院長張繼已因國民黨連帶的嫌疑，辭職而去；其他的國民黨議員因江西、南京起事屢戰屢敗而無從立足，不是離京，就是回籍，導致國民黨失勢，進步黨愈加占有優勢。袁政府本想利用進步黨，恰巧進步黨也願受指使。於是由汪榮寶、王敬芳兩議員提出征伐叛黨的議案，谘請政府。袁總統得此議案，更加冠冕堂皇，竟命北京檢察廳傳訊國民黨議員，說：“黃興是否黨魁？黨中人如與他聯絡，應由政府取締。否則由黨人自行宣布，立即將黃興除名。”國民黨議員無計可施，隻好開會公決。就在此時，一件極為秘密的事情被兩院議員知道了。這件事發生在四月，七月才暴露出來。
原來，大借款協議未達成之前，政府向奧國斯哥打軍器公司密借三千二百萬鎊，約合華幣三千二百萬元，擔保品仍是契稅，利息六厘。密約中並附有特別條件，即必須用一半借款承購軍械。雙方早已簽押，政府卻不露一點兒痕跡。直到三個月後，議員才從洋人嘴裏聽到這個消息。國會中無論是進步黨，還是非進步黨，都說政府違法，向政府提出質疑。政府無詞可辨，還是老辦法——擱起不答。但議員不肯罷休，接連遞交質問書，政府無可抵賴，隻好承認。議員不便彈劾袁總統，隻好彈劾國務委員。
當時，國務總理由陸軍總長段祺瑞暫代，但所有奧款交涉均發生在從前趙秉鈞任內，與段無幹。再加上南方起事，軍務繁雜，段任陸軍總長，整日調兵遣將，日理萬機，國務總理一職早由袁總統提出讓熊希齡繼任，並谘交兩院議決。熊屬進步黨，當然輕而易舉地得到議院的通過。於是政府正式下令，調熊入京任為國務總理。熊立即卸了熱河都統一職，來京組閣。此時，正值借款外露，質問以後，剛開始提出彈劾，國務委員借機辭職，袁總統也乘勢照準。於是，各部總長都辭職了，部務由次長代理。唯獨陸軍總長段祺瑞、海軍總長劉冠雄專司軍政，與借款一事沒有任何關係，所以自問無愧，絕不辭職。