至元十年(1273),忽必烈大軍攻克襄樊，阿術和劉整遣使快馬飛報忽必烈，忽必烈聽後非常高興，下詔嘉獎眾將士。
四月，阿裏海牙帶著降將呂文煥入朝，將相大臣紛紛要求乘勝南伐。忽必烈也有意南伐，但為了把事情辦得穩妥一些，特召姚樞、許衡和徒單公履等人問計，徒單公履說：“乘破竹之勢，席卷三吳，此其時矣。”
忽必烈十分讚賞，於是，就成立了荊湖襄陽和淮西正陽兩個行樞密院，以史天澤、合丹等人為樞密使，做大舉攻宋的準備。
至元十一年(1274)正月，阿裏海牙又向忽必烈建議說：“襄陽，自昔用武之地也，今天助順而克之，宜乘勝順流長驅，宋可必平。”
阿術也說：“臣久在行間，備見宋兵弱於往昔，失今不取，時不再來。”忽必烈立即召來史天澤同議發兵大事，史天澤說：“此國大事，可命重臣一人如安童、伯顏，都督諸軍，則四海混同，可計日而待矣。臣老矣，如副將者，猶足為之。”
忽必烈聽了說：“伯顏可以任吾此事。”阿術和阿裏海牙都表示讚同。
伯顏曾從旭烈兀西征，並在那裏任事十餘年，後來作為旭烈兀使團成員，從伊利汗國來到元朝，被忽必烈看中，留在自己身邊，成為忽必烈的親近大臣。忽必烈準備最後滅宋，首先想到伯顏，準備把最後滅宋的大任交給他。
至元十一年(1274)三月，忽必烈為了進一步加強滅宋的統一領導，將荊湖和淮西兩個行樞密院改為兩個行中書省，以伯顏、史天澤、阿術、阿裏海牙和呂文煥行省荊湖，以合答、劉整、塔出、董文炳行省淮西。
不久，史天澤向忽必烈建議說：“今大師方興，荊湖、淮西各置行省，勢位既不相下，號令必不能一，後當敗事。”
忽必烈采納了史天澤的意見，為了號令統一。又把淮西行中書省改為行樞密院，把滅宋大權集中到伯顏手中。