鄧小平回國時，正值國內戰亂紛紜，內戰打得激烈之時。從這以後4年的大部分時間裏，他一直是在隨時會有生命危險的環境中度過的，其中相對安全的一段時間是他剛回國時在西安的那4個月，當時，他在馮玉祥的國民軍中做政治工作。
在西安，鄧小平身兼三職，其中有兩個職務是公開的，一個是秘密的。他是劉伯堅在西安創建的中山軍事學校的政治處處長，同時也是該校的政治教官和中共地下黨組織的書記。他的兩個公開職務的工作主要有兩項：一項是向軍官們講解孫中山的三民主義，特別是著重宣傳孫中山的聯俄、聯共、扶助農工的三大政策。他的另一項工作是發現和結交進步學員，發展他們加入共產黨。他所從事的秘密工作，是主持共產黨一個地下組織的日常工作。這個組織不斷發展壯大，至少有幾十名軍校學生入了黨。鄧小平最主要的工作就是把這些加入了共產黨組織的學生分派到馮玉祥的各基層部隊中去，經他輸送出去的軍官中，一些人1928年在西安附近的農村領導了起義，其餘一些人則成了紅軍小股部隊的領導人。這些紅軍部隊建立的根據地後來成為1935年和1936年長征結束後紅軍主力部隊的落腳點。
鄧小平在西安的時候，國民革命運動隨著孫中山的去世，內部矛盾日益加劇，最終分裂成兩派。造成這一局麵的一個最主要的原因是，軍隊中的大多數軍官都來自地主家庭，他們堅決反對在農村進行社會革命。另一個原因是，蔣介石和相當一大批國民黨政治家反對采取不利於外國勢力及其利益的行動，他們擔心這樣做會影響或妨礙國際社會承認新生的國民政府。如果還有其他原因的話，那就是他們像斯大林和托洛茨基在l926年初一樣，想極力避免冒犯各國列強，尤其害怕冒犯日本。