接連遭到蔣介石和共產黨重創的閻錫山，為了保持和擴大自己的勢力，不得不把目光投向了正與他的部下在戰場上交手的日本人……雙方的密使一來二去，閻、日之間很快便有了“默契”。
被日本人打得潰不成軍，節節敗退的過程中，閻錫山有過騎著毛驢撤退的經曆，也曾在路經古戰場時觸景生情，賦詩抒懷：夜向吉縣行，昕水百餘經。行人身半濕，殘冰伴稠星。
全麵抗戰爆發後，閻錫山提出“守土抗戰”的口號，率先與共產黨建立抗日民族統一戰線，禮迎八路軍入晉，他領導下的第二戰區，成為當時四海皆知的“模範戰區”。海外各地的愛國華人華僑、國內有誌青年都積極投身於山西、參加共產黨人薄一波帶著“山西帽子”領導的“犧盟會”等抗戰組織。他先後主持綏遠抗戰，組織大同戰役、平型關戰役、忻口戰役，太原會戰，殲滅倭寇無數！即便進入抗戰最艱難的時期，他也隻是派人把闔家老幼送到四川成都躲避戰火，自己則堅持留在臨時大本營克難坡，與抗日官兵們共度危艱。
可就這樣的時候，突然在背後狠狠捅了他一刀的不是日本人，而是蔣介石。
中原大戰過後不久，閻錫山雖然和蔣介石的關係有了很大的改善，特別是兩人的表麵文章做得都還不錯，使局外人感到他倆配合默契，已無隙可言了。但事實上並非如此，閻錫山公開打出擁蔣的旗號，而內心則視蔣為虎狼，時時警惕，處處設防，不敢有絲毫懈怠。
而蔣介石也的確視閻錫山為政治上的異己，總是處心積慮地想把他搞掉，使晉綏這一大片“閻氏獨立王國”，真正納入自己的管轄範圍。即使是七七事變，全麵抗戰爆發後，蔣介石也沒有忘記與閻錫山的較量。終於在1938年冬，蔣介石突然從背後向閻錫山狠狠地捅了一刀，成功地拉攏閻錫山手下的頭號大將傅作義棄閻投蔣，使綏遠省從此脫離了閻錫山的統治，縮小了閻氏的勢力範圍。