天罡老祖為自己和李淳風各卜一卦，卦曰：“動爻克世，凶中有數”。此卦象顯現二人均命不該絕，隻是在近期會遭牢獄之災，並必有貴人援手相助。
往後的數月之內，袁天罡與李淳風都以閉門推演大唐國運為由，概不見客。太宗多次派人去詢問“無把之果”的事，袁天罡俱授意李淳風以“尚在推演中”為由打發了。李世民日久生疑，幾次想拿李淳風和袁天罡二人問罪。可是，日後霍亂大唐的“無把之果”仍是個迷，太宗也不敢輕舉妄動。權衡利益，太宗隻有人前以禮相待他們二人，而人後卻派檢校牽牛衛禁軍監視其動向。為了不節外生枝，袁天罡和李淳風即使發現了太宗派來的牽牛衛禁軍，也權當他們都是屁、隱形人，看不見。
閉門避禍期間，袁天罡閑來無事，他將自己畢生精通的觀星法、預測法、化煞法、擇墓訣、布陣訣等精絕的堪輿奇術歸類整理成了《六壬課》、《五行相書》、《袁天罡稱骨歌》、《易鏡玄要》、《九天玄女六壬課》、《九天元女青囊海角經》等天書古籍。而李淳風也並沒有閑著，他除了著有《乙巳占》、《太上赤文洞神三篆注》、《金鎖流珠引》三大玄學妙卷之外，還在師傅袁天罡的協助下整理出了二人之前所演的五十八象。李淳風在這五十八象的前後各附一象，即自己的“自從盤古迄希夷，虎鬥龍爭事正奇。悟得循環真諦在，試於唐後論元機。”和天罡老祖的“茫茫天數此中求，世道興衰不自由。萬萬千千說不盡，不如推背去歸休。”八句話，共為整整六十象。六十，代表著循環周而複始的意思。因為演算途中袁天罡推了李淳風的後背一把才導致演算結束，故取名為《推背圖》。
《推背圖》六十大象之中，包羅宇宙，窺破天機，其預言準確性，令人無不驚歎。距今為止，《推背圖》六十大象所卦，已有四十二象應驗，且與事實驚人的吻合。