子牙同異人來到後花園，周圍看了一遍，果然好個所在：
牆高數仞，門壁清幽。左邊有兩行金線垂楊，右壁有幾株剔牙鬆樹。牡丹亭對玩花樓，芍藥圃連秋千架。荷花池內，來來往往錦鱗遊；木香蓬下，翩翩翻翻蝴蝶戲。
子牙自不曾到此處，看了一回，子牙曰：“仁兄，這一塊空地，怎的不起五間樓？”異人曰：“起五間樓怎說？”子牙曰：“小弟無恩報兄，此處若起做樓，按風水有三十六條玉帶，金帶有一升芝麻之數。”異人曰：“賢弟也知風水？”子牙曰：“小弟頗知一二。”異人曰：“不瞞賢弟說，此處也起造七八次，造起來就燒了，故此我也無心起造它。”子牙曰：“小弟擇一吉辰，仁兄隻管起造。上梁那日，仁兄隻是款待匠人，我在此替你壓壓邪氣，自然無事。”異人信子牙之言，擇日興工破土，起造樓房。
那日是上梁吉日，異人在前堂待匠，子牙在亭子裏坐定等候，看是何怪異。不一時，狂風大作，走石飛沙，播土揚塵，火光影裏見些妖魅，臉分五色，猙獰怪異：
狂風大作，惡火飛騰。煙繞處，黑霧朦朧；火起處，千團紅焰。臉分五色，赤白黑紫共青黃；巨口獠牙，吐放霞光千萬道。風逞火勢，忽啦啦走萬道金蛇；火繞煙迷，黑漫漫墮千重雲霧。山紅土赤，煞時間萬物齊崩；地黑天黃，一會家千門盡倒。
子牙忙披發仗劍，用手一指，把劍一揮，喝聲：“孽畜不落，更待何時！”再把手一放，雷鳴空中，五個妖物慌忙跪倒，口稱：“上仙，小畜不知上仙駕臨，望乞大德，全生施放。”子牙喝道：“好孽畜！火毀樓房數次，凶心不息；今日罪惡貫盈，當受誅戮。”道罷，提劍上前就斬妖怪。眾怪哀告曰：“上仙！道心無處不慈悲。小畜得道多年，一時冒瀆天威，望乞憐救。今一旦誅戮，可憐我等多年功行，付於流水！”拜伏在地，苦苦哀告。子牙曰：“你既欲生，不許在此擾害萬民。你五畜受吾符命，徑往西岐山，久後搬泥運土，聽候所使。有功之日，自然得其正果。”五妖叩頭，徑往西岐山去了。