楊廣本是出於一時衝動，才動了要微服私行的念頭，見虞孝仁帶頭打起了退堂鼓，自己轉念一想，也是，自己自穿越以來，還從沒出過長安城，長安到並州，怎麽著也得有個千兒八百裏路吧，隋朝又不像當代，有飛機、高鐵可坐，誰知道這一路之上會遇到什麽人，碰上什麽事兒呢？
這麽一想，頭腦也就冷靜了下來，遂對虞孝仁、李渾二人說道：“此事容當後議吧。隻有一條，無論是否微服私行，你二人都不得向旁人泄露了消息，以免給本王和你們自身招來麻煩。”
李渾自恃原就出生於並州，對並州至長安的兩條路都熟悉，本還想勸說楊廣兩句，卻被虞孝仁一扯他的衣襟，想說的話又生生給咽了回去。
二人辭別楊廣，出了晉王府，李渾問虞孝仁道：“你什麽意思啊？說好的咱倆陪著王爺繞道東都趕往並州，事到臨頭，你怎麽先慫了？”
虞孝仁四下張望，見附近無人，方壓低聲音答道：“兄弟，你想過沒有？有朝一日咱倆和王爺微服私行的事要是傳到了皇上、娘娘耳朵裏，咱們豈不是要倒大黴了？再者，要是萬一王爺在半道上再出個什麽事，隻怕咱倆的腦袋就保不住了。”
李渾聽了，也覺虞孝仁擔心的不無道理，遂抱怨他道：“既是這樣，剛才王爺動議微服私行時，你便該攔著他些。可你呢，非但不勸王爺打消這個念頭，反而說什麽瞧段達為人行事，多半不敢攔著王爺。你心裏倒底是怎麽想的？”
“我，我那不是被王爺說的一時興起，尋思著幾百人護著王爺前往並州，不如咱倆陪著王爺微服私行有趣，新奇嗎，就隨口附和了兩句。後來才想起此事殊為不妥......”
“行了，我瞧著王爺啊，也就是說說而已，多半不會真這麽做的。可今天咱把話說在前頭，要是王爺萬一真要微服私行的話，你可不準再犯慫。到時有王爺罩著咱們，應該不至有事的。”