元光五年(公元前130年)，帶領一萬騎兵出征卻遭遇全軍覆沒的李廣隻身逃回了關內，按當時的法律，他是要被處以極刑的。用錢贖回性命後，李廣便在長安的家裏賦閑，每日靠打獵打發時間。
當時李廣為了打獵方便，並不常在長安城裏居住，而是和灌嬰的孫子灌強在城外藍田的南山中搭窩棚而居。一天晚上，李廣帶著一名家丁與友人外出喝酒，大家喝得十分盡興，直至深夜方歸。夜色深沉，多少有幾分醉意的李廣搖搖晃晃地騎著馬沿著大路往城裏走。路過文帝霸陵附近的時候，霸陵的廷尉攔住了他們。可能因為李廣酒意上頭，並沒怎麽搭理這個廷尉，廷尉便大聲嗬斥他下馬。
當時，社會並不是很太平，朝廷規定任何人深夜都不能在外隨便走動，即所謂的“宵禁”。這時候，李廣的家丁上前請求霸陵尉通融一下：“大人，這位是前任將軍李廣。”
霸陵尉大概當晚也喝了幾杯，一聽對方是個貶了職的將軍，腦子一熱便不管你以前是什麽玩意兒：“這是上頭的命令，現在就是將軍，晚上也不能出來隨便走動，何況是前任將軍，給我老實在這兒待著。”
這就叫禍從口出，要不是下人死命攔著，李廣恐怕就要衝上去對霸陵尉施以一頓老拳。這時候的李廣大有虎落平陽之感，最後隻好悻悻地在霸陵亭裏窩了一晚上。
但事情並沒有就此過去，不久之後，韓安國病死右北平，李廣重新被啟用為右北平太守，他上任後做的第一件事就是把那個讓他吹了一夜寒風的霸陵尉“請”到軍中斬了祭旗。
李廣幹的這件事著實不光彩，既然國家有規定不能夜行，霸陵尉頂多是秉公執法，沒有徇私情，並沒犯死罪。李廣卻隻因自己麵子上過不去就懷恨在心，胸襟實在算不上寬廣，這也為他的悲劇埋下了伏筆。