斛律光經常徹夜難眠，常常自歎道：“盲人入朝，國必危亡。”他萬萬沒有想到在自己的身邊有祖延收買的親信，這個奴仆聽到了這句話之後，便偷偷的報告給了祖延，祖延知道之後，心知自己與斛律光已經是水火難容了，如果不除去這個心頭之患的話，恐怕自己有朝一日就會成為另一個和士開，所以自己必須要先下手除去斛律光。當時陸令萱之子穆提婆欲娶斛律光的女兒為妻，借攀親交結宰相，本料一說即成，不料想被斛律光嚴詞拒絕。於是斛律光與陸氏母子的衝突也表麵化了。後來高緯想把晉陽的耕田山林賜給穆提婆，斛律光又以國事、軍事為重，上奏高緯道：“陛下，晉陽曆來都是提供軍需的重地決能貽誤軍機而賜田給穆提婆。”這些話傳到了陸氏母子的耳中之後，更激怒了他們。於是祖延和陸氏母子又便勾結在一起，千方百計的尋找機會底毀斛律光，但斛律光英名蓋世，祖延和陸令萱根本就找不出任何的罪名來詆毀斛律光。
機會終於來了，北周的刺史韋孝寬，也是一員傑出的將領，他與斛律光對陣曾經吃過敗仗，對斛律光十分的忌恨，便想方設法使出了反間計，編造謠言，讓間諜在鄴城廣泛的傳播：百升飛上天，明月照長安。高山不推自崩，槲木不扶自舉。這幾句話又被祖延知道了，他乃是才學機敏之輩，深知其中之意，不由得心頭一陣狂喜，不過他知道自己一個人勢單力孤，隻有拉下陸氏母子才可以，所以他就借風縱火，就勢又在下麵續上了幾句，暗令手下人在城中傳唱：盲老公背受大斧，饒舌老母不得語。還別說穆提婆還真的聽到了，急忙告知了自己的母親。陸令萱不知其中之意，便找來了祖延，詢問其中的意思。祖延裝出一副用心思索的樣子，好一會兒他才說道：“哎呀，解開了，解開了，這百升二字是一個斛字呀，明月不正是斛律丞相的表字嗎？盲老公不正是說的我瞎眼的祖延嗎，這饒舌老母麽……，嘻！這您自己應當……嗨！”陸令萱聽了之後臉上一紅說道：“不要緊，老身知道這饒舌老母說的是老身，你就接著向下說吧。”祖延接著說道：“這歌謠的意思就是斛律光有朝一日要君臨天下，登其為帝，而你我等人恐怕要受滅頂之災呀。”陸令萱一聽就急了，說道：“什麽？這麽說這斛律光還有帝王之緣，那他要是登基為帝的話，恐怕你我就會死無葬身之地了，那你我該如何是好呢？”祖延心中好笑，心道：“嘿，要的就是你這句話，饒你饒舌老母如此狡猾，也上了我盲老公的當了。”但祖延臉上卻一臉陰笑的說道：“嘿嘿，這還不好辦嗎？斛律光為什麽會這麽霸道，還不是因為他手中握有重兵，根基深厚嗎？如今之計，咱們隻有靠皇上之手將他給治了。”