其實趙鞅選擇無恤為繼承人，也是經過深思熟慮的。
趙鞅骨子裏頭是個舊式貴族，對一切傳統事物抱有一種溫情與敬意。他當權的時候，晉國公室已經極度衰落，大權完全把控在四大家族手裏，但他以上卿之尊，仍然保持了對公室的尊重（至少表麵如此），這在那個年代是不多見的。
在選擇繼承人的問題上，一開始他也是嚴格遵守周禮的規定，立了嫡長子伯魯為世子。
那時候，無恤還小，而且是奴婢所生之子，在眾多兄弟中，地位最為低下（是以荀瑤稱之為賤人）。趙鞅即便不立伯魯，恐怕也輪不到無恤。
直到有一天，一位名叫姑布子卿的相士來到趙鞅府上。趙鞅將自己的兒子都叫出來，讓姑布子卿給他們看相。姑布子卿看完之後便搖頭說：“您的兒子不少，但都不是大將之才。”
趙鞅很緊張：“照您那樣說，趙氏豈不是沒希望了？”
姑布子卿說：“我進來的時候，看到一個小孩在院子裏玩泥巴，不知道是不是您的兒子？”
趙鞅趕緊叫人將那小孩帶進來，拍著腦袋想了半天才說：“這個是我兒子，叫什麽來著……對了，無恤。”
姑布子卿站起來說：“這位才是真正的貴人。”
趙鞅說：“您不是開玩笑吧？這孩子的母親，是我從狄人那裏買來的奴婢，一點也不貴！”
姑布子卿高深莫測地說：“天命所賜，雖賤必貴。”趙鞅再問時，他便笑而不答，飄然而去。
趙鞅將信將疑，但是從此之後，便開始注意觀察無恤的言談舉止，發現這個小孩確實有與眾不同之處。
有一次，趙鞅將自己總結的一些人生格言書寫在竹片上，發給兒子們學習。過了些日子去檢查，其他人都背不出來，隻有無恤倒背如流，還能舉一反三，說出自己的見解。