以載灃的性格，他或許不該生在王府，或者說他的不幸在於生在亂世。如果是天下太平，載灃做個“太平王爺”當然會做得很好，但正如沒有人能夠選擇自己的出生一樣，慈禧太後或者說曆史的神秘之手選擇了他。他原本平平淡淡的富貴一生，也就此偏出了原有軌道。命運這東西似乎沒有也不需要太多的解釋，該他的就是他的，躲也躲不掉，因為命運本身就是一種無可抗拒的力量。
對一般人來說，皇帝是天使也可能是魔鬼，是聖君也可能是閻王。對皇帝本人而言，他也許會成為最幸福的人，但也可能成為最悲哀的人。對於載灃來說，“皇帝”或許隻代表了堆積如山、繁瑣沉重的政務，對一個沒有太多政治興趣的人來說，這更多的是一種煩惱與煎熬。
載灃被慈禧太後選為百年後的權力接替者，絕不是因為他才能出眾或是其他，而僅僅是因為宗法製度下實在無人可選。對此非常際遇，載灃的惶恐可想而知。而這種惶恐，並沒有因為慈禧太後對他進行了8年的刻意培養而有所減弱。
《異辭錄》在“議立宣統”一節中稱，慈禧太後病危之時召見慶親王奕劻和軍機大臣，在問及光緒皇帝病況後，慶親王奕劻回奏“疾大漸”（意思是快要死了），請速立皇子。慈禧太後沉吟半晌後，說：“先令載灃之子入宮讀書。”一旁侍立的載灃趕緊推辭：“臣之子幼，載濤之子長，願太後善為計。”慈禧太後聽後勃然大怒，當下捶床怒斥：“你可真是糊塗！如今都什麽時候了，還說這種無用話耶！現在立你的兒子為穆宗毅皇帝（同治）的嗣子，你為攝政王。你雖然沒什麽才能，但擇有才能者為佐，好歹把這江山坐住！”
《異辭錄》雖係野史，但作者劉體智出身名門（同光年間四川總督劉秉璋第四子，娶大學士孫家鼐之女），又曾任戶部郎中、大清銀行安徽總辦等職，以其對朝政的親身經曆及對前朝掌故的熟悉程度，此傳聞也不完全是憑空構撰。