盡管元朝中央政府曾“郡縣土番之地，設官分職”，並在此修驛站、括戶口，征賦稅，蒙古大軍也曾幾次深入土番之境，鎮壓諸如薩思迦第二任本禪釋迦藏卜叛亂、必裏公叛亂與蒙古西北諸王，即藏文史著中之所謂“上部蒙古”（stod hor）所引發的叛亂等，但真正深入土番之地的漢族士人恐怕不會太多。因此，在元代漢族士人的作品中，很少見到有關西番政教形勢的具體記載，他們對西番的認識隻是停留在“其地廣而險遠，民獷而好鬥”，或“西域之地尤廣，其土風悍勁，民俗尚武，法製有不禁者，惟事佛為謹，且依其教焉”等相當籠統的說法。[106]土番常常被稱為“西夷”或“西鄙”，於漢族士人眼裏無非是地處西陲的蠻荒之地。正因為如此，土番成了元朝政府放逐重要犯人的地方，有不少著名的政治犯被流放到此地，如宋朝的末代皇帝少帝瀛國公受元世祖命，“往西土討究大乘明即佛理”，居後藏薩思迦寺習法經年。[107]高麗國忠宣王也因得罪於楊璉真珈之子楊暗普而被陷害、放逐至薩思迦。[108]元末著名丞相脫脫受政敵哈麻陷害，“詔複使西行，鴆死於吐蕃境上”。[109]官員調任吐蕃被視為貶謫，乃朝內排斥異己的一種手段。[110]
與漢族士人視入藏為畏途的情形形成鮮明對比的是，大批的番僧湧入中原漢地，史載“見西番僧佩金字圓符，絡繹道途，馳騎累百，傳舍至不能容”，當非純屬誇張不實之辭。因此，番僧在內地的活動是蒙藏及漢藏關係史上極其重要的內容。漢族士人對番僧在朝廷內外各種言行的記述，特別是對番僧在元朝宮廷內外傳播的秘密戒法的抨擊，無疑有出自文化偏見的成分，也帶著已經處於異族統治之下的漢族士人對遭受來自另一個異族的政治和文化上的壓迫、打擊所激起的強烈的民族情緒。番僧在朝廷中的得誌，番僧所傳秘密戒法在朝中的流行，在很大程度上即意味著漢族士人從文化上進行反征服、變夷狄統治為孔孟之治，將異族所建立的征服王朝最終納入華夏正朔的艱苦嚐試的失敗。[111]是故，漢族士人對番僧的行為及其所傳教法的評價顯然有失偏頗，特別是將番僧所傳秘密戒法完全視為禍國殃民之妖術，將元朝驟亡的禍根全推到幾個番僧的頭上，委實有失公允。遺憾的是，漢族士人為番僧留下的這種妖僧與惡僧形象不但通過穆斯林作家拉施特的《史集》和《馬可波羅遊記》等書傳到了中國以外的地區，而且亦一直在元以後的漢族文學作品中得到進一步的戲劇化和形象化，其流風餘緒直到今天恐也未被徹底消除。