如上所述，番僧是應朝廷之招徠不遠萬裏來到中國的，番教的流行是明朝皇帝信仰和推崇的結果。然而，他們並沒有從明代的士人們那裏獲得過多的熱情，相反常常是後者痛恨和鞭撻的對象。對此，我們或可引成化二十三年（1487）九月監察禦史陳穀等所上奏疏中的一段話為例，其雲：
領占竹紮巴堅參等以妖髠而受法王之名，釋迦啞兒答著乨領占等以胡醜而竊佛子之號，錦衣玉食，後擁前嗬，斵枯髏以為法碗，行淨至宮，穿朽骨而作念珠，登壇授戒，遂使術誤金丹，氣傷龍脈。一時寢廟不寧，旬日宮車晏駕，百官痛心，萬姓切齒，雖擢發莫數其罪，粉身猶有餘辜。[101]
這種痛恨似一點也不亞於當年處於異族統治之下的元代漢族士人對挖其祖墳，且阻礙其對蒙古征服者進行改化的番僧的痛恨。總的說來，明代文人筆下之番僧與番教之形象始終是十分負麵的。雖然明代士人們亦曾不厭其煩地記載下了番僧的種種神奇故事，令元代文人留下的神僧形象更加豐滿，然而更多的是以文明俯視野蠻的姿態，對番僧的行為及其所傳教法橫加鞭撻。不管是過分地強調明朝廷對番僧之優待和對番教之推崇是以政治利用為目的的，還是將番教演繹為“蠱惑聖主之心”的秘密法，或者直接將其斥責為異端、鬼教、喇嘛教等等，其實質均在於否認藏傳佛教作為佛教之一支的宗教與文化意義，從而將西番民族牢牢地固定在野蠻的“化外遠夷”的位置上。
如前所述，明代皇帝中絕大部分都是佛教的信徒，其中有不少偏愛藏傳佛教。然而不管是朝廷本身，還是明代的文人都不遺餘力地將皇帝崇佛，特別是推崇藏傳佛教、優待番僧的行為政治化。從明太祖開始，明朝的皇帝及其大臣們就再三再四地強調其廣招番僧，且封他們為僧官是出於政治的考慮，所謂“蓋西番崇尚浮屠，故立之俾主其教，以綏來遠人”。公開聲明：“有僧官以掌其教者，非徒為僧榮也。欲其率修善道，陰助王化。”[102]明代大學士梁儲曾於其奏文中說：