嚴羽在提出“別材”說的同時，又提出了“別趣”說，這實際上提出詩歌的本質與義理是不是有關係的問題，這更是一個尖銳的問題。儒家的詩教是“發乎情，止乎禮義”（《毛詩序》），或者用白居易的話來說：“詩者，根情，苗言，華聲，實義。”（《與元九書》）重要的是果實，所以情、言、聲隻是工具，最後的作為果實的“義”才是詩之根本所在，或者說詩隻是政治諫書的感性的補充而已。宋代許多詩人更把這一點看得很重，宋詩最主要的代表蘇軾雖然在創作思想上主張“天成”“平淡”等，但其詩就常常以議論時政入詩，後來釀成了著名的“烏台詩案”，就是一個有力的證明。在嚴羽看來，詩的特征不在與義理、時政的聯係上，他提出“別趣”說，是說“詩有別趣，非關理也”。“義理”不能構成詩，詩的特征在於它要有“興趣”。當然，如前所說，嚴羽在提出他的“別材”“別趣”說時也說：“然非多讀書，多窮理，則不能極其至”。他是主張詩人要多讀書、多窮理的，因為讀書、窮理是詩人的必要修養。詩人若善於選取符合詩歌的特殊材料，再加上完全內化了的、變成了自己的血肉的知識，那麽在詩人感性的藝術表現中就會有理性的升華，詩人的高翔的翅膀就能飛得更高，詩就能達到理想的境地。
那麽作為詩的本質的“別趣”又是什麽呢？嚴羽認為盛唐詩人之所以創作出那麽優秀的詩篇，因為“盛唐諸人惟在興趣”。嚴羽用一係列的微妙而模糊的禪家詞語來說明“興趣”：“羚羊掛角，無跡可求。故其妙處透徹玲瓏，不可湊泊，如空中之音，相中之色，水中之月，鏡中之象，言有盡而意無窮。”這些話大多隻可意會，不可言傳。“羚羊掛角，無跡可求”，據說，羚羊夜間將角掛在樹枝上，身懸空中，即使有什麽凶猛的野獸來，因尋找不到它的蹤跡，而不能傷害它。《傳燈錄》卷十六引義存禪師語：“我若東道西道，汝則尋言逐句；我若羚羊掛角，你向什麽處摸？”又卷十七引道膺禪師語：“如好獵狗，隻能尋得有蹤跡底，忽遇羚羊掛角，莫道跡，氣亦不識。”嚴羽借此說明“興趣”非墨跡文字可求的特征。“故其妙處”以下六句，也是借用禪家語來說明“興趣”的可以目睹而不可求實的特征。“湊泊”就是聚會、凝聚、會合之義，“不可湊泊”也就是不可會合，因為“興趣”像“空中之音，相中之色，水中之月，鏡中之象”，都是可以看見，卻不可實在的把握，所以是無法會合在一起的，你可以目睹它、意會它、感歎它，但你無法用確切的語言“落實”它、“確定”它、“砸死”它。總而言之，“興趣”是“言有盡而意無窮”的一種詩的境界。這與司空圖所引戴容州的話“詩家之景，如藍田日暖，良玉生煙，可望而不可置於眉睫之前也”在意思上是一致的。這樣我們也就可以了解嚴羽的思想：詩的本質特征是審美的，而不是知識的，所以他說詩“非關理”也。