清談萌芽於漢季，而衰微於晉末，南朝之後，隻剩下一點回聲。《世說新語》一書的敘事亦上起自漢末陳蕃、郭泰、李膺諸人而下迄於晉宋之交之謝靈運。與其說這是一個巧合，毋寧說其中有相當的必然性。近代學者已注意到這一事實。陳寅恪先生在《陶淵明之思想與清談之關係》一文中說：
《世說新語》記錄魏晉清談之書也。其書上及漢代者，不過追溯原起，以期完備之意。惟其下迄東晉之末劉宋之初迄於謝靈運，固由其書作者隻能述至其所生時代之大名士而止，然在吾國中古思想史，則殊有重大意義。蓋起自漢末之清談適至此時代而消滅，是臨川康王不自覺中卻於此建立一劃分時代之界石及編完一部清談之全集也。[180]
英時先生在其所著《漢晉之際士之新自覺與新思潮》一文中對陳先生這一觀點評論說：
按陳先生注重清談思想之流變，故重視《世說》年代之下限，其說誠不可易。但若從士大夫新生活方式之全部著眼則尤當注意其上限，清談特其一端耳，而《世說》所載固不限於清談也。[181]
今按二家的意見甚是，合之更佳。陳先生注重清談思想流變，故重下限，餘先生注重士大夫生活方式，故重上限。其實《世說》的上、下限都值得我們特別重視，即僅從清談一端而言亦是如此。
清談的遠源可以追溯到兩漢的講經，無論就內容或形式來看，清談都是對兩漢講經的揚棄，即一方麵，清談是對兩漢講經的反動與否定，另一方麵，清談又是對兩漢講經在某種意義上的繼承。而漢末黨錮之禍正是這一揚棄過程的起點。當時集中於京師太學後來又因亂流散各地的知識分子則是這一揚棄過程的推動者。
東漢後期政治上的顯著特點是宦官外戚集團和士大夫集團之間為爭奪政權，尤其是中央政權所進行的殘酷鬥爭，長達二十多年的黨錮之禍正是這一鬥爭的集中反映。在這場鬥爭中，太學學生顯然扮演了很重要的角色，成為士大夫集團反抗宦官外戚集團的重要力量。當時太學規模很大，學生很多，其中又有不少貴族子弟、高官子弟。《後漢書·儒林列傳》說：