先秦散文曾取得過輝煌的成就，但它是與哲學、政治學、倫理學、曆史學合為一的文體，而不是純文學的散文，隨著文學自身的發展，文學逐漸地發現了自身的特點，把自己從與其他文體相合的狀態中分離出來。另外，先秦散文中的駢句，到兩漢時發展成質樸的駢文，再到魏晉南北朝時，士族文人為了掩蓋他們生活內容的空虛，進一步追求用典，講究聲律與詞采的雕飾及句式的整齊，以至駢文用典增多，詞采繁麗，句用四、六，充分展現了它的藝術美。但同時駢文的局限性和弱點也充分地暴露出來，過多地用典超出了內容表達的需要，過分地追求詞采也使內容貧乏，這樣駢文的路子越走越窄，為自己的破滅準備了條件。
駢文興起之後，散文一直並未中斷。晉代王羲之的書信，南朝範縝的《神滅論》等都是用散體文寫的。西魏宇文泰、蘇綽出於政教的目的，提倡改革文體，之後還有很多人出於政治的目的，如隋文帝、王通等提倡古文，反對駢文，但收效都不大。
唐初文風沿南朝駢麗之習，王勃、楊炯雖對當時文壇有所不滿，但他們還是以駢文名重一時。陳子昂出來，大張複古旗幟，使文壇風氣為之一變。到玄宗開元時期，蘇頲、張說主張“崇雅黜浮”，他們有時雖然還用駢體，但浮侈華靡之風已革。此外，當時文人的書信也多用散體文，大都寫得真切生動，如李白的《與韓荊州書》，一開頭就很有氣勢：
白聞天下談士相聚而言曰：“生不用封萬戶侯，但願一識韓荊州。”何令人之景慕，至於此也。
這個開頭，成為千古名句，以致有“識荊”一詞流傳。
玄宗天寶以後，元結、李華、蕭穎士和接下來的獨孤及、梁肅、陸贄、權德輿、柳冕等人研習經典，在創作實踐中，已經能寫出很好的散體文，如元結的《七不如篇》：