近代圖書館產生於19世紀末，在民國成立以後，則更加大量地出現，尤其是通俗圖書館已深入到某些中小城市和縣城。北京圖書館的前身京師圖書館，在李端棻、羅振玉、張之洞的奏請下，於1909年建立，1912年8月在北京廣化寺開放，次年6月呈準教育部設分館於宣武門前青廠，同月，熱河文津閣《四庫全書》移交京師圖書館收藏。此外，北京還建有京師通俗圖書館、午門圖書館、中央公園圖書館等。1915年，北洋政府教育部頒布了《圖書館規程》和《通俗圖書館規程》，後者第一條規定：“各省治、縣治應設通俗圖書館，儲集各種通俗圖書，供眾人之閱覽。各自治區得視地方情形設置之。私人或公共團體公私學校及工場，得設立通俗圖書館。”據統計，到1916年全國省市縣級圖書館23個，其中民國間建立的8個，讀者不多。通俗圖書館與省市縣官辦圖書館相比，數量多，讀者廣，影響大，到1918年，全國有通俗圖書館286個，巡回文庫259個，閱報所1825個。
隨著新文化運動興起，新圖書館運動在1917年留美學圖書館學畢業回國的沈祖榮等倡導下逐漸發展起來。沈祖榮於1914年由武昌文華大學美國人韋棣華資助去美國紐約公立圖書館學校專攻圖書館學，1917年回國後，他和韋棣華的助手餘日章一起攜帶有關新式圖書館的各種影片、模型、統計表等前往各省進行宣傳，反對封建藏書樓，主張按美國式建立麵向大眾開放的新式圖書館。1919年，擔任北京大學圖書館主任的李大釗在《在北京高等師範學校圖書館二周年紀念會上的演說辭》中也指出，古代藏書樓和現代圖書館在作用上是根本不同的，前者不過是藏書的地方，管理員不過是守書的人，而現代圖書館是教育機關，是研究室，不僅要管理圖書，還要使各種書籍發揮作用。1920年夏，北京高師開設了圖書館講習會，同年秋，韋棣華在武昌文華大學創辦圖書館科，從此，圖書館人才的培訓受到教育界的重視，促進了新式圖書館事業的發展。1922年，韋棣華發起以美國退還的庚款來推廣中國的圖書館事業。1925年春，鮑士偉代表美國庚款委員會來中國調查圖書館事業的情況，在各地講演50餘次，提倡設立美國式的圖書館，推動了新圖書館運動。早在1918年3月，戴誌騫發起成立北京圖書館協會，此後在開封、南京、上海、天津等地出現了一些地方性圖書館協會，最後於1925年4月在上海成立了中華圖書館協會。由於新圖書館運動的興起，據1925年不完全統計，當時全國各類型圖書館已發展到502所，藏書310餘萬冊，最多是北平市43萬冊，江蘇省41萬冊。其中，建立了不少專業性圖書館，如1922年在上海出現了我國第一個少年兒童圖書館——上海少年兒童宣講團圖書館；同年，虞恰卿創辦了商業圖書館，收藏商業經濟圖書兩萬餘冊；1923年世界語協會創立上海世界語圖書館；1924年又創立專收報刊資料的人文圖書館，收集近百年的報紙雜誌；1925年又成立了上海圖書館學圖書館。