我国的图书馆历史悠久。只是起初并不称做“图书馆”，而是称为“府”、“阁”、“观”、“台”、“殿”、“院”、“堂”、“斋”、“楼”罢了。如西周的盟府、两汉的石渠阁、东观和兰台、隋朝的观文殿、宋朝的崇文院、明代的澹生堂、清朝的四库全书七阁等等。“图书馆”是一个外来语，于19世纪末从日本传到我国。

据《在辞典中出现的“图书馆”》说，“图书馆”一词最初在日本的文献中出现是1877年的事；而最早在我国文献中出现，当推《教育世界》第62期中所刊出的一篇《拟设简便图书馆说》，时为1894年。