湘乡市图书馆的前身是清咸丰年间在县城荷花池设立的“藏经阁”。民国初，由劝学所接管。1928年县教育局改名为“湘乡县公立图书馆”。1934年更名为“湘乡县民众教育馆”。当时，收藏五经四书等约二万册，报纸杂志34种。

1952年8月，湘乡县人民文化馆成立，接管了“湘乡县民众教育馆”遗留下来的部分图书，在文化馆里设图书室。1958年10月湘乡县图书馆正式建立。