民国年间，南岳人康和声为首倡议，以此处为五岳名山，应重文化，报告当时的湖南省政府，请求设“南岳图书馆”。1932年，国民党湖南省政府省务会议批准该项请求，并拨款筹办图书馆。同年，选定集贤书院旧址为馆舍，新建楼房五楹。，添置藏书设备和图书，南岳图书馆乃正式成立。图书馆费用由省政府直接划拨。当时这样属省立的图书馆只有两所，另一所为省会长沙的“中山图书馆”。

1944—1945年，南岳沦陷，图书馆房屋设备被焚掠一空，藏书幸事先迁移他处，始得保全。1945年9月抗战胜利后，南岳图书馆一度停办。1946年恢复，1947年年底仍由省政府拨款，于旧址新建图书馆馆舍一幢，为二层楼房的砖木结构，总面积两层共1700余平方米，可藏书40万册，初名“中正图书馆”，后仍称南岳图书馆。