1938年，平江县民众教育馆在县城西街文圣庙设立图书室，收藏《万有文库》一套，连环图画近千册，已初具规模，是为平江县图书馆的前身。

解放后，县人民政府接管民众教育馆，建立文化馆，下设图书馆迁至南街景福坪，其时已收藏了《四库全书》、《古今图书集成》的部分卷册和《二十四史》、《四部丛刊》等古籍3万余册。成为平江人民的一大财富。遗憾的是在文革期间竟遭浩劫，损毁愈半。

1978年，该图书馆与文化馆分离，正式成立平江县图书馆，在县城中心南街299号定址。1994年，由美籍华人欧阳遇女士基金会捐资60万元，加上部、省、县财政拨款，改旧建新，故又名欧阳遇图书馆。

新馆设计新颖，气势宏伟，布局合理，建筑面积2500平方米。设有外借室、少儿阅览室、期刊报纸阅览室、咨询室等服务窗口；专辟古籍典藏室、地方文献室、工具书库；馆藏图书9万8千册；现有工作人员14人，大专学历4人，中级职称1人。

该馆年财政预算由1993年4.8万元，逐年增加到13.2万元，基本上保证了日常工作的正常运转。并确定年购书费2万元，订阅报刊140种、新增图书3000余册的目标。