文昌书院，又名文昌阁，是塔院合一的古建筑，位于怀集县城东1公里的绥江北岸，始建于明万历四十七年（1619年），建成于明天启元年（1621年）。文昌书院为当年怀集县令谢君惠倡建，占地面积430平方米，建有北门、庭院、正堂、厢房，属中国传统式的四合院建筑，山门两侧有观阙、楹桂、石鼓；进入山门是一道木影壁，其后是前院，正面石壁上嵌有太极八卦、洛书、河图；穿过左右侧良廊，步上几级石阶便是正堂和两侧之厢房；绕过正堂后门的木雕屏风，即抵后院。文昌阁就座落在后院正中。

该建筑于清顺治、康熙、同治、光绪年间曾重建或修缮过。五十年代初，作为书院的附属建筑全部被拆毁，仅存文昌阁。1991年7月，文昌阁的附属建筑按原样开始重建，文昌阁亦同时修葺一新。文昌阁高25米，墙厚0.53米，平面六角，系五层楼阁式砖宝塔，各层均用菱角砖叠涩出檐，檐下绘花纹图案及灰塑莲花瓣纹饰，塔顶六角脊檐装有卷草翘手，最顶端为葫芦形塔刹。塔门上书“梯云”，二至顶层每层圆形或六角形窗口上，分别写有“得禄”、“桂籍”、“参天”、“文阁”字额。

1984年，文昌书院被列为怀县县文物保护单位。