位于广西古横州（今广西横县横州所在地）。明嘉靖间，刑科给事中吴时来(号悟斋)弹劾兵部尚书许论宣、大总督杨顺、御史路楷等严嵩党人。之后，又弹劾严嵩父子贪黩。严嵩恨甚，命出使琉球，未遂。嘉靖三十七年（1558年），为严嵩诽谤，谪戌横州驯象卫十余年。其岳父和老父先后去探望，都因瘴疠死于横州。

吴时来在横州淡然无怨，闲读群书，建悟斋书院，朝夕讲学，造就人才，开拓当地文化。因书院于学宫西北乌石岭，故名。

时来亲给诸生讲授，并撰记。置学田年收租谷270石，粮米5.59石，供给书院经费。隆庆元年（1567），嵩败，吴被召还，回京任工部给事中、都御史等。

诸生因念师恩，立石像于院内，并建吴公祠以祀，故更名悟斋书院。后废于战乱。