五桂山社区居委会在镇政府东南0.4公里处，驻桂祥苑生活小区内。始建于1986年6月，因地处镇中心区内，故名。居委会曾三度搬迁：成立之初，随镇政府驻南桥石莹桥村；1993年随新镇址搬迁至石鼓马槽村，驻政府大院；2003年移驻今址。现办公面积120平方米，设有办事厅、办公室、会议室。居民委员会管理五桂山区桂祥苑生活小区、岭东上筑、阳光翠苑及机关、事业单位非农业人口，负责办理居民的有关行政事务。2005年11月，撤镇设办事处，五桂山居委会改置为社区居民委员会，有居民 153 户、447 人，其中男性 260 人，女性 187 人。