五桂山镇居民委员会在镇政府东南0.4公里处，驻桂祥苑生活小区内。始建于1987年6月，因地处镇中心区内，故名。居委会驻地曾三度搬迁，成立之初，随镇政府驻南桥石莹桥村；1993年随新镇址搬迁至石鼓马槽村，驻政府大院；2003年移驻今址。驻址办公面积120平方米，设有办事厅、办公室、会议室。居民委员会管理五桂山镇桂祥苑生活小区及机关、事业单位非农业人口，负责办理居民的有关行政事务。2005年11月，撤镇设办事处，五桂山居委会改置为社区居民委员会，有居民户62户，316人，其中男性195人，女性121人。 历任居委会负责人有：陈北坤、陈少权、周硕华、吴从垠、杨少雄、廖容初等。