宿迁城内的观音堂是坐南朝北，主神观音菩萨也背南面北，所以人们称作倒座观音堂和倒座观音。

观音堂旧址在现在的市人民医院东北角，中山南路尽头。那时宿迁县城在项王故里附近，观音堂处在城北的位置，山门也是朝南，庙内香火旺盛，整日朝拜的、许愿的香客络绎不绝，庙内方丈大发财源，着实风光。明朝万历年间(1576年)，黄河决口，县城被淹，城墙及房屋倒塌、衙门、府置、居民都纷纷向北迁至马陵山麓坡地(今址)。观音堂虽未被洪水冲毁，但周围都是水，县城又迁到北面，香客来此既不顺也不便。因此渐渐萧条，变得门前冷落鞍马稀，穷了庙也穷了方丈，和尚们真正成了苦行僧。

后来有一位江南书生，游历到宿迁，住在观音堂内，看到庙里冷冷清清，和尚破衣烂衫，就给住持(当家和尚)出个主意：把庙门改为朝北，面向县城，．观音菩萨也来个180度大转弯，改为背南面北，庙前再铺一条路，给香客提供方便，定能改变冷落的状况。

住持采纳了书生的意见，一一照办，但又怕遭人非议，天下寺庙都是山门朝南，哪有倒座朝北之理?书生又给他出个主意，编一副对联，贴在观音菩萨两边。联日：“问观音为何倒坐，因众生不肯回首。”语意双关，既回答了为何倒坐的原因，又暗含佛经上说的“苦海无边，回头是岸”的道理。

倒座观音堂后来毁于战乱，没有重修。