城内清真寺始建于明朝年间（准确时间失考），址在城内新街（今为新新街），后于崇祯十五年（1626年）三月李自成攻陈时焚毁。清康熙八年（1669年），教长舍起灵、董事苏应元组织人力、财力，在城内西北隅（今民族南街）再建清真寺。

清康熙八年（1669年）所建城内清真寺，其规模及建筑风格仿北京牛街清真寺。楼台高峻，气势雄伟。从东西开始建影墙、大门、二门、左右各有角门，主殿分前廊（卷棚）、二殿、大殿、后连唤醒楼四部分，南北有对称宣讲室，沐浴室。藏经楼均有长廊相通。寺占地14·4亩，有房屋86间，布局巧妙，层次分明，雕刻精美，古朴雅致。

大门、二门和卷棚前均有青石台阶，前廊前左右各立石碑楼一座。左边石碑正面刻有阿文，记述伊斯兰教义。背面刻有清真寺地亩财产，共163。7亩（州弓），折合392。88市亩，其中清真寺占地14。4市亩，老菜园（即老车园）占地4。8市亩，其它为寺养土地，分布在大连乡朱庄、王洼、高桥、方李庄等村。市房（即街上门面房）27间，坐落在北十字街。并刻有教长舍起灵、董事苏应元姓名。右边有建寺碑记，背面刻有皇帝拨款银两、回族官员捐款银两，回民捐款及监工、木、泥、石工姓名。

二殿有木刻滚龙碑楼一座，高5尺，雕刻精细，别具风韵，富有民族特色。北宣讲室正中间立有明代老寺遗碑一座，高7尺，书有“保护清真寺重地，尊重回回风俗”字样，清代历任阿訇都用红绸将其覆盖。卷棚南山有“断血”石碑一通，是民国五年（1916年）清末文生方叶坤撰文并书。民国三十年（1941年）重修清真寺，又于卷棚南立石碑一座，系伊斯兰小学教师方绍周撰文并书。二殿与卷棚中各悬木匾一块，文曰：尊大莫铭、觉世归真。其立碑年代无可考（毁于“文革”），唯查得大殿脊檀下一白色黑字木条，上书文曰：嘉庆已巳年荷月谷旦，董事 重修。大门上立一竖匾，上书“清真寺”三字。大门门框上挂有木质浩语牌。左牌文曰：效法穆圣，敬天爱人，归根复命。右牌文曰：万物非主，唯有真主，穆罕默德是主钦差。清寺前后三院均植有松柏、梧桐。“文革”期间清真寺被拆毁，仅存藏经楼和北宣讲室，其它改建为工厂。原清真寺北院，有女寺一处。1981年在原址重建清真寺大殿、大门水房、北讲堂等，建筑风格为阿拉伯样式。