隋朝末年，杨广昏庸无道，赋重役繁，民不堪命，纷纷揭竿而起。杜伏威起兵占据重镇历阳，自称大总管。他英勇善战，治军有方，兵士纪律严明，深得百姓的拥护。因此，四方义军多来归附，声势浩大，兵强马壮，每每给隋军以沉重打击。不久，隋朝覆灭，李渊乘机侵吞了起义军的胜利果实，坐上皇帝宝座，反戈镇压各地义军。杜伏威在群雄中实力最强，李渊视为心腹之祸。李渊为了消灭这支义军，煞费心机，先任杜伏威为淮南安抚史，再封为吴王，后特差专使前往历阳，召杜伏威进京“共商国是”。杜伏威的妻子是个文武双全、洞察时势的女中豪杰。她预感李渊不怀好意，便力劝丈夫说：“李渊老奸巨猾，心狠手毒，什么事都能干得出来，夫君还是不去为好。”杜伏威笑说道：“我久经沙场，重兵在握，有夫人督师为后盾，谅李渊对我不敢怎样。”杜姬说：“夫君执意要去，妾亦不可勉强。但孤身进京，处处事事要格外小心。”

杜伏威动身之后，杜姬为防不测，与副将辅公祏分兵把守历阳、姑孰（今马鞍山市当涂县），扼守长江要道；率领军民兴修水利，开荒屯田，搞好农耕；操练军伍，提高兵士素养，以利富民强兵。

果然不出杜姬所料。事隔不久，噩耗传来：杜伏威被李渊借故以药酒毒死。随后，李渊令李靖率大军逼至历阳，并遣使迫杜姬归顺。杜姬怒斩来使，挥师与李靖拼杀。但终因力量悬殊，寡不敌众，城防失守。杜姬退至梁山，陷于绝境，她临危不屈，只身拼杀无数唐兵。辅公祏闻讯来援，亦遭惨败，为李靖生擒。杜姬且战且退，李靖穷追不舍。杜姬登上绝顶，李靖见她无路可走，再三劝她投降，她则高呼：“誓死不共杀夫之唐！”乃毅然投身大江。适逢一巨鲸浮游江面，恰好将她托住，载游而去。李靖见状，急令兵士以强弩射杀。杜姬身中乱箭而亡，巨鲸亦受重创。伤鲸负着杜姬的尸体，游至下游一个浅滩，静卧喘息。百姓见了，遂将杜姬的尸体抬上岸，将巨鲸推向深水。不料巨鲸去而复回，亦僵死滩上，百姓面对庞大的鲸体，不知所措。忽然狂风大作，江潮猛涨，淹没了鲸体。随之风平浪静潮跌，庞大的鲸体只剩下一副完好的骨架。百姓们将杜姬收葬之后，用鲸骨为架，建造祠庙一座，以纪念这位与百姓休戚与共的巾帼英雄。名其坟曰杜姬墓；庙曰杜姬庙，因用鱼骨为架，又名鱼骨庙。

杜姬庙俯瞰大江，江面时有狂风巨浪。传说昔时舟行至此，船家焚香祷告，祈求杜姬保佑，每有灵验；而贪官污吏过此，尽管檀香高烧，亦难免覆舟之灾。以故，津渡名曰“清官渡”。