杜伏威動身之後,杜姬為防不測,與副將輔公祏分兵把守歷陽、姑孰(今馬鞍山市當塗縣),扼守長江要道;率領軍民興修水利,開荒屯田,搞好農耕;操練軍伍,提高兵士素養,以利富民強兵。
果然不出杜姬所料。事隔不久,噩耗傳來:杜伏威被李淵藉故以藥酒毒死。隨後,李淵令李靖率大軍逼至歷陽,並遣使迫杜姬歸順。杜姬怒斬來使,揮師與李靖拼殺。但終因力量懸殊,寡不敵眾,城防失守。杜姬退至梁山,陷於絕境,她臨危不屈,隻身拼殺無數唐兵。輔公祏聞訊來援,亦遭慘敗,為李靖生擒。杜姬且戰且退,李靖窮追不捨。杜姬登上絕頂,李靖見她無路可走,再三勸她投降,她則高呼:“誓死不共殺夫之唐!”乃毅然投身大江。適逢一巨鯨浮游江面,恰好將她托住,載游而去。李靖見狀,急令兵士以強弩射殺。杜姬身中亂箭而亡,巨鯨亦受重創。傷鯨負著杜姬的屍體,游至下游一個淺灘,靜臥喘息。百姓見了,遂將杜姬的屍體抬上岸,將巨鯨推向深水。不料巨鯨去而復回,亦僵死灘上,百姓面對龐大的鯨體,不知所措。忽然狂風大作,江潮猛漲,淹沒了鯨體。隨之風平浪靜潮跌,龐大的鯨體只剩下一副完好的骨架。百姓們將杜姬收葬之後,用鯨骨為架,建造祠廟一座,以紀念這位與百姓休戚與共的巾幗英雄。名其墳曰杜姬墓;廟曰杜姬廟,因用魚骨為架,又名魚骨廟。
杜姬廟俯瞰大江,江面時有狂風巨浪。傳說昔時舟行至此,船家焚香禱告,祈求杜姬保佑,每有靈驗;而貪官污吏過此,儘管檀香高燒,亦難免覆舟之災。以故,津渡名曰“清官渡”。