当各路湘军节节东犯、曾国荃部兵临天京城下时，镇守浙江的太平军李世贤、黄呈忠、范汝增等部，也受到来自东西两面敌军的夹击。

浙东方面，清军与英法侵略军勾结起来，于1862年5月10日攻陷宁波。8月2日，洋将马敦率“常胜军”一队自上海到达宁波，会同“常捷军”进犯余姚，威逼绍兴。9月，黄呈忠、范汝增部对敌发起反击，进占慈溪，威胁宁波。“常胜军”统领华尔奉李鸿章之命，率千人自上海赴宁波，于21日攻占慈溪。在这次战斗中，华尔受伤丧命。1863年3月，浙东的中外反动联军再次发起进攻，于3月15日占领绍兴，20日占萧山，前锋直抵杭州城下。

浙西方面，新任浙江巡抚左宗棠于1862年2月中旬率部由皖南进入浙江后，不久连占开化、常山、遂安、江山等地。同年5月31日，左宗棠由江山进至衢州，所部湘军进至汤溪、兰溪一线，威胁金华。从6月起，李世贤部在龙游、汤溪、兰溪一线对左宗棠所部湘军进行了顽强的反击战。同年秋，浙江布政使蒋益澧率湘军近万人由广西到达浙江，增强了左宗棠的兵力。而太平军方面，由于曾国荃部围困天京，李世贤奉命回援，留浙的太平军兵力减少。于是，左宗棠乘机督军于同年冬对浙西太平军发起新的攻势。1863年1月2日陷严州，2月28日陷汤溪，3月1日陷龙游、兰溪。3月2日，太平军弃守金华。接着，旬日之间，湘军又连陷武义、永康、东阳、义乌、桐庐，3月24日开始进攻杭州西南的富阳。

富阳是湘军进攻杭州必经之地。“县城背江面山，右阻一溪，形势完固”，太平军占领杭州之后，即“于此修筑城垒，雉堞一新”。湘军蒋益澧部自3月下旬开始进攻富阳以来，屡为太平军守将汪海洋部所败。直至9月20日，才在“常捷军”千余人的协同下攻占该城。湘军既占富阳，便沿钱塘江直逼杭州。同时，分兵趋余杭（杭州西），企图切断杭州太平军的后路。双方在杭州、余杭展开了激烈的争夺战。

1863年底，苏南战场的军事形势严重恶化，苏州、无锡落入敌手。淮军除进攻常州外，分兵一支南入浙江，进攻杭州东北的重镇嘉兴。嘉兴附近的平湖、乍浦、海盐、澉浦、海宁、桐乡等地的太平军守将纷纷投敌叛变。1864年3月25日，嘉兴失守，坚守杭州的太平军陷于敌人的三路围击之下。

3月28日，湘军在“常捷军”的配合下，对杭州发起猛攻，用大炮轰塌凤山门城垛约三丈，乘势涌入，后被太平军全部逐出。30日，敌军向武林、钱塘、凤山、望江、清泰等门发起猛攻（以武林门为主攻方向），太平军坚决抗击，给敌以重大杀伤。当天晚上，陈炳文等率部北走德清，杭州于次日晨落入敌手。同日，汪海洋弃余杭北走，余杭亦失陷。4月14日，李世贤会同陈炳文、汪海洋、黄呈忠、陆顺德等，自德清抵浙西昌化，拟离浙入皖。杨辅清、黄文金等留守湖州。至此，浙江全省基本上为湘军占领。

太平军在浙江转战三年，给了敌人以沉重打击，但由于缺乏不间断的集中统一指挥，各部行动不能协调一致，加上后期士气低落，有的将领投敌叛变，终于失败。苏南与浙江根据地的丧失，使天京的东南屏障不复存在，军需和粮食供应断绝，进一步陷入了被动局面。