出身、身经百战的将领向洪秀全建议集中兵力全力歼灭江南大营，以消除金陵的心腹之患。商议的结果，是照搬了当年“围魏救赵”的方式——李秀成先虚张声势全力进攻杭州，浙江巡抚罗遵殿文人出身，不擅布兵，下令兵士死守。各路救援的清军畏葸避战，进展缓慢，到达杭州附近后，见太平军势大，谎称道路不通，远遁躲避。李秀成一举攻下了杭州，浙江巡抚罗遵殿战死。听闻杭州被攻占，咸丰忧愤至极，下诏催促江南大营的和春、张国梁派兵去救。在这种情况下，江南大营慌了神，连忙调集主力赶赴浙江。李秀成知晓江南大营兵马调动的消息后，立即从杭州杀了一个“回马枪”，与陈玉成联手，兵分五路，直扑金陵城下。具体安排是：陈玉成自全椒南下渡江，经江宁镇杀向板桥；李秀成从溧阳、句容直杀向淳化镇、紫金山；李世贤自常州、金坊杀向金陵北门；杨辅清自高淳杀往秣陵关、雨花台；刘官芳自溧阳趋往高桥门。
1860年5月5日，李秀成、陈玉成的十万兵马突然出现在清军江南大营前，只有数万人的江南大营溃不成军，太平军一上午就歼灭清军一万余人。江南大营统帅和春、张国梁等败逃江苏丹阳。李秀成紧追不舍，指挥太平军全力攻克丹阳，击毙江南大营帮办张国梁。两江总督何桂清逃往上海；和春继续败逃到苏州城郊之后，又惊又怕，自缢身亡。李秀成一直追到上海城下。6月2日，李秀成又会合李世贤军攻占苏州，清江苏巡抚徐有壬战死。这一次太平军大获全胜，不仅顺利地解除了金陵之围，而且使东南局势发生了根本变化，清军经营了很多年的局面一下子逆转。
太平军攻打江南大营之时，曾国藩的湘军大营正驻扎在安徽宿松县，全力准备安庆战役。所部万余，分布在潜山、太湖、宿松一带；李续宜近一万人，也驻扎在桐城西南，掩护包围安庆的曾国荃部。小小的皖西，一下子聚集了这么多兵马，到处都是黑压压的一片，人喧马嘶，鸡犬不宁。江南大营被攻破的消息传来之时，曾国藩正和部下们在宿松罗家祠堂悼念战死的浙江巡抚罗遵殿。罗遵殿是安徽宿松人，也是胡林翼的好友，前一年，他先从湖北藩司的位置上调任福建巡抚，数月后，又调任浙江巡抚。没想到此番调动，竟遭此噩运。罗遵殿的灵堂一派肃杀气象，高高悬挂的挽联由曾国藩亲笔题写：“孤军断外援，差同许远城中事；万马迎忠骨，新自岳王坟畔来。”现在，江南大营二次被破的消息，无疑雪上加霜，在曾国藩看来，这样的错误完全不应该犯下，绿营是朝廷的正规军，无论是装备还是筹饷上，都远远超过湘军，更何况朝廷对于绿营一直很重视，要钱
