太平天国金田起义后，遭遇的最强劲对手，并非清王朝的国家军队即八旗、绿营，而是由曾国藩仓促从民间招募组建的湘军，以及后起的由李鸿章招募和率领的淮军。
一、湘军出山
曾国藩是湖南湘乡人。少时熟读诗书，后科举入仕，在京城历任兵、工、刑、吏各部侍郎，官至二品。1852年，因母亲病逝回籍守孝。时太平军已兵出广西，攻入湖南。次年初，清廷命他帮同湖南巡抚张亮基办理湖南团练乡民。随后他坐镇长沙，以“湘乡练勇”为基干，抽调各县“壮健而朴实”的勇丁成一大团，后又招募兵员，扩编成为湘军。1854年春，湘军水陆两军练成，计有各式船只430余艘，各式炮570余门，陆营、水营各5000余人，外加水手人等，全军总计约17000人，于长沙会齐后，曾国藩发布《讨粤匪檄》，破门而出，向太平天国宣战。
与八旗、绿营相比较，曾国藩编练的湘军自有其鲜明的特点。曾国藩十分痛恨八旗、绿营各级军官的腐败，他由此以理学精神为号召，寻找那些具有“忠义血性”的儒生来带兵。一时间，众多有志有才的湘籍士子围聚在他的身旁。湘军军官中，儒生过半，成为其主要特色之一。为了防止溃兵滑勇把种种恶习带入湘军，曾国藩强调募集边僻地区的山民。他还让带兵官自行回乡募兵，以一地之兵集中于一营，用乡谊故交维系部队内部的情感，以求在作战中互助互力。
鉴于清朝国家军队平日肩负大量的警察职能，战时只能抽调，临时命将率领，结果兵将不习，兵兵不习，胜则相妒，败不互救，曾国藩建立了自己的指挥体系，由大帅到统领到营官，不越级指挥，职权归一。由于清朝国家军队战时临时抽调编组，各部携带的火器往往不一，且因远程调派运输困难而缺乏重火器，曾国藩在营制中注重轻重火器与冷兵器的恰当比例，并为解决运输问题而专门设立了“长夫”，类似于今日的运输部队，这使得湘军的火力比各处清军皆强。
清朝水师以往多设于沿海，长江各省绿营所编战船甚少。为对付太平天国的水营，曾国藩亦相应成立了水军，以水制水。这使得在镇压太平天国的战场上，湘军是唯一一支可以水陆协同作战的力量。而且水军的建立，也为湘军陆师的快速机动提供了便捷的运输条件。清朝国家军队饷俸低下，兼之士兵多有家小，难以维持生计，需作别项经营。而湘军实行的是厚饷制度，所招募的士兵多为青壮年，无家小之累。在当时农村凋敝的湖南，厚饷吸引了众多苦于生计的山民，使湘军有了充足的兵源。
二、曾国藩遭猜忌
湘军的饷源，主要靠厘金的挹注。厘金的征收，始于1853年。当时，清军正与太平军在江苏扬州附近交战，为筹措军费，由在江北大营帮办军务的刑部侍郎雷以缄筹划，开始在仙女庙等镇开征厘金，不久便被推广到其他地区，进而遍及全国，成为晚清一项重要税收。厘金依其课税物品的不同，主要分为百货厘、盐厘、洋药（指进口鸦片）厘和土药（指本国所产鸦片）厘四大类。其中以百货厘举办最早，范围最广，它的课税对象，多为日常生活必需品，诸如粮、棉产品乃至针头线脑等小百货，都在课征之列。清政府依靠厘金制，每年搜括到数以千万两的银子，在解决其亟感紧迫的筹饷问题上，起了重要的作用。湘军也靠厘金的挹注，维持和扩编。
曾国藩统领湘军出山后的战功，使咸丰帝甚慰。当曾国藩在与太平军交战告捷时，咸丰帝曾喜出望外地说：“不意曾国藩一书生，乃能建如此奇功！”并准备让其署理湖北巡抚。可是在旁的军机大臣却提醒他：“曾国藩以侍郎在籍，不过是匹夫一个，登高一呼，从之者万余，恐怕很难说是国家之福。”咸丰帝听了，沉默良久，迟迟没有向曾国藩等汉族官员委以地方军政大权。
因此，湘军在战场上的推进，并没有给曾国藩带来太多的喜悦，相反却引来了不少烦恼。由于曾国藩没有地方大权，其所带湘军处于客军之位，军饷物资主要仰求于当时的主战场江西。江西官吏往往视之为额外负担，事急则用，事过即弃，战胜不予奖励，战败则讥笑百端，且不时以停止供饷相要挟。这就不能不使曾国藩时时有寄人篱下之感。一气之下，曾于1857年借其父去世之机，离军回乡奔丧，后又奏请在家守三年之制，原想以此要挟咸丰帝委以地方实权。殊不料咸丰帝顺水推舟，批准了曾国藩的守制请求，使得曾国藩弄假成真，有苦难言。好在由他一手编练起来的湘军，从上到下对他仍忠心耿耿，他在湘军中的统帅地位，谁也无法取代。所以1858年当战场再次告急时，咸丰帝只得谕令曾国藩再度出统湘军，带兵赴援浙江清军。
此后，在曾国藩的率领下，湘军在浙江、江苏、安徽、江西等省战场上与太平军激烈交战，互有进退，仍是太平军最凶悍的敌手。1860年，清廷终于委派曾国藩任两江总督、钦差大臣，督办江南军务。次年，又奉命统辖苏、皖、赣、浙四省军务，巡抚、提镇以下官员悉归他节制，后又为协办大学士，权势显赫，成为晚清政坛上的一位重要人物。
三、淮军组建
继曾国藩的湘军之后，又有李鸿章率领的淮军迅速崛起。李鸿章是安徽合肥人。少年饱读四书五经，1847年，24岁时进京赶考。有机会在京城拜见曾国藩等达官贵人，中式后任翰林院编修。1851年太平天国起义爆发后，奉旨回乡督办团练，抵挡太平军。1858年底，投入曾国藩的麾下，充当类似参谋的幕僚。
李鸿章之所以投靠曾国藩，有着历史的渊源。早在李鸿章于京城求见时，曾国藩就认为此人“才可大用”。后来，曾国藩因患肺病居城南报国寺静养，李鸿章时来探望，“执弟子礼甚恭”。李鸿章得中进土，曾国藩十分高兴，对他很器重。太平天国起义爆发后，曾国藩和李鸿章各自回乡办团练，相隔千里，曾国藩仍不忘关照这位后生。1853年，太平军进攻庐州时，他的另一个门生、湘军大将江忠源接任安徽巡抚。曾国藩立刻写信向其推荐李鸿章，希望李鸿章能得到重用。这时见李鸿章前来，极为高兴，师生二人连日作长夜谈。此后，李鸿章成为曾国藩的得力助手。
1861年秋，为了增强镇压太平天国的兵力，曾国藩将酝酿已久的编练淮勇的计划付诸实施，而组建这支军队的重任，就交给了李鸿章。从1861年12月至次年3月，李鸿章开始招募庐州团练筹建淮军的活动。淮军的招募办法完全效法湘军，即由大帅选拔统领，统领选拔营官，以下哨官、队长依次选拔。作为未来的统帅，李鸿章的主要任务就是选将。尽管李鸿章本人没有回乡，招募工作却进行得很顺利。1862年初，第一批树、铭、鼎、庆四营，就赶到安庆集中了。
曾国藩对于这批新招的淮勇极为关注。第一批四营到安庆不久，他就亲自召见了各营统领张树声、刘铭传、潘鼎新、吴长庆以及准备充当营官的周盛波、周盛传、吴毓芳等十余人。为了观察这些人是否“将才”，曾国藩故意让他们在走廊上等了两个小时，其中张树声最为沉着耐心，而刘铭传则十分恼火，怒形于色。结果这两人尤得曾国藩赏识，对李鸿章大加称赞。
不仅如此，曾国藩还亲手为淮军各营制定营制。考虑到新编淮军力量单薄，他示意李鸿章可向曾国荃、李续宜、鲍超等部求兵借将，并当即调拨太平军降将程学启统带的二营和新从湖南招募的四营湘军归李鸿章统率，还把两江督标亲兵二营，也送给李鸿章。于是，这支东挪西移、由李鸿章统领的淮军初具规模。1862年3月4日，李鸿章偕同曾国藩一起到安庆校场检阅各营，淮军正式宣告成立。
四、李鸿章上海发迹
淮军组建时，曾国藩的意图一是以这支军队接替江北防务，使曾国荃部能够全力进攻天京；二是以陆营配合淮扬水师，进驻扬州、镇江，确保湘军后方及饷源安全。但这时出现了一个新情况，就是上海绅商派代表前来安庆，请求曾国藩发兵增援。
上海是当时中国最大的通商口岸，1860年太平军第二次打垮清军江南大营后，江浙地区的地主豪绅纷纷逃至上海避难。太平军的兵锋也曾直逼上海，形成合围之势。只是凭借西方列强的庇护，上海才得暂时“保全”。面对这种困境，以江苏巡抚薛焕、买办杨坊、士绅潘曾玮为代表的上海官绅，一方面积极鼓动租界内的外国军队“会防”，另一方面急切盼望得到湘军的支援。1861年11月6日，金匮知县华翼纶赶到安庆游说，特别指出上海繁华，每月可筹饷60万银两。曾国藩听了颇为心动。紧接着，户部主事钱鼎铭、候补知县厉学潮、候选训导张瑛等三名代表，奉江南团练大臣庞钟璐之命，也赶抵安庆求援，终于促使曾国藩决定派兵增援上海。
起初，曾国藩打算派其弟曾国荃率兵援沪。不料，曾国荃一意要攻下天京，立个头功，没有兴趣赴援上海。而时年3 8岁，早就不想长期寄人篱下的李鸿章，正想有机会独掌权柄，出去闯荡一番，便抓住这个机遇，“坚请赴申”，终得曾国藩允诺。久有腾云大志的李鸿章心中大喜，但为不露心迹，以免遭人猜忌，又特为致函曾国荃，语气谦恭，故作姿态，称自己是代为出征云云。1862年4月5日，首批淮军搭乘英国轮船从安庆开赴上海。次日，李鸿章也登轮启程，二天后抵达上海。至6月13日，淮军全部抵沪。从此，李鸿章有了一个新的活动天地。
李鸿章率领淮军刚到上海，清廷就任命他署理江苏巡抚，从中可以看出清廷对这支武装的重视，当然其中也包含着扶持淮军以遏制湘军的意图。这就更给了李鸿章施展身手的机会。
五、中国军队的近代化起步
与湘军相比较，淮军最大的特色在于其武器和训练的近代化。淮军初到上海时，芒鞋短衣，布帕包头，遭到在沪外国军队的讪笑。但不到一年，在李鸿章的操办下，这支军队面目一新，“尽改旧制，更仿夷军”。除留劈山炮队作为进攻掩护外，所有刀矛、小枪、抬枪各队均改为洋枪队。改制后的淮军一营，人数依旧，但火力配备大为增强。按湘军旧制计，每营小枪百余杆，抬枪24杆，共120多杆，均为前膛装药，况且药线燃放的旧式枪械，易潮难燃，缺点甚多。新建的淮军洋枪队，一营有洋枪三四百杆，其洋枪虽仍系前膛装弹，但已改为铜帽底火，射程和火力都数倍于旧式小枪。每营所携的劈山炮也由原先的二队增为十队，因此这时的实际火力，一营至少可抵以前的两营。
在洋枪队之外，李鸿章还建立了独立的洋炮队。随着淮军普遍使用洋枪洋炮，军械的供应成为一大问题。作为统帅的李鸿章，深知购买只是一时之策，设局制造才是根本大计，于是在1863年和1864年，先后兴办了隶属淮军系统的上海炸弹三局和苏州洋炮局等近代军事工业。
营制和装备的变更，使得原来的营伍阵法，显然不能适应新式武器作战的要求。于是，李鸿章先后雇用一批洋教练，在各营中训练“洋操”即西式操练。可以说，淮军是中国第一支较为系统地接受西方先进武器装备和训练的军队。后起的淮军，在军队的近代化步伐上，远远超过湘军，其原因是多方面的，单就各自的主帅而言，差异也是明显的。曾国藩为人守拙持重，其思想深处更多地受到封建正统儒学的影响，而李鸿章的性格则落拓不羁，对人对事均采取注重实际的态度。曾国藩作为统领全局的主帅，主要职责在于运筹帷幄，自然不及独当一面的李鸿章对洋枪洋炮的深刻体验。再加上，李鸿章驻军沪上，中西交汇，五方杂处，地理上的便利也促使他能得风气之先。而对于军队的发展来说，主帅的态度与抉择所起的作用，无疑是不言而喻的。
配备了西式武器的淮军，在与太平军的交战中，异军突起，骁勇凶悍。李鸿章因此声名大振，并在他的周围，以淮军将领为骨干，逐渐形成一个庞大的淮系集团，在晚清政坛上颇具实力和影响。
