咸丰二年，彭玉麟的母亲去逝，他在家为母丁忧，曾国藩得知其才能，请其出山，为湘军做事，彭玉磷同意。他在衡州与曾国藩创办湘军水师，铸造火炮，制造大船，制船制营制章程。
咸丰四年，也就是今年年初，湘军衡州船厂毕工。是时，湘军水师初具规模，有湘勇五干人，被编为十营，其中在湘潭的有四营，以褚汝航、夏銮等为营官；在衡州的有六营，以彭玉麟、杨岳斌等为营官。当时其余九营多为武员，奏事都要倚仗彭玉麟，于是彭玉麟成为了实际上的水师领导者，“草创规制多所赞画”。
后世都说彭玉磷是湘军水师的缔造者，同时满清海军也是湘军水师演变而来，所以说彭玉麟也算是满清水师的创始人，是中国近代海军的奠基人。
其实，彭玉磷不过是擅长做事，他并没有专门学习过海军知识。营造战船的条目不过都是从书上学得。
但是他督造的战船，结构坚固，样式统一，还有不同类型、不同功能的战船。比那些野路子要强多了。
然而跟班算不上什么海军，只能算是老式的水军。
不久后，曾国藩发布《讨粤匪檄》，督湘军水师、陆师共计一万七干余人，自衡州启程，开始北伐。
不久后，太平军石祥祯部击败曾国藩湘军，再占岳州，湘军水师往长沙撤退。
与此同时，太平军林绍璋部攻占了湘潭，长沙也被围困，湘军大本营被威胁。
曾国藩召集诸营官议战守，推彭玉麟决策。彭玉麟支持左宗棠的观点，力主以主力攻打湘潭。
按照彭玉麟的规划，曾国藩派褚汝航领湘军水师五营驰赴湘潭，助塔齐布所率陆师攻打西征军。
但他违背彭玉麟事先的规划，自督战船四十艘、陆勇八百，合乡团进攻靖港太平军，水陆俱败。
曾国藩羞愤投水自杀，左右援救以出。
不过就在靖港兵败的同日，彭玉麟分领的一营水师进至近湘潭十里，侦知塔齐布陆师已大胜，于是相约水陆循城进攻，尽焚太平军辎重。
城中守军仓卒无计而弃城逃跑。湘军一举收复湘潭，不仅解了长沙之围，且使曾国藩重新拾回东征的信心。
这是湘军出师以来的首次告捷，使交战双方的攻守态势从此开始改变。
此战后来被李秀成指斥为“林绍璋在湘潭全军败尽”，是天朝十误之一。
这是彭玉麟的军事才能、胆识谋略的初露锋芒，他被朝廷叙功任为知县。
六月，彭玉麟等率水师再攻岳州，太平军据守南津抵御。彭玉麟与杨岳斌分别埋伏在君山、雷公湖，派小舟引诱太平军船队出战，然后伏兵四起，击毁太平军船只一百余艘，并多次击退其反攻。
之后，湘军水师对擂鼓台发起进攻，彭玉麟与杨岳斌各自乘着舢板冲入数量上远超于己的太平军船队，烧其坐船，迫使太平军救援坐船，被湘军击败。
此役中，彭玉麟手指受伤，流出的血染红了襟袖，军中都认可他与杨岳斌的勇敢谋略。
随后，总兵陈辉龙等率广东水师等新军抵达，军容强盛，彭玉麟“偕诸营从观战”。太平军韦俊等部反攻岳州，陈辉龙、褚汝航、夏銮等率湘军水师下驶抵御，轻敌中伏。陈辉龙、褚汝航、夏銮先后受伤落水身亡。
彭玉麟、杨岳斌驾驶舢板前往援救，奋力作战，也兵败退走。自此之后，湘军水战全靠彭玉麟、杨岳斌。
就在这个时候，护卫军拿下广西，出兵占领永州，湘军的后院起火，曾国藩留着样岳斌率领湘军水师，随他战于武昌、九江。而将老成持重的彭玉磷派到衡州，再募十营水师，驻守衡州。
水师的驻地放在衡阳，彭玉麟于上游的松柏、江口设置水军营寨。
护卫军虽然偶尔骚扰，但是并未有大举进攻的意思。
期间，彭玉磷还派出细作，从山间下路进入永州侦查。
细作扮作走街串巷的货郎，在永州各地活动。
他们竟然见到大量的护卫军放下了武器，拿起农具在帮助永州的百姓恢复生产，他们协助百姓修整沟渠，加固梯田。
想象中被乱匪占据之后，生灵涂炭的现象丝毫没有出现。
细作都是彭玉磷亲自安排的，临行之前，彭玉磷专门交代过，一定要调查的细致一些，将海匪的暴行都给记录下来，回头将这些事情告诉衡州的父老乡亲，让大家下定决心，一致抗击匪军。.