鹹豐三年（1853年），中國第一支新式地主武裝——湘軍誕生，湘軍即陸師，相對陸師來說，水師的建立要晚一些。因為太平軍的水師在進攻南京時發揮了極其重要的作用，所以由曾國藩組建的陸師無論有多強悍，對於太平軍的水師也無濟於事，他們隻得眼看著太平軍不費吹灰之力便控製了千裏江麵。為了對付太平軍的水師，鹹豐三年（1853年）冬，曾國藩上書朝廷準備組建水師，同時建造船隻。在曾國藩的一手操辦下，次年，湘軍水師成立。新建水師擁有戰船三百六十一隻，船上共裝大炮四百七十門，新式洋炮三百二十門。
水師的招募比陸師要曲折得多。曾國藩本打算在湘南一帶招水兵，因為大部分陸兵就是從那裏招來的，但現在湘鄉的壯丁不是入了湘軍就是參加了地方團練，剩下的人又不懂水性，這讓曾國藩苦惱了一陣子。後來，湘鄉一帶發生了大旱，人們都吃不上飯，得知水師的軍餉高，為了填飽肚子，也為了有朝一日能殺敵立功，於是人們紛紛報名，才使得水師能夠早日成軍。
而水師的將領招募也頗費周折。兵是有了，可水性好的將卻沒有。於是曾國藩就四處打聽哪裏有水性好的人，終於，他打聽到在衡陽一帶有個傳奇式人物，名字叫彭玉麟，經過幾番努力，彭玉麟終於前來擔任營官，這樣湘江水師才成軍。
彭玉麟，字雪琴，祖籍衡永郴桂道衡州府衡陽縣。他從小家庭貧窮，由於父親早年去世，所以年少時的彭玉麟是在外婆家長大的。他和外婆家的養女小梅一起長大，日久天長，他們便產生了愛情，男非彼不娶，女非對方不嫁。但最終這對青梅竹馬兩小無猜的男女由於重重阻礙也沒能走到一起。當彭玉麟由老家返回外婆家時，小梅已不在人世了。彭玉麟自然是悲痛欲絕，從此他發誓終生不娶，並以畫梅來表達對小梅的思念之情。後來母親再次追問他為何不娶，他總以無功無名為借口，幸虧其弟弟已成家有了兒女，母親才無暇顧及此事。由於他看淡功名，加之失去小梅之痛，僅為秀才的彭玉麟便放棄了考取功名，在衡陽綠營混一差事，後又為一富商看倉庫，愛讀《公瑾水戰法》，愛畫梅。曾國藩組建水師時，他已經三十有七了，卻依舊單身一人。