张序三在东海二分所养伤后，于12月初返回3团，分配到1营3连任政治指导员。

1948年5月，根据斗争形势的需要，我军对烟台、威海两地的国民党军队加强打击。在对烟台东南郊凤凰山之敌攻坚战中，张序三所在连担任了主攻，连长不在，由张序三负责指挥。战前，他亲自查地形摸敌情。当他发现主攻方向敌火力强，立即将辅攻改变为主攻方向。加强火力掩护，使爆破手送上了炸药包，炸毁了鹿砦、铁丝网、壕沟和所有地堡等。激战了一个多小时，在兄弟连队支援下，以小的代价取得了胜利。缴获了六○炮、机枪、步枪和大批武器弹药，俘虏7名，得到了东海军分区的嘉奖。

1948年8月，东海独立第3团改编为华东野战军教导师第三团，到安徽省固镇附近，休整大练兵。

1949年2月，教导师第三团奉命南下，张序三所在连队到达江苏省六合附近，休整练兵。3连于4月21日在八圩渡过长江，占领江阴城，担负驻守江阴炮台和看守国民党海军起义的“永绩”号炮舰的任务。

1949年4月23日，华东军区海军在江苏省泰州白马庙宣告成立，教导师第三团改编为华东军区海军警卫团。张序三被挑选到南京海军联合学校第五大队三中队任政治指导员，也是学员，学习海军舰艇知识和技术。

1949年10月25日，张序三被分配到“美盛”号军舰（中型坦克登陆舰）任政治干事、中共党支部书记。任务是，团结改造国民党海军起义人员和努力学习舰艇操纵指挥技术战术，准备解放沿海岛屿和台湾。

1951年10月8日，张序三任“黄河”军舰（原美盛舰）副舰长。他协助舰长努力工作，亲自指挥舰艇从上海出发，对西到武汉、东到浙江的各港口及其岛屿进行巡查，为加强海防建设做出了贡献。

1952年，国家选拔一批优秀官兵去苏联学习深造，张序三名列其中。10月12日，他与34名学员乘火车，历时10多天到达苏联列宁格勒市，进入苏联海军高等专科学校（外训系）中国队舰长班学习。先后学习了俄语、文化、军事艺术、联共（布）党史、海军战术、参谋业务、鱼雷战术、水雷战术、天文航海、地文航海、通信指挥、司令部勤务、海军航空兵战术等课程。他以惊人的毅力和顽强的拚搏精神，克服了种种困难，经过两年学习，取得了全优成绩，被学校授予“优秀学员”称号。

1954年，张序三回国后，被派往华东军区海军第六舰队“西安”护卫舰任实习舰长。期间，他指挥、操纵护卫舰，从上海、青岛出发，先后到达连云港、乳山口、石岛、威海、烟台、蓬莱、庙岛列岛、旅顺、大连、外长山列岛、鸭绿江口、营口、葫芦岛、秦皇岛、塘沽，历时42天，航行3000多海里，圆满完成护送国防部长彭德怀勘察海岛、港口设防任务。

1954年10月25日，中国人民海军第一支驱逐舰部队在青岛成立。张序三在驱逐舰上任协长、副舰长、舰长、参谋长、大队长。在升任“长春舰”舰长时年27岁，是当时人民海军历史上最年轻的驱逐舰舰长。

1956年8月4日，旅顺外海狂风骤起，长春舰接到命令，紧急出海寻找援救失去联系的10条渔船。长春舰顶着10级大风艰难地离开码头，高速驶向出事海域。海上风力增到11级，军舰左右摇摆高达41度，推进器不时地露出水面。张序三指挥军舰与海浪搏斗两个小时后发现目标，8艘渔船被救脱险。10个小时后，又发现失去动力的两艘渔船，渔民已被折磨的筋疲力尽，经过多次危险的靠帮抢救未获成功。张序三当机决定抓住渔船托上涌峰靠近船舷的瞬间，由身系保险索、身体探出舷外的水手把渔民拉上来，8名渔民终于获救。他们捧着战士送来的饭菜含着热泪激动地说：“感谢共产党，感谢解放军”。11月29日，张序三又亲自驾长春舰冒着11级狂风赴黄海中东部，圆满完成了寻找迷航的“和平5号”轮，并成功完成为其导航的任务。