1957年8月1日，中央军委决定在青岛举行海上阅兵。4日，张序三按规定的航向、航速，沉稳地驾着长春舰接受了中央首长的检阅。周恩来总理高兴地说：“你们在建设海上武装力量上、在保卫海防和保卫社会主义建设上，已经取得了一定成绩，我祝贺你们！”

1959年5月23日，在南京军区统一指挥下，东海舰队组织实施渡海登陆和合同打击增援护卫舰队的实兵演习（穿山半岛演习）。其间张序三表现突出，受到时任南京军区司令员许世友的高度赞扬。同年6月13日，张序三驾舰圆满地完成了护送全国人大常委会委员长朱德和国家副主席董必武自旅顺至大连视察海湾的航渡任务。朱德委员长和董必武副主席各自赋诗一首，给予高度赞扬。

1962年4月12日，美国“狄海文”号驱逐舰从日本佑世堡起航，入侵我青岛海域。张序三驾舰奉命监视和驱逐，他和政治委员陈洪钧带领官兵同美军斗智斗勇，针锋相对，美舰始终跳不出长春舰的监视圈。15日清晨，双方平行航行，美军舰突然改变航向，高速直插我领海。张序三立即向美舰发出严重警告，同时拉响战斗警报，高速占领射击阵位，美军见势急忙狼狈向外海逃去。

1964年8月，张序三被任命为驱逐舰第五十一大队大队长后，带领官兵掀起大比武热潮。10月15日，张序三指挥鞍山舰和长春舰参加海军在青岛地区组织的军事演习，贺龙、罗瑞卿等200多名高级将领和高等军事院校190名学员，随舰视察和观摩了演习。年底，他又率鞍山舰参加海军大比武，获主炮对海实弹射击一等奖。

60年代后期，海军决定改装现有驱逐舰的鱼雷为导弹。1968年7月，张序三组织抚顺舰进行模拟改装，10月改装完毕，在葫芦岛附近海域发射遥控导弹一枚。11月又在旅顺海域进行导弹发射试验，均达到预定的指标要求。1969年5月16日，总参谋部批准抚顺舰进大连红旗造船厂正式改装，圆满成功，从此结束了中国无导弹驱逐舰的历史。

1969年5月，张序三调任东海舰队舟山基地副参谋长，1971年2月，升任参谋长。这期间，为防备国民党军窜犯浙东南沿海和支援福建作战，他率52艘战舰到达温州地区待命，演习了“协同陆、空军反登陆作战预案”。此间还指挥了援越扫雷、制止韩国渔船哄抢我渔船等任务。1974年1月19日西沙海战爆发，基地奉命组织护卫舰编队执行南下支援作战任务。张序三赶到码头亲自部署，筹划，昆明舰、成都舰、衡阳舰受命后一小时起航，有力地支援了西沙海战。

1975年9月，张序三调任海军司令部军训部部长。他认真落实毛主席关于“海军要搞好，使敌人怕。努力奋斗10年达到目标”的指示，把训练提高到战略高度来认识，理直气壮抓训练，组织制定了10年训练规划。经过几年努力，海军重新恢复了各项条令条例，保证了“七三开”的训练时间，落实了科目训练严格考核升级。他改革并建立技术指挥干部训练合格等级晋升制度，并与工资制度、航海补贴挂钩；还建立了训练中心、舰艇部队分三类组训等项改革，从而使海军军事素质提高了、战斗力增强了。

1979年1月，张序三升任海军司令部副参谋长。

1980年，我国决定在南太平洋进行远程运载火箭飞行试验。海军组建特混编队，担负处理海事和涉外事宜、对试验海域进行警戒，打捞数据舱等任务。张序三担任特混编队参谋长，负责组织指挥海军特混编队第一次跨越赤道进入南太平洋执行任务。他协助海军首长，把编队的18艘舰船（总吨位有18万吨）、4架直升机、5360人，周密组织，严格训练。4月28日10时30分，我国自己研制的第一枚远程运载火箭，横跨南北半球，在预定的溅落点从天而降，数据舱溅落海面，驱逐舰和快艇立即高速前往保护，172号直升机打捞数据舱只用了5分20秒。6月1日、2日特混编队安全返回上海港，海上历时35天，往返总航程8733海里。6月4日国防科委和海军在吴淞口举行欢迎大会，中央军委副主席叶剑英到会祝贺。