1950年4月23日　人民海军成立一周年之际，中央军委决定将“长治”号改为“南昌”号。“南昌”舰成为人民海军第一支舰队——第六舰队旗舰。

　　1951年初　任解放军第7兵团暨浙江军区司令员。后任华东军区暨第三野战军参谋长、华东军政委员会委员、华东行政委员会委员、中共华东局委员。组织指挥沿海岛屿的剿匪作战，消灭了国民党军残部及潜伏特务，深入海防前线勘察地形，部署修筑工事，加强了浙东地区海防建设。

　　1954年8月　任浙东前线指挥部司令员兼政治委员，负责组织指挥大陈列岛战役。
　　9月，任中国人民解放军副总参谋长。

　　1955年1月　组织指挥了我军历史上首次陆海空三军联合渡海登陆作战，一举攻占一江山岛，大陈列岛不战而克，解放了浙东沿海全部敌占岛屿，给国民党反攻大陆的图谋以沉重打击。
　　到总参谋部任职后，任总参党委副书记、中央军委办公会议成员，负责军事行政、装备、军务等工作。反对照搬外军的做法，主张从我军实际出发进行编制体制建设，注重建章立制工作，主持制订了《关于改变组织体制的决议（草案）》、《总参谋部工作制度及工作方法十条》、《第二个五年计划期间解放军的发展方向及组织编制》、《全军组织、装备八年规划》、《对改变我军陆军师编制的意见》等重要文件，为我军正规化建设做出了突出贡献。
　　9月27日　被授予上将军衔。
　　12月　参加国务院科学规划委员会研究制订全国科学技术远景规划工作，拟制了《关于十二年内我国科学对国防需要的研究项目的初步意见》、《关于军队内部建立科学研究工作的初步意见》。

　　1958年8月　与海军副司令员罗舜初率军事科技代表团赴苏联考察，并与苏方洽谈，达成聘请5名苏联专家帮助中国研制鱼雷的协议。

　　1959年9月起　先后任国防科委副主任、国防工业办公室副主任，中央专委委员兼办公室副主任，中央军委委员，主持国防科技、装备和国防工业工作，组织领导“两弹一星”大协作、大会战，先后4次担任核试验委员会主任委员、现场试验总指挥，成功地组织了我国第一代地地导弹、首次原子弹塔爆、空爆及第三次原子弹爆炸试验。在我国第一颗原子弹研制工作面临严重困难的关键时刻，他深入全国各地的核工业单位调查研究，向中央建议集中全国力量，加速攻关，并呈报了《关于原子能工业建设的基本情况和亟待解决的几个问题的报告》，为中央决策提供了科学依据。他长年奔波在大漠深处、深山僻壤，与科学家、工程技术人员和参试部队官兵工作在一起，生活在一起，为解决核试验中的难题，呕心沥血，殚精竭虑，提出了许多关键的指导性意见。

　　1959年10月　负责“三峡工程人防试验和研究”，在工程兵某研究所试验场进行了试验。

　　1960年　增补为中共中央军委办公会议成员。

　　1964年2月　任地地导弹专门领导小组组长，负责建立导弹作战基地及组建导弹部队领导机构的工作。
　　10月16日　任原子弹试验前方总指挥，我国第一颗原子弹试验成功爆炸。

　　1965年6月　向中央军委呈报了《关于组建导弹部队领导机构问题的报告》，得到军委批准。

　　1966年6月6日　党中央、中央军委决定成立中国人民解放军第二炮兵。亲赴全国各地勘察、选址，为第二炮兵和我国战略核力量的建设与发展倾注了大量心血，做出了重要贡献。
　　在“文化大革命”中惨遭迫害，被批斗、囚禁达6年之久，左腿致残。但他刚直不阿，正气凛然，与林彪、江青反革命集团进行了坚决的斗争。