实行军衔制需要改革服装，军委专门成立了军服改革领导小组，洪学智拿着礼服的样子去征求彭德怀的意见。礼服的方案定下来后，投入生产的报告彭德怀却迟迟未批，洪学智几次去找他询问，彭德怀都说：“做礼服我不反对，可肩章为什么非要搞金丝呢?我们国家并不富裕，如果把这些钱用在实实在在的武器装备上，不是更好吗?”
1955年，中国人民解放军军衔制正式颁布。在中南海怀仁堂，彭德怀接受了毛泽东为他授予的元帅军衔。
军队体制建设走上正轨后，彭德怀提出，应适时地把军事工作重点转移到国防建设上来。不仅要建设一支强大的海军，而且要打造一条钢铁的海上防线，完成沿海和纵深的国防防御体系。彭德怀的战略构想得到了毛泽东的赞同。
这天，彭德怀来到一个偏远的海岛视察，他没有按照预先安排好的去听汇报，而是直接进了伙房，和炊事员们聊天。彭德怀还问了海防团长很多问题，诸如海岛的面积、沙滩的硬度、潮汐的变化。岛上有多少官兵?多少是农村来的?他们的文化程度怎么样?把团长问得哑口无言。彭德怀批评团长：“你一不知战士的疾苦，二不知民族的荣辱，那点心思全用在给首长拍马屁上了!”彭德怀的批评让海防团长羞愧难当。
彭德怀率领军事代表团出访苏联，他曾希望苏联能在军事装备上给予中国一些帮助。他向苏联国防部长提出，想去看看苏联研制的核潜艇。对方的答复是：潜艇已经出海。彭德怀又提出能不能去看看原子弹。苏联国防部长把一个精美的小盒子送给彭德怀，彭德怀打开，里面只有一把金灿灿的钥匙。
苏联国防部长说：“这是飞行员投掷原子弹时使用的，留着做个纪念吧。”彭德怀异常气愤，他把这个小盒子扔给了同行的陈赓。陈赓问彭德怀什么意思，彭德怀说：“你不是军事工程学院的院长吗，拿着这把钥匙，去打开我们自己的核工业大门。尖端武器这件事，靠谁都靠不住，必须自己干!”
彭德怀元帅和其他共和国元勋一起，致力于我国国防建设和经济建设事业，不辞辛苦，成绩卓著。然而在林彪、“四人帮”的迫害下，1974年11月29日，彭德怀元帅在北京逝世，终年76岁。
