1926年,蒋介石一手制造中山舰事件,国共决裂。共产党员接受中央决定,退出第一军和黄埔军校,聂荣臻和周恩来为北伐做准备。已是省军委书记的聂荣臻认识了女兵张瑞华。
“四一二”反革命政变爆发,党组织召开紧急会议,决定让党骨干分子转入地下。1927年7月,汪精卫宣布与共产党决裂,大革命失败。中共中央决定举行南昌起义,指定聂荣臻为书记,负责起义军各路部队联络工作。
1927年8月1日,南昌起义打响了对国民党反动派的第一枪。周恩来在战斗中受重伤,聂荣臻和叶挺想尽一切办法保护他,三人成功逃往香港。12月,聂荣臻回到广州,中央指示要发动广州起义,并请苏联的安德烈教官专门指导起义。安德烈提出按照“十月革命”的方法发动起义,聂荣臻反对。