“马歇尔计划”启动后，马歇尔由于年事已高，长年劳顿，加之患肾病，已感力不胜任，于1949年1月辞去国务卿职务。在他患病期间，中国共产党领导人毛泽东和周恩来发去了慰问电。
1950年9月，在杜鲁门总统的再三要求下，马歇尔出任美国国防部长。在任上，他坚持美国既定的以欧洲为重点的战略方针，支持总统制止了麦克阿瑟等人扩大朝鲜战争的企图。但是，随着冷战的开始，美国国内掀起了以麦卡锡主义为代表的反共浪潮。这个浪潮也波及到了马歇尔身上。有人攻击他同罗斯福合谋，蓄意制造了珍珠港事件，指责他二战中在战略上始终奉行亲苏路线；谴责他在赴华调停中出卖了国民党蒋介石。他终于认为自己作为军人的生涯早该结束了，他不适合做政治家，因而再度辞职。
1951年，他被授予五星上将军衔。1953年，他获得了诺贝尔和平奖。
1959年10月16日，马歇尔在华盛顿的沃尔特·里德医院逝世。对于后事，马歇尔有这样的遗嘱：“简葬于我，一如美国陆军为自己祖国光荣尽职的每个普通军官。切勿铺张，力戒盛典。葬仪从简，仅限亲属参加。不事声张，万为重要。”