字廷益,钱塘(今浙江杭州)人。明成祖永乐十九年(1421)进士。明宣宗宣德初,授御史,迁兵部右侍郎。明英宗正统十三年(1448),迁左侍郎。十四年秋瓦剌也先大举寇边,宦官王振挟英宗亲征,谦与尚书邝埜极谏,不听。埜从征,留谦理部事。不久,发生“土木之变”,英宗被俘,京师大震。郕王监国,命群臣议战守,徐理主南迁,谦厉声止之,并请王周密布置军备,郕王擢之为兵部尚书,全权经划京师防御。谦拥立郕王即帝位,是为景帝。十月,谦奉敕提督各营军马,也先挟英宗破紫荆关窥京师,谦则分遣诸将,率师20万,列阵九门外,亲自率兵德胜门外,敌挡也先,下令,凡临阵之将,不顾军而先退却者,斩其将;军不顾将先退者,后队斩前队。于是将士皆拼死战,毙也先弟孛罗及平章卯那孩,致也先挟英宗北逃。代宗景泰元年(1450),也先乞和,请归英宗。迎还英宗,安置南宫,称上皇。是时,闽浙有叶宗留、邓茂七起义,广东有黄萧养起义,湖广、广西、贵州有少数民族反抗,均被谦镇压。八年(1457),将军石亨、宦官曹吉祥,趁景帝卧病南郊,拥英宗复辟,以谋逆罪将谦处死,并称“不杀于谦,此举为无名。”(《明史·于谦传》)数年后,亨下狱死,吉祥谋反,族诛,谦事乃白。宪宗成化初,得复官赐祭。孝宗弘治二年(1489),赠特进光禄大夫、柱国、太傅,谥肃愍。神宗万历中,改谥忠肃。