字于乔,号木斋,余姚(今属浙江)人。明宪宗成化十一年(1475)进士,授修撰,累迁左庶子。孝宗弘治八年(1496),入内阁参预机务,不久,加兵部尚书兼东阁大学士。时与刘健、李东阳同辅朝政,迁见事明敏,善持论。时人语之“李公谋,刘公断,谢公尤侃侃。”武宗即位,屡加少傅兼太子太傅。时宦官刘瑾擅权,请武宗诛瑾,不成,遂与健同致仕归。后被瑾、焦芳所诬陷,追夺诰命及皇帝所赐财物。当是时,人皆为迁危,而迁与客下围棋,赋诗自若。瑾诛,复职致仕。世宗嘉靖六年(1527),起为内阁大学士,居数月以老辞归。卒赠太傅,谥文正。有《归田稿》。