字伯苍,太原(今山西太原)人。武则天族人。进士及第后授华原县令。德宗慕其才,拜比部元外郎,累擢御史中丞。王叔欲与之交,元衡拒不纳。顺宗立,拜太子右庶子。宪宗立,于元和二年(807)拜门下侍郎同中书门下平章事,旋兼剑南节度使,封临淮郡公。前任剑南节度使高崇文吏治无方且贪财贿,元衡到任时蜀地极为贫穷,元衡治理三年,蜀地物资充实。八年后还朝为执政,所行公正,不偏不倚,有长者风,帝悉以朝政委元衡。王承宗请赦叛将吴元济,元衡不允,承宗乃遣人乘夜黑杀害元衡。赠司徒,谥曰“忠愍”。