张释之是南阳堵阳(今河南方城东)人。汉文帝初,以资选为郎,10年不得升迁,于是他准备辞官归家。当时任中郎将的袁盎知道他是个贤才,就向汉文帝求情,另行委任张释之为谒者。旋即升为谒者仆射。又因言行的优良,迁公车令、中大夫、中郎将,汉文帝非常信重他。
        张释之担任中郎将后,一次跟随汉文帝至霸陵(本芷阳县。汉文帝九年在此筑霸陵,并改县名。治今陕西西安东北),登上陵墓的北边。当时,慎夫人也跟从一道上了陵墓。文帝指着新丰道对慎夫人说:“这就是通邯郸的道路。”因慎夫人是邯郸人,所以文帝这样说。由于站在自己的陵墓上,文帝说着,忽有所感,叫慎夫人鼓瑟,自己依声而唱,歌声低沉悲凉。看着身边的大臣说:“唉,死后如用北山大理石为棺材,用棉纱填塞紧固,用膝胶合,可能就不会有人撬动,坟墓也就可以保全了。”左右大臣都说好。张释之说:“如果陵墓中有金银珠宝这些人人都喜欢的东西,就是连同整座南山一起浇铸起来,也还有隙可乘;如果陵墓中什么都没有,即使没有石棺石椁,也没什么可以担心的。”汉文帝领会张释之主张薄葬的意思,连声说好。