，文帝摘下帽子陪罪说：“怪我教导儿子不严。”薄太后也派使臣带着她的赦免太子梁王罪过的诏书前来，太子、梁王才能够进入宫中。文帝由此更加看出了张释之的与众不同，任命他做了中大夫。

又过了些时候，张释之升任中郎将。跟随皇帝到了霸陵，汉文帝站在霸陵的北面眺望。这时慎夫人也跟随前行，皇帝用手指示着通往新丰的道路给她看，并说：“这是通往邯郸的道路啊。”接着，让慎夫人弹瑟，汉文帝自己合着瑟的曲调而唱，心里很凄惨悲伤，回过头来对着群臣说：“唉！用北山的石头做椁，用切碎的苧麻丝絮充塞石椁缝隙，再用漆粘涂在上面，哪还能打得开呢？”在身边的近侍都说：“对的。”张释之走上前去说道：“假若里面有了引发人们贪欲的东西，即使封铸南山做棺椁，也还会有缝隙；假若里面没有引发人们贪欲的东西，即使没有石椁，又哪里用得着忧虑呢！”文帝称赞他说得好。后来任命他做了廷尉。

此后不久，皇帝出巡经过长安城北的中渭桥，有一个人突然从桥下跑了出来，皇帝车驾的马受了惊。于是命令骑士捉住这个人，交给了廷尉张释之。张释之审讯那个人。那人说：“我是长安县的乡下人，听到了清道禁止人通行的命令，就躲在桥下。过了好久，以为皇帝的队伍已经过去了，就从桥下出来，一下子看见了皇帝的车队，马上就跑起来。”然后廷尉向皇帝报告那个人应得的处罚，说他触犯了清道的禁令，应处以罚金。文帝发怒说：“这个人惊了我的马，我的马幸亏驯良温和，假如是别的马，说不定就摔伤了我，可是廷尉才判处他罚金！”张释之说：“法律是天子和天下人应该共同遵守的。现在法律就这样规定，却要再加重处罚，这样法律就不能取信于民。而在那时，皇上您让人立刻杀了他也就罢了。现在既然把这个人交给廷尉，廷尉是天下公正执法的带头人，稍一偏失，而天下执法者都会任意或轻或重，老百姓岂不会手足无措？愿陛下明察。”许久，皇帝才说：“廷尉的判处是正确的。”

后来，有人偷了高祖庙神座前的玉环，被抓到了，文帝发怒，交给廷尉治罪。张释之按法律所规定偷盗宗庙服饰器具之罪奏报皇帝，判处死刑。皇帝勃然大怒说：“这人胡作非为无法无天，竟偷盗先帝庙中的器物，我交给廷尉审理的目的，想要给他灭族的惩处，而你却一味按照法律条文把惩处意见报告我，这不是我恭敬奉承宗庙的本意啊。”张释之脱帽叩头谢罪说：“依照法律这样处罚已经足够了。况且在罪名相同时，也要区别犯罪程度的轻重不同。现在他偷盗祖庙的器物就要处以灭族之罪，万一有愚蠢的人挖长陵一捧土，陛下用什么刑罚惩处他呢？”过了一些时候，文帝和薄太后谈论了这件事，才同意了廷尉的判决。当时，中尉条侯周亚夫与梁国国相山都侯王恬开看到了张释之执法论事公正，就和他结为亲密的朋友。张释之由此得到天下人的称赞。

后来，文帝死去，景帝即位。张释之内心恐惧，假称生病。想要辞职离去，又担心随之招致被诛杀；要当面向景帝谢罪，又不知怎么办好。用了王生的计策，终于见到景帝道歉谢罪，景帝没有责怪他。

王生是喜好黄老学说的处士。曾被召进朝廷中，三公九卿全齐聚站在那里，王生是个老年人，说：“我的袜带松脱了。”回过头来对张廷尉说：“给我结好袜带！”张释之就跪下结好袜带。事后，有人问王生说：“为什么在朝廷上羞辱张廷尉，让他跪着结袜带？”王生说：“我年老，又地位卑下。自己料想最终不能给张廷尉什么好处。张廷尉是天下名臣，我故意羞辱张廷尉，让他跪下结袜带，想用这种办法加强他的名望。”各位大臣们听说后，都称赞王生的贤德而且敬重张廷尉。