仍兼管翰林院事。二年十一月，辞总理事务，加拜他喇布勒哈番，特命与鄂尔泰同进三等伯，赐号勤宣，仍以若霭袭。四年，加太保。寻谕：“本朝文臣无爵至侯伯者，廷玉为例外，命自兼，不必令若霭袭。”又谕：“廷玉年已过七十，不必向早入朝，炎暑风雪无强入。”十一年，若霭卒。上以廷玉入内廷须扶掖，命次子庶吉士若澄直南书房。十三年，以老病乞休。上谕曰：“卿受两朝厚恩，且奉皇考遗命配享太庙，岂有从祀元臣归田终老？”廷玉言：“宋、明配享诸臣亦有乞休得请者。且七十悬车，古今通义。”上曰：“不然。易称见几而作，非所论于国家关休戚、视君臣为一体者。使七十必令悬车，何以尚有八十杖朝之典？武侯鞠躬尽瘁，又何为耶？”廷玉又言：“亮受任军旅，臣幸得优游太平，未可同日而语。”上曰：“是又不然。皋、夔、龙、比易地皆然。既以身任天下之重，则不以艰钜自诿，亦岂得以承平自逸？朕为卿思之，不独受皇祖、皇考优渥之恩，不可言去；即以朕十馀年眷待，亦不当言去。朕且不忍令卿去，卿顾能辞朕去耶？朕谓致仕之义，必古人遭逢不偶，不得已之苦衷。为人臣者，设预存此心，必将漠视一切，泛泛如秦、越，年至则奉身以退，谁复出力为国家治事？是不可以不辨。”因命举所谕宣告朝列，并允廷玉解兼管吏部，廷玉自是不敢言去。然廷玉实老病，十四年正月，命如宋文彦博十日一至都堂议事，四五日一入内廷备顾问。是冬，廷玉乞休沐养疴，上命解所兼领监修、总裁诸职，且令军机大臣往省。廷玉言：“受上恩不敢言去，私意原得暂归。后年，上南巡，当于江宁迎驾。”上乃许廷玉致仕，命待来春冰泮，舟行归里。亲制诗三章以赐，廷玉入谢，奏言：“蒙世宗遗命配享太庙，上年奉恩谕，从祀元臣不宜归田终老，恐身后不获更蒙大典。免冠叩首，乞上一言为券。”上意不怿，然犹为颁手诏，申世宗成命，并制诗示意，以明刘基乞休后仍配享为例。次日，遣子若澄入谢。上以廷玉不亲至，遂发怒，命降旨诘责。军机大臣傅恆、汪由敦承旨，由敦为乞恩，旨未下。又次日，廷玉入谢，上责由敦漏言，降旨切责。廷臣请夺廷玉官爵，罢配享。上命削伯爵，以大学士原衔休致，仍许配享。十五年二月，皇长子定安亲王薨，方初祭，廷玉即请南还，上愈怒，命以太庙配享诸臣名示廷玉，命自审应否配享。廷玉惶惧，疏请罢配享治罪。上用大学士九卿议，罢廷玉配享，仍免治罪。又以四川学政编修硃荃坐罪，荃为廷玉姻家，尝荐举，上以责廷玉，命尽缴历年颁赐诸物。二十年三月，卒，命仍遵世宗遗诏，配享太庙，赐祭葬，谥文和。

乾隆三年，上将临雍视学，举古礼三老五更，谘鄂尔泰及廷玉。廷玉谓无足当此者，撰议以为不可行。四十三年，上撰三老五更说，辟古说踳驳，命勒碑辟雍。五十年，复见廷玉议，以所论与上同，命勒碑其次，并题其后，谓“廷玉有此卓识，乃未见及。朕必遵皇考遗旨，令其配享。古所谓老而戒得，朕以廷玉之戒为戒，且为廷玉惜之。”终清世，汉大臣配享太庙，惟廷玉一人而已。

子若霭，字晴岚。雍正十一年进士。廷试，世宗亲定一甲三名。拆卷知为廷玉子，遣内侍就直庐宣谕。廷玉坚辞，乃改二甲一名，授编修，直南书房，充军机章京。乾隆间，屡迁至内阁学士。若霭工书画，内直御府所藏，令题品鉴别，诣益进。十一年，扈上西巡，感疾，归卒。

若澄，字镜壑。乾隆十年进士，改庶吉士，直南书房，累迁至内阁学士。卒。若澄亦工画，亚若霭。

若渟，字圣泉。入赀授刑部主事，充军机章京，再迁郎中。出为云南澂江知府、四川建昌道。内擢太仆少卿，五迁至侍郎，历工、刑、户诸部。嘉庆五年，授兵部尚书，调刑部。七年，卒，赠太子少保，赐祭葬，谥勤恪。