不过创业之不易，已成往事；守成之难，正要与各位慎重对待。”

后逢下诏大臣世袭，授职为宋州刺史，徙封为梁国公，因群臣辞让世袭之事，便免除其世袭刺史，而受封为梁国公。不久，加衔为太子少师。初次前往东宫，皇太子想行拜礼，玄龄推让而不敢见，方才作罢。居宰相之位达十五年之久，女为韩王之妃，男娶高阳公主为妻，自认为权力恩宠到达极点，多次上表请求辞职。诏书不准。不久，进衔为司空，照旧总揽朝政。玄龄一再推辞，太宗派遣使者对他说“：让位确实是美德。但国家靠您辅治已久，一旦失去良佐，如同失去左膀右臂。您看起来筋力未衰，不要谦让了！”晋王成为皇太子后，加衔为太子太傅，仍为知门下省事。因母丧，赐予墓地于昭陵。不久就起复官职。太宗将伐辽东，命玄龄留守京师。下诏说：“有您担当萧何的责任，我就没有西顾之忧了。”但凡粮草器械的调集输送，部队的调动留止，全听玄龄总揽。玄龄多次上书劝谏太宗，希望不要轻敌深入，长久讨伐外夷。并一再辞让太子太傅之职，太宗接受其辞职要求。

晚年多病，那时太宗出巡玉华宫，下诏玄龄留守京师，听其卧床治事。病情加重后，征召他赴宫所乘轿入殿，太宗对着他流泪，玄龄也因感动咽哽而不能自禁。太宗命令尚医负责治疗，尚食供应膳食，每天上奏起居情况。稍有起色，太宗就喜形于色。玄龄便对诸子说“：当今天下之事无不得宜，惟有讨伐高丽不止，皇上含怒意决，群臣无人敢谏，我如知而不言，就会抱愧入地了！”便上疏说：“上古不能臣服者，陛下都能使之臣服；上古不能控制者，陛下都能控制他们。作为中国祸患没有谁比得过突厥，而大小可汗依次束手归降，弛辫握刀，分掌禁卫。薛延陀、铁勒之地，分别设置州县；高昌、吐谷浑，派出偏师迅即扫灭。

惟高丽历代不服朝命，莫能尽力讨伐。

陛下责其弑逆虐乱，亲自率领六军，往征荒远边地，不出旬月就攻拔辽东，俘虏数十万人，残众、孽君失气而不敢喘息，可称得上功倍前世了。

“《周易》说：‘知道进退存亡能不失其正的，大概只有圣人啊！’因为进有退之义，存有亡之机，得有失之理，我为陛下可惜的就是这啊。老子说过‘：知足就不会受侮辱，知止就不会出危险。’陛下的威名功德，已足足有余；拓地开疆，也应适可而止了。边夷贱类，不足以仁德相待，以常礼相责，古时视同禽鱼。如果定要绝其种类，恐怕兽穷则搏，以救其死难。何况陛下每逢判决死刑案件，必定三复审五重奏，处决之日，进用素食，停奏音乐，这是因人命之重，使陛下为之感动。如今战士无一死罪，而将他们驱至战阵之间，委于锋刃之下，使其肝脑涂地，令其老父孤儿、寡妻慈母望丧车而抱枯骨，摧心痛哭，以致变动阴阳、伤害和气，实为天下的冤痛啊！如果高丽违失臣节，陛下诛之是应该的；如果高丽侵扰百姓，陛下灭之也是应该的；如果高丽能成为后世的祸患，陛下除之也有理由。

如无此三条，而为此事坐耗中国，为前朝帝王雪耻，为新罗代报其仇，岂不是所存者小，所损者大吗？臣愿陛下颁布宽大之诏，允许高丽改过自新，焚毁凌波之船，罢免应募之众，则臣死且不朽。”

太宗接到表疏，对其儿媳高阳公主说“：此人生命垂危还在为我国事担忧啊！”后来病情加剧，太宗命令凿通苑墙开门以便遣使问候。还亲临其家握手诀别。下诏皇太子前往看望，提升其子遗爱为右卫中将军，遗则为朝散大夫，让他能在生前见到其子通显。不久即逝世，时年七十一岁，赠予太尉、并州都督，谥为文昭，给予班剑、羽葆、鼓吹，赐予其家绢布二千匹、粮食二千斛，陪葬于昭陵。

高宗即位后，下诏配享于太宗庙廷。