久以后，天子下诏说：　“右将军光禄勋安世辅政宿卫，肃敬不怠，十三年以来，平安无事。亲近亲人任用贤士，是尧、舜治国之道。封安世为富平侯。”

第二年，昭帝驾崩，未葬，大将军霍光告诉太后，调任安世为车骑将军，一同征立昌邑王。王行淫乱，霍光又与安世策划废王，尊立宣帝。宣帝初立，褒奖大臣，下韶说：“奖有德，赏有功，是古今的通义。车骑将军光禄勋富平侯安世，宿卫忠正，宣扬皇帝恩德，勤劳国事，恪守本职，遵守道义，维护宗庙，加封一万零六百户，功劳次于大将军霍光。”安世之子千秋、延寿、彭祖，都是中郎将侍中。

大将军霍光去世后数月，御史大夫魏相L密封奏书说：“圣王奖有德以招徕四方，显扬有功以劝导百官，因此朝廷得以尊荣，天下归服。国家承继祖宗之业，掌握诸侯的存亡，新失大将军，应宣扬圣德以昭示天下，表彰功臣以镇抚藩国。不要空悬大位，以免争权，这是安定社稷杜绝政争于未萌。车骑将军安世侍奉孝武帝三十余年，忠信谨慎，勤劳政事，日夜不怠，与大将军共定策，天下受其福，是国家的重臣，应尊其位，任为大将军，不要兼光禄勋事，使其专一精神，忧念天下，思考得失。安世之子延寿稳重厚道，可以任光禄勋，兼领宿卫职务。”皇上也想用安世父子。安世听说，惧不敢当，抽空求见，摘冠叩头说：　“老臣妄自听说，事未执行而事先来说，我不先说明情况就不好办，实在是自量不足以居重要官位，继大将军后。希望天子裁定，以保全老臣性命。”皇上笑着说：“君言过谦。君要是不可以，还有谁可以！”安世坚辞而皇上不答应。数日后，还是拜为大司马车骑将军，兼领尚书事。数月，罢车骑将军屯兵，改为卫将军，两宫卫尉，城门、北军兵隶属安世。

当时霍光之子霍禹为右将军，皇上也任霍禹为大司马，撤去右将军屯兵，用官号虚尊加之，而实夺其兵权。一年多后，霍禹谋反，减宗族，安世一向小心畏忌，已很内忧。其孙女张敬为霍氏外亲族之妇，应当连坐被诛，安世瘦弱憔悴已形于色。皇上很奇怪而怜惜，便问左右，于是赦免了张敬，以安慰其心。安世更加恐惧。掌管国家政权，以谨慎周密著称，外内无漏洞。每定大政，已决定，立即称病移居，听到诏令，便吃惊，派人到丞相府询问。朝廷大臣不知安世参与预谋。

安世曾经推荐官员任职，其人来谢，安世很后悔，认为举贤达能，岂有私谢之理？便与此人断绝来往。有一郎官自言功高不升职，安世说：“君之功高，明主所知。人臣供职，哪裹能自言长短！”拒绝提升他。可是不久这个郎官却升迁。幕府长史调任他职，辞官时安世向他征求自己有何过失。长史说：“将军为明主股肱，而士无升进，人们都讽刺你。”安世说：“明主在上，贤与不肖分得清楚，臣子们自修而已，怎么会了解士人而进行推荐？”他想匿名迹远权势就是如此。

任光禄勋时，有郎醉酒小便于殿上，主事报告按法处理，安世说：“怎么知道不是反水浆造成的呢？怎么能拿小过来治罪！”郎官奸淫官婢，婢兄自己说出，安世说：　“奴仆发怒，诬蠛士大夫。”让官署责备奴仆。他隐人过失，都是这类情况。