而身穿黑绨，夫人亲自纺绩，家奴七百人，皆有技术做事，内治产业，累积细微财物，因此能增殖产业，富于大将军重发。天子甚尊惧大将军，然而却内亲昼世，对霍光极力隐藏自己的心意。

元康四年春，安世病，上疏归还侯爵，乞求骸骨归故里。天子说：“将军年老生病，朕甚怜悯。虽不能办事，驰骋万里，君为先帝大臣，明晓治乱之道，朕所不及，得以多次询问，为何伤感而上书归还卫将军富平侯印？迫朕忘记故旧，不是我的愿望！愿将军勉强饮食，服医药，专一精神，以便辅养天年。”安世又强起办事，到秋季去世。天子赠印绶，送来轻车甲士，谧号敬侯。赐冢地在杜县束，挖上起冢，建祠堂。子延寿嗣爵位。

延寿已历位九卿，嗣侯位之后，封国在陈留，别邑在魏郡，租税收入每年千余万。延寿自以身无功德，怎么能久居尢人大国，多次上书请减户邑，又用弟弟阳都侯彭祖之口陈述至诚之心。天子以为有谦让之德，便徙封平原郡，合并为一国，户VI如故，而租税减半。去世后，谧号爱侯。子张勃嗣，为散骑谏大夫。

元帝初即位，诏令列侯举茂材，张勃举太官献丞陈汤。陈汤有罪，张勃受牵连削户二百，正遇去世，故谧号缪侯。后陈汤立功西域，世人称颂张勃知人。子张临继嗣。

张临亦谦虚俭朴，每次登阁殿，常叹道：“桑、霍为我戒，岂不教训很深！”快死时，将财产分别送给宗族故旧，薄葬不起坟。张临娶敬武公主。去世后，子张放嗣位。

鸿嘉年间，皇上想遵武帝旧制，与近臣游宴，张放因是公主之子人又聪明受到宠爱。张放娶皇后弟平恩侯许嘉之女，皇上为张放筹办，赐甲第住宅，增乘舆服饰，号称天子娶妇，皇后嫁女。皇帝、皇后派来的官员均供给宅第使用，两宫使者车马不绝，赏赐以千万数。张放任侍中中郎将，监平乐屯兵，设幕府，礼仪与将军相同。与皇上起卧，倍受宠爱，时常跟随便衣出游，北至甘泉，南至长杨、五榨，斗鶸走马长安城中，达敷年之久。

当时皇上诸舅皆恨张放受宠，告诉太后。太后以皇上年少，行为不加节制，便严厉责备张放。当时多有灾异，人们都归咎于张放等人。于是丞相薛宣、御史大夫翟方进上奏：“张放骄纵不拘，奢淫不加节制。前侍御史修等四人奉命到张放家捕贼，当时张放在场，从奴闭门设兵弩射捕吏，拒绝使者入内。知男子李游君欲献女，派乐府音监景武强求不得，张放便派家奴康等到李游君家，残伤三人。又因官府事怨恨乐府游徼莽，派大奴骏等四十余人群党持兵弩，白天闯入乐府攻射官署，捆绑长吏子弟，打破器物，宫中人皆奔走藏匿。莽自戴刑具，穿上囚犯穿的赭衣，还有守令史调等人都赤脚叩头向张放谢罪，张放才停止。从奴下属乘权势行暴虐，强夺官吏妻子不成，便杀其夫，有时因恨一人，便妄杀人家的亲属，立即逃入张放家，捕捉不到，侥幸未被惩治。张放行为轻薄，连犯大罪，有动摇阴阳之罪责，为臣不忠以张放为首，罪名虽显著，以前还蒙受皇恩。骄逸违理，与背叛无异，臣子的罪恶，莫大于此，他不再适合担任宿卫要职。臣请罢免张放归封国，消除种种罪恶的发生，以便满足海内民心。”

皇上不得已，贬张放为北地都尉。数月，又征召入侍中。太后因为张放又出面说话，调张放为天水属国都尉。永始、元延年间，连年日食，因此很久不召回张放，皇上便下诏书慰劳不绝。过了一年多，征召张放归家视母公主疾病。数月，皇上有病初愈，调张放为河东都尉。皇上虽爱张放，然而迫于太后，又听用大臣，因此常常为遣送张放而流泪。后又征召张放为侍中光禄大夫，秩中二千石。一年多，丞相方进又论奏张放，皇上不得已，罢免张放，赐钱五百万，遣送就国。数月，成帝驾崩，张放也因思慕哭泣而死。

当初，安世长子千秋与霍光子霍禹都为中郎将，率兵随度辽将军范明友击乌桓。还，拜谒大将军霍光，问千秋战斗方略，山川形势，千秋随El回答战事，在地上画成地图，没有遗漏。霍光再问霍禹，霍禹不能记，说：　“全有文书记录。”霍光从此认为千秋有才能，以霍禹为无能，叹着气说：“霍氏家世要衰败，张氏要兴旺了！”到霍禹诛灭，而安世子孙相继兴起，从宣帝、元帝以来任侍中、中常侍、诸曹散骑、列校尉的十余人。功臣之世，衹有金氏、张氏，亲近宠贵，可与外戚相比。