人首级的规定，被封为乐安侯。元狩二年（前121）间，代公孙弘任丞相。李蔡的才干在下等之中，声名比李广差得很远，然而李广得不到封爵和封地，官位没超过九卿，可是李蔡却被封为列侯，官位达到三公。李广属下的军官和士兵们，也有人得到了侯爵之封。李广曾和星象家王朔私下闲谈说：“自从汉朝攻打匈奴以来，我没有一次不参加。可是各部队校尉以下的军官，才能还不如中等人，然而由于攻打匈奴有军功被封侯的有几十人。我李广不算比别人差，但是没有一点功劳用来得到封地，这是什么原因呢？难道是我的骨相就不该封侯吗？还是本来就命该如此呢？”王朔说：“将军自己回想一下，难道曾经有过值得悔恨的事吗？”李广说：“我曾当过陇西太守，羌人有一次反叛，我诱骗他们投降，投降的有八百多人，我用欺诈手段在同一天把他们都杀了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了，这也就是将军不能封侯的原因。”

又过了两年，大将军卫青、骠骑将军霍去病率军大举出征匈奴，李广几次亲自请求随行。天子认为他已年老，没有答应；好久才准许他前去，让他任前将军。这一年是元狩四年（前119）。

李广不久随大将军卫青出征匈奴，出边塞以后，卫青捉到敌兵，知道了单于住的地方，就自己带领精兵去追逐单于，而命令李广和右将军的队伍合并，从东路出击。东路有些迂回绕远，而且大军走在水草缺少的地方，势必不能并队行进。李广就亲自请求说：“我的职务是前将军，如今大将军却命令我改从东路出兵，况且我从少年时就与匈奴作战，到今天才得到一次与单于对敌的机会，我愿做前锋，先和单于决一死战。”大将军卫青曾暗中受到皇上的警告，认为李广年老，命运不好，不要让他与单于对敌，恐怕不能实现俘获单于的愿望。那时公孙敖刚刚丢掉了侯爵，任中将军，随从大将军出征，大将军也想让公孙敖跟自己一起与单于对敌，故意把前将军李广调开。李广当时也知道内情，所以坚决要求大将军收回调令。大将军不答应他的请求，命令长史写文书发到李广的幕府，并对他说：“赶快到右将军部队中去，照文书上写的办。”李广不向大将军告辞就起程了，心中非常恼怒地前往军部，领兵与右将军赵食（ｙì，义）其（ｊī，基）合兵后从东路出发。军队没有向导，有时迷失道路，结果落在大将军之后。大将军与单于交战，单于逃跑了，卫青没有战果只好回兵。大将军向南行渡过沙漠，遇到了前将军和右将军。李广谒见大将军之后，回到自己军中。大将军派长史带着干粮和酒送给李广，顺便向李广和赵食其询问迷失道路的情况，卫青要给天子上书报告详细的军情。李广没有回答。大将军派长史急切责令李广幕府的人员前去受审对质。李广说：“校尉们没有罪，是我自己迷失道路，我现在亲自到大将军幕府去受审对质。”

到了大将军幕府，李广对他的部下说：“我从少年起与匈奴打过大小七十多仗，如今有幸跟随大将军出征同单于军队交战，可是大将军又调我的部队去走迂回绕远的路，偏又迷失道路，难道不是天意吗！况且我已六十多岁了，毕竟不能再受那些刀笔吏的侮辱。”于是就拔刀自刎了。李广军中的所有将士都为之痛哭。百姓听到这个消息，不论认识的不认识的，也不论老的少的都为李广落泪。右将军赵食其单独被交给执法官吏，应判为死罪，用财物赎罪，降为平民。

李广有三个儿子，名叫当户、椒、敢，都任郎官。一次天子和弄臣韩嫣戏耍，韩嫣有点放肆的举动，李当户去打韩嫣，韩嫣逃跑了，于是天子认为当户很勇敢。当户死得早，李椒被封为代郡太守，二人都比李广先死。当户有遗腹子名李陵。李广死在军中的时候，李敢正跟随骠骑将军霍去病。李广死后第二年，李蔡以丞相之位侵占景帝陵园前大道两旁的空地，因而获罪，应送交法吏查办，李蔡不愿受审对质，也自杀了，他的封国被废除。李敢以校尉官职随从骠骑将军出击匈奴左贤王，奋力作战，夺得左贤王的战鼓和军旗，斩杀很多敌人首级，因而赐封了关内侯的爵位，封给食邑二百户，接替李广任郎中令。不久，李敢怨恨大将军卫青使他父亲饮恨而死，就打伤了大将军，大将军把这件事隐瞒下来，没有张扬。又过了不久，李敢随从皇上去雍县，到甘泉宫打猎。骠骑将军霍去病和卫青有亲戚关系，就把李敢射死了。霍去病当时正在显贵并且受宠，皇上就隐瞒真相，说李敢是被鹿撞死的。又过一年多，霍去病死了。李敢有个女儿是太子的侍妾，很受宠爱，李敢的儿子李禹也受太子宠爱，但他贪财好利，李氏家族日渐败落衰微了。