他们中的谗言和对您的阿谀顺情之话，必然要有大祸发生。希望化祸为福，把昌邑旧人都放逐出京，为臣我要第一个被放逐回家。”刘贺不采纳他的话，终于被废黜。

大将军霍光改尊立汉武帝的曾孙，造就是汉宣帝。宣帝即位后，心中疑忌刘贺，元康二年派使者赐予山阳太守张敞的加玺御旨说：“诏令山阳太守：要谨慎防备盗贼，监察往来过。然而此令不可下传外露！”张敞从此就向朝廷列条奏报刘贺活动起居的情况，着明刘贺被废之后的反应或表现。奏报说：“臣下张敞于地节三年五月到任治事，前昌邑王住在以前的王宫内，宫内有奴婢一百八十三人，大门紧闭，衹开小门，选派一名廉洁的官吏出来领钱物买东西，每天早晨采进食物，食物之外的物品不得随便进出。督察盗贼的一人专管巡逻，监察往来出入之人。用前昌邑王家的钱雇用士卒，防护宫垣清静院庭，防备盗贼。我多次派丞吏去察看。四年九月的一天，为臣我进王宫视察其生活状况，看见前昌邑王年约二十六七岁，人长得面容青黑色，小眼睛，鼻头尖而低，须眉稀少，身材高大，患痿痹偏瘫之症，行走不便。上身穿短衣，下身穿大裤子，头戴惠文冠，身佩玉环，头上插着笔，手中拿着木牍，前来拜见。臣下我与他坐在中厅谈话，察看他的妻子奴婢。我想触动他一下以便从中观察他的心情，就用人所厌恶的鸟来刺激他。我说：‘昌邑枭乌多。’前昌邑王应声说：　‘对。从前我西入长安，一只也没见过。回来的时候，往东走到济阳，才又听到枭的叫声。，我察看到他的子女持辔，他跪下说：　‘持辔的母亲是严长孙的女儿。’我原来就知道执金吾严延年字长孙，有一个女儿名叫罗鲋，是前昌邑王的前妻。我观察前昌邑王的衣冠服饰言谈话语跪坐起行，显得痴呆发傻。他有妻妾十六人，共二十二个子女，其中十一个儿子，十一个女儿。现在臣下我冒死罪奏上前昌邑王的名册以及有关奴婢与财产状况的账簿。我前次书奏提到：　‘昌邑哀王的歌舞伎女张修等十人，没有生子女，又不是王的姬妾，是良家子女，没有入官籍，哀王已去世，应当把她们放归本家。太傅豹等人擅自留下，让她们做了哀王园中的宫人，这是不合乎法规的，奏请放她们回家。’前王知道这件事之后则说：‘让这些宫人看守园子，得病的不给治病，相互斗殴杀伤不法办制裁，就是让她们快点死，太守为什么要放她们回家呢？’他真是天性喜好乱亡，始终像这样没有仁义之心。后来丞相御史把我的上书呈给陛下，准奏可行。才把这些人全部放归遣散。”汉宣帝从此知道刘贺不足为虑。

转年春天，就颁下诏书说：　“听说象有罪，舜还是封了他，骨肉之亲，分而不断。今封前昌邑王刘贺为海昏侯，食邑四千户。”侍中卫尉金安上上书说：“刘贺是上天弃置之人，陛下极为仁慈，又封他为列侯。刘贺既是愚钝凶顽废弃之人，就不应参加祭祀宗庙朝见天子的礼仪。”准奏可行。于是刘贺被送到封地豫章。

过了几年，扬州刺史柯弹奏刘贺与前太守的卒史孙万世结交往来，孙万世间刘贺：“先前被废黜时，为什么不坚决守住不出宫，并斩掉大将军，却反而听任人家把玉玺夺了去呢？”刘贺说：“你说得对，我是错了。”孙万世又认为刘贺将被封为豫章王，不会长期为列侯。刘贺说：　“是快这样了，但不应该说出来。”有关官员调查属实，奏请逮捕刘贺。皇帝下令说：　“削去食邑三千户。”此后刘贺薨逝。

豫章太守廖上奏说：“舜把象封在有鼻，象死之后就没再为他立后，认为暴戾昏乱之人不应该做封国之始祖。海昏侯刘贺死后，上报官府的继承人是他的儿子刘充国；刘充国死了，又上报其弟刘奉亲；刘奉亲也死了，这是老天断绝他的后嗣啊！陛下圣明仁慈，对刘贺恩惠甚厚，就是舜对于象也不过如此。应该遵照礼制结束刘贺的爵封，以遵行天帝之意。请求下交有关官员商议。”商议结果都认为不应为塑堕立嗣，封国废除。