自此再也不讨论攻打匈奴的事了。

后来，季布为河东郡守。汉文帝时，有人对文帝说季布有才德，文帝想将他召进京城任御史大夫。又有人说季布很骁勇，但酗酒任性，不宜为亲近大臣。季布到了京城，在客馆留住一个月，被召见后仍遣回原郡。季布因而进言说：“臣在河东惟恐工作得不好而被治罪，陛下无故把臣召进京城，这一定有人妄誉我而欺骗陛下。如今臣来了，陛下又没有给我什么职事，又让我回原郡，这必定有人诋毁我。陛下因一人称赞我就把我召来，又因一人诋毁我就让我回去，我担心天下有识之士听说这件事后会窥察到陛下的深浅。”文帝听了默不作声，惭愧地说：“河东郡是我倚重如股肱的郡，因而特地召见你啊!”季布辞归，回到河东郡守的原任上。

擅长辞令的曹丘生多次求附权势，受人请托，收取委托者的金钱。他侍奉宦官趟谈等人，并和景帝舅宝长君友好。季布知道了，写信规劝宝长君，说：“我听说曹丘生不是诚实敦厚的人，不要与他来往。”后来曹丘生返乡时，想请宝长君写信把他介绍给季布。赏长君说：“季将军不喜欢你，你不要去。”坚持请求得到书信，然后上路。曹丘生派人先将信送去，季布果然十分恼火，等着曹丘生来。曹丘生到后，一面向季布作揖行礼，一面说：“楚地有句谚语‘得到黄金百斤，不如得到季布的承诺，，您怎么会在梁、楚一带获得这样的好名声呢？况且我与您都是楚人，要是让我将您的大名扬于天下，您想不是很好吗？为什么您对我疏远得这么深呢？”季布听了非常高兴，迎入内室，留他住了数月，待如上宾。临别，又备厚礼送他。季布的名声之所以愈来愈大，是曹丘生给他宣扬的结果。

季布的弟弟季心，骁勇为关中之冠。他对人恭敬而谨慎，仗义行侠，方圆数千里的士人抢着要为他效力卖命。曾经因为杀了人，逃到吴国，躲在袁盎家裹。他以兄长礼侍奉袁盎，把灌夫、籍福等人当兄弟。曾任中尉下属的司马之职，中尉郅都不敢不以礼待他。一些年轻人时常盗用他的名义办事。当时，季心以骁勇、季布以重诺言，在关中远近闻名。

季布的异父弟丁公，任项羽的将领，曾追逐汉高祖并使之受困于彭城西面。在短兵相接的厮杀过程中，汉王危急，回头对丁公说：“两个贤能者难道要互相迫害吗？”丁公于是领兵撤回，汉王得以逃遁。项羽灭亡后，丁公去拜见高祖，高祖让人把他带到军营中游行示众，并说：“厂‘公为项羽臣子而不忠，是使项王失去天下的人。”于是将丁公斩首，并且说：　“要使今后做臣子的不要效法丁公!”