帝才打消了统兵亲征的念头。于是文帝任命东阳侯张相如为大将军，成侯董赤、内史栾布为将军，迎击匈奴。匈奴单于在汉塞之内活动了一个多月，才撤退出塞。汉军把匈奴驱逐出边塞之外，就撤兵回境，未能对匈奴有所杀伤。

文帝乘辇车经过中郎的官府，问郎署长冯唐说：“您老人家原籍是何处？”冯唐回答说：“我的祖父是赵国人，父亲迁居代国。”文帝说：“我在代国时，我的尚食监高祛多次对我称赞当年赵国将军李齐的贤能，讲述他与秦兵大战于钜鹿城下的事情。现在，我每次吃饭，心思没有不在钜鹿的时候。老人家您知道吗？”冯唐回答说：“李齐还不如廉颇、李牧为将带兵的本领大。”文帝拍着大腿说：“唉！我偏偏得不到谦颇、李牧那样的人做将军！有了这样的将军，我难道还担忧匈奴的入侵吗！”冯唐说：“陛下即使得到了廉颇、李牧也不能任用他们。”

文帝大怒，起身返回宫中，过了许久，召见冯唐，责备说：“您为什么要当众侮辱我，难道没有适当的机会吗！”冯唐谢罪说：“我是个乡鄙之人，不懂得忌讳。”文帝正在担忧匈奴的入侵问题，于是终于再问冯唐说：“您怎么知道我不能任用廉颇和李牧呢？”冯唐回答说：“我听说上古明君派遣将军出征时，跪着推将军的车辆前行，而且说：‘国门之内的事，由我来决定；国门以外的事情，请将军裁决。’一切军功、封爵、奖赏的事都由将军在外面决定，回国后再奏报君主。这并不是虚假的传言。我的祖父说：李牧为赵国将军，驻守边境时，把从军中交易市场上收得的税收，都自行用于犒劳将士；赏赐都由将军在外决定，不必向朝廷请示批准。对他委以重任而责令成功，所以李牧才能充分发挥他的聪明才干；他率领着精选出来的一千三百辆战车、一万三千名善于骑射的骑兵，十万训练有素的将士，所以能够在北方驱逐匈奴，击败东胡，消灭澹林，在西方抑制了强大的秦国，在南方抵御了韩国和魏国；在那个时候，赵国几乎成为一个霸主之国。后来，恰 逢赵王赵迁继位，他听信郭开的谗言，终于诛杀李牧，命令颜聚代替李牧而统兵；正因为如此，赵国军队溃败，将士逃散，被秦军消灭。现在我私下听说魏尚担任云中郡郡守时，把军中交易市场所得的税收全都用来犒劳士卒，还用自已的官俸钱，每五天宰杀一头牛，自已宴请宾客、军吏和幕僚属官，因此，匈奴远避，不敢接近云中边塞。匈奴曾经入侵云中郡一次，魏尚率领车骑部队出击，杀了很多匈奴人。那些士兵都是平民百姓的子弟，从田间出来参军从征，怎能知道‘尺籍’‘伍符’之类的军令军规！整日拼死战斗，斩敌首级，捕获俘虏，在向幕府呈报战果军功时，只要一个字有出入，那些舞文弄墨的官员，就引用军法来惩治他们，他们应得到的赏赐就被取消了；而那些官吏所奉行的法令却必须执行。我认为陛下的赏赐太轻，而惩罚却太重。而且云中郡守魏尚因为上报斩杀敌军首级的数量差了六个，陛下就把他交给官吏治罪，削去他的爵位，判罚他做一年的刑徒。由此说来，陛下即使得到廉颇、李牧，也不能任用啊！”文帝高兴地接受了冯唐的批评。当天，就令冯唐持皇帝信节去赦免魏尚，重新任命魏尚做云中郡守，并任命冯唐为车骑都尉。

春季，文帝诏令扩大祭祀的场所，增加祭祀所用的玉和币帛，并且说：“朕听说祠官在祭祀的祈福祷告中，都将福归于朕个人，而没有为百姓祈福，朕对此很感惭愧。以朕这样的失德之人，独享神灵的福荫，而百姓们却不能分享，这是加重朕的过失。此后祠官在祭祀祷告时，不要再为朕个人祈祷祝福！”

这一年，河间王刘辟强去世。

当初，丞相张苍认为汉朝得“五行”中的水德。鲁国人公孙臣认为汉朝当属土德，与土德相应，应该出现黄龙；张苍认为公孙臣说的不对，不采纳崐他的观点。

前十五年（丙子，公元前165年）

春季，成纪县出现了黄龙。文帝召见公孙臣，任命他为博士，与其他学者论证汉得土德的观点，草拟改换历法和改变服色的方案。张苍从此自动黜退。

夏季，四月，文帝第一次亲自前往雍地，对五帝庙行郊祭之礼，并且宣布大赦天下。

九月，文帝下诏，令诸侯王、公卿、郡守举荐贤良、能直言极谏的人，皇帝亲自策问考试。太子家令晁错的对策为高等，文帝提升他为中大夫。晁错又上书文帝，谈论应该削减诸侯王的实力以及应该改的法令，上书共计三十篇。文帝虽然没有完全采用他的意见，却对他的才能另眼相看。

这一年，齐王刘则、河间王刘福去世，都无子，封国被废除。

赵国人新垣平自称善于“望气”，得以进见文帝。他说长安东北有神，结成五彩之气。于是文帝下令在渭阳修建五帝庙。

前十六年（丁丑，公元前164年)

夏季，四月，文帝在渭阳五帝庙郊祭五帝。这时，文帝宠贵新垣平，封为上大夫，赏赐黄金累计一千斤；文帝还让博士、诸生杂采《六经》中的记载，汇集成《王制》，谋划议论巡狩、封禅等事。又在长门亭的道北设立了五帝坛。