于是装病，同朋友中直侍郎河间人邢邵隐居到嵩山。

当庄帝诛杀尔朱荣时，愔从兄侃参预帷幄，朝廷拜愔父津为并州刺史、北道大行台，愔随父到任。邯郸人杨宽，请求跟随在津左右，愔便劝其父亲收纳他。不久孝庄幽崩，愔刚好想回京城去，走到邯郸，路过杨宽的家，却被宽抓住。押解到相州，拜见刺史刘诞，诞认为愔为名家之子，甚是哀怜，交付长史慕容白泽拘禁。之后，派队主巩荣贵护送进京。抵安阳亭，愔对荣贵说：“仆家世代忠臣，忠心魏室，家亡国破，以至于此。虽说是囚虏，还有什么面目去见君、父的仇敌。请让我自缢而死，再将头颅送去，这便是你对我的恩惠。”荣贵被他说服了，两人一同逃亡。愔于是投奔了高昂兄弟。

逃窜民间数年后，恰逢神武抵达信都，愔便向辕门投送名刺。很快得到召见。愔赞颂义举，陈诉家祸，言辞哀壮，涕泪俱下，神武为之动容，马上署为行台郎中。大军南攻邺城，经过杨宽村庄，宽在愔的马前叩头请罪。愔说：“人不知道恩义，大概也是一种常情。我不恨你，你也不必惊恐。”此时未能攻下邺城，神武就请愔作祭天之文，祭文刚焚烧完，城就被占领了。由是转任大行台右丞。此时霸图草创，军国事繁，文檄教令，皆出愔和崔愔之手。因家遭难，愔常自居丧礼，所食只有盐米之类，哀毁瘦弱。神武可怜，经常开导劝慰他。韩陵大战时，愔时常冲锋在前，朋友同僚都觉惊奇，说：“杨氏儒生，一下子成了武士，仁者必勇，实非虚语。”

不久，上书请求辞职归家处理葬事。一门之中，赠太师、太傅、丞相、大将军的两人，太尉、录尚书及中书令的三人，仆射、尚书的五人，刺史、太守的二十多人。追荣之盛，古今未有。当丧柩出门，吉凶仪卫连绵二十多里，赶来送葬的多达万人。这天寒风凛冽，风雪交加，愔却赤脚号哭，见者没有不哀怜他的。很快被征召到晋阳，依然充任原职。

愔从兄幼卿为岐州刺史，因直言忤旨被诛。愔听到这个消息十分悲恸，与此同时，突然发病，迅速派人火速赶往雁门求温泉水治疗。郭秀向来嫉妒他的才能，便写信恐吓说：“高王想把你送到皇上那边去。”，还劝他逃走。愔于是将衣服帽子弃置在水边，佯装投水自尽的样子，改换名姓，自称刘士安，进嵩山，与沙门昙谟征等隐居起来。又潜赴光州，向东入田横岛，以讲诵为业，海边的人们称他为刘先生。太守王元景则暗暗地护佑着他。

神武明白愔还活着，派愔从兄宝猗带着书信慰抚，还遣光州刺史奚思业搜寻查访。愔依礼答报。神武见后十分欢悦，委任他做太原公开府司马，转长史，再授大行台右丞，封华阴县侯，迁给事黄门侍郎，还妻以庶女。又兼散骑常侍，做过聘梁使主。当其往梁，抵愔郂戍时，州内有自家的旧佛寺，便入精庐进行礼拜，看到太傅遗像，悲感恸哭，呕血数升，病发不能赶路，坐车返回邺城。过了很长时间，才以本官兼任尚书吏部郎中。武定末年，因其声名美好，超拜为吏部尚书，加侍中、卫将军，依然是侍学、典选。