尔朱荣占据洛阳，授俨京畿南面都督。永安中，西荆州城遭梁将曹义宗包围，俨应朝廷招募赶赴援助。此时，北育太守宋带剑谋反，俨便勒兵出其不意地直逼城下，大声叫道：“大军来了，太守为什么不出城相迎？”带剑惊慌失措，不知怎么办，就出城迎接，俨马上将他抓捕，此郡就这样被安定下来了。俨又大败梁将马元达、蔡天起、柳白嘉等，累立战功。除强弩将军。与梁将王玄真、董当门等交战，获胜，解除了穰城的包围，克复南阳、新乡。转任积射将军、持节、豫州防城大都督。

尔朱氏败，俨和豫州刺史李恩一道投奔高祖。因勋累迁安东将军、高梁太守，转五城太守、东雍州刺史。沙苑之败，西魏荆州刺史郭鸾统众攻俨，俨抵抗二百多天，昼夜力战，大败鸾军，乘胜追击，又砍下了敌军三百多个首级，并活捉了西魏刺史郭他。这时很多州郡都有反叛事发生，只有俨未遭此难。进号镇南将军。武定三年(545)，率师解除襄州敌军的包围。俨多次出使蠕蠕。俨又从大军进攻玉壁，赐帛七百匹以及衣帽等物。五年，镇守河桥五城。侯景叛乱，俨击打陈郡贼，掳获侯景部将厍狄曷赖以及伪署太守郑道合、兖州刺史王彦夏、行台狄畅等，斩首百余级。随即驻扎项城，又活捉侯景伪署的刺史辛光以及蔡遵和部下二千多人。六年，除谯州刺史，屡立军功，降附极多。七年，又除胶州刺史。

天保初，拜俨开府仪同三司。六年(555)，梁司徒陆法和、仪同宋。。等率其部众拥郢州城内附。此时清河王岳统兵屯驻江边，他集合诸将商议说：“郢州城在江外边，这里民风刚直，必须要有才略俱备、忠勇过人之士，才可治理此郡。”众人齐推慕容俨。岳认为人选合适，便命令俨镇守郢城。刚刚入城，即被梁大都督侯王真、任约带领的水陆军包围。俨迅速组织防御，王真等无可奈何。王真便组织力量，在上游鹦鹉洲之地造荻洪数里，用来堵塞船路。这时消息中断，城池孤悬，人情危惧，俨则以忠义引导，使人心很快安定下来。郢城中早先就有一座神祠，俗称“城隍神”，公私常来祠中祈祷。俨也顺从士卒的心思，让他们分批进祠祈请，希望能得神灵的庇佑。不一会儿，狂风突起，惊涛拍岸，漂断荻洪。任约则再用铁锁连结，防止荻洪被风卷走。俨等人还亲入神祠祈请，此时风更大狼更高，荻洪再次被冲断，这样反复了多次。城内兵民大喜，认为这是神灵的救助。侯王真移军，扎营城北，造栅置营，焚烧坊郭，郢城的产业一下子遭到严重毁坏。任约带领万余士卒，士卒每人持有一种攻城工具，在城南扎下营盘，形成了南北夹击之势。俨便统领步骑出城搏击，很快打破了敌人的营垒，还俘虏了五百多人。由于郢城地势低下，加之土疏和风雨侵蚀，城墙多有损坏，俨认真给以修整，并作了很多大楼。俨又建造船舰，使水陆俱备。萧循又领众五万，与侯王真、任约军汇合，在夜幕掩护下发起进攻。俨与将士猛力抗击，一直坚持到天亮，任约等才退兵。俨大开城门追击，砍掉了侯王真骁将张白石的脑袋，王真要求用千金换回白石的首级，俨不许。夏五月，王真、约等又重新部署，以最大的力量围城。城中食物减少，而且粮运阻隔，人们为了生存，只得烧煮槐楮、桑叶和纟宁根、水萍、葛、艾等草以及皮靴、皮带、角力角等物充饥。有了死人，就马上从尸上割下肉来，用火一烤，便吞下肚去，吃得只剩下了骨头。俨依然动员将士，有奖有罚，共甘同苦，视死如归。从正月开始一直到六月，人们没有丝毫的异心。

后萧方智立为梁帝，遣使向东魏求和。显祖觉得郢城位居江边，防守不太方便，便下诏将城归还梁朝。俨抬头看着文宣帝，极其悲哀。帝喊他走近身来，拉着手，抚弄着俨的须鬓，又脱下他的帽子察看，叹息了好一会儿。对俨说：“观看你的容貌，我好像还不敢相认，古往今来的忠臣烈士，哪有超过你的！”俨回答说：“我依仗陛下的威灵，才算伸张了我的气节，不屈不挠的小子，今日有幸再睹陛下的容颜。即使傍晚死了，也没有什么遗憾的了。”帝又感叹了半天。授赵州刺史，晋爵为公，赏赐帛一千匹，钱十万。

九年，又因讨贼有功，赐帛一百匹、钱十万。十年，诏令拜俨扬州行台，与王贵显、侯子监领兵护送萧庄回梁。筑造郭默、若邪二城。同陈朝的新蔡太守鲁悉达在大蛇洞交战，获胜，并赶跑了鲁悉达。又监视萧庄、王琳的军队，与陈朝大将侯王真、侯安都在芜湖接战，败，返归。皇建初年，别封成阳郡公。天统二年(566)，拜特进。四年十月，又别封猗氏县公，并赏赐金酒锺、银酒锺各一只，胡马一匹。五年四月，晋爵为义安王。武平元年(570)，出任光州刺史。俨年轻时讲义气，多与轻薄之徒来往，还喜好在京洛之间游荡。到跟随大将征战后，常常立下战功，策划处理虽然不是他的长处，但却有将帅的气节。他做过太守、刺史，即便不能清白守道，却不贪婪残暴。卒，赠司徒、尚书令。