母亲臧氏，曾经梦见五色彩云化为凤鸟，停在自己的左肩上，后来便生下徐陵。当他几岁时，家里人带他去问候僧人释宝志，释宝志抚摸着他的头顶说：“这是天上的石麒麟啊！”光宝寺的慧云法师总是感叹于徐陵的早熟，称他为颜回。八岁时他能写诗文，十三岁便通晓《庄子》、《老子》的本义。长大以后，博览各种文籍，性情豪放而有口才。他父亲徐扌离任晋安王谘议，晋安王又召徐陵参与宁蛮府军事。晋安王被立为皇太子后，在东宫设置学士，徐陵也是其中之一。又迁任尚书度支郎。

后徐陵出任上虞县令。御史中丞刘孝仪原先和徐陵有仇隙，他听人传说徐陵在县里贪污和收受贿赂，便弹劾他，于是坐罪免职。过了很久，又被任命为通直散骑侍郎。梁简文帝在东宫时，撰写了《长春殿义记》，让徐陵写序。又让徐陵到少傅府撰写自己所主持的《庄子义》一书。

太清二年(548)，徐陵兼任通直散骑常侍出使魏国，魏人在馆内设宴请客。当天极热，魏国主客魏收开玩笑地对徐陵说：“今天这样热，肯定是徐常侍带来的。”徐陵随即回答说：“以前王肃来到这里，开始给魏国制定礼仪；今天我来聘问，让你们又知道冷热了！”魏收听后，大感羞愧。当时齐文襄帝还担任宰相，他认为魏收失言，便将他关闭了一整天。

当侯景入侵时，徐陵的父亲徐扌离早就在围城之内，他收不到父亲的家信，便只吃素食，穿粗布衣服，就像服丧一样。这时，正值魏国禅让于齐，梁元帝在江陵承制，又派徐陵为使者和齐国通问。徐陵到齐以后，多次请求回南朝复命，但齐国却一直拘留他不让回去。于是，他写了一封信给仆射杨遵彦，但也没有接到回复。当西魏讨平江陵之后，齐国送贞阳侯萧渊明继承梁国国君之位，这才派徐陵随他回梁。太尉王僧辩起初在边境上拦阻不肯接纳，萧渊明反复写信，都是由徐陵撰文。当萧渊明入梁之后，王僧辩得到徐陵，大为高兴。任命他当了尚书吏部郎，兼撰写诏诰之职。当年，陈武帝杀了王僧辩，又进讨韦载，而任约、徐嗣徽乘虚而入，攻打石头城。徐陵感激王僧辩以前对自己的知遇之恩，便跑去投靠任约。任约被讨平之后，陈武帝把徐陵放了，并不问罪，而任命他为尚书左丞。

绍泰二年(556)，又派他出使齐国。回来之后，又任命他为给事黄门侍郎、秘书监。陈朝接受梁禅位后，又加封他为散骑常侍。天嘉四年(563)，担任了五兵尚书，兼领大著作。六年，被任命为散骑常侍、御史中丞。当时，安成王陈顼任司空，他身为皇帝的亲弟，地位尊贵，权倾于朝野。直兵鲍僧睿借着安成王的威风，阻止别人告状，大臣们没人敢说话，徐陵却出来弹劾他。陈文帝见徐陵服饰、奏章十分端整严肃，一副凛然不可侵犯的样子，不禁为之收容而正坐。徐陵进读奏章时，安成王正在殿上侍立，他仰视文帝，汗流浃背，面容失色。徐陵派殿中郎送安成王下殿。从此以后，朝廷上下肃然。

又改任吏部尚书，兼领大著作。徐陵认为从梁朝末年以来，选举任用官员大多失去其原来的规矩，于是制定了有关原则制度，全面审核每人的名实是否相符，有冒进求官的，到处奔走钻营的，他便写信公开告诉他们说：“永定年间(557～559)，圣朝草创之初，干戈未曾平息，尚无条令秩序。府库空虚，赏赐空乏，白银难得，委任书易办。权且以官阶代替钱财绢帛，本义在于安抚接纳，不计官员多少。致使员外郎、常侍之官，在路上比肩摩踵；谘议、参军之属，市内人员无数，这岂是朝廷典章所应如此？如今衣冠礼乐制度，日加完备，年有增益，怎能仍按旧例，作非理之望？所见诸君多已职务超越本分，仍说大受委屈，未能满足更高的愿望。如有人问梁朝的朱异也担任卿相，这难道不是超过其本分吗？这是由皇帝亲自拔擢起来的，和选官的程序无关。梁武帝说：‘世上的人都说有不同眼色，我就特别看不上范悌。’宋文帝也说：‘人怎么会没有运气，每当有好官位时，我就想起羊玄保。’这类清高又显贵的职务，不是从选任而来的。我既身居选职，请诸贤深明我的心意。”于是众人都感到信服了。当时的议论将他比为毛王介。

当宣帝入朝辅政时，策划废黜那些有贰心的人，他让徐陵一起参与计谋。宣帝即位后，封徐陵为建昌县侯。太建年间(569～582)，准备让徐陵担任尚书左仆射，他上表反对并推荐周弘正、王劢等人。皇帝召他进入内殿，问他：“你为什么坚决推辞而另外推荐别人呢？”徐陵说：“周弘正原是您任藩王时的长史，王劢是太平年间(566～567)的宰相府长史，张种是皇上本乡的贤人贵戚，如果要选拔贤人旧臣，我理应居于后面。”他坚决推辞了几天，才奉旨任职。

当朝议准备北伐时，宣帝让朝臣举荐元帅人选。众人都认为淳于量合适，独有徐陵说：“不见得。吴明彻家在淮北，很熟悉当地风俗民情，是位有谋略的将才，当今没有人能超过他。”于是争论了几天仍不能作出决定。都官尚书裴忌说：“我赞同徐仆射的意见。”徐陵随即说：“不仅吴明彻是良将，裴忌也是很好的副帅。”当天便下诏任命吴明彻为大都督，任命裴忌任监军事，于是攻克了淮南的几十州土地。宣帝便设酒庆贺，举杯给徐陵说：“赏给你知人的功劳。”