，对心腹说：“贼方刚才来，本不是要大举进攻，只是要证实一下叛者所说的情况，很容易迷惑。现在如果有百余人回来，事情就好办了。但人心一害怕，便不能集中。你们赶紧到离此二里外处大叫而来，高叫‘艾塘义人已攻破敌虏，正等着戍军速往，相助逐退’。”船中人听了果然大喜，又争相上岸，崇祖带领他们入据城上，把老弱之人都送到岛上。又令人持着两个火炬登上山头，擂鼓呼叫。虏方参骑以为这边军备甚盛，于是退去。

垣崇祖上启明帝说：“淮北一带的士民，受胡虏所蹂躏，人心向往南方，日夜盼望得到解救。我的父亲、伯父都曾在淮北州郡任职，我们垣氏的门族分布在北方边境一带，老百姓对我们怀有信任，一旦号召起来，就可以成就事功。不过我现在名位还轻，不足以威服众人，我请求朝廷借给我名号，我也好对远近之人发号施令。”明帝便任命他为辅国将军、北琅笽、兰陵南齐书二郡太守。逃亡分子司马从之来袭击郡城，被垣崇祖抓住砍了脑袋。他还多次献计献策，打算克复淮北。

这时虏方声言要寇掠淮南，明帝便向崇祖询问怎么办？崇祖启禀说：“最好是轻兵深入，打他个出其不意，这样进可以建立奇勋，退可以让他们死了这条心。”明帝批准了他的方案。垣崇祖带领数百人深入敌境七百里，占据南城，巩固蒙山，号召郡县。虏方率大军前来攻打，崇祖的别将梁湛母亲被虏方扣着，虏方把梁母绑了来，要梁湛对部下说：“大军已去，我们还留在这有什么用！”于是人心动摇，一下子都逃退了。崇祖对左右说：“今天我们要是全退了，一定都没好结果。”于是留在后头和敌人大战，终于把追兵打得大败而回。朝廷考虑到崇祖长期劳苦有功，封他为下邳县子。

泰豫元年(472)，垣崇祖主管徐州，把防守点改在龙沮(在朐山南)。崇祖上启皇上要求放水进入平地，用来阻挡虏方的马匹，明帝征求刘怀珍的看法，怀珍说可以。崇祖便率将吏堵河水(提高水位以便放水)，不成功。虏主帅对伪彭城镇将平阳公说：“龙沮若是弄成了，简直是我国的耻辱，拼死也要争过来。”于是率数万骑兵包抄上来。垣崇祖的马和槊都陷在战阵中无法对抗，只好退回来筑城自守。正赶上老天下雨一连十多日，敌虏只得退去。不过龙沮最后也没弄成。后来垣崇祖又任盱眙、平阳、东海三郡太守，将军之职仍旧。转任邵陵王南中郎司马，又任东海太守。

当初，垣崇祖在淮阴碰上了太祖(萧道成)，太祖看他很武勇，就待他很友好。崇祖对皇甫肃说：“这个人才真正是我们的君主啊！我今天算是碰上真主了！正是所谓千载一时呀！”于是便暗中表现忠诚。元徽末年，太祖有忧虑，便令崇祖接受指示，把家小托付给皇甫肃，带领数百人将入虏境，等待命令。赶上废除苍梧王，太祖便召崇祖率领部下回京来，授他为游击将军。

沈攸之事件平定后，垣崇祖被任命为持节、督兖、青、冀三州诸军事，先后迁任冠军将军、兖州刺史。太祖做皇帝后，对崇祖说：“我刚刚统治天下，夷虏不懂得天命已经归我，必然会兴师动众，以送刘昶为借口前来扰乱。而贼方的第一个攻击目标必然是寿春。而能够对付他们的，非你莫可。”于是崇祖移任使持节、监豫、司二州诸军事、豫州刺史，将军仍旧。封为望蔡县侯，食邑七百户。

建元二年(480)，虏方派遣伪梁王郁豆眷和刘昶，率骑兵步兵号称二十万人，来寇寿春。垣崇祖召集文武人员商议说：“敌众我寡，只能出奇制胜。应当修筑外城以待敌，城既广阔，没有水便不坚固，现在准备筑堰肥水，然后把城淹成三面之险，诸位认为怎样？”众人说：“当年佛狸入侵，宋南平王士卒充足，由于郭大难守，便退保内城。今天的情形，难度十倍于前。自古以来守此城者之所以不筑肥水之堰，都是考虑到地形不便，积水也没用呀。如果一定要这样，恐怕不会合适的。”崇祖说：“你这是只见其一，不识其二。如果放弃外城，贼方必然占据着，他们可以外修楼橹，内筑长围，而我们四周没有屏障，表里受敌，这等于自己坐等着被擒。因此，守郭筑堰决策已定，不允许任何人谏阻！”于是在城西北立堰堵塞肥水，堰北又筑起小城，周围挖掘深堑，使数千人在那儿守着。崇祖对长史封延伯说：“敌虏心贪而欠考虑，必然全力攻打小城，企图破坏此堰。看到此堑狭城小，便以为可以一战而克，便会像蚂蚁一样围着攻打。我放水一激，水急超过三峡，等他们无处逃奔时，便自然沉溺水里。这岂不是小劳而大利么？”虏众由西道集中在堰南，分军从东路肉搏攻小城。垣崇祖头戴白纱帽，乘肩舆上城，打着手式指挥。到天黑时，便扒开了小史埭。水奔泻而下，敌虏攻城之众，漂附到堑中，淹死数千人，剩下的都退去了。