伯玉占卜。荀伯玉说不能成行，而高帝终于恢复了本来的职务。由此他很受亲待。高帝原来有个旧吏东莞人竺景秀曾因过错被囚禁在作部，高帝对荀伯玉说：“您近来看过竺景秀没有？”回答说：“多次前去看他，对他备加责斥，他说‘如果允许我自新，一定要吞刀刮肠，饮灰洗胃’。”高帝很满意他的答话，便把竺景秀放了，后来终于成为忠信之士。

后来他跟随高帝回京，被任命为奉朝请。高帝让他主持家事。武帝免去了广兴的职务回京，建了一座别宅，派人从大宅中去掘几棵树，荀伯玉不给，驰马报告了高帝。高帝很称赞他。

高帝做了南兖州刺史，荀伯玉随从转为镇军中兵参军，兼广陵令。起初，高帝在淮阴，荀伯玉请假回到广陵，梦中登上了广陵城的南楼，上面有两个青衣小童告诉荀伯玉说：“草中肃，九五相追逐。”荀伯玉看城下人头都有草。泰始七年(471)，又梦见高帝乘船在广陵北面的小洲，两腋下面有翅膀而不能舒展。荀伯玉问怎么才能舒展，高帝说：“推后三年。”荀伯玉在梦中自称是咒师，共六次唾咒他，有六条龙出来，两腋下的翅膀都舒展开了，又都合上。元徽二年(474)，高帝攻破了桂阳，威名大震，五年而废掉了苍梧王，他对荀伯玉说：“您的梦现在就要生效了。”

升明初年，他仍然担任高帝的骠骑中兵参军，兼济阳太守。霸业建立以后，荀伯玉忠诚尽心，常常在身边警卫，加任他为前将军，大受信任。齐朝建元元年(479)，被封为南丰县子，担任豫章王司空咨议，太守职务依旧。

当时武帝在东宫，自以为年长，与高帝同创大业，朝廷的事情不论大小，全部专断，有很多都违背制度。身边人张景真被他偏狭地信任，又非常奢侈。武帝拜陵回来，张景真穿着白衣服乘坐着彩绘的小舟，坐在胡床上。观看的人都怀疑是太子，内外都很害怕，没有人敢说话。骁骑将军陈胤叔事先已经陈述了张景真和太子前后的得失，荀伯玉趁着武帝拜陵之后，秘密启奏，皇上大怒。豫章王萧嶷平素就受到宠幸，正因为武帝是长嫡子，又南郡王兄弟并列，所以以武帝为太子，到现在有了改换的意思。武帝东还，派文惠太子、闻喜公萧子良宣读敕令进行诘责，并且把张景真的罪状给他看，让他用太子的命令把张景真抓起来杀掉。陈胤叔于是告诉武帝，都说是荀伯玉告诉皇上的。武帝担忧恐惧，称病一月有余。皇上的怒气不消，白天躺在太阳殿，王敬则直接进入叩头，启请前往东宫以安慰太子。高帝没有说话，王敬则于是大声宣读圣旨前往东宫，命令人们进行装束。又敕令太官设下肴馔，秘密派人报告了武帝，让他奉迎。于是呼左右的人找好车子，高帝一点也没有行动的意思。王敬则找衣服让高帝穿上，便拉着他坐上车子。于是便去了东宫，召见诸王宴饮，接着游了玄圃园。长沙王萧晃抓住了华盖，临川王萧映手拿着雉尾扇，闻喜公萧子良拿着酒枪，南郡王行酒，武帝与豫章王萧嶷以及王敬则自己捧着肴馔。高帝大饮一通，赐给武帝以下的人喝酒，都大醉尽欢，傍晚才离开。这天如果没有王敬则，则东宫差不多就要被废除了。

高帝很看重荀伯玉的尽心，越发受到信任，让他掌管军国秘密大事，权力超过了朝中大员。每次暂时休假，车马盈门。他曾经遭到母亲的丧事，穿上丧服的那天，左率萧景先、侍中王晏同车前往吊唁。五更的时候便乘上了有车衣遮盖的巾车，离荀伯玉的宅院还有大约二里地，王侯朝士已经站满了巷子，到了打鼓结束的时候还没有走到跟前，司徒褚彦回、卫军王俭都从后方陆续走到了前面，又倚在厅堂里呆了好久。宫中下诏派中书舍人徐希秀断哭止客，过了好久才得以吊唁。等出来以后，二人又饥又乏，气息细弱，切齿愤恨流于外表。第二天入宫，便说：“我们所见的二宫门和斋门跟荀伯玉家相比，正可以张罗捕雀。”接着又说：“外面议论说，千敕万令，不如荀公一命。”