夫中许多人认为玄成是想把爵位避让给哥哥韦弘，才假装狂病。负责调查的丞相史于是写信给玄成，说：“古人辞让，一定要有像样的名义，所以才能流芳传名于后代。现在你衹是一味地破坏自己的容貌，蒙受耻辱，假装狂痴，一点没有光彩，仁义都隐藏起来而不外露。你用来辞让的名义也太卑小了。我向来没什么聪明之处，朝廷还过分重用，让我做了宰相执事，希望能让我听听你用来推托的好名义。不然的话，恐怕你会伤害高尚之行，而我也成了小人。”韦玄成的朋友、侍郎章也向朝廷上书说：　“圣明的君主治理国家，崇尚的是礼让仁义的行为。对玄成朝廷应当优礼相待，不要委屈冤枉了他的好志向，让他自居贫贱而能心安。”而丞相、御史终于因为玄成实在是没病装病，而向朝廷弹劾他。朝廷下诏，不要弹劾玄成，派人叫他来，拜他为官。玄成不得已，接受了官爵。宣帝很欣赏他的节操，让玄成做河南太守。让他的哥哥韦弘做了太山郡都尉，迁为东海太守。

几年后，玄成被朝廷征召为未央宫的卫尉，升迁为太常。因为与原来的平通侯杨惮关系很好，杨惮被杀，他的同党和朋友都被免去官职。后来又因为列侯陪同祭祀孝惠帝庙，应当在早晨入庙，因为天下雨形成了水坑，他们没有坐四马拉的车，而是骑马到了宗庙。主管官员上书弹劾，与韦玄成同辈的几个王侯都因此被削爵为关内侯。玄成因为自己犯错而致使父亲的爵位被削而十分难过，叹息道：“我有什么脸面主持祖庙的祭祀！”写了诗自己责备自己，诗裹说： 光彩荣耀的我们的祖先，自豕韦氏开始封侯，受命称伯，辅佐殷商得以安定。功绩昭著，朝廷赐给礼服车仗；到商朝都城去朝拜，四匹马儿跑的真快。他们的美德昭扬，影响教育了后代；从宗周到汉朝，历代封侯。庄严的楚国王傅我的先辈，辅佐元王和夷王；车马都有常例，他对此十分谨慎敬重。后来的戊王荒淫无道，我的祖先迁到丁 邹地；遣之后五代没有人做官，一直到节侯我的父亲。

我的父亲节侯，美德令名远扬；佐助昭帝、宣帝，从五方面训导他们。年老时他辞官归家，仪容壮美；朝廷的赏赐人员来来往往，许多金银抬到家馆。被封国在扶阳，是在京城的柬面；皇帝常常留在那裹，听取采纳时政的建议谋划。顺顺当当六匹马的缰绳，十分有条理；雄威的仪仗十分整齐，去朝拜天子。天子肃穆庄严，把他当作老师；远近四方的人们，都敬仰我们封国的荣耀。祖先封地的继承，应当是我那英俊的长兄；可我那英俊的长兄，却一再谦让来把仁义表明。多么美啊他的品德，多么响亮他的名声；祖先官爵遗留给我，我于是留在了京城。可是卑小的我呀，却对重大朝会不慎敬；礼服车仗懒散混乱，才被朝廷黜为附庸。