左西属。

王僧虔的哥哥王僧绰，被太初帝刘劬所害，亲戚宾朋都劝王僧虔逃走，王僧虔流着眼泪说：“我的哥哥以忠贞奉侍国家，以慈爱抚养我成人，今天的事，痛苦的是见不着哥哥了。假若能够同归九泉，就好像是羽化登仙啊。”孝武初年，出任武陵太守。他哥哥的儿子王俭在他上任途中患病，王僧虔为他吃不下睡不着。同行的人劝慰他。王僧虔说：“从前马援对待儿子和侄子情无二致，邓攸对他弟弟的儿子更超过亲生的，我怀的那心思，确实没有半点不同于古人。亡兄的血脉，不宜忽视，假若这个孩子不能救治，便当掉转船头辞去职位，不再有出来做官的兴致了。”返朝为中书郎，改任黄门郎，太子中庶子。

孝武帝想独揽书坛声名，王僧虔不敢显露自己善书迹象。大明时代，他常常把字写得很笨拙，因此孝武帝能容纳他。出任豫章王子尚抚军长史，迁散骑常侍，又做新安王子鸾北中郎长史、南柬海太守，行南徐州事，这两位藩王都是皇帝的爱子。

不久，王僧虔遥豫章内史。入朝任侍中，迁御史中丞，领骁骑将单。世家大族向来不做御史台官职，王氏是以分支居住在乌衣巷的，位宫稍减，王僧虔做了御史中丞，就说：“这可是乌衣巷中诸公子安然处之的，我也可以试一下。”复为侍中，领屯骑校尉。泰始年间，出任辅国将军、吴兴太守，秩俸为中二千石。王献之擅长书法，任吴兴郡太守，待到王僧虔工于书法，又作吴兴太守，议论的人称道这件事。

王僧虔被徙为会稽太守，俸禄为中二千石，将军职依旧不变。中书舍人阮佃夫家在会稽，请假束归。幕僚因为阮佃夫受皇帝宠信而劝王僧虔优礼接待。僧虔说：“我立身有素，岂能曲意逢迎这些人。他要觉得不好，就应当拂袖而去。”医{哒向塞旦嘘进谗言，唆使御史中丞莲复弹劾说：“王僧虔前往吴兴任职，错误的政令很多，经检查从王僧虔到任至离职转任，总共用功曹、五宫、主簿至二礼吏署三传及度与弟子，合计四百四十八人。又听由何系先等民一百一十家为旧门。委州检削。”王僧虔因此获罪被免官。