仁杰等六人得以免死。来俊臣又审讯大将军张虔勖、内侍范云仙。张虔勖不堪受屈，到大理徐有功处上诉，来俊臣派卫士乱刀砍死。范云仙自称曾伺奉先帝，来俊臣命人割掉他的舌头，两人均即毕命，以后人人破胆，没人敢说话。

后来，来俊臣多次收人贿赂，被御史纪履忠揭发检举，下狱判死罪。武后因他以前能侦察各种急变，赦他不死，贬为庶民。长寿年间，又将他召回，任他殿中丞，又因纳贼贬为同州参军事。但他暴虐恣肆不改。逼迫夺取同列参军的妻子，又侮辱其母。不久，又召来俊臣为合宫尉，提拔为洛阳令，又晋升为司仆少卿，赐给司农奴婢十人。来俊臣又因官户中没有美婢，听说西突厥酋长阿史那斛瑟罗有个婢女善歌舞。来俊臣就令其党人告发斛瑟罗将要造反，目的在于夺取那婢女。各蕃的酋长几十人到朝廷自割耳朵划破脸面申诉斛瑟罗之冤，仅得免死。那时，綦连耀、刘思礼等人阴结朝士，图谋不轨。明堂尉吉顼将此事告诉来俊臣，辗转牵连，杀了几十族。事后，来俊臣想独揽检举之功，又罗织吉顼的罪状。吉顼十分恐慌，求见武后，自陈心迹，才得免祸。来俊臣诬陷司刑史樊戬，以谋反罪判死刑，樊戬之子到朝廷申诉，有司没有人敢接治这个案子。以致其子当廷剖腹明志。秋官侍郎刘如王睿同情而流泪，来俊臣就上奏说刘如王睿是樊戬的同党。刘如王睿申诉是因年老有眼疾，所以泪流无法控制。审讯结果论处绞刑。

武后赦他不死，流放汉州。万岁通天年间，上巳节(三月节)，来俊臣与其党羽集聚在龙门，将缙绅的名字一个个贴在石头上，再拿小石头去掷，掷中哪一个就先告哪一个，想掷宰相李昭德却不能掷中。

有人把这事告诉李昭德，李昭德打算将来俊臣的恶行绳之以法，但还未行动。

河东节度使卫遂忠虽然品行不好，但颇有辩才，一向与来俊臣相好。当初太原节度使王庆诜有个很漂亮的女儿，已许配给段简。来俊臣知道该女很美，就假作诏书强娶为己妻。那天，来俊臣正与妻家的亲属宴饮。正喝在兴头上，卫遂忠来了，守门人不肯进去通报，骗他说“出去了”卫遂忠知道是骗自己，直闯入内堂，破口大骂，言语含辱。来俊臣耻于妻子及姻家受辱，命人殴打卫遂忠，并将他反捆起来，事后又放了他。从此两人之间有了仇怨，来俊臣的妻子也因羞惭而自杀。段简有个妾很美，来俊臣派人去暗示，段简很害怕，就把那妾送给了来俊臣。

来俊臣知道群臣不敢对自己怎么样，于是心里产生了狂妄的念头，常常以石勒自比。他准备诬告太子及庐陵王、南北衙通同谋反，好让他独揽朝政。卫遂忠告发了他的阴谋。以前，来俊臣多次告发武家人、太平公主及张昌宗等人的过错，武后都压下不提。这一次可激怒了武家众人，共同揭发来俊臣的罪恶。

最后诏令在西市斩首。死时年四十七岁。人人都抚额相庆，说：“今天才能把背贴着床安心睡觉了。”大家争着去剜他的眼、摘他的肝、剁他的肉以泄愤，一会儿工夫只剩下一副骨头，又用马践踏其骨，尸骸丝毫都没有留存。其家属也均没收入官。