斥退，以惩处不法分子。令梁冀等人深切考虑得贤人的好处，失去人才的不幸。又尸位素餐，不干事，尚书怠职，官吏依违两可，唯唯否否，也不纠察，因此使皇上专门听了一些谄谀的话，连窗户以外的事情，也听不到。我真的知道阿谀谄媚会得到好处，讲老实话会惹祸，但是，我难道敢于昧着良心以逃避诛责吗？我生长边远地方，很少到京师来，诚惶诚恐，没有把我的心里的话都说出来。”梁冀恨皇甫规讽刺了他，以皇甫规为下第，命他为郎中。

皇甫规托疾免官回家。州郡秉承梁冀的旨意，好几次几乎把他陷害致死。皇甫规用《诗》、《易》教授学生三百多人，共十四年。后来梁冀被杀，一月之内，朝廷五次以礼征召他，都不应。这时，太山贼叔孙无忌侵扰郡县，中郎将宗资征讨，没有成功。公车特征召皇甫规，任为太山太守。皇甫规到任，开展了各种征讨方略，寇贼全部平定。

延熹四年(161)秋，叛羌零吾等与先零羌别种侵扰掳掠关中，护羌校尉段赹获罪被召。后先零诸种猖獗，覆没营坞。皇甫规平常熟悉羌事，有志奋发效力，于是上疏说“：我自从委任以来，志虑愚钝，实赖兖州刺史牵颢清廉勇猛，中郎将宗资的信义，得以秉承节度，幸亏没有什么不好的名声。现在狡猾的羌贼已经扑灭，太山贼也大都平定了，又听说诸羌群起反叛。我生长。。岐，现年五十九岁，从前作郡吏，经过诸羌几次叛乱，事先筹划，常有说对了的话。我有顽固的病症，害怕犬马之身，一旦死去，无报效皇上的大恩，请任我以散官，备单车一介之使，抚慰三辅，宣传国家的威信与恩泽，用所熟习的地形兵势，帮助诸军。我穷居孤立危困之中，静观郡将，几十年了。自鸟鼠至于东岱都是因为郡守对诸羌不加绥靖抚慰，致使反叛，祸害的原因是相同的。若求勇猛之将，不如清明治平的政治，明习吴起、孙武兵法，不如郡守奉法，使他们不反。以前诸羌反叛的事，记忆犹新，我真为此而忧戚。所以越职上书，以尽我区区爱国之意。”到冬天，诸羌大合，蠢蠢欲动，朝廷以为忧患。三公举皇甫规为中郎将，持天子符节监关西兵，征讨零吾等，打败了他们，斩首八百级。

先零诸种羌羡慕皇甫规的威信，互相劝降的十余万。第二年，皇甫规趁机发动骑兵，共同讨伐陇右，但道路阻隔，军中发生疾疫，十个人中病死的就有三四个。皇甫规亲身进入庵庐，慰问将士，三军感激喜悦。东羌因派使者乞降，凉州又没有阻隔了。先时，安定太守孙亻。。受贿贪污，十分严重，属国都尉李翕、督军御史张禀多杀降羌，凉州刺史郭闳、汉阳太守赵熹都是老弱，不堪任职，但是他们倚靠权势贵戚，还不遵守国家的法度。皇甫规到达州界，统统一条一条上奏他们的罪行，有的免去官职，有的处以极刑。羌人听了，很快就归附，沈氏大豪滇昌、饥恬等十余万人，再向皇甫规投降。皇甫规出身几年，持天子符节为将，率众立功，还督乡里，也没有私惠，相反，对于坏人坏事，还举报不少。又对于宦官深恶痛绝，不与他们来往。于是朝廷内外都怨了他，都诬陷皇甫规收买群羌，使他们假降。天子的诏书责让一个接一个。皇甫规害怕不免于被害，上疏申诉说“：四年之秋，戎丑蠢动作乱，自西州到了泾阳，旧都恐惧惊骇，朝廷西顾。明诏不以我愚驽，令我紧急带军上道。幸亏皇上威灵，得以大振国命，羌戎诸种大大小小，叩头归服，我当即移书军营及郡守，勘问他们杀了多少，受降多少，节省费用，一亿以上。认为这是忠臣应尽的责任，不敢说有什么功劳。并且认为任何以片言只字自述微功都是可耻的。

但是与前辈的损将折兵相比，庶几可以免于罪悔了。以前我到州界，先奏郡守孙亻。。，第二个就是属国都尉李翕以及督军御史张禀；我回师南征，又上奏凉州刺史郭闳、汉阳太守赵熹，揭发他们的罪恶，执据加以死刑。这五个臣子，他们的支党到处都有，其余县令，下至小吏，所连及的，又有百余。吏托报将的仇怨，儿子想复父亲的耻辱，车载礼物，怀粮步走，交结豪门，大肆毁谤，说我私自报答诸羌，送他们钱财货物。如果我以私财相送，我家里担石的储蓄也没有，如果送的东西是公家的，那有文书簿籍可以查考。使我迷惑不解的，真正如诽谤我的人所说，前代还把王嫱送给匈奴把细君公主嫁给乌孙。现在我只费千万，怀柔叛羌。这是良臣的才略，兵家所贵，这有何罪，负了什么义，违背了什么理呢？自永初以来，将出不少，复军五次，动用资财巨亿。而师还的日子，车载珍宝，封印完全，送入权门。于是名成功立，大加爵封。