小人，如果不能表白殿下的真心，便恐怕灾祸很快就会降临。我于谨请求亲自到朝廷投案，向有关部门自首，表白真心，自会免除灾祸。“广阳王答应了他。于谨就来到布告下说：“我知道这个人。”众人都问他。于谨说：

“我就是。”有关官吏得知后上报。灵太后引见于谨，十分恼怒。于谨详细地诉说了广阳王的忠诚，并陈述了停驻军队的情况。灵太后的怒意逐渐缓解，于是放了他。不久他被加授为别将。

孝昌二年，梁国将领曹义宗据守穣城，多次在边境侵扰。魏帝就命于谨和行台尚书辛纂率兵去征讨。相持了几年，经历了几十决战斗。于谨升任为都督、宣威将军、冗从仆射。孝庄帝即位，任命于谨为镇远将军，不久改任直寝。又跟随太宰元天穆征讨葛荣，平定邢杲，拜为征虏将军。跟随尔朱天光打败万俟丑奴，被封为石城县伯，食邑五百户。普泰元年，任征北大将军、金紫光禄大夫、散骑常侍。又跟随尔朱天光平定宿勤明达，另外再讨伐夏州贼寇贺遂有伐等人，将他们平定，授任大都督。他跟随尔朱天光同齐神武在韩陵山作战，尔朱天光战败后，于谨就进入潼关。贺拔岳上表将于谨留下镇守，任命他为卫将军、咸阳郡郡守。

太祖到了夏州，任命于谨为防城大都督。兼任夏州的长史。到贺拔岳被害，太祖前往平凉。于谨就对太祖说：“魏朝国运衰微，权臣专权，成群的盗贼蜂拥而起，百姓嗷然。明公仗着世间少有的英姿，胸怀济世的才略，四方远近的人，都已归心。希望您早作打算，不要辜负众人的期望。“太祖说：“怎么讲呢？”于谨回答说：“关西，是秦汉的旧都，古人称之为天府，将士骁勇，土地肥沃，西边有巴蜀的富饶，北边有羊马的好处。现在如果占据要害，招集英雄，养兵劝农，足以坐观时局的变化。况且天子在洛阳，为群凶所逼迫，如果陈说明公的诚意，计算时事的利害，请求建都在关西，天子必定嘉许而西迁。然后您挟天子以令诸侯，奉王命以伐暴乱，这是齐桓公、晋文公那样的事业，千载一时的机会。“太祖大为高兴。正好魏帝敕令将于谨调回任合内大都督，于谨趁机献上迁都关中的计策，魏帝采纳了他的意见。

不久齐神武进逼洛阳，于谨随魏帝西迁。接着他又跟随太祖出征潼关，攻下回洛城，被任命为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵为蓝田县公，食邑一千户。大统元年，授任骠骑大将军、开府仪同三司。这一年，夏阳人王游狼聚众占据杨氏壁叛乱，于谨出兵讨伐擒获了他。当年，大军束出征伐，于谨充当前锋。进军到盘豆，束魏将领高叔礼据守险要不投降，于谨进攻击败了他，俘虏兵众一千人。趁此又攻下弘农，擒获束魏陕州刺史李徽伯。齐神武抵达沙苑，于谨随太祖和将领们奋力作战，打败了他，晋爵为常山郡公，增加食邑一千户。又随太祖在河桥作战，任大丞相府长史，兼任大行台尚书。稽胡帅夏州刺史刘平叛乱，于谨率兵讨伐平定了他。任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。入任太子太师。大统九年，又跟太祖束出征讨，另外进攻柏谷坞，攻了下来。邙山之战，大军失利，于谨率领他手下的兵马假装投降，站在路旁。齐神武的军队乘胜追击逃兵，不曾戒备。等追击的骑兵过完了，于谨就从后面攻击他们，敌人大为惊恐。独孤信又聚集兵士在后奋力冲杀，齐神武的军队就乱了起来，因此大军得以保全。大统十二年，他任尚书左仆射，领司农卿。到侯景归附北周时，请求派兵作为支援，太祖命李弼带兵接应他。于谨劝谏说：

“侯景年轻时就通晓军事谋略，真情很难窥测。应当先给他厚礼高官，看他有什么变化。现在马上派兵，大为不可。“太祖没有听从。不久又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史，赠给他柜鬯酒一卣，附带上圭瓒。不久任司空，增加食邑四百户。大统十五年，升为柱国大将军。齐氏称帝，太祖出兵征讨，任命于谨为后军大都督。另封他的一个儿子为盐亭县侯，食邑一千户.魏恭帝元年，任雍州刺史。　.

当初梁元帝平定堡量之后，在2堰继位，秘密与查区通使，打算前来侵犯。梁元帝哥哥的儿子岳阳王芦登当时任壅业刺史，因为銮五适杀死了他的哥哥互誉，就结了仇。他占据着襄阳前来归附，并请派王师。于是朝廷就命于谨率兵出征。左担在青泥谷为他饯行。长孙俭问于谨说：