登上晋州城。

段文振随崔景嵩到尉相贵的住处，拔出佩刀迫他投降，尉相贵不敢动弹，晋州城于是被攻下。

北周武帝十分高兴，赐他布帛上千段。

进而攻占文侯、华谷、高壁三城，他都有功劳。

到攻并州时，他攻陷城东门而进去，北齐安德王高延宗惧怕而出来投降。

朝廷录他前后的功勋，将授他高官，因有人上谗言而被谴责，因此只授他上仪同，赐他襄国县公的爵位，食邑一千户。

进而他又平定邺都，又赐他罗绮二千匹。

后来他随滕王宇文荄攻击稽胡，打破敌军。

历任相州别驾、扬州总管长史。

入京任天官都上士，随韦孝宽经略淮南。

不久尉迟迥作乱，当时段文振的老母亲和妻子儿女都在邺城，尉迟迥派人引诱他，文振不顾，归随隋高祖。

高祖任他为丞相掾，兼任宿卫骠骑。

司马消难投奔陈国后，高祖让段文振安抚淮南。

回京后，授他卫尉少卿，兼任内史侍郎。

不久以行军长史身份随达奚震讨伐背叛的南蛮，平定了他们，被加授上开府。

过了一年多，升任鸿胪卿。

卫王杨爽北征突厥，让段文振任长史，因功劳簿不实而被免官。

后作石州、河州二州刺史，很有威名和恩惠。

迁任兰州总管，改封龙岗县公。

突厥人进犯边塞，他以行军总管的身份率部破敌，一直追击到居延塞才回还。

开皇九年(589)，隋国大举伐陈，以段文振为元帅秦王的司马，另兼行军总管。

平定江南后，授他为扬州总管司马。

不久他又转任并州总管司马，因母丧离职。

不久，令他复职管事，他坚持推辞，但朝廷不许可。

几年后，授他云州总管，不久任太仆卿。

开皇十九年，突厥人进犯边塞，段文振以行军总管的身份抵敌，在沃野遭遇达头可汗，大破敌军。

段文振早先与王世积有旧交，起初，文振北征，王世积送给他骆驼、马匹。

文振回京后，王世积因罪被杀，段文振因与他交好，功勋于是不被录取。

次年，率部出灵州道以防备胡人，无敌而还。

越間蛮反叛，段文振讨平了他们，朝廷赐他奴婢二百人。

仁寿初年，嘉州獠造反，段文振以行军总管身份讨伐他们。

他领兵出山谷间，被贼人袭击，前后阻于险，不得相互救援，官军于是大败。

段文振又收集散兵，出其不意而攻击他们，最后打败贼人。

段文振生性刚正，不肯在人之下。

当初，官军在益州驻扎，他拜见蜀王杨秀，样子对蜀王不大恭敬，杨秀很忌恨他。

到现在，杨秀告段文振军白白地败绩送死。

右仆射苏威，与段文振有矛盾，因此上谗言害他。

他因此被除名。

到杨秀被废王后，段文振上表申冤，高祖安慰他，授他大将军。

不久授他灵州总管。

炀帝即位后，调他任兵部尚书，待遇很深。

随军征讨吐谷浑，段文振督兵驻扎在雪山，连营三百多里，东接杨义臣，西连张寿，把吐谷浑国主围困在覆袁川。

他因战功升任右光禄大夫。

炀帝巡幸江都，让段文振兼管江都郡事。

段文振见高祖那时容纳突厥的启民可汗于塞内，又嫁给他公主，不断地赏赐他，到了大业初，对他的赏赐更多。

段文振考虑到，突厥可汗，狼子野心，恐为国家祸害。

于是他上表说：“我听说古时候远方人不乱近处人，夷人不乱华夏。

周宣王外攘戎狄，秦始皇筑城万里，这是远谋良计，不能忘记。

我看国家容纳启民可汗，给他士兵吃的，借给他地利。