周國大軍繼續(xù)直逼晉州而來，平陽變得更危急。當(dāng)時(shí)高緯與掌握軍機(jī)大權(quán)的右丞相高阿那肱在天池打獵，高阿那肱怕騷擾高緯興致，所以沒有稟告于他。快入黑之際，平陽城已被攻陷，高阿那肱才敢奏請高緯平陽城陷之事。隔天早上，高緯打算帶領(lǐng)齊國大軍前往支援，卻被右皇后馮小憐攔下，要求再行一次圍獵。高緯心軟，因而拖延了軍機(jī)。高緯隨后帶領(lǐng)齊國大軍到達(dá)晉州，同時(shí)命令高阿那肱先統(tǒng)率先鋒部隊(duì)，包圍晉州城。
周王宇文邕見狀，帶領(lǐng)楊堅(jiān)一行軍隊(duì)來救晉州，因此齊軍在晉州城南被打得大敗，高緯拋棄軍隊(duì)，先自行撤回鄴城。此時(shí)之際，高緯猶豫到底該否棄守晉州，于是跟眾臣子在大殿商討對策。群臣見狀，只好以激將法激怒高緯。果然，高緯怒不可遏，并決定奪回平陽。
在平陽之戰(zhàn)，高緯帶同右皇后馮小憐、寵臣穆提婆等人觀戰(zhàn)，他對高貞多加猜忌，加上他和千娘子的關(guān)系，所以命他留在鄴城。雖齊國東面只是頗有后退之意，而周國軍隊(duì)只稍勝一籌，穆提婆卻被嚇得趕緊催高緯離開。群臣雖反對此舉，高緯卻不加理會(huì)，僅留安德王高延宗、廣寧王高孝珩留守晉陽。高緯退到高梁后，群臣對首次親征的高緯紛紛勸道：「兩軍開戰(zhàn)，稍有進(jìn)退乃是常有的事，陛下應(yīng)當(dāng)趕緊回去?！菇又湫l(wèi)張常山趕快通報(bào)晉州情況，說：「大軍尚且整齊，但主帥離開，將會(huì)影響士氣。」高緯覺得有理，卻又被穆提婆攔下，要求離開此地，于是高緯向北撤去。
周王宇文邕繼續(xù)率領(lǐng)大軍直逼，高緯于是便派高阿那肱守高壁。高阿那肱望風(fēng)而逃，與高緯回鄴城會(huì)合。高緯因?qū)櫝寄绿崞磐督抵車?，對高阿那肱多加信任，進(jìn)封高阿那肱為大丞相。
高阿那肱乘機(jī)向高緯進(jìn)諫，說高貞有謀反之意。高緯本身對這個(gè)足智多謀的五弟有所顧忌，一聽果然勃然大怒。高阿那肱見奸計(jì)得逞，命令馮士乾彈劾高貞把他關(guān)進(jìn)監(jiān)獄，剝奪了他保留后嗣的權(quán)力。
仇翠微聽過消息后，心中大急，卻她知道齊國權(quán)力斗爭越多對滅齊越有利。加上自己在齊國只是小小姬女，根本無能為力，只好天天到獄中探訪高貞。
數(shù)天后，安德王高延宗戰(zhàn)敗被俘。高貞見亡國之禍越發(fā)迫切，便拜托來獄中探訪他的廣寧王高孝珩向高緯提議。高孝珩本身與高貞友好，又心恨權(quán)臣當(dāng)?shù)溃阋豢诖饝?yīng)，立即求見陛下。雖然如此，不過高緯此刻只信任高阿那肱，所以搖頭拒絕。高孝珩只好失望而回，告訴高貞。
半個(gè)月后，高緯打算逃走突厥，但事敗，便率數(shù)十人南逃回鄴城。退回鄴城后，高緯禪位于八歲皇太子高恒，以高孝珩為太宰。同時(shí)，高緯見國難當(dāng)頭，想起了足智多謀的五弟高貞，便從獄中釋放了他，改貶他為青州刺史。
高貞和高孝珩深感高阿那肱的禍害，曾想發(fā)動(dòng)政變，與呼延族、莫多婁敬顯、尉相愿同謀，計(jì)劃在千秋門斬殺高阿那肱，尉相愿在內(nèi)以禁兵呼應(yīng)，呼延族與莫多婁敬顯從游豫園出兵，可惜因高阿那肱巧合地改取便路進(jìn)宮而失敗。此事過后，高孝珩被貶為滄州刺史。
皇宮雖一片混亂，大殿上的例行早朝依舊進(jìn)行。眾臣均建議齊王應(yīng)與大軍共生死，死守鄴城，高緯卻說：「寡人決定帶攜皇室，先退去青州。右丞相?！垢甙⒛请糯鸬溃骸冈??！垢呔暶畹溃骸腹讶嗣闶貪?jì)州關(guān)，以觀察周國一舉一動(dòng)，一有消息就盡快回報(bào)。只要周國大軍有了動(dòng)靜，我們就能立刻南撤至陳國?！垢甙⒛请糯鸬溃骸甘?。」因此，三天過后，當(dāng)高貞在青州看見高緯等一行人逃走到此，心灰意冷，怒不可遏，心忖：「皇兄根本不是治國的材料，只是個(gè)貪心怕死的人?！?