建武九年（33年），郭皇后已經(jīng)完全失寵，被劉秀疏遠(yuǎn)。尚書(shū)令申屠剛在任期間多次諫言讓郭圣通所生的太子劉疆就東宮，卻被劉秀拒絕，并最終把申屠剛貶黜出京。
建武十三年（37年），蜀地平定后，劉秀大封功臣外戚，但其中卻不包括郭圣通的外戚族人，其弟郭況直到建武十四年（38年），才升任城門(mén)校尉。
建武十五年（39年），陰氏和劉秀的母族樊氏增封，卻沒(méi)有包括郭圣通的弟弟郭況。而劉秀封皇子為公，陰麗華的長(zhǎng)子劉陽(yáng)封東海公，東海國(guó)據(jù)二十三縣，為諸子之中最大的。郭圣通因?yàn)槿諠u失寵，她的外戚也始終不像陰家兄弟那樣受到劉秀的親信和重用，因此越來(lái)越對(duì)劉秀感到怨恨和不滿(mǎn)。
建武十六年（40年），劉秀度田，收到一片簡(jiǎn)牘，寫(xiě)到“潁川、弘農(nóng)可問(wèn)，河南、南陽(yáng)不可問(wèn)”，東海王劉陽(yáng)在朝堂上當(dāng)眾揭露，這是因?yàn)椤焙幽系鄢?，多近臣，南?yáng)帝鄉(xiāng)，多近親，田宅逾制，不可為準(zhǔn)?！皠⑿阌纱思哟罅硕忍锏暮瞬?，并殺了十余個(gè)郡守。在平定了度田引發(fā)的叛亂之后，劉秀將叛亂的魁帥嚴(yán)厲處罰，遷往他地，度田成為東漢定制，社會(huì)恢復(fù)了安定，形成了牛馬放牧，邑門(mén)不閉的大好局面。
而劉秀在經(jīng)過(guò)“退功臣進(jìn)文吏”，削弱了朝堂上功臣的影響力，讓他們安享富貴，不過(guò)逢年過(guò)節(jié)入朝覲見(jiàn)而已。又經(jīng)過(guò)“雖置三公，事歸臺(tái)閣”極大的加強(qiáng)了皇權(quán)，將權(quán)柄牢牢握于手中。
經(jīng)過(guò)度田，打擊了地方豪強(qiáng)勢(shì)力，在度田中殺了不少郡守，震懾了朝堂，在執(zhí)政風(fēng)格上“嚴(yán)猛為政”，做到了“總攬權(quán)綱”，此時(shí)他已經(jīng)能夠控制廢后易儲(chǔ)，國(guó)本動(dòng)搖造成的政治影響。
建武十七年（41年），也就是在天下平定四年之后，光武帝決定廢皇后郭圣通，立貴人陰麗華為后。劉秀認(rèn)為她心懷怨恨，對(duì)她性情的評(píng)價(jià)是像“鷹鹯”、無(wú)后妃之德，認(rèn)為她在自己死后不會(huì)善待陰麗華母子；而陰麗華是原配，與自己情深意重，應(yīng)該侍奉宗廟，居國(guó)母之位。
因此在國(guó)家政局穩(wěn)定之后，便開(kāi)始行廢立之事。西漢廢后之后立新后，間隔少則半年，多則兩年，但因郭圣通生有五個(gè)嫡子，郭圣通被廢之后，劉疆仍然可以以長(zhǎng)子身份合法居于太子位之上。為了解決這個(gè)問(wèn)題，劉秀將廢立皇后同時(shí)進(jìn)行。并強(qiáng)調(diào)因皇后失德而導(dǎo)致中宮異位，進(jìn)而致使國(guó)本動(dòng)搖，是異常之事，不是國(guó)家之福，因此不得慶祝。將廢后引起的政治動(dòng)蕩減到了最小。
教導(dǎo)太子讀書(shū)的郅惲小心翼翼的在大殿之上替郭圣通說(shuō)了一些勸諫劉秀的話(huà)。他說(shuō)：“臣聽(tīng)說(shuō)夫婦之間的感情，連兒子都無(wú)法干涉父親，何況臣下怎么能干涉君王呢，這是臣下不敢說(shuō)的。即便如此，希望陛下衡量事情輕重，不要違背父子人倫，不要讓天下人橫加議論，劉秀說(shuō)：“郅惲善于用自己的心去體諒主上的心思，他知道我一定不會(huì)有失偏頗而忽略國(guó)家大事?！边@里，劉秀說(shuō)郅惲最能體諒自己，并保證以后不會(huì)因此影響輕慢國(guó)家大事。
君臣父子乃人之大倫，鑒于西漢易儲(chǔ)多次發(fā)生父子相殘的慘劇，郅惲最擔(dān)心的也是這種事情在皇廷重演，于是用武丁、尹吉甫這等賢君名臣因娶后妻，放逐前妻之子的例子，勸劉疆主動(dòng)讓位。
郭圣通因過(guò)失遠(yuǎn)遠(yuǎn)小于前代廢后，在被廢之后即被封為中山王太后，移居皇宮北宮居住。劉秀給了郭氏一個(gè)“王太后”的身份而不是將她廢為庶人，并且給其娘家諸人封侯，賞賜他們大批金錢(qián)，親自蒞臨郭府，后來(lái)又給郭圣通的兒子們?cè)龇?。一?lái)，郭氏家族在劉秀即位之初有從龍之功，身為外戚謹(jǐn)慎小心十余年，郭圣通也誕育皇家子嗣，對(duì)皇室宗族有功，行為上并無(wú)嚴(yán)重過(guò)失，劉秀是歷史上著名的善待功臣、心胸寬廣之人，甚至自己殺兄仇人更始帝的三個(gè)兒子都冊(cè)封為侯，自然會(huì)對(duì)郭圣通和郭家格外厚遇，二來(lái)他接受了郅惲的進(jìn)諫，盡量減少?gòu)U后異儲(chǔ)的負(fù)面影響，做到“無(wú)令天下有議社稷”。
詔書(shū)一下，導(dǎo)致郭圣通所生的長(zhǎng)子劉疆一下子由嫡長(zhǎng)子變成了庶長(zhǎng)子，而劉陽(yáng)則由庶子變成了嫡長(zhǎng)子。此時(shí)嫡庶異位，他在太子位上便名不正言不順了。劉疆因此十分不安，聽(tīng)從了郅惲的建議，多次上書(shū)表示要讓出太子之位。