再說王安石下臺，呂惠卿升任參知政事後，逐漸品嚐到了權力的甜頭，既得意非凡，又患得患失。漸漸把王安石的恩情拋之腦後，更為可惡的是，呂惠卿還擔心王安石東山再起，因此想盡辦法阻止和打壓王安石復官。
剛好鄭俠上疏劾責呂惠卿朋比為奸，並舉薦馮京做宰相，呂惠卿汙衊鄭俠和馮京暗中聯絡。因為王安石之弟王安國，曾多次當面斥責呂惠卿奸邪，且和鄭俠一貫友善。呂惠卿借鄭俠案，無中生有，指責鄭俠是王安國所指使，王安國因此被奪去全部官爵，遣送回家。此事讓王安石十分不滿。
雖然王安國不支援哥哥王安石的變法，但王安國畢竟是王安石的親弟弟，打斷骨頭還連著筋啊！
王安國不僅反對變法，還私下多次勸告哥哥王安石，說呂惠卿是奸佞，要遠離他。王安石一直不以為然，如今呂惠卿落井下石，拿王安國開刀，王安石能無動於衷嗎？
不僅如此，呂惠卿還做了一件更讓王安石傷心的事。因為王安石兒子王雱編寫了一部《三經義》，這本是趙頊交代的政治任務，王雱完成得很出色。趙頊提升他為“龍圖閣直學士”，按慣例，有名之士都會先上奏疏辭讓，王雱也按套路出牌，上書辭讓“龍圖閣直學士”之職。呂惠卿卻藉此機會勸趙頊答應了王雱的辭讓請求。王安石更加來火。
呂惠卿見既然背叛了王安石，索性撕開全部偽裝，凡是能陷害王安石的地方，呂惠卿無所不用其極。王安石聽聞後，心中是什麼滋味呢？恐怕只有他自己知道了。
當時宰相唯有韓絳一人，韓絳此前因事被罷免過一次宰相，離開了中書省近兩年，對於新法遠沒有呂惠卿熟悉，一些政務難以處理，幾次和呂惠卿發生爭論，雖然位居宰相，爭論卻不能取得優勢，知道難以壓制呂惠卿，便秘密向趙頊進諫，讓王安石回來做宰相，壓制呂惠卿。
趙頊此時也覺察到了呂惠卿的奸詐，同意了韓絳的建議。呂惠卿聽說後，竟然想利用一個叫李士寧的道士，發起獄案，想加害王安石，同時向趙頊告發王安石弟弟王安禮、王安國兩人的過失事，想因此改變趙頊的決定。趙頊並不糊塗，由此更加看出了呂惠卿的真面目，將呂惠卿所說的事密封給王安石，並召他回京恢復宰相職位。
王安石見狀，快馬加鞭，七天便趕到了開封，公元1075年二月，王安石第二次擔任宰相，而此時，李士寧一案尚未定結。
王安石迴歸中央之際，恰好御史蔡承禧上疏彈劾呂惠卿朋黨為奸，呂惠卿在家待命。王雱對呂惠卿恨之入骨，慫恿鄧綰揭發呂惠卿強借秀州華亭（上海松江）富商錢五百萬的事，揭發呂惠卿和知華亭縣張若濟一起買田盈利的事，十月，呂惠卿被貶，出知陳州。
同月，天有異象，彗星出現。趙頊憂心得飯都吃不下，王安石安慰道：“天災是正常現象，在任何時期都不能避免，陛下不必憂慮。”
趙頊道：“朕還聽說民間深以新法為苦啊！”
王安石辯解道：“冬天寒冷夏天暴雨，小民尚有怨言，這（指天象變化）不值得擔心。”
趙頊回了一句：“怎麼能說冬寒夏雨的怨言不要緊呢？”
王安石一聽，很不高興，偏執症的老毛病又犯了，回去後稱病臥床在家。趙頊只好放下萬乘之尊的架子，派內侍去安慰他。王安石在幕僚的勸解下出來辦公。趙頊表面很高興，心裡肯定別有想法。
再說呂惠卿被貶陳州後，王雱還不想放過他，命門客呂嘉問、練亨甫蒐集呂惠卿其他犯罪事實，想將他置於死地，此事王安石並不知情。
呂惠卿在朝廷也有耳目，在陳州獲悉後，上疏趙頊，控告王安石挾私報復、矯詔欺君，並附上王安石以前有“莫讓陛下知曉”話語的私信。趙頊將呂惠卿的奏疏拿給王安石看，王安石謝罪說並無此事（指害呂惠卿之事）！
王安石回家問王雱，王雱說了實情，王安石大怒，斥責了王雱一頓。王雱本來心高氣傲，加上身體有病，羞憤難當，背上疽瘡迸發，不幾天就死了。王安石唯有一子，此時白髮人送黑髮人，欲哭無淚，心灰意冷。隨後又多次向趙頊提出辭職。至此，王安石第二次擔任宰相時間才一年半。
趙頊被王安石多次辭職，折騰得心力憔悴，也對王安石心生不滿了，公元1076年十月，趙頊批准了王安石的辭職申請，讓他以使相身份知江寧府。王安石到了南京後，此後再也沒有回朝廷。
佐料：王安石為江西臨川人，在沒有顯貴時，已經名動京師。他不喜奢華，日常生活非常節儉，以致衣服髒了不換，臉孔汙垢不洗的程度，世人都說王安石賢良。古人賢明的標準很讓人無語啊！唯有蘇軾父親蘇洵，說王安石不注意個人衛生，是不通人情的表現。
說王安石不通人情是有道理的，王安石做知制誥時，詞臣（翰林學士、知制誥等）作誥命，允許收潤筆費，王安石卻堅決不收，有一家堅持要送，王安石推辭不了，把潤筆費懸掛在辦事室的大梁上。同事祖無擇見大梁上掛一包銀子，有失體統啊？取下充公了，也算是交給紀委了。就這事，王安石對祖無擇就產生了很大看法，從此厭惡他。
王安石不僅不通人情，而且固執、偏執，自信心爆滿，加上口才好，文學功底深厚，辯論時出口成章，無人可敵，有時在皇帝面前也口若懸河，甚至到了指責趙頊的地步。
變法之中，針對天災人禍，他強硬地提出了“天變不足畏、祖宗不足法、人言不足恤”的口號，這個“三不”主義，可以說是變法的基礎理論。
王安石罷相後，一直住江寧（南京）。公元1086年薨逝，享年六十六歲。追贈太傅，諡號“文”，公元1104年，配享孔子廟，位列顏回、孟子之後，並追封為舒王。這個待遇真的很高。可惜的是，高宗時期，宗廟配享和王爵被削除了。
否則，我們後世稱他為“王舒王”，是不是有些拗口？