交事就绪，王安石也即罢相。原来吕惠卿既出知陈州，王雱尚欲倾害，事被惠卿所闻，即上讼安石方命矫令，罔上要君，并及雱构陷情状。神宗取示安石，安石为子辩诬，及退归问雱，雱却并不抵赖，且言必致死惠卿，方能泄恨。顿时父子相争，惹起一场口角。雱盛年负气，郁郁成疾，背上陡生巨疽，竟尔绝命。安石又悲不自胜，屡请解职。御史中丞邓绾，恐安石一去，自己失势，力请慰留安石，赐第京师。神宗心滋不悦，转语安石。安石颇揣知上意，即还奏道：“绾为国司直，乃为宰臣乞恩，大伤国体，应声罪远斥为是。”神宗遂责绾论事荐人，不循守分，斥知虢州。可为逢迎者鉴。看官！试想邓绾是安石心腹，安石指斥邓绾罪状，明明是尝试神宗，可巧弄假成真，教安石如何过得下去？当下申请辞职，神宗亦即允奏，以使相判江宁府，寻改集禧观使。
安石既退处金陵，往往写“福建子”三字。福建子是指吕惠卿，或竟直言吕惠卿误我。惠卿再讦告安石，附陈安石私书，有无使上知，及勿令齐年知等语。神宗察知齐年二字，系指冯京一人（京与安石同年），自神宗览到此书，方以京为贤，召知枢密院事。复因安石女夫吴充，素来中立，不附安石，特擢为同平章事。王雱亦由参政同升。充乃乞召司马光、吕公著、韩维及荐孙觉、李常、程颢等数十人。神宗乃召吕公著知枢密院事，复进程颢判武学。颢自扶沟县入京，任事数日，即由李定何正臣，劾他学术迂阔，趋向僻异，神宗又疑惑起来，竟命颢仍还原官。吕公著上疏谏阻，竟不得请。且擢用御史中丞蔡确为参政，蔡确由安石荐用，得任监察御史，初时很谄事安石，至安石罢相，他即追论安石过失，示不相同，即此一端，已见阴险。并排去知制诰熊本，中丞邓润甫，御史上官均，自己遂得代任御史中丞。神宗反加信任，竟命为参政。士大夫交口叱骂，确反自喜得计。吴充欲稍革新法，他又说是萧规曹随，宜遵前制，因此各种新法，仍旧履行。既论王安石，复劝吴充遵行新法，反复无常，一至于此。