公元684年2月这一天，在武则天的旨意下，命裴炎与中书侍郎刘袆之带领羽林军入宫，在朝廷之上，当着百官的面宣布了太后懿旨，废李显为庐陵王，幽于别所，韦氏也由皇后降为庐陵王妃。
李显对这突如其来的变化无法接受，大喊道：“朕有何罪？”
武则天看了一眼这个没出息的儿子不紧不慢地回答：“你都要把大唐江山拱手送人了，这还不是大罪吗？”
李显一听明白了，这肯定是裴炎告了自己的状，他后悔言语冒失也晚了，只能低头认罪。
就这样，只做了两个月的皇帝，李显就被废黜了。废帝第二天，李显的同胞弟弟李旦被按在了皇帝的座位上，改元文明。
接着，李显年仅两岁的长子李重润由太子被废为庶人，正在做宰相梦的韦氏之父韦玄贞被流放钦州。
3月5日，李显的二哥、废太子李贤在流放地巴州自杀，时年三十岁。
所有的事料理完毕，太后武则天终于有时间去处置三儿子李显了。4月22日，武则天命令李显和妻子韦氏立即前往流放地房州（今湖北房县）。
