公元684年2月这一天,在武则天的旨意下,命裴炎与中书侍郎刘袆之带领羽林军入宫,在朝廷之上,当着百官的面宣布了太后懿旨,废李显为庐陵王,幽于别所,韦氏也由皇后降为庐陵王妃。
李显对这突如其来的变化无法接受,大喊道:“朕有何罪?”
武则天看了一眼这个没出息的儿子不紧不慢地回答:“你都要把大唐江山拱手送人了,这还不是大罪吗?”
李显一听明白了,这肯定是裴炎告了自己的状,他后悔言语冒失也晚了,只能低头认罪。
就这样,只做了两个月的皇帝,李显就被废黜了。废帝第二天,李显的同胞弟弟李旦被按在了皇帝的座位上,改元文明。
接着,李显年仅两岁的长子李重润由太子被废为庶人,正在做宰相梦的韦氏之父韦玄贞被流放钦州。
3月5日,李显的二哥、废太子李贤在流放地巴州自杀,时年三十岁。
所有的事料理完毕,太后武则天终于有时间去处置三儿子李显了。4月22日,武则天命令李显和妻子韦氏立即前往流放地房州(今湖北房县)。