中宗被武则天罢黜为庐陵王，韦氏失去皇后地位，韦氏家族境遇惨痛

武则天罢黜中宗，韦氏也失去皇后地位，随中宗流放房州，同甘共苦
李显为太子时（680年至683年），韦氏因姿色美艳，被立为太子妃。
弘道元年（683年），韦氏生下一个儿子李重润，也是李显的长子。另外又生下四个女儿，即永泰、永寿、长宁、安乐四位公主。
嗣圣元年（684年），李显登基，韦妃被立为皇后。同年，中宗被武则天罢黜为庐陵王，韦氏也失去皇后地位，一直跟随他到了房州，途中韦氏生下一个女儿，为安乐公主，小字“裹儿”（安乐公主出生在前往房州的马车上，出生之后被李显的衣服包裹住，故名“裹儿”）。正因为幼时对安乐公主的亏欠，李显在当上皇帝时就特别优待她。李显与韦氏在房陵被幽禁期间，共同经历了各种艰难困苦的生活，因而两个人的感情十分深厚。李显每当听到武则天派使者前来的消息，就惊惶失措地想要自杀，韦氏制止他说：“祸福并非一成不变，最多不过一死，您何必这么着急呢！”

李显与韦氏感情颇深，对韦氏承诺日后若能重见天日定不辜负
李显曾经私下对韦氏发誓：“如果日后我能重见天日，一定会让你随心所欲，不加任何限制。”
韦氏的家族在中宗被废黜后，境遇惨痛。父亲韦玄贞配流放钦州而死，母亲崔氏被钦州首领宁承兄弟所杀。兄弟韦洵、韦浩、韦洞和韦泚全部死于容州。两位妹妹，逃窜获免。