李渊当上太上皇以后，自知朝中大权已经被李世民掌控，于是每天心灰意懒，不再参与政事。平时他总是待在自己的宫中，除了参加李世民举行的一些酒会，几乎哪儿也不去，一副与世无争的模样。盛夏时节，李世民时常会外出避暑，李渊也不愿意跟随同去，总是以自己年事过高、身体欠安为理由推脱。李世民对父亲李渊的享乐要求尽量满足，看父亲每天并不快乐，就准备在长安城的东北方向修建一座宫殿，作为李渊的养老享乐之地。李渊知道李世民还算是个孝顺的孩子，心里很领情，也乐得过太上皇的日子。这样，既减少了宫廷的斗争，也让李世民有了施展才能的机会。
李渊度过了九年这样的太上皇生活。贞观九年（635年），李渊因病驾崩，享年七十一岁。李渊临终前要求自己的后事一切从简，不要铺张浪费。李世民本来打算按照汉高祖刘邦长陵的制度为父亲修建陵园，但是由于事情太过仓促，工期比较紧张，所以在房玄龄的提议下改为按照汉光武帝原陵的制度来修建，把九丈的封土改为六丈。李渊死后的谥号是“太武皇帝”，庙号是“高祖”，安葬于献陵。唐高祖的一生就这样结束了，辉煌也好，无奈也好，留下的也只是一声叹息而已。