早有车骑将军张安世带领羽林骑兵，将昌邑群臣悉数拿下，共得二百余人，连龚遂、王吉等一并在内，送交廷尉究治。一面报知霍光，霍光传入昭帝旧日侍臣，命其守卫刘贺。并嘱道：“汝等须留心守卫，万一羞愤自尽，使我负杀主之名，何以对天下。”诸人领命入内。刘贺见左右近侍皆新来之人，又听说昌邑群臣被缚，但不知自己当废，便问道：“我旧日从官因何得罪，大将军竟将他们悉数囚系？”左右答道：“不知。”
少顷使者持节到来，说是皇太后有诏来召。刘贺对使者说道：“我有何罪？太后却来召我？”使者也答不知。刘贺没法，只得乘车随同使者前往。
当日上官太后披着珍珠缀成的短袄，穿着盛装坐在未央宫承明殿武帐之中。侍御数百人排列两旁，手中皆持兵器。不久使者领了刘贺到来，太后命刘贺俯伏殿前听诏，旁有尚书令手持群臣奏章高声读道：
丞相臣敞、大司马大将军臣光、车骑将军臣安世等，昧死言皇太后陛下：臣等认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王行为放纵不合法度。宗庙重于君。陛下未见高庙受命，不可以承天序，奉宗庙，子万姓，应当废黜。臣等昧死以闻。
尚书令读罢奏章，皇太后宣诏曰：“可。”刘贺听说自己被废惊倒在地。霍光便令刘贺起拜受诏。刘贺急道：“古语有言，天子有诤臣七人，虽无道，不失天下。”霍光不待说完便接口道：“皇太后有诏废王，怎得尚称天子？”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。霍光把昌邑王送到昌邑邸后，告罪说道：“大王自绝于天下，臣下也没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重!”说罢伤心涕泣而去。
刘贺既废朝中无主，霍光便请上官太后暂住未央宫临朝听政，又移夏侯胜为长信少府，赐爵关内侯，请他教授太后书经。其实太后年纪尚小，不知处断政务，又是霍光外孙女，也不敢自出主意。凡事皆由霍光拟定办法后奏闻太后，太后无不照准。
霍光见废立之事虽已成功，尚有刘贺与昌邑群臣须分别处置。遂请太后下诏群臣会议办法，群臣上奏说：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌