二年(公元前121年)被汉军霍去病破得并夺取祭天金人，最终被降汉的浑邪王杀害。
“浑邪王杀休屠王，并将其众降汉，凡四万余人，号十万”。汉“乃分处降者于边五郡故塞外，而皆在河南，因其故俗为属国”。此边五郡依通鉴卷一九胡三省注谓指陇西、北地、上郡、朔方、云中五郡，汉因其故俗为五属国。
从此休屠王之部众，遂自休屠王原住地的武威郡而东，分散到陇西、北地、上郡、朔方、云中诸郡的关塞之外。
浑邪王降汉后被封漯阴侯，邑万户，替汉据守河间地，于元鼎元年(前116年)去世，谥号定侯。
(“祭天金人”被霍去病夺走后，作为最有标志性的战利品献给汉武帝并置于甘泉宫，休屠王的儿子金日磾降汉并委身侍奉汉武帝，意欲夺回“祭天金人”，李广之子李敢、李当户图谋窃取“祭天金人”失败以及李当户之子李陵降匈奴的真正原因，等等，请听下回分解。)
正因为这样的内耗，期间匈奴多次被汉军击败，以至后来匈奴内部发生更严重的分裂，伊稚斜时代，是匈奴从强盛走向衰落的起点。
伊稚斜单于汉武帝元鼎三年(公元前114年)去世，但其短命的继任者乌维单于、乌师庐单于、且靼侯单于、孤鹿姑单于仍继续追杀乌海等孪鞮氏正统皇族，最终乌海、独孤伽罗等皇族成员于公元前90年，被孤鹿姑单于派出的杀手尽数杀害于贺兰山阙，只有刚出生不久的朵颜居次被一百多於单部落勇士救出，逃往居延海。
孤鹿姑单于死后，其子左谷蠡王在汉昭帝始元二年(公元前85年)立为壶衍鞮单于，由于汉朝对匈奴领地的不断压缩，匈奴漠北王庭不断西遁而无瑕顾及其他，终是放弃了对朵颜居次的追杀。
朵颜及其族人方才回到贺兰山阙，最终定居于贺兰山下的金山村，并陆续联络收拢於单部落氏族人马，如今已形成有二十多个和迅组成的村落，有一千多人，不仅有毡房，还有畜栏和小屋。