李密那个大贼头和东都官军之外，河南最大的一伙势力。
后来王世充和李密在洛阳杀的天昏地暗，双方都对张士贵有所期待，并没有来强攻于他，只是传书招抚，可见，张士贵当时在河南确实占据了一定的地位。
但张士贵对这两个人都看不顺眼，他认为这两个家伙在东都坚城内外相对消耗，是很愚蠢的作为，根本没有人主之像。
所谓良臣择木而栖，他张士贵大好男儿，自然要寻个贤主侍奉。
可以说，张士贵压根儿就没有宁为鸡首不为人后的念头，在这一点上，其实和当时的李破是很相像的，欠了些雄心壮志，也没什么安邦定国的心思，只想找个大点，稳当点的靠山来投效。
而李渊适时而起，出现在了张士贵面前，和李破不同的是，李破那会儿在马邑边塞，人微力寡，最终没入李渊法眼。
可张士贵不同，想要南下长安的李渊急需的就是这样的人物，于是不出所料的，郎有情妾有意之下，一纸书信相招，张士贵直接便降了李渊。
得封光禄大夫，弘农县公，驻于原地，牵制潼关屈突通以及河南的李密，王世充两人，到李渊占据长安，屈突通归降，刘文静守潼关的时候，张士贵于是归于刘文静辖制。
可以说，张士贵是刘文静旧部，在这一段时间里，他和刘文静配合的不错，占据了潼关以东的大片疆土，刘文静对张士贵很器重赏识，离任去西北的时候，也想带张士贵同行。
而张士贵这么多年，也就一个刘文静能赏识重用于他，并许之为友，张士贵自是不忍相弃，极愿跟刘文静调任西北，去见识一下西北豪杰的。
可以当时张士贵的身份，地位，调任别处可不是刘文静能说的算了，所以两人依依相别，都以为日后必能功成名就，顺便也成就一段佳话。
当然，依照他们各自的性格来说，反目成仇的几率要大的多。
不过世事没有如果，张士贵再听到刘文静消息的时候，刘文静已然被诛，党羽旧部纷纷受了牵连。
而此时张士贵的日子本来就越来越难过了，李建成出守潼关后，自然不会再重用刘文静的部下。
最糟糕的是，张士贵祖籍在晋地，后来的家乡在虢州，他的祖上还是北齐余孽，和关西人天然就隔着一层。
而当时朝中内外，晋人正在受到强烈的排斥，这许多因由加在一起，张士贵自然不会好了，兵权渐渐被太子心腹们削夺一空，待到李破大举南下