韩信出生在东海郡的淮阴县(今江苏省淮安市)，原本是楚国人。史书上并没有交代韩信的身世，只是说早年的时候他家里很穷，但是有理由相信，韩信绝对不是平民家庭。
一来史书说韩信“好带刀剑”，韩信早年天天背着一把宝剑混社会，要知道剑在当时是冷兵器中的王者，是身份的象征，平民老百姓是不可能佩剑的，韩信家穷，肯定没钱买剑，那这把剑可能就是他家里流传下来的；二来从后来的楚汉战争中，韩信表现得深谙兵法、用兵如神，要是没有接受过良好的教育，怎么可能具备这种素养。所以说韩信应该是家道中落的贵族阶层。
因为家族的没落，韩信既没做官，也没经商，他也懒得种田养活自己，成天到别人家蹭吃蹭喝，乡里乡亲的都不喜欢这个好吃懒做的小青年。虽然家里穷，但韩信的志向不小，他老妈死的时候，家里没钱办葬礼，韩信也不知道从哪里找来了一块风水宝地给老妈做墓地，并说：“以后这墓地附近要安置一万户人来守墓。”就是不知道坟景房在古代好不好卖。
韩信经常去蹭饭的人里有一个是亭长，一蹭就是数月。亭长的老婆很是忧愁，毕竟亭长的工资也没几块钱，养不起韩信这个闲人，于是在一次韩信来蹭饭的时候故意没准备他那一份。韩信也明白了亭长家的意思，从此再也不来蹭饭。
没地方蹭饭怎么办，韩信只好自力更生，他又不爱种田，就到河边去钓鱼吃。钓鱼是门技术活，韩信显然不打内行，钓的鱼不够吃，经常饿肚子。一个经常在河边洗被子的大妈看韩信可怜，天天拿点吃的给韩信，韩信感激涕零，对大妈说：“将来我发动了一定报答您老人家。”大妈反而生气了：“你先养活自己再说吧，我是可怜你才给你饭吃的，又不是图你的报答。”年少的韩信点了点头，心里发誓将来一定要出人头地。
随着时间流逝，韩信长成了高大的壮小伙子，背着一把宝剑，有点像混江湖的武林高手。按说看到韩信这样装扮，一般人是不会去惹他的，偏偏淮阴县里有个不怕死的年轻屠户，嫉妒韩信比他高比帅，有次在街上看到韩信的时候把他给堵住了，对韩信说：“别以为你长得高大，拿着把大宝剑，就了不起了，我看你就个胆小鬼。”
韩信不想搭理他，转头要走，屠户又跳到韩信面前拦住了他，说：“别走啊胆小鬼，这样吧，你要是有种的，就拿剑砍我；不敢砍的，你就从我的胯下钻过去，我就放过你。”韩信思考了一下，并没有去拿背上的剑，而是缓缓趴到了地上，从屠户的胯下