当黄氏第四次怀上身孕之后，过了十个月却不见分娩，这可把吕良急坏了。有一天，大着肚子的黄氏来印染作坊指点伙计们干活，忽然觉得腹痛不已，便急忙让女仆将她搀扶到悬挂着许多染好色的布匹房间内，然后在垫着几层布匹的地上生下了一个份量很重的男孩。

因为男孩落在布上，于是中年得子的吕良便为这个男孩取名为“布”。

家境富裕的吕布，从小随母亲黄氏习文作画，而他生性好斗，喜欢和家兵一起舞弄刀枪，因为他的身高体重比同龄的孩子明显超出一截，所以跟他同龄的那些男童都不敢和吕布一起玩耍，看见他就躲起来，而性情暴躁的吕布每当和女孩子待在一起的时候，就会表现的温顺体贴，判若两人。

孩童时代的吕布，模仿能力极强，从五岁起就敢跟着家中的牧奴到野外去放马。吕布从小就与马有缘，只要看见神骏高大的好马，就特别的兴奋开心。等到吕布长到七岁时，就能单独骑着战马背着弓箭去追击原野上的麋鹿和野兔，而且从来没有空手而归过。

九岁那年，吕布跟随父母到外公家里做客，外公准备杀羊招待吕布一家，大人们在羊群中逮羊不得手，吕布上去很快就生擒了两只，让围观的人感到惊奇。外公见吕布如此身手矫健，非常喜欢，当即送他好马一匹。从此，吕布与马为伴，精心照料，只要出门，就骑在马背上面。

吕布十一岁时，南匈奴和汉族边民有一次联合举办的庆典活动，吕布随父前去参加。在赛马比赛中，吕布骑技超人，马快如箭，一举取得头名。在欣赏摔跤比赛时，吕布看到匈奴摔跤手屡战屡胜，汉人根本不是对手，便冲进赛场，要与大人比试摔跤。

匈奴摔跤手看来了一个汉家男娃，恼羞成怒，想要给吕布一些厉害瞧瞧，结果吕布竟将身高和体重比他超出许多的南匈奴摔跤手撂翻在地，轰动全场。

灵帝熹平年间，檀石槐指挥鲜卑大军翻过了阴山，兵锋直指河套地区，五原一带的汉军和汉人于是大规模的向南迁移。吕布的母亲黄氏不愿离开五原，她舍不得自己的印染作坊，也舍不得离开父母，吕布的父亲便带着吕布前往太原投靠了当时的并州刺史丁原。

后来，吕良见自己在丁原帐前不受待见，便让吕布留下，自己辞了职务，返回五原去陪伴妻子黄氏了。

鲜卑人和南匈奴人虽然骑马打仗厉害，但是却不通印染，因此对位于九原的吕氏印染作坊很重视，双方约定不可袭扰吕家的作坊和农庄，吕氏一族于是避开了胡人侵扰，在九原附近存留下来。

吕布成年之后，由父母做主，迎娶了雁门楼烦一带富族严氏之女，婚后严氏为吕布诞下一女，之后因为吕布常随丁原在外征战，所以不再有育。

何进招丁原前往京师对付宦官时，吕布派人将妻子严氏和女儿吕雯悄悄的送回了九原，由母亲黄氏代为照顾。

从吕布离开并州至今，算起来，他与父母和妻女已经有两年时间不曾见面了。