色迷心窍的李员外何曾见过如此漂亮的女子，顿时在心里面打起了自己的九九。

游玩归来后，李员外才火急火燎的找到袁，：“袁呀，你在我家，我待你不错。我今天要和你打个商量，叫你那媳妇给我当个婆。我多给你些钱。我再拿钱去娶个媳妇，再买些田地，盖些房子，就算有些家业了，这也不算亏待你。”

袁作为一个伙计，按照当时的社会风气，他纵有天大的胆子也不敢和李员外对抗，无奈之下只好将媳妇儿让给了李员外。

后来，李员外依照承诺给了袁一笔不的财产让袁在外面置了家业，袁自此孤身一人带着儿子袁天罡过起了孤苦伶仃的日子。

话五仙女到了李员外家之后，没过多久，就又给李员外生了一个儿子，这就是大名鼎鼎的李淳风。

也许是上天注定不会让强抢民女的李员外有好下场，李淳风出生不久，五仙女私自下凡的事情就被王母得知，派遣了天兵天将将其缉拿上天。

五仙女上天之后，袁也终身未曾娶妻，只是孤身一人经营着一家茶肆和儿子袁天罡相依为命。随着时间的推移，儿子袁天罡越来越大，自然也就懂事了许多；常向袁问起自己为什么没有母亲？袁自知是自己的懦弱造就了如今的尴尬，却也不敢提起，只能搪塞袁天罡的母亲去了一个无人知道的地方。

这样的回答自然不能让年少懂事的袁天罡满意，正巧这一天，院门前路过一位游方术士，袁天罡心系母亲，便向术士请教：“你可算出我母亲去向何方？”

术士对于年少懂事的袁天罡很是欢喜，并没有回答他的问题，只是了一句：“你若入我门下，一切皆可自知！”

正是因为术士的这句话，袁天罡才真正步入了属于预测家的这一个行列……

后来袁天罡在洛阳曾给杜淹、王珪、韦挺三人相面，预言杜淹将以文章显贵而名扬天下；王珪不出十年将官至五品；韦挺面相如虎，将出任武官，并预言三人为官后都要遭贬谴，届时大家还会见面。

果然在唐高祖武德年间，杜淹以侍御史入选天策学士；由太子李建成举荐王珪当上五品太子中允，韦挺出任武官左卫率。三人正当仕途一帆风顺时，没想到受宫廷政变牵连一起被贬隽州，果然在这里又遇到了袁天罡。

袁天罡再次相面预测“公等终且贵”，最后都要官至三品，三人前程及结局后来验证都不出其所料。而正是这次的面相，让袁天罡真正的成为了当时风靡一时的人物，他的相术预测传到了当时的皇帝，唐太宗李世民耳朵里，并受到了李世民的召见；太宗李世民对其术数之精奇深奥大为称赞，并问他：“古有君平（汉朝严君平，术数大师），今朕得卿，何如？”

袁天罡回答严君平是生不逢时，臣要比他强得多！在九成宫让他为贞观重臣张行成、马周等人看相，所预测后事无不准确。