于是，有人恶意污蔑李妍母女，说她们是扫把星……
原本燕信长只是一笑置之，但没想到半个月后，他的正室竟然也得了不知名的病，来不及请大夫，便一命呜呼了。
这下子，燕二夫人便乘机说李妍的坏话，说她命中带煞，而生下的孩子更是一个扫把星，所以才会让府里不安宁。
燕信长信以为真，一气之下便休离了李妍。
但由于李妍是燕信长用银子买回来的偏房，所以即使被休离，她和女儿燕小舞一样还是住在府里，只不过成了燕府的奴仆。
好在府里的奴仆，除了几个眼楮长在头顶的奴才，有时候会拿乔为难她们外，倒还都对她们不错。
只是时间一久，因为李妍母女俩待人客气，没多久大家也忘了她们的身份，对她们一视同仁了。