气愤过后，他方想起女儿身边还有个外孙女，仔细想了，觉得大人的过错不该让孩子承受，便重新回去找外孙女，方知外孙女因女儿之病，选择卖身入卓家为奴。刚知道静芝生病，他不是不疼不痛，只是心里那关还过不去，倒是对外孙女，他自有一股深切亲情。
最终他假装是卓老爷的朋友，以看中飞雪为练武奇才为由，借著师父之名接近外孙女，并让卓家对这丫鬟诸多照顾，舍不得让外孙女吃苦。
那段时间，他跟飞雪的感情很好，不过他一直刻意不过问她的家世，直到那一天……静芝病死了，他方从飞雪的哭号中知晓自己误会女儿多时，静芝是因为冬宁侯夫人的嫉妒与陷害才会被发卖出府，并非他以为的那样。
当时他忍不住悲痛，说出了飞雪的身世，不料这一说反倒让飞雪怨了他、恨了他，认为是他对静芝不管不顾，