他雖然三十有五，但卻沒有妻妾。平日里在永安鎮(zhèn)之中也會找些女子，或者去旁的州城逛逛楚官。不過他的府中是干干凈凈沒有一個女人的，而且他和州府衙門的關系很好。

也有人說，經(jīng)常見到有一個蒙的嚴嚴實實的馬車停在他的府門口，從里頭會下來個蒙面女子，不知是什么人。但女子在他的府中通常不會過夜，匆匆而來也匆匆而走，沒有人知道那女子到底是什么身份。