黃永昌師從他的祖父，受了他祖父的提攜，仕途平順，可官愈高，則德行愈敗壞，到了后來，吃喝嫖賭竟是無惡不做，他的祖父自然是多家勸阻，可卻是一點用都沒有，漸漸地，也就疏遠(yuǎn)了黃永昌這個學(xué)生。

彼時，黃永昌已經(jīng)是江蘇巡撫了，眾人見他已經(jīng)沒了安平侯府這座靠山，都對他漸漸疏遠(yuǎn)，黃永昌屢次上門求見，可都吃了閉門羹，漸漸地，對他祖父就放出厥詞來，將他祖父氣得不行，與黃永昌再無來往。