修孝祁和安遠(yuǎn)侯之間積怨很深。

他十六歲奉皇命從軍，當(dāng)時就是在安遠(yuǎn)侯的軍營里，安遠(yuǎn)侯暴虐，士兵經(jīng)常因?yàn)橐稽c(diǎn)小錯，就遭到他的毒打。

修孝祁年少氣盛看不過，曾經(jīng)仗義執(zhí)言，安遠(yuǎn)侯根本不把他放在眼里，對他冷嘲熱諷，讓他背黑鍋，在皇上跟前說他的壞話。他曾經(jīng)立下的功勞，也被安遠(yuǎn)侯據(jù)為己有。

后來因李長史的女兒的事情，他忍無可忍，終于把安遠(yuǎn)侯告到皇上跟前，那件事雖然后來被蘇相壓了下來，可是皇上對安遠(yuǎn)侯已經(jīng)沒有之前那么信任了。