有一天早朝時(shí)，他曾經(jīng)寫(xiě)的一首詩(shī)被某位同僚當(dāng)堂翻了出來(lái)。那詩(shī)是他還在做秀才時(shí)寫(xiě)的，表的是山水，他自己都忘記是什么內(nèi)容了，卻被人扭曲成指摘朝政。

皇帝大怒，又計(jì)較起當(dāng)初他拒絕了自己女兒，連個(gè)辯解的機(jī)會(huì)都沒(méi)給他，就將他發(fā)落到了盈溪縣，領(lǐng)著病弱的妻子來(lái)到這個(gè)荒涼又偏遠(yuǎn)的縣城。

林安之被貶斥后，再不復(fù)當(dāng)年一般意氣風(fēng)發(fā)，做官也變得佛系，得過(guò)且過(guò)。