鐮倉時代，藤原公經在鹿苑寺原址建立了西園寺，并作為山莊。

但是在鐮倉幕府滅亡之后，身為主人的藤原公宗為了暗殺后醍醐天皇，將其招待到西園寺試圖謀反，藤原公宗的計劃敗露，家族的龐大領地和財產被沒收，西園寺也就此荒廢。

百年后，室町幕府3代將軍足利義滿獲得了這片土地的掌控權。

足利義滿對其進行了翻新與增筑，并將其作為府邸。