李隆基仔細考慮了一番，決定在興慶宮外相鄰幾坊，擇其中最好之處建四王宅邸，待以后他搬進興慶宮，他們兄弟就能一如往昔住在一起了。

興慶宮起建之前，工部曾向李隆基呈上草圖。李隆基先是對調(diào)了南外朝北內(nèi)廷的固有格局，然后著令在興慶宮西南角建兩座高樓，其一為“勤政務(wù)本樓”，用于日后日常辦公只用，另一座高樓則命名為“花萼相輝樓”，意在比喻他們五兄弟如花萼一般相輔相輝。