因為伊麗莎白十分看重羅伯特，讓他連抽身回鄉(xiāng)下打理房產(chǎn)的假期也沒有。作為妻子的愛米在1559年的復活節(jié)造訪倫敦后二人就難得見面，只能通信交心。

1560年的9月，羅伯特打算回家看看的時候，愛米卻不慎從樓梯跌落死去。

本來坊間就有傳女王和她的廷臣一直密謀在他妻子死后結婚，這個消息更是大合造謠者的胃口。而這個傳言最終也成為伊麗莎白和羅伯特走到一起的最大阻礙。雖然結婚結不成，二人還是很親近的。羅伯特呆在朝廷中的時間比任何一個同僚多，而他在宮中的房間也是緊貼著女王的居所。