Gornjegrajski benediktinski samostan je postal leta 1463 last ljubljanske škofije. Sredi 18. stoletja točneje po letu 1743 je škof Ernest grof Attems graščino prezidal v baročni dvorec Gornjio grad (Oberburg). Med letoma 1652 in 1655 je škof Oton grof Buchheim dal Gornji grad v zakup Eliasu Andrianu s Pakenštajna. Leta 1786 je Gornji grad prešel v last verskega sklada, leta 1807 pa je bil vrnjen ljubljanski škofiji. Leta 1944 so ga partizani požgali, ker je bila v njem nemška posadka.