Dvorec Kozje (Drachenburg) so verjetno v začetku 17. stoletja pozidali lastniki gospoščine Schneeweissi, za njimi so ga imeli Senakovizhi, od leta 1679 do 1812 pa baroni Wintershofni. Leta 1812 je Kozje dedoval baron Alojz Gallenfels, leta 1815 je graščino kupil Kristijan pl. Leitner, do leta 1825 pa jo je imela Eleonora pl. Fedrozi. Med letoma 1826 in 1870 je dvorec posedoval Johann Eduard Sekol, ki je razpadajoče poslopje podrl in okoli leta 1850 pozidal novo. Po Sekolu so bili lastniki Johann Schinka, do leta 1907 Franc Fridcrik Gossleth pl. Werkstatten, od leta 1917 do 1945 pa rodbina Kobi.