Nemški viteški red je prišel v Metliško krajino leta 1236 in verjetno so si že kmalu pozidali utrdbo Komendo. Grad je bil sedež viteškega reda, v zgodovinskih virih je omenjen leta 1310. Leta 1483 je omenjen Wolfgang Neuhaus kot komtur nemškega viteškega reda v Metliki, Črnomlju in Ljubljani. Prvotno poslopje je bilo poškodovano v požaru leta 1705, ki so ga kmalu temeljito prenovili.