Prawdopodobnie istniały tu już umocnienia obronne w XI wieku. Gród należał do rodu Panowiców (Pannwitz). Na początku XIII wieku powstał tu murowany zamek z kamienną wieżą. Pierwsza wzmianka o zamku pochodzi z 1377 roku. Po przyłączeniu się Panowiców do spisku przeciwko czeskiemu królowi Otokarowi II zamek wraz z dobrami został skonfiskowany. Od tego czasu bardzo często następuje zmiana kolejnych właścicieli zamku. Najpierw był nim hrabia von Moschen, następnie ponownie Panowic, później Stefan Pantziger. Po 1430 roku dobra przejął Franciszek von Hag, a w 1485 roku Zbyszek Bochowic. Następnie zamek należał do hrabiego kłodzkiego Henryka I Podiebradowicza. W latach 1505-1514 Ulrich von Hardegg rozbudował zamek i otoczył go wałami. W 1514 roku zamek kupił Baltazar Reichenbach. On to w 1563 roku rozpoczął przebudowę zamku w stylu renesansowym. Przerwała ją jednak śmierć właściciela. W następnych latach ponownie często zmieniają się właściciele zamku. W czasie wojny trzydziestoletniej, w 1645 roku zamek został opanowany i zniszczony przez wojska szwedzkie. W roku 1671 właścicielem zamku został właściciel leżących niedaleko Wambierzyc Daniel von Osterberg, który odbudował zamek ze zniszczeń wojennych. Jednak w trakcie odbudowy całkowicie zatarto pierwotny renesansowy układ i charakter budowli, zachowała się tylko renesansowa attyka. Dobudowano barokowe budynki i tarasy ogrodowe. W 1854 roku zamek kupił szkocki szlachcic Waldemar von Johnston. Obecny wygląd zamek zawdzięcza XIX-wiecznej przebudowie, w trakcie której całkowicie został zmieniony pierwotny układ budowli. Jedyną ozdobą zamku jest oryginalna renesansowa attyka, oraz pochodzący z 1677 roku barokowy portal zdobiący główne wejście.