Na skalnym cyplu, położonym na wysokości 550 m n.p.m. wznoszą się ruiny zamku, którego budowe przypisuje się Bolkowi I surowemu w końcu XIII wieku. Dokumenty wymieniają w 1300 roku kasztelana zamku Alberta z Bawarii, jest on kasztelanem do 1339 roku. Z tego okresu pochodzi wieloboczna kamienna wieża i mury zamku górnego.
W XV wieku zamek należy do Henryka Czirna, a następnie do Hansa. Hans był bardzo barwną postacią, wraz z synem Konradem brał udział w 1410 roku w bitwie pod Grunwaldem po stronie Krzyżaków. W czasie wojen husyckich, w 1432 roku przyłączają się oni do husytów, lecz ich działalność polega głównie na rozbojach i grabieżach. W 1434 roku biskup wrocławski ogłasza ich odszczepieńcami i ze świdnicy wyrusza zbrojna wyprawa mieszczan, która opanowała i zniszczyła zamek. Jednak wkrótce Hans przy pomocy wojsk husyckich odbija zamek. Jednak wówczas ruch husycki zaczynał już słabnąć i Hans nie widział już w nim szansy na dalsze sukcesy. Dlatego ponownie zmienia front swych działań i pod pozorem omówienia planów dalszych wypraw, zaprosił na zamek Sokolec husyckich przywódców, między innymi księcia Biedżycha. W nocy z 11 na 12 sierpnia 1434 roku wydał ich w ręce wrocławskiego biskupa i świdnickich mieszczan. Jednak i na niego przyszedł kres, kiedy to zginął zamordowany w zamkowej kaplicy przez Gunczela Świnkę z pobliskiego zaku w Świnach. Miało to miejsce w 1455 roku, a pochowano go pod ołtarzem tejże kaplicy. Podczas ataku Gunczela Świnki został zniszczony również zamek.
W 1471 roku zamek został przekazany przez lubąskiego opata Pawła na własność Jerzemu Zedlitzowi. W 1545 roku ówczesny właściciel zamku, Paweł Zedlitz wybudował obok zamku renesansowy pałac. Został on zniszczony przez pożar, wywołany prawdopodobnie nieumyślnym zaprószeniem ognia w 1992 roku.