Już na przełomie X i XI wieku na wzgórzu nad Kaczawą powstał gród z umocnieniami drewniano-ziemnymi i otoczony fosą. Na początku XIII wieku gród ten stał się siedzibą księcia Henryka Brodatego. Wzniesino wtedy w obrębie wałów dwie murowane z kamienia romańskie wieże. Na zachodzie wieża św. Jadwigi, a na wschodzie św. Piotra. Były to jedne z pierwszych murowanych wież w Polsce. W południowej części dziedzińca wzniesiono książęce palatium, trójkondygnacyjny budynek mieszkalny o wymiarach 61,5x16,2 metra, a w północnej czworoboczną wzniesioną z cegły Bramę Lubińską, od której poprowadzono ceglany mur obwodowy. Obok palatium stanęła zbudowana z cegły i kamienia kaplica. Zburzona w XVII wieku kaplica została odkryta podczas prac archeologicznych i obecnie jej relikty można oglądać w wybudowanym w latach 1969-74 w tym celu pawilonie, mieszczącym się na dziedzińcu (obecnie do 31 marca 1999 roku pawilon jest zamknięty). Zamek był własnością książąt legnickich a następnie legnicko-brzeskich od połowy XIII wieku do roku 1675. W roku 1415 została przebudowana wieża św. Piotra z inicjatywy księcia Ludwika II. Następnie w latach 1453-88 zamek rozbudowano.
Renesansowa przebudowa zamku została przeprowadzona z inicjatywy księcia Fryderyka II. Prace rozpoczęto przed rokiem 1527, a zakończono około 1533 roku. Zamek został wówczas otoczony wałami ziemnymi z bastejami w narożach i fosą. W 1532 roku powstał portal głównej bramy wjazdowej, wykonany przez Jerzego z Ambergu. Przed rokiem 1621 rozebrano kaplicę a między palatium a wieżą św. Jadwigi powstał arsenał. W roku 1674 podzielono obszerny dziedzińec na dwie części, wznosząc piętrowy budynek z wieżą zegarową pośrodku. Pożar który wybuchł na zamku w 1711 roku zniszczył całe skrzydło południowe. Następnie zamek spłonął w 1835 roku, odbudowano go wówczas według projektu architekta Karola Fryderyka Schinkla. Odbudowa ta zniszczyła wiele zabytkowych elementów. Następny pożar niszczący zamek miał miejsce w 1945 roku podczas działań wojennych. Odbudowa zamku została przeprowadzona w latach 1962-69. Obecnie na zamku mieści się Nauczycielskie Kolegium Języków Obcych oraz internat.