Powierzchnia zamku wynosiła pierwotnie ok. 270 m2. W wyniku rozbudowy podjętej przez kolejnych właścicieli powierzchnia budowli rozrosła się do 1200 m2. Zamek otaczał mur obwodowy, był otoczony fosą, a na wewnętrzny dziedziniec prowadziła brama.
Zamek w Mirowie został zbudowany w czasach Kazimierza Wielkiego około połowy XIV wieku obok wsi Mirów, lokowanej na prawie polskim.
Historycy przypuszczają, że już wcześniej istniały w tym miejscu zabudowania drewniano-ziemne. Początkowo warownię tworzyła kamienna strażnica podległa pod pobliski zamek w Bobolicach, która wraz z nim wchodziła w skład systemu obronnego znanego dziś jako Orle Gniazda. Strażnica ta należała do szlacheckiego rodu Lisów, którzy byli również właścicielami pobliskiego zamku w Koziegłowach. Jako pierwsi zainicjowali oni rozbudowę umocnień do formy rycerskiego zamku.
W 1378 warownia ta nadana została jako lenno Władysławowi Opolczykowi przez Ludwika Węgierskiego, jednak za prowadzenie wrogiej Polsce polityki Władysław Jagiełło odebrał ją w 1396.
Później w połowie XV w. zamek w Mirowie przeszedł w ręce kolejnych rycerskich rodów.
Zamek w Mirowie mocno ucierpiał podczas potopu szwedzkiego, kiedy zniszczono znaczną część murów. Mimo podjętych przez właścicieli prac remontowych powoli popadał w ruinę i ostatecznie został opuszczony w 1787 r. Warownia stała się źródłem kamiennego budulca dla okolicznych mieszkańców, co przyspieszyło jej spustoszenie.
W XIX wieku zamek został po raz pierwszy zinwentaryzowany. Nie miał już wówczas dachów, a mury w wielu miejscach były zawalone. W 1934 runęła ściana południowa zamku. Zamek został objęty ochroną konserwatorską w okresie PRL.