V 14. in 15. stoletju je grad služil kot rezidenca grofov in knezov Celjskih. Po izumrtju Celjskih je bil v poslopju od 15. stoletja dalje vicedomski urad, sredi 18. stoletja pa so ga po ukazu cesarice Marije Terezije preuredili v vojašnico.
Čeprav je bila stavba s številnimi prezidavami oropana nekdanjega srednjeveškega videza sodi med najpomembnejše grajske objekte na Slovenskem in je tudi zaščitena za spomenik državnega pomena. V kletnih prostorih se na več kot 1000 m2 površine razprostira največja in situ predstavitev ostankov rimske Celeje, ki skupaj z razstavo Grofje Celjski dopolnjuje vsebino dvora. V delu dvora se urejajo prostori za stalno arheološko razstavo, svoje mesto v njem pa ima tudi Galerija sodobne umetnosti Celje.