Původní tvrz postavil Arnošt z Pardubic kolem poloviny 14. století. Ta po svém zakladateli dostala jméno Ernestinum. Počátkem 15. století bylo sídlo nově opevněno. Roku 1576 byla tvrz vypleněna, po roce 1670 opravena a rozšířena na zámek. Od roku 1865 byl zámek sídlem báňské akademie. V roce 1946 byla Vysoká škola báňská přemístěna do Ostravy, zámeček byl až do roku 1962 využíván jako sídlo drobných provozoven.
Po rekonstrukci z 80. let 20. století je v zámečku Galerie Františka Drtikola a Muzeum III. odboje. Od roku 2000 opět svým názvem Ernestinum připomíná svého zakladatele. V budově je umístěna také obřadní síň.