Povijest Centra vezana je uz Dvorac Patačić. Radi se o baroknom dvorcu kojeg je podigla stara hrvatska plemićka obitelj Patačić sredinom 18. st kada je napustila svoju srednjovjekovnu utvrdu Milengrad. Početkom 1980-tih godina bio je obnovljen, a zatim 1982. godine oštećen potresom i od tada je prazan i ruševan.

Prvi službeni dokument o početku radu Centra donio je Narodni odbor Kotara Zlatar 20.03.1954. god. kada je tadašnji Specijalni zavod za učenice u privredi proglašen ustanovom sa samostalnim financiranjem.

Međutim, prvi službeni upis u Matičnu knjigu učenica napravljen je 04.10.1951. god. kada je upisana prva učenica. Učenice su bile na smještaju i na odgojno-obrazovnom procesu u prostorijama dvorca sve do 1982. Godine, do potresa, zbog kojeg život i rad u dvorcu vise nije bio siguran .nakon čega počinje izgradnja objekta u kojem Centar postoji i djeluje i dan danas. Prvotno su u odgojno-obrazovnom procesu bile samo djevojčice bez adekvatne roditeljske skrbi, s vremenom bi bivale smještene djevojčice sa lakšim intelektualnim teškoćama, da bi se na kraju postupno smještavala miješana muško-ženska populacija od 7 do 21 godine sa sve većim intelektualnim i pridruženim teškoćama.