Dne 24. listopadu 1539 obdržel Jan z Pernštejna dopis, v němž mu císař Ferdinand dal „milostivé povolení dotčený zámek Rožnov zbořiti a jiný v Meziříčí postaviti“. O vlastní stavbě toho ale moc nevíme. Koncem šedesátých let 16. století prodali Pernštejnové panství Žerotínům a z iniciativy Ludvíka ze Žerotína byla ve druhém desetiletí 18. století provedena velká barokní přestavba zámku, při níž dostal přibližně dnešní podobu.

Bylo postaveno jeho jižní křídlo a nepatrně prodlouženo křídlo severní, v němž bylo zřízeno postranní schodiště, vedoucí do nově vystavěného druhého poschodí. Vzniklé nádvoří bylo doplněno arkádami a pravděpodobně zřízeno i schodiště v ose středního traktu budovy.

V roce 1815 prodala hraběnka Marie Josefa ze Žerotína, provdaná Fürstenbergová, panství hraběti Františku Josefu Kinskému z Vchynic a Tetova, v roce 1854 koupil zámek stát a zřídil v něm ženskou věznici. Krátce byl majitelem zámku také Arnim, svobodný pán Popr, pak ho v dražbě získala rakouská společnost na výrobu celulózy, od níž ho koupili Gultmann a Rotschild a 31. července 1913 ho získal olomoucký arcibiskup a rodák z Hrachovce František Saleský Bauer pro spolek Katolický dům.

Přestavba severního traktu zámku na spolkové místnosti a divadelní sál ale musela být odložena, neboť přišla první světová válka, během níž zámek sloužil jako lazaret. Zakázka byla zadána až 3. října 1919 rožnovskému staviteli Bayerovi a interiér sálu navrhovali profesoři Státní mistrovské dřevařské školy.

Jedenadvacátého srpna 1920 se konala na novém jevišti slavnostní akademie a bylo zde odehráno první divadelní představení „Lešetínský kovář“, 22. srpna byl „Lidový dům“, což byl název daný zámku výborem pro přestavbu, slavnostně otevřen.

V listopadu 1951 byl zámek dán do vlastnictví Místnímu národnímu výboru ve Valašském Meziříčí a sídlil v něm Sdružený klub pracujících, vzniklý sdružováním kulturních organizací, spolků a klubů ve městě.

V roce 1962 byl Sdružený klub přeměněn v Klub pracujících města Valašské Meziříčí, do kterého přešly i soubory zájmové umělecké činnosti, mj. folklorní soubor Bača, pěvecký sbor Beseda a dechová hudba Teslačka.

Ve druhé polovině šedesátých let bylo ve sklepních prostorách zámku budováno Klubové zařízení mladých, které zahájilo provoz v rámci Klubu pracujících v roce 1971. V květnu došlo ke změně názvu Klubového zařízení mladých na M-klub a v červnu téhož roku, po sloučení Klubu pracujících a kina, vzniklo Jednotné kulturní zařízení města Valašské Meziříčí.

V Klubu pracujících, později v Jednotném kulturním zařízení se konala řada přehlídek a festivalů – Televizní baňka (dnes Krásenský zvoneček), regionální přehlídka amatérských divadel, celostátní přehlídka klubové tvorby, Moravský festival poezie, Valašský špalíček a další akce, z nichž většina se zachovala dodnes.

V březnu 1991 došlo ke změně názvu na Kulturní zařízení města Valašského Meziříčí. Vzhledem k nevyhovujícímu technickému stavu zámku rozhodlo vedení města v roce 1995 o zahájení komplexní rekonstrukce objektu, připravované od roku 1980. Rekonstrukce začala v červnu 1996.

M-klub obnovil provoz v dubnu 1997, Divadelní kavárna byla otevřena v listopadu téhož roku, velký sál a ostatní prostory Kulturního zařízení v lednu 1998. Po téměř dvaceti letech tak má město opět sál, v němž byl od sezóny 1999 – 2000 obnoven cyklus divadel v předplatném a z kina Svět se sem vrátil i cyklus koncertů v předplatném.

V roce 2001 byla pro veřejnost otevřena venkovní terasa nad řekou Bečvou, v letních měsících s restauračním provozem, který zajišťuje Divadelní kavárna. Od roku 2002 je zpřístupněno také zámecké nádvoří s fontánou a dekorativními plochami zeleně. Zároveň bylo dokončeno také centrální schodiště a výtah, který umožňuje bezbariérový přístup do Kulturního zařízení.