Eleinte a kastély királyi tulajdon volt, később tulajdonosaként több fontos magyar arisztokrata család vette át az irányítást, köztük Matúš Čák Trenčiansky, Svätý Jur és Pezinok, Zápoľské vagy Turzovci urai.
A Turz család a kastélyt az uradalommal együtt Habsburg Mária királynőtől, II. Lajos magyar király feleségétől szerezte meg. Jagelovsky.
A legfontosabb arisztokrata családok befolyásolták a kastély történetét, amely fokozatosan birtokosává vált: a német Fuggerek és a magyar Pálfi család.
A Fuggerek a kastélyt üzleti partnereiktől, Turzovoktól szerezték meg. A gótikus várral rendelkező Červenokamenské birtok tehát annak idején Európa egyik leggazdagabb kereskedő családjának tulajdonába került.
Az élén Anton Fugger, a dél-németországi Augsburgból származó, képzett, nagyon gazdag és képes üzletember állt, aki magabiztosan mozgott a reneszánsz Európa környezetében. Úgy döntött, hogy felhasználja a Vörös-kő stratégiai elhelyezkedését Bécs és Pozsony közelében, és a régi gótikus várat biztonságos raktárrá alakítja, amelyet családja egész Európában kereskedett.