Najskôr bol hrad kráľovským majetkom, neskôr sa ako jeho vlastníci vystriedali viaceré významné uhorské šľachtické rody, medzi inými i Matúš Čák Trenčiansky, páni zo Svätého Jura a Pezinka, Zápoľskí alebo Turzovci.
Turzovci získali hrad spolu s panstvom do dedičnej držby od kráľovnej Márie Habsburskej, manželky uhorského kráľa Ľudovíta II. Jagelovského.
Do dejín hradu zasiahli najvýznamnejšie dva šľachtické rody, ktoré sa postupne stali jeho vlastníkmi: nemeckí Fuggerovci a uhorskí Pálfiovci.
Fuggerovci získali hrad do držby od svojich obchodných partnerov Turzovcov. Červenokamenské panstvo s gotickým hradom sa tak v roku 1535 dostáva do vlastníctva jednej z najbohatších obchodníckych rodín vtedajšej Európy.
Na jej čele stál Anton Fugger, vzdelaný, veľmi bohatý a schopný obchodník z juhonemeckého Augsburgu, ktorý sa s istotou pohyboval v prostredí renesančnej Európy. Rozhodol sa využiť strategickú polohu Červeného Kameňa neďaleko Viedne a Bratislavy a premeniť starý gotický hrad na bezpečný sklad tovarov, s ktorými jeho rodina obchodovala po celej Európe.