Nejdříve byl hrad královským majetkem, později se jako jeho vlastníci vystřídaly několik významné uherské šlechtické rody, mezi jinými i Matúš Čák Trenčianský, páni ze Svatého Jura a Pezinku, Zápolští nebo Turzovci.
Turzovci získali hrad spolu s panstvím do dědičné držby od královny Marie Habsburské, manželky uherského krále Ludvíka II. Jagellonského.
Do dějin hradu zasáhly nejvýznamnější dva šlechtické rody, které se postupně staly jeho vlastníky: němečtí Fuggerové a uherští Pálfiovci.
Fuggerové získali hrad do držby od svých obchodních partnerů Turzovci. Červenokamenské panství s gotickým hradem se tak v roce 1535 dostává do vlastnictví jedné z nejbohatších obchodnických rodin tehdejší Evropy.
Na jejím čele stál Anton Fugger, vzdělaný, velmi bohatý a schopný obchodník z jihoněmeckém Augsburgu, který se s jistotou pohyboval v prostředí renesanční Evropy. Rozhodl se využít strategickou polohu Červeného Kamene nedaleko Vídně a Bratislavy a proměnit starý gotický hrad na bezpečný sklad zboží, s nimiž jeho rodina obchodovala po celé Evropě.