Zunächst war die Burg ein königliches Eigentum, später übernahmen als Eigentümer mehrere wichtige ungarische Adelsfamilien, darunter Matúš Čák Trenčiansky, die Herren von Svätý Jur und Pezinok, Zápoľské oder Turzovci.
Die Familie Turz erwarb das Schloss zusammen mit dem Herrenhaus von Königin Maria von Habsburg, der Frau von König Ludwig II. Von Ungarn. Jagelovsky.
Die wichtigsten Adelsfamilien beeinflussten die Geschichte der Burg, die nach und nach Eigentümer wurde: die deutschen Fugger und die ungarische Familie Pálfi.
Die Fuggers erwarben das Schloss von ihren Geschäftspartnern, den Turzovs. Das Gut Červenokamenské mit einer gotischen Burg ging damit in den Besitz einer der damals reichsten Kaufmannsfamilien Europas über.
An der Spitze stand Anton Fugger, ein gebildeter, sehr wohlhabender und fähiger Geschäftsmann aus Augsburg in Süddeutschland, der sich im Umfeld der Renaissance in Europa sicher bewegte. Er beschloss, die strategische Lage des Roten Steins in der Nähe von Wien und Bratislava zu nutzen und die alte gotische Burg in ein sicheres Lagerhaus für Waren zu verwandeln, die seine Familie in ganz Europa handelte.