1443-ban Ján Jiskra megszerezte Brandýstől, aki Ladislav Pohrobek jogaiért harcolt. Először a vár alatti domboldalon épített egy kis erődített erődöt, majd egy nagy udvar erődítményeit építtette. Így a kastély lassan felvette jelenlegi méretét és megjelenését. A kastély fontos történelmi mérföldköve az 1464-es év volt, amikor az uralkodó ezt a még mindig királyi várat adományozta a nemesek Imrich és Štefan Zápoľský részére. Érdekes, hogy annak ellenére, hogy a Zápoľ család több mint 70 kastély birtokában volt, a szepesi várat törzsi váruknak tekintették, és abban is éltek. Jelentősen korszerűsítették és befejezték. Új kápolnát építettek, emelték és megerősítették a tornyot, gótikus stílusban átalakították a román palotát, miközben ugyanazokat a kőfaragókat használták fel, akik temetkezési kápolnájukat a szepesi káptalanban építették. A Habsburgok előtti utolsó magyar király, Ján Zápoľský is a kastélyban született. Ő volt ennek a családnak az utolsó tulajdonosa is, mert amikor elvesztette a magyar trónért folyó harcot, a Habsburgok 1528 márciusában elkobozták a várat. De már 1531-ben Alexius Turznak adományozták. A Turz család a várat is igényeihez igazította, és számos épületének reneszánsz jelleget adott. Amikor 1636-ban elhunytak a férfi sorban, a várat a Csáky család vásárolta meg, akik 1945-ig birtokolták. Igaz, csak a 17. század végéig éltek benne, mert a 18. század eleje óta Csáky család kényelmes kastélyokat épített Hodkovcében, Bijacovcében, Kluknavában és másutt, és ott telepedett le.