We wsi już w pierwszej połowie XIV wieku stała strażnica rodu Berzewiczych w formie kwadratowej, mieszkalnej wieży, której mury zachowały się w piwnicach obecnego kasztelu. W 1589 roku majątki w Niedzicy i Frydmanie od Olbrachta Łaskiego kupił Jerzy Horvath, i w latach 1585–1590 rozbudował zamek niedzicki i strażnicę. Tak powstał obronny dwór czyli kasztel, typowy dla Spiszu i wzorowany na zamkach włoskich z XV wieku. Był to jednopiętrowy, kamienny budynek w stylu renesansowym, postawiony na rzucie prostokąta, o grubych murach, kryty dachem pogrążonym i zwieńczony attyką. W narożach tylnej elewacji umieszczono dwie alkierzowe wieże. Od frontu w środkowym ryzalicie znajdował się portal podobny do tego w niedzickim zamku, a w naroża ukośnie nadwieszone wykusze na kroksztynach. Założenie otaczała fosa z wodą. Sąsiadujące z dworem dwie ośmioboczne, niewielkie budowle zwane Borhauzami, łączyły się z dwupoziomowymi piwnicami, posiadającymi po trzy około stumetrowe korytarze, w których Horwathowie przechowywali sprowadzane z Węgier wino. Wieś należała do Horvathów do 1857 roku.

Kolejny właściciel dworu Aladar Salamon, umieścił w nim serownię, zaniedbał i utracił za długi. Pod koniec XIX wieku opuszczony kasztel był mocno zrujnowany. W 1910 roku kupił go miejscowy ksiądz Józef Noworolski, który przeprowadził nieudaną przebudowę i adaptację dworu na mieszkania. Usunięto piękną attykę, obramowania okien i portal wejściowy, dach zastąpiono zwykłym, czterospadowym, wieże przykryto hełmami. W takim stanie budynek zachował się do dziś. Po II wojnie światowej w zdewastowanym dworze nadal mieszkali jego właściciele, a na parterze działała szkoła.

Dziś kasztel znajduje się w rękach spadkobierców księdza Noworolskiego i nie jest dostępny dla turystów.