Nevieme si predstaviť Plášťovce bez kaštieľa a kostola. Položené nad dedinou už z diaľky pozdravujú sem prichádzajúcich. Podľa posledných zistených poznatkov z knihy Dr. Kiss Lászlóa "Palócia bástyája" sa môžeme dočítať, že v roku 1736 začali stavať kaštieľ a stavbu dokončili o  10 rokov neskôr v roku 1746. Počas nasledujúcich storočí kaštieľ vystriedal viacerých majiteľov  a mnohokrát ho renovovali. V roku 2005 bol obnovený naposledy, vtedy dostala fasáda nový výzor. Na severnej strane dvora kaštieľa je už iba jedna bašta, ktorá mala v minulosti aj pár na druhej strane. Dve bašty strážili hlavný vchod do kaštieľa. Túto baštu prerobili v roku 2020 na kaplnku Sv. Huberta za pomoci poľovníckych združení v obci, ale aj od súkromných osôb, ktoré chceli tiež prispieť k tejto obnove. Hlavnú zásluhu na tomto projekte však nesie Hojsza Zoltán, ktorý organizoval a aj pracoval na prestavbe tejto kaplnky od začiatku až do konca. Kaštieľ má aj tajné chodby, ktoré rokmi upadli do zabudnutia.