Zanim powstał pałac w Gorzanowie znajdował się najprawdopodobniej zamek. Umiejscowiony był gdzieś między dzisiejszym kościołem i pałacem. Nie ma zbytnio informacji na ten temat – zamek został zburzony (przez Husytów, Ślązaków lub Wrocławian) pod koniec XV wieku. Nic jednak nie mogło się zmarnować i budulec zamkowy wykorzystano do budowy pałacu. Gorzanów miał wielu właścicieli, przechodził z rąk do rąk. Podobnie jak w Ołdrzychowicach Kłodzkich pałac należał do rodziny von Knoblauchsdorf, kolejni właściciele zostali wywłaszczenie ze względu na popieranie protestantyzmu.
Tym sposobem pałac trafił w ręce kamerdynera biskupa wrocławskiego – Johanna Arbogasta von Annaberg, późniejszego komendanta Twierdzy Kłodzkiej. Po jego śmierci pałac trafił do jego syna Carla Heinricha, który nie rezydował w nim, gdyż mieszkał w swoich włościach w Austrii. Sprzedał za to pałac swojej siostrze Marii Maximilianie. Maria była zamężna – wyszła za Johanna Friedricha von Herbersteina i tym właśnie sposobem pałac trafił do rodziny Herbersteinów na długie lata (1650-1930).
W 1775 roku zaczęto przeistaczać ogród w park krajobrazowy w stylu angielskim i wybudowano grotę (lusthaus). 61 lat później, w 1836 roku w parku zbudowano łaźnie a w późniejszym czasie kawiarnie – były one dostępne dla okolicznych mieszkańców i turystów.W latach 1900-1906 przeprowadzone zostały prace remontowe – to właśnie z tego okresu pochodzi sgraffito na murach pałacu. W 1930 roku pałac został sprzedany gminie Bystrzyca Kłodzka. Usytuowano w pałacu przerobionym na mieszkania przesiedleńców ze Stanisławowa (dzisiejsza Ukraina). Tutaj to nie wojna zniszczyła pałac tylko brak poszanowania ze strony ludzi. Od lat 30 pałac był niszczony i okradany. W latach 90 pałac sprzedano prywatnemu inwestorowi z Austrii, jednak ten nic nie zrobił by polepszyć stan zabytku. Ściany zaczęły pękać, dachy i stropy zaczęły się walić. A właściciel nic tylko wystawił pałac na sprzedaż…
Dopiero w roku 2012 kiedy pałac został kupiony przez Fundację Pałac Gorzanów pokazało się światełko w tunelu. Dzisiaj po ponad 10 latach widać ogrom pracy, który został wykonany dla pałacu. Pałac został zabezpieczony – najważniejsze, że ma dach (można powiedzieć, że to dach niezgody), okna, pomału pałac zyskuje dawny blask przez prace restauracyjne. Co tylko można jest ratowane lub odtwarzane zgodnie ze sztuką i źródłami historycznymi. Udało się nawet uruchomić zegar na wieży!Klimat, historia, piękne wnętrza i okolica. Warto tu się zatrzymać.