Pierwotnie pałac był siedzibą właściciela miasta Andrzeja Potockiego. Na początku XX wieku miasto wraz z pałacem zostało prawie doszczętnie zniszczone. Przed II wojną światową pałac został odbudowany przez Jana Koszczyc Witkiewicza. Obecny pałac został odbudowany w stylu klasycystycznym. Zespół pałacowo-parkowy położony jest tuż nad skarpą wiślaną. W parku za pałacem znajdują się pozostałości schodów przy wiślanej skarpie oraz kamienna ławka parkowa z rzeźbą Chrystusa. Obecnie budynek jest siedzibą Urzędu Gminy.