Pałac powstał w latach 1745-1764. Był pierwszą, letnią rezydencją magnata Jana Klemensa Branickiego. Ciekawostką jest, że budowla powstała na sztucznej wyspie, w miejscu wcześniejszej, uszkodzonej rezydencji.
Pałac został uszkodzony podczas powstania listopadowego. Po odbudowie spełniał rolę fabryki włókienniczej rodziny Moesów. W 1915 roku budynek uległ poważnemu uszkodzeniu w wyniku działań wojennych. W roku 1930 w budynku mieścił się szpital, jednak konstrukcja popadał w coraz większą ruinę.
W połowie lat 50-tych XX-wieku zapadła decyzja lokalnych władz o odbudowie pałacu, co nastąpiło na przełomie lat 60-70-tych. Od tamtego czasu mieści się tu Muzeum Wnętrz Pałacowych będącego oddziałem Muzeum Podlaskiego w Białymstoku.
