W 1513 roku Bohdan Hrynkowicz Wołłowicz, koniuszy grodzieński, otrzymał od króla Zygmunta I milę kwadratową puszczy z obowiązkiem jej zasiedlenia. Na terenie obecnej Dowspudy Wołłowicz zbudował drewniany dwór obronny, co uczyniło tę miejscowość jedną z najstarszych w tej części ziem pojaćwieskich. Przed 1639 rokiem majątek Dowspuda przeszedł w ręce rodu Paców, znanej rodziny mającej duży wpływ na życie polityczne i kulturalne Wielkiego Księstwa Litewskiego.
Ostatnim dziedzicem wielkiego majątku Dowspuda był Ludwik Michał Pac (1778-1835). Pochodził z ubogiej bocznej linii rodu Paców, a majątek odziedziczył na mocy testamentu po Józefie Pacu. Stał się jednym z najbogatszych ludzi w kraju, obejmując w posiadanie m.in. Różankę, Horodyszcze, Dowspudę, Raczki i Mazurki.
Pac, zafascynowany podróżami do Włoch i nowymi prądami artystycznymi, stał się koneserem i mecenasem sztuki. Jako angloman, przeniósł do swych dóbr brytyjskie metody gospodarowania. Sprowadził farmerów szkockich i irlandzkich, którzy wprowadzili płodozmian i uprawę ziemniaków, co przyczyniło się do szybkiego rozwoju regionu. Dobra dowspudzkie stały się wzorcowym kombinatem rolniczo-przemysłowym, gdzie hodowano owce i produkowano maszyny rolnicze. W 1817 roku zbudowano tam nowoczesną, parową gorzelnię.
Ludwik Michał Pac był także wspaniałym kawalerzystą i generałem w armii Napoleona. Postanowił przenieść swą główną siedzibę do Dowspudy i wybudować tam rezydencję w stylu neogotyckim. W latach 1820-1823, przy pomocy architektów Piotra Bosio i Henryka Marconiego, powstał pałac odzwierciedlający powiedzenie “Wart Pac pałaca, a pałac Paca”.
Pałac w Dowspudzie był jedynym czystym przykładem neogotyku angielskiego w Polsce. Miał kształt litery T z czterokondygnacyjnym korpusem głównym, sześcioma wieżyczkami i ośmiobocznymi basztami. Wnętrza były bogato zdobione dziełami sztuki, polichromiami, freskami i rzeźbami.
Po upadku powstania listopadowego, w którym Pac brał czynny udział, jego majątek został skonfiskowany przez rząd carski. Pac musiał uciekać za granicę, a pałac zaczął popadać w ruinę. W latach 1887-1888, podczas rozbiórki pałacu na sprzedaż cegły, wiele z jego części zostało zniszczonych.
Dziś po pałacu pozostały mury fundamentowe, arkadowy portyk, wieża narożna zwana Bocianią oraz piwnice, które zostały częściowo odrestaurowane. W pobliżu znajduje się zabytkowa stajnia z 1825 roku, która służy jako internat dla uczniów Zespołu Szkół Rolniczych. Wokół pałacu rozciąga się rozległy park o powierzchni 13 hektarów, z wieloma cennymi gatunkami drzew iglastych i liściastych, stanowiący cenną pamiątkę po dawnej świetności Dowspudy.