Lokalizacja pomnika J. Piłsudskiego była przedmiotem długich dyskusji. Proponowano m.in. teren kościoła św. Rocha, czy też park przed Teatrem Dramatycznym A. Węgierki, który powstał jako jako gmach Teatru Ludowego im. Marszałka. Znani Białostoczanie w tym duchowieństwu nie widziało jednak innego rozwiązania niż Rynek Tadeusza Kościuszki. Choć pomysł miał wielu przeciwników, większość postawiła na swoim.
6 stycznia 1990 roku powołano został Społeczny Komitet, składający się „z miłośników postaci i czynów Pierwszego Marszałka Polski”. Sprawy przybrały takk szybki obrót, że skoro w 55 rocznicę śmierci J. Piłsudskiego czyli 12 maja, nastąpiło już wmurowanie kamienia węgielnego. Koszt budowy oszacowano na 100 mln ówczesnych złotych. A by zdobyć fundusze organizowano kwesty podczas mszy, odpustów i jarmarków. Przyjmowano ponadto złom metali kolorowych. Jakiś czas potem okazało się, że potrzeba dwa razy więcej środków. Apele o wsparcie nie pozostały bez odzewu.
Teraz pozostało stworzyć godny projekt. Po długich rozmowach wybór padł na sylwetę zamyślonego Marszałka w pozycji stojącej, opartego o szablę. Jego wzrok skierowany został na ukochane Wilno, a w znacznie bliższej odległości na Katedrę pw. Wniebowzięcia Najświętszej Maryi Panny. Montaż pomnika o łącznej wadze 3, 5 tony nastąpił nocą, z 10 na 11 listopada przy nieocenionej pomocy żołnierzy.
W 2008 r. w wyniku przebudowy centrum pomnik przeniesiono. Ostateczną lokalizacją okazało się miejsce gdzie w 1921 Józef Piłsudski odbierał, podczas oficjalnej wizyty w Białymstoku defiladę wojskową. Od 6 sierpnia 2008 pomnik marszałka Józefa Piłsudskiego stoi przed Archiwum Państwowym.