Olimpijski muzej je osnovan odlukom Organizacionog komiteta XIV ZOI '84, u nadi da će trajno sačuvati uspomenu na organizaciju i realizaciju nezaboravnog olimpijskog događaja. Zgrada današnjeg muzeja sagrađena je 1903. godine, po uzoru na luksuzne europske vile iz tog perioda. Nekada je bila sjedište Američkog konzulata, potom Gradskog komiteta Saveza komunista u Sarajevu. Građena je po uzoru na aristokratske vile, krasi je i toranj.

U prisustvu brojnih zvanica i predsjednika Međunarodnog olimpijskog komiteta, Juan Antonio Samaran, Muzej je svečano otvoren 08.02.1984. godine, na dan otvaranja XIV Zimskih olimpijskih igara u Sarajevu. Od 1984. godine do 1992. godine realizovao je više od 300 tematskih programa. Već na početku rata u Bosni i Hercegovini, 27. aprila 1992. godine, zgrada Olimpijskog muzeja je granatirana, a u požaru koji je tada izbio, stradao je ovaj predivni objekat, kao i mnoštvo vrijednih eksponata.

Zahvaljujući Edinu Numankadiću, njegovim saradnicima, uposlenicima Muzeja, te našim građanima, u teškim ratnim uslovima, veći dio eksponata je spašen. Po završetku rata eksponati su izloženi u Olimpijskom centru Zetra, povodom obilježavanja 20 godina XIV Zimskih olimpijskih igara, gdje su bili čuvani do ponovnog otvaranja Olimpijskog muzeja u Sarajevu. Uz prisustvo princa Alberta II od Monaka, zvaničnog predstavnika Međunarodnog olimpijskog komiteta, svečano je otvoren 08. oktobra 2020. godine. (https://gradskimuzeji.ba/)