Najugledniji visoki gosti boravili su u njegovim odajama, između ostalih i Josip Broz Tito, te Sandro Pertini.
U skladu sa orijentalnim konceptom shvatanja života i odnosa među ljudima u feudalnoj Turskoj, glavni sultanov predstavnik u novoosnovanoj provinciji bila je ličnost kojoj je trebalo osigurati smještaj u zgradi, koja bi po svojim dimenzijama, arhitekturi, opremi i namještaju stavila u sjenu sve ostale stambene i upravne zgrade.
Prva zgrada bosanskih namjesnika – Saraj, po kome je grad i dobio ime sagrađena je prije 1462.godine. U toku turske vladavine u Sarajevu su izgrađena ukupno tri takva Saraja koja su izgorjela. Posljednji, četvrti, Saraj sagradio je Topal Šerif Osman paša (1861 – 1869), koji je u narodu poznat pod imenom “Konak”.
Zgrada u sarajevskom naselju Bistrik dovršena je u novembru 1869. godine i u svoje vrijeme bila je jedna od najljepših i najviših objekata, jer je jedina u gradu imala tri sprata. Gradili su je Splićani Franje Linardov i Franjo Moise.
Nalazi sa na Bistriku, u neposrednoj blizini franjevačkog samostana i crkve sv. Ante, Sarajevske pivare i Careve džamije. Okružen visokim zidom, dvorac ima prilaz sa istočne strane, kroz veliku kapiju, i zapadne strane, sa Trga Austrije.
Za vrijeme austro–ugarske vladavine na objektu i njegovoj neposrednoj okolini izvršeni su 1906. godine izvjesni građevinski radovi i urađen je dvorišni prostor i postavljene po dvije, u kamenu uklesane figure lavova.
U jednoj od odaja “Konaka” bio je posmrtni odar autro-ugarskog nadvojvode Franca Ferdinanda i njegove supruge Sofije, neposredno nakon atentata izvršenog 28. juna 1914. godine. Taj događaj uzima se i kao neposredni povod za izbijanje Prvog svjetskog rata.
Rezidencija “Konak” bila je reprezentativni objekat i u vrijeme Kraljevine Jugoslavije, kao i u periodu komunizma. Najugledniji visoki gosti boravili su u njegovim odajama, između ostalih i Josip Broz Tito, te Sandro Pertini.
Tokom opsade Sarajeva (1992-1995), “Konak” je pretrpio oštećenja koja su vidljiva na dijelu njegove fasade i na vitražu na centralnom stepeništu.
Rezidencija “Konak” je danas, iako u lošem stanju, reprezentativni objekat države Bosne i Hercegovine, i služi za potrebe Predsjedništva Bosne i Hercegovine, državne prijeme i boravak visokih inostranih delegacija, tokom njihovih posjeta Bosni i Hercegovini.
Danas je Konak rezidencija predsjednika Predsjedništva Bosne i Hercegovine, a koristi se prvenstveno za prijeme visokih gostiju.