La città era composta da due fortezze costruite in argilla. Mentre la maggior parte è crollata, si possono ancora osservare i tratti est e nord della fortezza settentrionale. La parte rimasta raggiunge un'altezza di quattro metri per uno spessore di due metri. I piccoli fori che costellano la fortezza si ritiene fossero utilizzati per l'osservazione dell'esterno dall'interno. Sulla fortezza nord sorgeva un grande tempio circondato da leoni. Le rovine di Baibalik si trovano a 14 km dal centro di Khutagöndör. Il sito è protetto dallo Stato come sito storico dal 1998.

Come molti resti in Mongolia, le rovine di Baibalik sono al contempo quelle di una fortezza xiongnu e di un'importante città uigura. I Mongoli infatti avevano l'abitudine di riutilizzare antiche fortezze, motivo per cui è difficile portare alla luce resti unicamente xiongnu. Nel sum di Saikhan, provincia di Bulgan, si trova un'iscrizione relativa alla fondazione di Baibalik incisa su una stele e attribuita al re uiguro Myunchur. Alla 44ª riga è infatti indicato:

Gli storici ritengono pertanto che la città sia stata costruita dal Re Myunchur e da numerosi mercanti tagiki e cinesi, nonché da predicatori manichei, che vi si incrociavano. Città prospera, era considerata un centro culturale dell'Asia centrale.

La città fu distrutta dai Kirghisi nell'840. Tutti i libri di sutra furono allora bruciati.