La ciudad estaba compuesta por dos fortalezas construidas en arcilla. Aunque la mayor parte se ha derrumbado, aún pueden observarse los tramos este y norte de la fortaleza norte. La parte restante tiene una altura de cuatro metros con un espesor de dos metros. Los pequeños agujeros que salpican la fortaleza se supone que servían para la observación del exterior desde el interior. En la fortaleza norte se encontraba un gran templo rodeado de leones.

Las ruinas de Baibalik se encuentran a 14 km del centro de Khutag-Öndör. El sitio está protegido por el Estado como sitio histórico desde 1998.

Como muchos vestigios en Mongolia, las ruinas de Baibalik son al mismo tiempo las de una fortaleza xiongnu y las de una importante ciudad uigur. Los mongoles tenían por costumbre reutilizar antiguas fortalezas, razón por la cual es difícil desenterrar vestigios únicamente xiongnu.

En el sum de Saikhan, provincia de Bulgan, se encuentra una inscripción relativa a la fundación de Baibalik grabada en una estela y atribuida al rey uigur Myunchur. En la línea 44, efectivamente está indicado:

Los historiadores piensan por consiguiente que la ciudad fue construida por el Rey Myunchur y numerosos mercaderes tayikos y chinos, así como predicadores maniqueos, confluyeron en ella. Ciudad floreciente, era considerada un centro cultural en Asia Central.

La ciudad fue destruida por los kirguises en 840. Todos los libros de sutras fueron entonces quemados.