La geografía de Mongolia es variada con el desierto de Gobi al sur y regiones frías y montañosas al norte y oeste. El terreno se compone de montañas y mesetas, con un relieve pronunciado. En general, el terreno desciende desde las altas montañas del Altái al oeste y norte para alcanzar las llanuras y depresiones al este y sur.

El Monte Khuiten (a veces llamado Nairamdal, que significa amistad en mongol) alcanza una altitud de 4373 metros y se sitúa en el extremo oeste del país, donde se encuentran las fronteras mongola, china y rusa.

El punto más bajo se encuentra a 560 metros de altitud en la llanura de Mongolia oriental. El país tiene una altitud media de 1.580 metros.

El país contiene uno de los mayores lagos de agua dulce de Asia (Lago Khuvsgul), numerosos lagos salados, pantanos, dunas de arena, praderas ondulantes, bosques alpinos y la presencia permanente de glaciares de montaña.

El norte y oeste de Mongolia son zonas de gran actividad sísmica, con terremotos frecuentes, numerosas fuentes termales y volcanes extintos.

Mongolia posee tres grandes cadenas montañosas. La más maciza es el Altái, que se extiende a través del oeste y las regiones suroeste del país en un eje noroeste/sureste. La cadena del Khangai se extiende también en un eje que va del noroeste al sureste. Ocupa una gran parte del centro y centro-norte de Mongolia. Esta cadena es más antigua, las montañas menos elevadas y más erosionadas, con numerosos bosques y pastos alpinos. La cadena del Khentii se compone de montañas a lo largo de la frontera con Rusia al noreste de Ulán Bator, y es aún menos elevada.

Una gran parte de Mongolia oriental está ocupada por una vasta llanura, cuya parte menos elevada se compone de una depresión que va del suroeste al noreste, del Gobi hacia la frontera con China al este.

Las aguas se vierten en tres direcciones: al norte hacia el océano Ártico, al este hacia el Pacífico, o al sur hacia los desiertos y depresiones de Asia central. Los ríos están más ampliamente presentes en el norte, y el sistema fluvial principal del país es el compuesto por los ríos Selenge y Morón, que desembocan en el lago Baikal. Algunos afluentes del río Yeniséi en Siberia también tienen su origen en las montañas del noroeste de Mongolia. Los ríos del norte de Mongolia se vierten en el Pacífico a través de los ríos Argún y Amur, mientras que otros cursos de agua del sur y suroeste de Mongolia no alcanzan el mar sino que se vierten en lagos salados o se pierden en el desierto.

El término «Gobi» es una palabra mongola para caracterizar la estepa desértica, que generalmente se refiere a una zona árida con vegetación insuficiente para alimentar a las marmotas, pero con suficientes hierbas para los camellos. Los mongoles distinguen el Gobi del desierto propiamente dicho, aunque la distinción no siempre es evidente para los extranjeros poco familiarizados con los paisajes mongoles. El ecosistema del Gobi es frágil y se destruye fácilmente por el sobrepastoreo, lo que provoca un aumento del verdadero desierto, un desierto pedregoso donde ni siquiera los camellos bactriano pueden sobrevivir. El Gobi se extiende más de 1600 km del suroeste al noreste y 800 km del norte al sur, compartido entre Mongolia y Rusia. Ocupa un arco de tierras de 1.300.000 km² de superficie, lo que lo convierte en uno de los desiertos más vastos del mundo.

Contrariamente a las imágenes que a menudo se asocian con el desierto, gran parte del Gobi no está compuesta de arena sino que está cubierta de rocas.