Za młodu uczył się... w prawosławnym seminarium duchownym. Powołany do armii carskiej podczas pierwszej wojny światowej ukończył szkołę oficerską i dosłużył się stopnia kapitana. Do Armii Czerwonej wstąpił w 1918 roku, walczył m.in. w wojnie polsko-sowieckiej. Nie był wyznawcą komunizmu – do partii bolszewickiej wstąpił dopiero w 1938 roku, gdy kariera w Sztabie Generalnym stanęła przed nim otworem. W latach 1941 – 1942 był szefem Wydziału Operacyjnego i zastępcą szefa Sztabu Generalnego, a od czerwca 1942 roku kierował pracami SG. Od października 1942 roku był także zastępcą ludowego komisarza obrony ZSRR. Wespół z Georgijem Żukowem opracował plany ofensywy zimowej 1942/1943 roku, która doprowadziła do wyzwolenia Kaukazu i Stalingradu. Następnie przygotował plany kontrofensywy pod Kurskiem oraz wielkich operacji zaczepnych w 1944 i 1945 roku. W 1943 roku został mianowany marszałkiem ZSRR. W 1945 roku dowodził 3. Frontem Białoruskim, a następnie wojskami sowieckimi walczącymi na Dalekim Wschodzie z Japończykami. Po wojnie był m.in. ministrem obrony ZSRR.

Podczas pierwszej wojny światowej służył w marynarce. Potem znalazł się w Armii Czerwonej. Ukończył Akademię Wojskową im. Frunzego. W 1939 roku, podczas agresji na Polskę, dowodził 4. Armią Frontu Białoruskiego. W latach 1940 – 1942 sowiecki attaché wojskowy w Chinach, od września 1942 roku dowódca 62. Armii broniącej Stalingradu, w 1943 roku mianowany genarałem-lejtnantem. Walczył m.in. pod Kurskiem na Ukrainie, w 1945 roku zdobywał Poznań, a potem przyjął kapitulację garnizonu Berlina. W latach 1949 – 1953 dowodził wojskami sowieckimi stacjonującymi w NRD, w latach 1960 – 1964 dowódca wojsk lądowych i wiceminister obrony ZSRR.

Mimo że urodził się w Hesji, w armii niemieckiej uchodził za przedstawiciela pruskiej szkoły wojskowej – chłodnego i skrupulatnego służbistę. Podczas pierwszej wojny światowej służył jako oficer na froncie bałkańskim i zachodnim. Później w Reichswehrze i Wehrmachcie. W 1939 roku, podczas agresji na Polskę, był szefem sztabu 10. Armii przemianowanej później na 6. Armię. W styczniu 1942 roku został jej dowódcą. Próbował zdobyć Stalingrad, ale jego wojska musiały skapitulować. Wściekły Hitler oskarżył go o tchórzostwo i zdradę. Był pierwszym feldmarszałkiem, który dostał się do niewoli sowieckiej. Stalin nie zgodził się na jego wymianę za swego syna Jakowa Dżugaszwilego, który dostał się do niewoli niemieckiej w 1941 roku. W łagrze przystąpił do działającego pod egidą władz sowieckich Związku Oficerów Niemieckich. Występował przeciwko reżimowi hitlerowskiemu w audycjach radiowych nadawanych z Moskwy. Wystąpił na procesie norymberskim jako świadek oskarżenia. W 1953 roku został zwolniony z niewoli i osiadł w NRD, gdzie m.in. był inspektorem Milicji Ludowej.