George S. Patton Jr. urodził się 11 listopada 1885 r. w San Gabriel w Kalifornii w bogatej amerykańskiej rodzinie pochodzenia szkockiego. Pattonowie liczyli się wśród elit Waszyngtonu i Kalifornii. Benjamin Davis Wilson, dziadek słynnego generała ze strony matki, był bogatym posiadaczem ziemskim i burmistrzem Los Angeles.
Patton nie był zdolnym dzieckiem. W szkole okazało się, że jest dyslektykiem, przez co miał nieustanne kłopoty z nauką. W czasie studiów na West Point musiał powtórzyć pierwszy rok studiów, a gdy odbierał dyplom, okazało się, że zajął 46. lokatę wśród 103 kadetów ze swojego rocznika.