Na początku XX wieku na spalonych słońcem i pokrytych kurzem polach bawełnianych amerykańskiego Południa narodził się jazz, improwizowana muzyka potomków czarnych niewolników. Jazz nawiązywał stylistyką do pieśni religijnych z gatunku negro spiritual. Początkowo był grany na harmonijkach ustnych, bębnach, banjo i gitarach domowej roboty. Melodyka i rytm tych melodii stały się wzorem dla wielu kompozytorów muzyki klasycznej i rozrywkowej, wśród których czołowe miejsce zajmuje George Gershwin ze swoją operą „Porgy and Bess". W latach 20. jazz przybył wraz ze swoimi twórcami i wykonawcami do stanów północnych, nadając amerykańskiej kulturze muzycznej nowy, niezwykle charakterystyczny dla niej rys.
17 marca 1919 r., w Birmingham, stolicy stanu Alabama, przyszedł na świat Nathaniel Adams Coles. Jego ojciec Edward James Coles był pastorem w True Light Baptist Church, a nieco później kaznodzieją w kościele baptystów w Beulah. Matka, Nata Perlina Adams Coles, śpiewała w chórze kościelnym. Uciekając od zatęchłej rasistowsko atmosfery Alabamy i szukając lepszego życia, pan Edward Coles przeprowadził się w 1923 r. wraz z rodziną do Chicago. Przenosiny te odbyły się na fali wielkiej emigracji czarnoskórej ludności z głębokiego Południa na środkowy zachód i północny wschód USA.
Nat miał czworo rodzeństwa, w tym trzech braci. Każdy z nich był wybitnie utalentowany muzycznie. Ike, Eddie i Frankie Coles zostali później wybitnymi pianistami i piosenkarzami jazzowymi. Ich siostra Evelyn Coles pracowała jako kosmetyczka w okolicach Waukegan, w stanie Illinois.
Baseballista, który został piosenkarzem
Chicago lat 20. było stolicą amerykańskiej muzyki rozrywkowej i jazzowej. Sąsiadem rodziny Colesów był Louis Armstrong. Młody Nat miał więc wyjątkową okazję słuchać i chłonąć muzykę w wykonaniu takich pianistów jak Earl „Faith" Hines, Art Tatum czy Teddy Wilson występujących w klubach z sąsiedztwa.
Niewiele wskazywało, że Nat Coles także zostanie muzykiem. Miał bardzo dobre warunki fizyczne. Był szczupły, miał 184 cm wzrostu i świetnie biegał. Kiedy uczęszczał do szkoły średniej Wendell High School, został przyjęty do drużyny baseballowej. Do końca życia pozostał wielkim fanem tej gry. Kiedy na stałe zamieszkał w Los Angeles wykupił sobie nawet lożę na Dodger Stadium.