James Monroe przyszedł na świat 28 kwietnia 1758 r. w hrabstwie Westmoreland – miejscu dość niezwykłym w historii Ameryki. Tutaj bowiem 26 lat wcześniej urodził się Jerzy Waszyngton. James Monroe był najstarszym synem farmera, cieśli i sędziego okręgowego Spence'a Monroego. Jego pradziadek Patrick Andrew Monroe przybył do Wirginii w połowie XVII w. W 1650 r. kupił plantację w Washington Parish w hrabstwie Westmoreland. Z kolei rodzina pani Elizabeth Monroe z domu Jones pochodziła z Walii. Wśród przodków piątego prezydenta Stanów Zjednoczonych byli także francuscy hugenoci, którzy przybyli do Nowego Świata w XVII w., uciekając przed prześladowaniami ze strony katolików. Spence Monroe i Elizabeth Jones wzięli ślub w 1752 r., ale ich pierwsze dziecko – James – przyszło na świat dopiero sześć lat później. Sąsiedzi i znajomi państwa Monroe byli przekonani, że małżeństwo nie może mieć dzieci. Tymczasem James był pierwszym z pięciorga dzieci tej pary. Rodzina Monroe, podobnie jak większość rodów farmerskich Wirginii, należała do Kościoła episkopalnego. Nie byli to jednak ludzie przesadnie pobożni, o czym świadczyć może fakt, że późniejsze poglądy Jamesa na religię były zbliżone do liberalnego stanowiska reprezentowanego przez Thomasa Jeffersona.