Millard Fillmore był czwartym w historii prezydentem Stanów Zjednoczonych, który pochodził z amerykańskiej Północy. Przed nim jedynymi Jankesami zasiadającymi w Białym Domu byli: John Adams i jego syn John Quincy Adams, którzy pochodzili z Masachusetts, oraz nowojorczyk Martin Van Buren.
13. prezydent Stanów Zjednoczonych urodził się 7 stycznia 1800 r. w należącej do hrabstwa Cayuga miejscowości Summerhill położonej w zachodniej części stanu Nowy Jork. Jego ojciec Nathaniel Fillmore pochodził ze stanu Vermont, gdzie w 1796 r. poślubił Phoebe Millard, córkę lokalnego lekarza dr. Abiatara Millarda i Tabithy Millard. Dwa lata po ślubie państwo Fillmore postanowili przenieść się do osady Summerhill położonej między 11 jeziorami Finger Lakes w stanie Nowy Jork. Byli przekonani, że poradzą sobie z trudnościami życia na ówczesnym pograniczu. Jedyne jednak, czego doświadczyli, to niewyobrażalna bieda. Do dzisiaj zachowała się w stanie niezmienionym chata, w której urodził się i wychował przyszły prezydent Stanów Zjednoczonych. Trudno uwierzyć, że ten niewielki domek z bali z jednym małym oknem mógł pomieścić 11-osobową rodzinę. Nathaniel Fillmore robił wszystko, aby zapewnić swojej rodzinie godne warunki życia. Nigdy jednak nie dorobił się majątku i przez wiele lat musiał pracować jako parobek u bogatych właścicieli ziemskich. Warunki na farmie były tak prymitywne, że nikt nie myślał o posyłaniu dzieci do szkoły.