Millard Fillmore był czwartym w historii prezydentem Stanów Zjednoczonych, który pochodził z amerykańskiej Północy. Przed nim jedynymi Jankesami zasiadającymi w Białym Domu byli: John Adams i jego syn John Quincy Adams, którzy pochodzili z Masachusetts, oraz nowojorczyk Martin Van Buren.
13. prezydent Stanów Zjednoczonych urodził się 7 stycznia 1800 r. w należącej do hrabstwa Cayuga miejscowości Summerhill położonej w zachodniej części stanu Nowy Jork. Jego ojciec Nathaniel Fillmore pochodził ze stanu Vermont, gdzie w 1796 r. poślubił Phoebe Millard, córkę lokalnego lekarza dr. Abiatara Millarda i Tabithy Millard. Dwa lata po ślubie państwo Fillmore postanowili przenieść się do osady Summerhill położonej między 11 jeziorami Finger Lakes w stanie Nowy Jork. Byli przekonani, że poradzą sobie z trudnościami życia na ówczesnym pograniczu. Jedyne jednak, czego doświadczyli, to niewyobrażalna bieda. Do dzisiaj zachowała się w stanie niezmienionym chata, w której urodził się i wychował przyszły prezydent Stanów Zjednoczonych. Trudno uwierzyć, że ten niewielki domek z bali z jednym małym oknem mógł pomieścić 11-osobową rodzinę. Nathaniel Fillmore robił wszystko, aby zapewnić swojej rodzinie godne warunki życia. Nigdy jednak nie dorobił się majątku i przez wiele lat musiał pracować jako parobek u bogatych właścicieli ziemskich. Warunki na farmie były tak prymitywne, że nikt nie myślał o posyłaniu dzieci do szkoły.
W wieku 14 lat Millard został przyjęty na praktykę do zakładu gręplarsko-krawieckiego Benjamina Hungerforda, w niedalekiej miejscowości Sparta. I to na polecenie Hungerforda zaczął naukę w miejscowej szkole, którą trudno jednak było nazwać placówką oświatową z prawdziwego zdarzenia. Dopiero w wieku 17 lat Millard zobaczył swój pierwszy podręcznik, okazał się jednak bardzo rezolutnym młodzieńcem i kiedy tylko nauczył się czytać i pisać pochłaniał wszystkie książki, jakie wpadły mu w ręce w miejscowej bibliotece. Czytając po nocach, natychmiast zaczął wyrównywać braki w nauce. W 1818 r. jego matka zwróciła się z prośbą do miejscowego sędziego Waltera Wooda o możliwość zatrudnienia syna w jego biurze. Sędzia Wood, najbogatszy człowiek w okolicy, od którego Fillmore'owie wynajmowali działkę, zgodził się na zatrudnienie Millarda w charakterze kopisty. Wood od razu dostrzegł potencjał intelektualny młodzieńca i pozwolił mu studiować książki prawnicze znajdujące się w biurze. Praktyka u Wooda zakończyła się gwałtownie po 18 miesiącach, za które zresztą sędzia nie zapłacił Millardowi ani centa. Pokłócił się z ojcem Millarda, kiedy ten nie chciał zapłacić za radę udzieloną podczas pewnego procesu. W efekcie Nathaniel Millard postanowił opuścić hrabstwo Cayuga i w 1821 r. wyjechał z rodziną do miejscowości East Aurora, w hrabstwie Erie, niedaleko miasta Buffalo.
21-letni Millard przeniósł się w raz z rodziną do East Aurora, ale dzięki zdobytej wiedzy prawniczej mógł się sam całkiem nieźle utrzymać, doradzając stronom w niewielkich procesach cywilnych. W 1822 r. postanowił wyjechać do Buffalo, które wówczas było jednym z najszybciej rozwijających się miast Ameryki Północnej, aby kontynuować naukę prawa w dwóch kancelariach adwokackich. Wtedy też poznał starszą o dwa lata Abigail Powers, córkę baptystycznego pastora Samuela Powersa i jego żony Newland. Biografowie Abigail Powers Fillmore podkreślają, że była ona osobą bardzo inteligentną. W dzieciństwie przeczytała ogromny księgozbiór swojego ojca, dzięki czemu już w wieku 16 lat została bardzo wziętą nauczycielką. Pięć lat później dostała posadę nauczycielki w szkole średniej w New Hope, tam też prawdopodobnie poznała młodego prawnika Millarda Fillmore'a. Mimo szybkich zaręczyn, obydwoje postanowili wstrzymać się ze ślubem do czasu ukończenia przez Millarda studiów. Rodzice Abigail nie byli zachwyceni tą znajomością. Nie chcieli, żeby ich córka wiązała się z człowiekiem bez majątku, o bardzo prowincjonalnych manierach. Abigail i Millard wzięli ślub dopiero w 1826 r., kiedy Millard otworzył własną praktykę adwokacką.
Antymason
Pod koniec lat 20. XIX w. Millard Fillmore zainteresował się programem prężnie rozwijającej się na północy stanu Nowy Jork Partii Antymasońskiej. Stronnictwo to zostało utworzone na fali protestów, jakie przetoczyły się przez stan Nowy Jork po zabójstwie weterana wojny 1812 r. kapitana Williama Morgana, jednego z najbardziej zagorzałych krytyków wolnomularstwa. Twierdził on, że w czasie, kiedy mieszkał w Kanadzie, wstąpił do loży masońskiej i dosłużył się szóstego stopnia wtajemniczenia w randze Mistrza. W 1825 r. spłonął jego browar i Morgan bez grosza przy duszy powrócił do stanu Nowy Jork. Osiadł w mieście Batavia, gdzie postanowił dołączyć do miejscowej loży masońskiej nr 433, przed którą złożył przysięgę, że na pewno przeszedł przez sześć stopni wtajemniczenia i zażądał nadania mu stopnia Mistrza Królewskiej Arki Masońskiej w Rycie Yorku. Wolnomularze nie znaleźli żadnych dowodów potwierdzających historię Morgana. Zaniepokoił ich fakt, że William Morgan chciał ustanowić nową lożę w Batavii. Lokalni wolnomularze uznali go za kłamcę i człowieka o bardzo chwiejnym charakterze, po czym wyrzucili go ze swojej organizacji. Morgan postanowił się zemścić, publikując z pomocą wydawcy lokalnej gazety Davida Millera Cade'a oszczerczą książkę pod tytułem „Ilustracje o wolnomularstwie" (ang. „Illustrations of Masonry"). Zwolennicy Partii Antymasońskiej byli przekonani, że masoni nie darowali Morganowi zdrady i potwarzy. Uważali, że w 1826 r. grupa masonów porwała Morgana i zabiła go gdzieś w okolicy wodospadu Niagara. 17 października 1827 r. odbyła się rozprawa, na której przedstawiono wyniki śledztwa. Biegli uznali „ponad wszelką wątpliwość", że śmierć kapitana Williama Morgana nastąpiła przez „duszenie" i „utonięcie". Przeciwnicy masonerii triumfowali. Morgan stał się ich męczennikiem, który walczył z „zagrażającym amerykańskiemu porządkowi" wolnomularstwem.