Podejmowane do tej pory lokalne inicjatywy mordowania Żydów miały być ujednolicone, prowadzone w sposób zorganizowany i na skalę odpowiadającą liczbie ludności żydowskiej, którą zamierzano zgładzić. Do pierwszych masowych mordów doszło już latem i jesienią 1941 r. na terytorium ZSRR. 22 czerwca 1941 r. w ślad za oddziałami Wehrmachtu na froncie wschodnim pojawiły się cztery zmotoryzowane grupy policyjne Einsatzgruppen, do których zadań należało likwidowanie lub dokonywanie aresztowań przeciwników III Rzeszy: polskiej inteligencji, komunistów, Cyganów i Żydów. Żołnierze Einsatzgruppen, wspierani przez niemieckie policyjne oddziały pomocnicze, mordowali Żydów, masowo ich rozstrzeliwując. Terenem ich działania był szeroki pas Europy Wschodniej ciągnący się od krajów bałtyckich na północy przez wschodnie ziemie Polski aż po rejon Morza Czarnego. Według najnowszych ustaleń historyków ofiarami działalności Einsatzgruppen padło około 2 milionów Żydów.
Mimo ogromnej liczby Żydów zamordowanych na Wschodzie tempo ich zabijania zdaniem przywódców III Rzeszy było wciąż niewystarczające. Masowe rozstrzeliwanie ludzi z jednej strony wpływało deprymująco na żołnierzy niemieckich, z drugiej było zbyt wielu świadków zbrodni, którą przecież zamierzali ukryć przed światem. W związku z tym postanowiono wykorzystać doświadczenia z realizacji programu państwowej eutanazji prowadzonego w Niemczech od 1939 r. Polegał on na uśmiercaniu przez lekarzy w wydzielonych szpitalach osób uważanych za nieuleczalnie chore, niedorozwinięte, psychicznie chore, jednym słowem, które uznano za zagrażające czystości rasy aryjskiej – a więc niegodne, aby żyć – tlenkiem węgla w komorach gazowych, by później ich ciała spalić w przyszpitalnych krematoriach. Do lipca 1941 r. zabito w ten sposób około 70 tys. ludzi. Akcja eutanazji została wstrzymana przez Hitlera po sprzeciwach duchownych Kościoła ewangelickiego w Niemczech i po słynnym kazaniu katolickiego biskupa Münsteru Klemensa Augusta von Galena.
11 maja 1942 r. powstaje raport Bundu o sytuacji Żydów polskich przekazany władzom londyńskim, które będą się starały nadać mu jak największy rozgłos
Pod koniec 1941 r. przeprowadzono pod kierunkiem inżynierów niemieckich próby z gazowaniem ludzi w mobilnych komorach gazowych (w specjalnie skonstruowanych samochodach ciężarowych) w obozie Kulmhof w Chełmnie nad Nerem. We wrześniu tego roku przeprowadzono też w KL Auschwitz próbę mordowania ludzi gazem cyjanowodoru nazywanym cyklonem B. Te pierwsze doświadczenia postanowiono na skalę masową wykorzystać w ośrodkach natychmiastowej zagłady, które zamierzano szybko wybudować na okupowanych ziemiach polskich.
