Przeciwnikami ruchu chasydzkiego byli przede wszystkim rabini, a główny ośrodek opozycji, któremu przewodził Elijah ben Solomon Zalman Gaon z Wilna, znajdował się na Litwie. W Wilnie (Jerozolimie Północy) w ostatnim 30-leciu XVIII w. opozycja była najlepiej zorganizowana, powstał tam, bowiem przeciwny chasydyzmowi ruch misnagdów (od hebr. mitnagdim – oponenci), kierowany przez Gaona z Wilna, a później przez jego ucznia Chaima z Wołożyna.
Misnagdzi krytykowali chasydów za brak religijnego wykształcenia przywódców i zaniedbywanie studiowania Tory i Talmudu na rzecz modlitwy. Zarzucali im „otaczanie cadyków zbyt wielką czcią, wykonywanie podejrzanych gestów podczas nabożeństw, tańców i krzyków”. Za niepokojący uznawano też fakt separowania się chasydów od istniejących wspólnot, zbierania się minjanów (grup modlitewnych) w odrębnych salach modlitewnych.
Chasydzi odczuwali potrzebę separacji choćby dlatego, że odmawiali modlitwy w rycie sefardyjskim, a nie aszkenazyjskim jak ortodoksi.Misnagdzi widzieli w tym zagrożenie dla tradycji, autorytetu rabinów i próbę podważenia władzy gminy żydowskiej. Obawiali się, że tolerowanie takiej sytuacji doprowadzić może do całkowitego zaniedbania przez chasydów obowiązków na rzecz gminy, a to w sposób oczywisty miałoby negatywne skutki ekonomiczne dla niej.
W 1772 r. sąd rabinacki w Wilnie obłożył chasydów cheremem (klątwą). To pierwsze otwarte wystąpienie przeciw chasydom miało miejsce zaledwie 16 lat po klątwie rzuconej na Jakuba Franka i sabbataistów. Również chasydów oskarżono o herezję sabbataistyczną. Poza tym cherem oskarżał chasydów o to, że spotykają się w oddzielnych grupach, łamią reguły modlitw, teksty ich modlitw są fałszywe, w swej pysze uważają się za mędrców i cudotwórców, ignorują studiowanie Tory i nie przestrzegają jej nakazów.Palono księgi chasydzkie, pojawiły się ośmieszające ruch pamflety.
Zagładę chasydyzm przetrwał w nowych miejscach osiedlenia – Stanach Zjednoczonych i w Izraelu – dzięki tym, którzy przed II wojną światową zdołali opuścić Europę