Wielu z nich zajmowało się dzierżawieniem podatków, ceł i myt czy pożyczaniem pieniędzy na procent zawsze potrzebującej gotówki szlachcie litewskiej – bojarom. Wywoływało to często zawiść i niechęć do Żydów. Zwracano się wielokrotnie do wielkiego księcia z prośbą o odebranie przywilejów Żydom, o odebranie im dzierżaw, a tym samym krociowych zysków.
Pod koniec XV wieku dochodziły do Polski i na Litwę niepokojące wieści z Europy Zachodniej o prześladowaniach tamtejszych Żydów. Około 1450 r. Żydzi zostali wypędzeni z wielu miast w Bawarii, a następnie innych krajów niemieckich. W 1492 roku arcykatolicka władczyni Izabela Kastylijska wypędziła Żydów z Hiszpanii, w latach 1496 – 1497 zostali oni wypędzeni z Portugalii i Prowansji.
Na Litwie, gdzie niektórzy Żydzi doszli do znacznych majątków, zadłużona szlachta i bojarzy litewscy dążyli – jednocześnie – do pozbycia się długów i wierzycieli. Okazję ku temu stworzył wybuch wojny z Moskwą i Tatarami. Postanowiono wtedy o wygnaniu z Litwy Żydów i konfiskacie ich majątków, by tym sposobem uzyskać fundusze na prowadzenie wojny. Wielki książę Aleksander ogłosił, że wszyscy Żydzi, którzy do kwietnia 1495 r. nie przyjmą wiary chrześcijańskiej, muszą opuścić kraj.
Wygnańcy skierowali się na południowy wschód do Kaffy i Konstantynopola, duża ich część skierowała się na ziemie koronne. Skonfiskowane dobra wielki książę litewski rozdał bojarom, obdarował nimi kościoły i klasztory. Do wyludnionych miast sprowadził kolonistów z Niemiec oraz Szwecji i nadał im prawo magdeburskie. Kiedy po śmierci Jana Olbrachta Aleksander objął koronę polską, zezwolił Żydom powrócić na Litwę. Musieli oni wykupywać z rąk kolonistów niemieckich swoją własność, odbudowywać synagogi i domy, płacić nowy, uciążliwy podatek, który, znamienne, nazwano powrotne. Jak napisał wybitny historyk żydowski Maier Bałaban: „Wygnanie i powrót stanowią słup graniczny w dziejach litewskich Żydów, w ich ekonomicznym i kulturalnym rozwoju”.
