Pochodzi od niemieckiego słowa Kirchhof – dziedziniec kościelny, miejsce, na którym chowano zmarłych chrześcijan od wczesnego średniowiecza do połowy XVIII w. Żaden Żyd nigdy nie nazywał tak swego cmentarza. Najczęściej nazywali go po żydowsku bejs ojlem, co jest zniekształconą formą hebrajskiej nazwy bet olam – dom świata (wiecznego). Inne hebrajskie nazwy cmentarza to bet chajim – dom życia (wiecznego), bet kwarot – dom grobów.
Jednym z najważniejszych zadań nowo powstającej gminy żydowskiej było uzyskanie miejsca na założenie cmentarza, co kończyło okres jej organizacji, dawało samodzielność i uniezależnienie od macierzystej gminy żydowskiej. Stara gmina, która za pochówki na swoim terenie pobierała opłaty, niechętnie godziła się na ich oderwanie. Jednocześnie wiele obszarów, np. Mazowsze, Pomorze, Śląsk i miast, jak np. Warszawa, Krosno, Kielce, Radom, Częstochowa, Piotrków Trybunalski, posiadało w różnych okresach przywilej de non tolerandis Judaeis.
Mimo zakazów Żydzi mieszkający w tych miastach nielegalnie prowadzili handel, oficjalnie tworzyli gminy i zakładali cmentarze w pobliskich miasteczkach, np. Żydzi piotrkowscy w Rozprzy, radomscy w Przytyku, krośnieńscy w Rymanowie, częstochowscy w Janowie, bocheńscy w Wiśniczu.
Położenie cmentarza zależało nie tylko od żydowskich nakazów religijnych, ale także od warunków, na jakich zostali przyjęci do miasta. Cmentarze mieściły się w jego murach, nieraz przy synagogach, a z braku miejsca poza murami. Już w średniowieczu władze kościelne nakazywały, aby cmentarze w miastach były położone daleko od kościołów, żeby hałas żydowskich pogrzebów nie przeszkadzał w nabożeństwach. Stąd przeważnie cmentarze żydowskie były położone w przeciwnej stronie miasta niż kościół parafialny.
Cmentarze znajdowały się pod ochroną władcy. W 1264 r. książę Bolesław Pobożny w przywilejach dla Żydów wielkopolskich, tzw. Statucie kaliskim, w p. 13 stanowił: „… Jeżeliby Żydzi ze swoim zwyczajem kogoś ze swoich zmarłych przewiozą z miasta do miasta lub z prowincji do prowincji albo z jednego kraju do drugiego, postanowimy, aby nasi celnicy niczego od nich nie wymuszali...”, a w punkcie 14: „... Jeśliby chrześcijanin w jakikolwiek sposób spustoszył lub najechał ich cmentarz, zarządzamy, aby surowo został ukarany według zwyczaju i praw naszej ziemi, a całe jego mienie, jakkolwiek nazywałoby się, przeszło do naszego skarbca”. Najstarsza w Polsce wiadomość o zakupie gruntu pod cmentarz żydowski pochodzi właśnie z Kalisza z 1287 r. W 1334 r. król Kazimierz Wielki rozszerzył je na Żydów całej Polski.
