Krzysztofa i jego braci oskarżano o bezwzględność wobec hiszpańskich osadników na Hispanioli, kradzieże i finansowe nadużycia. Wszystko to sprawiło, iż zniesiono monopol Kolumba na eksplorację Nowego Świata (1499 rok) oraz wysłano do Santo Domingo specjalnego komisarza królewskiego Francesco Bobadillę, który otrzymał pełnię władzy na Hispanioli. We wrześniu 1500 roku aresztował on braci Kolumbów, zajął ich majątki i w kajdanach odesłał do Kastylii. Admirała umieszczono w klasztorze Santa Maria de las Cuevas koło Sewilli, gdzie oczekiwał na posłuchanie królewskie. Ostatecznie w grudniu tegoż roku oczyszczono go z zarzutów i obiecano przywrócić do łask.
Dopiero w 1502 roku zezwolono Kolumbowi zorganizować nową wyprawę, której celem miało być odkrycie pasażu wodnego do Indii w rejonie Morza Karaibskiego. Nie wolno mu było jednak zbliżać się do Hispanioli, której gubernatorem został protegowany arcybiskupa Burgos, Nicolas de Ovando. Kolumb wyruszył z Kadyksu 9 maja 1502 roku na czele czterech niewielkich karawel. Towarzyszyli mu brat Bartłomiej i 13-letni syn Hernando. Już 15 czerwca ekspedycja dotarła do Martyniki, zaś dwa tygodnie później stanęła na redzie w Santo Domingo, gdzie Kolumb ostrzegł Ovanda o zbliżającym się huraganie. Ten nie posłuchał rady, co skończyło się zagładą blisko trzydziestu hiszpańskich karawel wysłanych właśnie w rejs do metropolii. Natomiast Kolumb dotarł wkrótce do Jamajki i stamtąd do dzisiejszego Hondurasu. Dalej pożeglował wzdłuż wybrzeży Ameryki Środkowej, odkrywając kolejno brzegi Hondurasu, Nikaragui, Kostaryki i Panamy. W okolicach ujścia rzeki Belem i Porto Belo stracił dwa okręty, pozostałe – stoczone przez świdraki (rodzaj małży morskich) osadził na mieliźnie u wybrzeży Jamajki w końcu maja 1503 roku. Pobyt na wyspie trwał prawie rok, po czym ciężko chorego admirała i pozostałych przy życiu członków jego czwartej wyprawy przewieziono najpierw do Santo Domingo, a później do Sewilli (7 listopada 1504 roku).
Na audiencji u Ferdynanda Aragońskiego Kolumb odrzucił propozycję zrzeczenia się przyznanych mu wcześniej tytułów w zamian za posiadłość i dożywotnią rentę. Admirał, którego stan wskutek dolegliwości artretycznych gwałtownie się pogorszył – opisywał ostatnie chwile życia swego ojca Hernando Kolumb. – Który srodze bolał nad upadkiem swoich zdobyczy i którego nękało wiele innych strapień, oddał Bogu ducha; a oddał go w dzień Wniebowzięcia, to jest 20 maja roku 1506, w wyżej rzeczonym mieście Valladolid, przyjąwszy uprzednio z wielką nabożnością wszystkie sakramenta Kościoła i wypowiedziawszy jako ostatnie słowa następujące: „In manus tuas, Domine, commendo spirytum meum” – „W ręce twoje, Panie, oddaję ducha mego”.
Początkowo Kolumba pochowano w Valladolid, później jego prochy przeniesiono do katedry w Santo Domingo. Nie był to jednak kres pośmiertnych wędrówek. W 1795 roku jego szczątki przeniesiono do Hawany, zaś w latach siedemdziesiątych XIX wieku wywieziono i pochowano w katedrze w Sewilli.
Według większości badaczy wielki admirał był do końca życia przekonany, że odkrył wybrzeża wschodniej Azji, gdzieś w okolicach Indii. Stąd m.in. wzięła się nazwa Indianie nadana rdzennej ludności Ameryki, a także długo utrzymujące się określenie „Indie Zachodnie” odnoszące się do Wielkich i Małych Antyli. Niezależnie jednak od tego błędu trzeba wyraźnie stwierdzić, że odkrycia Kolumba należą do najważniejszych w dziejach ludzkości.
