Ci zalegli w odległości kilkudziesięciu metrów od brytyjskich pozycji, nie mogąc ich wziąć szturmem. Pod osłoną ciemności część znajdujących się na skraju fizycznego i psychicznego wyczerpania 16-godzinną walką w skwarze południowoafrykańskiego lata żołnierzy brytyjskich zaczęła schodzić ze wzgórza. Zdziesiątkowani, przemieszani, brudni, głodni i spragnieni Brytyjczycy byli bliscy załamania.
Stracili zaufanie do wyższego dowództwa, które ich porzuciło i naraziło na zgubę. Ich gorycz potęgował widok znacznych sił bezczynnie stojących przez cały dzień u podnóża wzgórza, którego z takim poświęceniem bronili. Także jednostki, które dotarły na Spion Kop w ciągu dnia, czyli Scottish Rifles, Imperial Light Infantry i Middlesex Regiment pilnie potrzebowały odpoczynku.
Spodziewano się, że następnego dnia od świtu na ich pozycje znów spadnie lawina burskiego ognia, a bezsensowna rzeź będzie kontynuowana. Po krótkiej naradzie ze swym sztabem, ku radości podwładnych Thorneycroft wydał rozkaz opuszczenia wysuniętej pozycji. Kwadrans po godz. 20 rozpoczął się powolny odwrót ze Spion Kop. Brytyjczycy zabrali ze sobą tylu rannych, ilu się dało. Nie zdołano jednak znieść wszystkich – umierających pozostawiono samym sobie. Wycofanie osłaniali żołnierze Scottish Rifles.
W tym czasie meldunek o sytuacji na wzgórzu dotarł do gen. Warrena. Przekazał go por. Winston Churchill, oficer łącznikowy ze sztabu Bullera, służący w South Africa Light Horse. Zirytowany wieścią o załamaniu morale podkomendnych Warren wydał rozkaz obrony pozycji za wszelką cenę. Thorneycroft uznał jednak, że jest za późno na jego wykonanie. Ani Buller, ani Warren nie zdecydowali się na wysłanie nocą na Spion Kop świeżych jednostek, choć mieli na to jeszcze wystarczająco dużo czasu.
Jak na ironię, także Burowie pod osłoną nocy wycofywali się spod szczytu. Podobnie jak ich adwersarze po całodniowych walkach znajdowali się u kresu wytrzymałości. Poza tym byli rozgoryczeni, że komanda znajdujące się w sąsiedztwie nie udzieliły im pomocy. Część zniechęconych próżnym wysiłkiem burgerów się rozjechała, uznając dalszy opór za bezsensowny.
