Tego dnia gen. Mackensen pisał do swej żony: „Dziś rano znów powitały mnie ośnieżone szczyty Tatr w pełnym słońcu. Otaczają one od południa i od południowego zachodu szeroką dolinę Starego i Nowego Sącza. Dziś jeszcze mogę w spokoju kontemplować te obrazy; jutro nad Ropą i Białą w okolicy Gorlic i Ciężkowic rozgorzeje bitwa, która przykuje wszystkie moje zmysły, głowę i serce. Da Bóg, że to uderzenie się powiedzie. (...) Rozkazy zostały wydane. Cała reszta zależy od Tego, który kieruje bitwami tam w górze”.
2 maja rozpoczęło się generalne natarcie. Atak piechoty poprzedziła niespotykana dotąd na froncie wschodnim, trwająca cztery godziny nawała artyleryjska. Jeden z uczestników bitwy tak opisywał jej skutek: „Cała góra zdawała się chwiać w posadach, las giąć i łamać począł, chwila jeszcze, a złomy skał oderwane od swych podstaw runęły w dół, w niżej położone okopy moskiewskie”. Pozycje Rosjan zostały dosłownie zrównane z ziemią. W ciągu tej nawały spadło na nie około 700 tys. pocisków artyleryjskich różnego kalibru.
O godz. 10 do ataku poszli piechurzy. Rosjanie stawili opór, ale nie byli w stanie zatrzymać wielotysięcznej masy wojska. Tego dnia sojusznicy przełamali rosyjską obronę w całym pasie natarcia, wdzierając się na głębokość 2 – 5 km. Złożona niemal w całości z Polaków 12 c. k. DP w ciężkim boju zdobyła wzgórze Pustki. W zażartych walkach padły Gorlice, gdzie Rosjanie twardo bronili się na dobrze ufortyfikowanym cmentarzu katolickim. Dopiero ostrzał miasta z ciężkiej artylerii zmusił oddziały rosyjskie do odwrotu. O 15.30 na rynku pojawił się pierwszy niemiecki patrol. Na południe od Gorlic w ręce Bawarczyków wpadło wzgórze Zamczysko. Tego dnia do niewoli trafiło 12 tys. Rosjan. Zdobyto też 15 dział i dziesiątki karabinów maszynowych.
Mackensen postanowił przenieść ciężar bitwy w rejon Gorlic i pchnął tam odwodową 20. DP, aby poszerzyć wyłom i ruszyć na Krosno i Duklę celem zwinięcia rosyjskiego frontu w Karpatach. Tymczasem gen. Dmitriew otrząsnął się z pierwszego szoku i rzucił do walki odwody – sześć pułków piechoty z 63. i 81. DP. Pięć dywizji kawalerii miało natomiast wesprzeć obronę na styku IX i X Korpusu, na wschód od Ciężkowic. X Korpus otrzymał rozkaz cofnięcia się na drugą linię obrony, oddaloną od pierwszej o 10 km.
W drugim dniu bitwy sojusznicy od rana kontynuowali natarcie. Na wielu odcinkach frontu znaleźli opuszczone pozycje obronne i obserwowali wycofujące się w pośpiechu kolumny nieprzyjaciela. Do Mackensena napływały zewsząd pomyślne meldunki o słabej obronie i odwrocie Rosjan. Po południu jednak opór nieprzyjaciela stężał, a miejscami próbował on nawet kontratakować. Zażarte walki rozgorzały o znajdujące się na południe od Biecza wzgórze Wilczak. Do tego popsuła się pogoda – niebo zachmurzyło się i zaczął padać lekki deszcz. Widoczność obserwatorów artylerii dodatkowo pogarszał gryzący, gęsty dym wydobywający się z płonących szybów naftowych i rafinerii w rejonie Gorlic. Niemcy musieli podciągnąć swe rezerwy i ciężką artylerię. Dopiero pod wieczór, dzięki desperackim atakom na bagnety, udało się przełamać drugą linię rosyjskiej obrony.
