Zadziwiające, że pokonanie zaledwie 7 km zajęło mu aż cztery godziny. Nie oparł się jednak Francuzom. Gwardia i II korpus MacMahona zdobyły najpierw wzgórze Monte Fontana. Po jego opanowaniu grenadierzy gwardii sami zaprzęgli się do dział i wciągnęli je po stromych zboczach na szczyt. Aby dostarczyć amunicję, utworzyli ludzki łańcuch wiodący do jaszczy stojących u podnóża góry. Ogień armatni pomógł odeprzeć austriackie kontrataki. Wkrótce Francuzi z trzech stron zaatakowali Cavrianę, gdzie do niedawna kwaterował Franciszek Józef. Miasteczko padło, a wściekłe kontrataki austriackich kolumn i tym razem zostały odparte.
Zbiegło się to z hiobowymi dla dowództwa austriackiego wieściami spod Guidizollo. Cesarz otrzymał datowaną depeszę od gen. Wimpffena, który meldował, że zużył swe siły w natarciach na Medole, Robecco i Casa Nova, a wobec naporu Francuzów nie jest w stanie obronić zajmowanych pozycji. „Żałuję, że nie mogę zameldować Waszej Wysokości lepszego wyniku” – kończył swój raport z walk 1. Armii. Franciszek Józef, który na własne oczy widział upadek Cavriany, o godz. 15.30 zarządził generalny odwrót za Mincio.
Pół godziny później nad Solferino rozpętało się piekło wywołane tym razem nie przez ludzi, ale siły natury. Do popołudnia pogoda była słoneczna, a słupek rtęci w ten skwarny dzień podniósł się grubo ponad 30 st. C, przysparzając niemającym czym ugasić pragnienia, zlanym potem żołnierzom dodatkowych mąk. Ale tuż po godz. 16 lunął rzęsisty deszcz, który rychło zamienił się w burzę. Na godzinę obie strony dosłownie stanęły, nie mogąc kontynuować walki ani manewrować. Gdy się wypogodziło, wyczerpani ponaddwunastogodzinnym bojem sprzymierzeni nie mieli sił na pościg, a odwrót Austriaków, osłaniany przez VIII i XI korpus, przebiegał bez większych zakłóceń.
Jedyny sukces podkomendni Franciszka Józefa osiągnęli tego dnia na prawym skrzydle, gdzie gen. Benedek odparł natarcie całej armii sardyńskiej. Włosi sądzący, że natkną się na Austriaków dopiero za Mincio, szli w luźnym szyku. W walkach z VIII korpusem z pięciu sardyńskich dywizji wzięły udział tyko dwie. Dwie kolejne, otrzymując sprzeczne rozkazy, większość dnia strawiły na przemarszach, trzecia zaś wraz z ochotnikami Garibaldiego była daleko na północy, w Alpach. Nie koniec na tym, bo energiczny Benedek poderwał swe oddziały do kontrataku i zajął San Martino, spychając Piemontczyków na północny zachód – aż za nasyp kolejowy przebiegającej nieopodal jeziora Garda linii kolejowej.
