12 maja 1926 r. gen. Rozwadowski został mianowany przez premiera Wincentego Witosa dowódcą obrony stolicy przed zbuntowanymi oddziałami pod dowództwem Józefa Piłsudskiego. Stojąc na straży konstytucyjnego porządku, Rozwadowski zażądał od Marszałka wycofania wojska z Warszawy do godziny 18.00. W odpowiedzi na ostrzał artyleryjski Belwederu, w czasie którego ranny został szef sztabu dowódcy obrony Warszawy, płk Władysław Anders, Rozwadowski polecił gen. Włodzimierzowi Zagórskiemu zbombardowanie oddziałów buntowniczych, stacjonujących w kilku punktach miasta. Mimo zastosowania tak drastycznych środków strajkujący kolejarze zablokowali transport z wojskiem jadącym bronić legalnych władz Rzeczypospolitej. Chwiejna postawa prezydenta Stanisława Wojciechowskiego, który odrzucił proponowany mu przez Rozwadowskiego pomysł przeprowadzenia kontrofensywy, zadecydowała o zwycięstwie zwolenników Marszałka. 15 maja 1926 r. prezydent Wojciechowski podpisał swoją rezygnację.
Przejmujący władzę Piłsudski ogłosił, że nie będzie się mścił na swoich przeciwnikach. W większości przypadków słowa dotrzymał. Inaczej rzecz się jednak miała z generałami: Rozwadowskim, Zagórskim, Malczewskim i Jaźwińskim, których aresztowano pod zarzutem przestępstw o charakterze kryminalnym. Wszyscy czterej trafili do Wojskowego Więzienia Śledczego nr I przy ul. Dzikiej 19 w Warszawie, a następnie zostali przetransportowani do Wojskowego Więzienia Śledczego nr III na Antokolu w Wilnie, gdzie byli przetrzymywani w brudnych i nieocieplanych celach. Istnieją przypuszczenia oparte na opinii gen. Tadeusza Machalskiego, że ściany w celi gen. Rozwadowskiego były pomalowane farbą zawierającą arszenik. Generał miał też być truty kanapkami zawierającymi domieszkę końskiego włosia.
Wszystkie te hipotezy opierają się na jednej istotnej poszlace. W ciągu roku pobytu na Antokolu znany ze swej tężyzny fizycznej 60-letni generał Rozwadowski zamienił się z postawnego mężczyzny w słabowitego staruszka. Dopiero w październiku 1926 r. Wojskowy Sąd Okręgowy nr 1 orzekł, że generał jest niewinny i nie ma żadnych podstaw, aby dalej przebywał w areszcie. Wbrew tej jednoznacznej decyzji sądu Rozwadowski nadal był więziony, aż do maja 1927 r. Dwa miesiące przed zwolnieniem został bezceremonialnie przeniesiony w stan spoczynku.
Dymisja oraz wieść o zaginięciu generała Włodzimierza Zagórskiego, o którym mówiono, że został zamordowany z rozkazu Piłsudskiego, pogłębiły chorobę generała Rozwadowskiego. Czując zbliżający się koniec życia, postanowił napisać referat poświęcony „Problemowi dzisiejszej obrony Państwa". Ten swoisty testament wojskowy miał za zadanie uwrażliwić Polaków na konieczność tworzenia wojska o wysokiej gotowości bojowej. Generał przewidywał bowiem, że do 1936 r. wybuchnie wojna z Niemcami lub Rosją.
Po wyjściu z więzienia spotkał się z marszałkiem Piłsudskim. W pewnym momencie rozmowy Marszałek powiedział w charakterystyczny dla siebie sposób: ,,ale Bitwę Warszawską to ja wygrałem". Słysząc te słowa, Rozwadowski w ciszy obrócił się na pięcie i wyszedł, zostawiając osłupiałego Marszałka.
