Urodził się w Warszawie. Podczas okupacji należał do konspiracyjnych harcerskich Szarych Szeregów. Studia na Wydziale Prawa Uniwersytetu Warszawskiego ukończył w 1953 r. W czasie odwilży współtworzył popularny tygodnik „Po prostu” – jego redakcyjnymi kolegami byli wówczas m.in. Marek Hłasko i... Jerzy Urban. Nowo wybrany I sekretarz KC PZPR Władysław Gomułka zamknął „Po prostu” jako pismo rewizjonistyczne. Olszewski został wtedy objęty zakazem pracy w dziennikarstwie.
W 1962 r. zdał egzamin adwokacki. Występował w obronie ludzi prześladowanych przez władze PRL, m.in. Jacka Kuronia, Karola Modzelewskiego i Janusza Szpotańskiego. Reprezentował także studentów aresztowanych podczas manifestacji w marcu 1968 r. Został za to pozbawiony możliwości wykonywania zawodu.
W 1975 r. współtworzył Polskie Porozumienie Niepodległościowe – tajną organizację, która miała przygotować ideowe podstawy przyszłej suwerennej Polski. Po wydarzeniach radomskich należał do grupy adwokatów, którzy bezinteresownie bronili represjonowanych robotników. Współpracował z Komitetem Obrony Robotników oraz Ruchem Obrony Praw Człowieka i Obywatela. Od sierpnia 1980 r. do grudnia 1981 r. był doradcą Komisji Krajowej „Solidarności” i Zarządu Regionu Mazowsze.
Podczas stanu wojennego bronił m.in. Lecha Wałęsy, Zbigniewa Romaszewskiego i innych działaczy „Solidarności”. Pełnił funkcję doradcy w Sekretariacie Episkopatu Polski i występował jako oskarżyciel posiłkowy reprezentujący rodzinę księdza Jerzego Popiełuszki w procesie jego morderców. Podczas obrad Okrągłego Stołu służył pomocą przedstawicielom opozycji.
W pierwszych wolnych wyborach do Sejmu Rzeczypospolitej został posłem z listy Porozumienia Obywatelskiego Centrum. 5 grudnia 1991 r. Sejm powołał go na stanowisko premiera rządu RP, które piastował do 4 czerwca 1992 r. Niedawno na łamach „Rzeczpospolitej” o ocenę tego gabinetu spierało się dwóch publicystów. „Dlaczego liczni wyborcy prawicy zapamiętali 4 czerwca jako traumatyczny spektakl? – pytał Piotr Semka. – Bo rozwiały się ostatnie nadzieje na to, że uda się szybko wyjść z ograniczeń polityki grubej kreski”. „Olszewski od samego początku deklarował, że przeprowadzenie lustracji to jedno z kluczowych i najpilniejszych zadań jego gabinetu, ale ilekroć pojawiały się konkretne propozycje, odkładał je na bliżej nieokreśloną przyszłość – ripostował Rafał Ziemkiewicz. – Mówi to wszystko o osobowości najbardziej kontrowersyjnego premiera III RP – jeśli tak podchodził do sprawy priorytetowej, na cóż mogły liczyć te, które zaliczał do mniej pilnych?”. Bartosz Marzec