Urodził się w Warszawie. Podczas okupacji należał do konspiracyjnych harcerskich Szarych Szeregów. Studia na Wydziale Prawa Uniwersytetu Warszawskiego ukończył w 1953 r. W czasie odwilży współtworzył popularny tygodnik „Po prostu” – jego redakcyjnymi kolegami byli wówczas m.in. Marek Hłasko i... Jerzy Urban. Nowo wybrany I sekretarz KC PZPR Władysław Gomułka zamknął „Po prostu” jako pismo rewizjonistyczne. Olszewski został wtedy objęty zakazem pracy w dziennikarstwie.
W 1962 r. zdał egzamin adwokacki. Występował w obronie ludzi prześladowanych przez władze PRL, m.in. Jacka Kuronia, Karola Modzelewskiego i Janusza Szpotańskiego. Reprezentował także studentów aresztowanych podczas manifestacji w marcu 1968 r. Został za to pozbawiony możliwości wykonywania zawodu.
W 1975 r. współtworzył Polskie Porozumienie Niepodległościowe – tajną organizację, która miała przygotować ideowe podstawy przyszłej suwerennej Polski. Po wydarzeniach radomskich należał do grupy adwokatów, którzy bezinteresownie bronili represjonowanych robotników. Współpracował z Komitetem Obrony Robotników oraz Ruchem Obrony Praw Człowieka i Obywatela. Od sierpnia 1980 r. do grudnia 1981 r. był doradcą Komisji Krajowej „Solidarności” i Zarządu Regionu Mazowsze.
Podczas stanu wojennego bronił m.in. Lecha Wałęsy, Zbigniewa Romaszewskiego i innych działaczy „Solidarności”. Pełnił funkcję doradcy w Sekretariacie Episkopatu Polski i występował jako oskarżyciel posiłkowy reprezentujący rodzinę księdza Jerzego Popiełuszki w procesie jego morderców. Podczas obrad Okrągłego Stołu służył pomocą przedstawicielom opozycji.
W pierwszych wolnych wyborach do Sejmu Rzeczypospolitej został posłem z listy Porozumienia Obywatelskiego Centrum. 5 grudnia 1991 r. Sejm powołał go na stanowisko premiera rządu RP, które piastował do 4 czerwca 1992 r. Niedawno na łamach „Rzeczpospolitej” o ocenę tego gabinetu spierało się dwóch publicystów. „Dlaczego liczni wyborcy prawicy zapamiętali 4 czerwca jako traumatyczny spektakl? – pytał Piotr Semka. – Bo rozwiały się ostatnie nadzieje na to, że uda się szybko wyjść z ograniczeń polityki grubej kreski”. „Olszewski od samego początku deklarował, że przeprowadzenie lustracji to jedno z kluczowych i najpilniejszych zadań jego gabinetu, ale ilekroć pojawiały się konkretne propozycje, odkładał je na bliżej nieokreśloną przyszłość – ripostował Rafał Ziemkiewicz. – Mówi to wszystko o osobowości najbardziej kontrowersyjnego premiera III RP – jeśli tak podchodził do sprawy priorytetowej, na cóż mogły liczyć te, które zaliczał do mniej pilnych?”. Bartosz Marzec
Pochodzi z rodziny nauczycielskiej. Studiował filologię polską na Uniwersytecie Łódzkim. Należał do pokolenia ZMP, członkiem PZPR został w 1952 r. W drugiej połowie lat 60. kierował Biurem Prasy KC PZPR. Uważano go za polityka sympatyzującego z Mieczysławem Moczarem. Już wtedy dało się jednak zauważyć, że zachowuje odrębność i jest człowiekiem o dużych ambicjach. Udaje mu się je realizować. W 1968 r. został sekretarzem KC PZPR. Po upadku Gomułki mianowano go ministrem spraw zagranicznych. To ważne dla każdego demokratycznego rządu stanowisko w PRL bywało obejmowane przez działaczy PZPR, którzy przegrali walkę o wpływy w aparacie partyjnym.
Los odmienił się w drugiej połowie lat 70., kiedy Olszowski na nowo został sekretarzem KC. Jednak Edward Gierek szybko zaczął postrzegać go jako rywala i wysłał na placówkę do NRD, co było już absolutną degradacją.
Do wielkiej polityki powrócił jako członek Biura Politycznego i sekretarz KC po upadku Gierka. W wielu sowieckich dokumentach z początku lat 80. Olszowski figuruje jako lider frakcji radykalnej w PZPR. Tak I sekretarza Stanisława Kanię, jak jego następcę Wojciecha Jaruzelskiego krytykował za zbyt koncyliacyjne stanowisko wobec opozycji i „Solidarności”. Olszowski bardzo zabiegał o jak najlepsze stosunki z przywódcami bratnich państw – Gustavem Husakiem i Erichem Honeckerem. W oparciu na nich budował swoją pozycję.
Zdaniem historyka Pawła Machcewicza w 1981 r. Moskwa wykorzystała Olszowskiego jako straszak. „Jeżeli nie wprowadzicie stanu wojennego – dawali do zrozumienia Jaruzelskiemu towarzysze radzieccy – to mamy dla PRL alternatywną ekipę”.
Dopiero gdy Jaruzelski w pełni zapanował nad sytuacją, pozwolił sobie na wyeliminowanie Olszowskiego. Był to element strategii „odcinania skrzydeł”. Z jednej strony I sekretarz pozbywał się z kierownictwa liberałów, z drugiej – twardogłowych. W 1982 r. Moskwa już Olszowskiego nie broniła. Na kilka lat powrócił do Ministerstwa Spraw Zagranicznych. W 1986 r. wyjechał do Stanów Zjednoczonych. Jest ironią losu, że człowiek, który przez dziesięciolecia uchodził za symbol dogmatycznego komunizmu, zdecydował się spędzić znaczną część życia w Nowym Jorku.