Za stary już jestem, by sobie przyjaciół serdecznych wyrabiać i zbliżać się do nich, tak jak to było z Olkiem”. Piłsudski miał wówczas 45 lat, Prystor 38. Ich przyjaźń z pewnością opierała się także na wspólnocie miejsca pochodzenia. Prystor urodził się w Wilnie, gdzie tak jak Piłsudski skończył gimnazjum. Podobnie jak Piłsudski studiował medycynę. Lekarzem jednak nie został.
W 1904 roku skończył kurs wojskowy prowadzony przez japońskich oficerów i wkrótce potem zaczął wraz z Walerym Sławkiem kierować Wydziałem Spiskowo-Bojowym PPS. I razem z nim oraz z Piłsudskim uczestniczył w akcji pod Bezdanami w 1908 roku.
W 1917 roku po zwycięstwie rewolucji lutowej odzyskał wolność. Przez pierwsze dwa lata niepodległej Polski był wiceministrem pracy i opieki społecznej. W 1920 r. zaciągnął się jako ochotnik do wojska i był dowódcą kompanii. Po opanowaniu przez gen. Żeligowskiego Wileńszczyzny był jego adiutantem, doradcą politycznym generała i szarą eminencją Litwy Środkowej. Żeligowski przyznawał szczerze, że Prystor jako przyjaciel Piłsudskiego miał za zadanie kontrolować go.
Po maju 1926 r. Prystor obejmował stanowiska szefa gabinetu generalnego inspektora Sił Zbrojnych oraz szefa biura personalnego Ministerstwa Spraw Wojskowych. W 1929 roku wrócił do Ministerstwa Pracy i Opieki Społecznej, zostając tym razem jego szefem. W latach 1931 – 1933 był premierem i ustąpił na skutek pretensji Piłsudskiego, że chce wiedzieć o wszystkim i do wszystkiego się wtrącać oraz otacza się niewłaściwymi ludźmi, którzy mogą go skompromitować.
Po śmierci Piłsudskiego Prystor wypadł ze ścisłej elity sprawującej władzę. W 1938 roku przegrał wybory na marszałka Senatu. Jako senator krytykował rządy Mościckiego i Rydza. W 1940 r. przebywał na Litwie. Po wkroczeniu do tego kraju Armii Czerwonej został aresztowany i zmarł w sowieckim więzieniu w 1941 roku. Był ojcem chrzestnym córki Piłsudskiego – Wandy.