Pozostawał pod urokiem Richelieu przez ćwierćwiecze. Zbliżyła ich pasja do polityki, lecz także niespełnione marzenia o karierze wojskowej (obaj uczęszczali do tej samej paryskiej akademii wojskowej, ale w odróżnieniu od kardynała kapucyn nie nosił pod La Rochelle pancerza) i wola zniszczenia potęgi hugenotów.
Ojciec Józef zdradził dla kardynała wrogą mu partię „dewotów”, stając się powiernikiem i przyjacielem „purpurowej eminencji”. Z marzącego o antytureckiej krucjacie obserwatora europejskiej szachownicy przekształcił się w eksperta, zaufanego wysłannika, a nawet szefa wywiadu kardynała. „Straciłem moją podporę” – wyszeptał Richelieu na wieść o śmiertelnym udarze przyjaciela w grudniu 1638 roku. To właśnie od narzuconego na habit szarego płaszcza Ojca Józefa wzięło się określenie „szara eminencja”.