Według jednych był międzynarodowym agentem, który służył różnym sprawom, ale nie sprawie polskiej. Według drugich był szarą eminencją w polskim rządzie na uchodźstwie, człowiekiem, bez którego nie działy się żadne sprawy, który potrafił narzucić nawet generałowi Sikorskiemu swoją wolę i który był prawdziwym aranżerem relacji i autorem układów ze Związkiem Sowieckim. On też, jak świadczą dokumenty, po układzie Majski–Sikorski, jako pierwszy przedstawiciel Polski, w randze chargé d'affaires, udał się na kilka tygodni do Moskwy, ale nie na prośbę premiera Sikorskiego, tylko Churchilla i brytyjskiego ambasadora w Moskwie Stafforda Crippsa. No to co to za Polak? – pytano. O jego stosunkach, znajomościach i koneksjach krążyły legendy. W licznych wspomnieniach, które pojawiły się w londyńskim „Timesie" po śmierci Retingera w czerwcu 1960 r., znalazło się wojenne wspomnienie sir Beddingtona Behrensa, który twierdził, że wystarczyło, że Retinger sięgnął po słuchawkę telefoniczną, a uzyskiwał natychmiastowe połączenie z prezydentem Stanów Zjednoczonych.
Kim był więc człowiek, który swobodnie wchodził do gabinetów największych ówczesnych polityków na świecie, który w latach wojny aranżował spotkania i dyskusje przywódców państw okupowanych przez Niemcy, poświęcone powojennej przyszłości Europy? Podobno zorganizował aż 21 takich konferencji. Był częstym gościem w domu lub w gabinecie brytyjskich premierów Edena i Churchilla (choć akurat Churchill nie poświęcił mu nawet najmniejszej wzmianki w swojej pomnikowej historii wojny, tak jakby Retingera w ogóle nigdy nie było). W Moskwie Retinger bywał u Mołotowa, gdzie konsultował wszystkie sprawy polskie.
Spór dotyczy nawet tego, czy Retinger był Żydem. Według informacji byłego ministra spraw zagranicznych Augusta Zaleskiego, który go dobrze znał: „Ojciec doktora Józefa Hieronima Retingera był Żydem, adwokatem w Krakowie. Grupa finansistów z Wiednia chciała wykupić Zakopane celem eksploatacji lasów. Adwokat Retinger, wiedząc o tym, dał znać o zamierzonej transakcji hr. Władysławowi Zamoyskiemu. Hrabia Zamoyski z Kórnika zaciągnął pożyczkę na Kórnik i podczas licytacji wykupił Zakopane. Jednak adwokat Retinger, czując się zagrożony, zwrócił się do hr. Zamoyskiego o pomoc i opiekę. Zamoyski obiecał mu, że zaangażuje go jako swego adwokata, ale postawił warunek, że Retinger musi przyjąć katolicyzm. Retinger ojciec na warunki hr. Zamoyskiego się zgodził i przeszedł na katolicyzm wraz z synem swoim Józefem Hieronimem". Ojcem chrzestnym miał być sam hrabia Władysław Zamoyski.
Niedoszły dyplomata papieski
Trudno powiedzieć, co w tym nie do końca zbadanym przez historię życiorysie jest prawdą, a co jedynie stworzoną przez samego Retingera legendą. „Prasa angielska pisała – zanotował sumienny Stanisław Cat-Mackiewicz – że dr J.H. Retinger to polski Żyd. On tego nigdy nie prostował. Jednak to nie było prawdą. Pochodził z katolickiej rodziny krakowskiej".
Był synem Józefa Stanisława i Marii Krystyny z Czyrniańskich, córki profesora chemii, byłego rektora Uniwersytetu Jagiellońskiego, która wniosła do tego małżeństwa niewielki majątek ziemski pod Krakowem. Historii udało się ustalić w rodzie Retingerów obecność siedmiu profesorów uniwersyteckich i co najmniej kilku powstańców styczniowych". Co więcej, udało się też ustalić, że po ukończeniu zacnych szkół krakowskich młody Józef Hieronim wstąpił na krótko do nowicjatu jezuitów w Rzymie, mając nadzieję zrobienia kariery w dyplomacji papieskiej. Ze swoim talentem może zostałby nawet nuncjuszem apostolskim.