Pozostał najmłodszy Józef, który w Legionach dorobił się dwóch ran, a I wojnę kończył jako organizator przejęcia władzy z rąk Austriaków w Andrychowie. Na czele czteroosobowego patrolu rozbroił tamtejszy posterunek żandarmerii i przejął go w imieniu władz polskich. 7 grudnia 1918 r. wyruszył na odsiecz Lwowa i mimo rany odniesionej pod Zboiskami nie opuścił oddziału. Wojnę z bolszewikami przebył z 4pp Legionów. Poznał wówczas podchorążego Leopolda Okulickiego (potem „Niedźwiadka”), z którym się zaprzyjaźnił i był ojcem chrzestnym jego syna Zbigniewa. W latach 1924 – 1935 był Józef oficerem w Korpusie Ochrony Pogranicza. W 1935 awansował do stopnia majora i został skierowany do 27pp w Częstochowie. Za kampanię wrześniową 1939 (między innymi w Modlinie) otrzymał Virtuti Militari. Pozostałą część wojny spędził w oflagach, między innymi w Woldenbergu. Powrócił do Krakowa, pracował jako sprzedawca w sklepie z farbami (u byłego AK-owca), a po godzinach zaangażował się w prace Stowarzyszenia Wolność i Niezawisłość (WiN). Dostał za to wyrok dziewięciu lat, zmniejszony wskutek amnestii do czterech i pół roku więzienia. Zeznawał w procesie płk. Franciszka Niepokólczyckiego. Wyszedł w 1951 roku.
Od tego momentu przez 32 lata krakowska SB traktowała go jako zagrożenie systemu i otaczała stałą obserwacją. Od 1951 r. ideą przewodnią ppłk. Józefa Herzoga była opieka nad miejscami pamięci Piłsudskiego w Krakowie. Pisał: „Trudno! – mówcie, co chcecie, piszcie, co wam myśl podszepnie, względnie za co wam lepiej zapłacą, ale jednego nie zdołacie umniejszyć czy zatrzeć – a to uznania żołnierza dla Wodza Naczelnego…” i dalej: „Dzisiaj, w 1952 Krypta na Wawelu z Jego zwłokami zabita deskami, ciemna jakby czeluść… Nawet w przedsionku krypty zatrzymać się nie wolno, a jednak porobiono otwory, szpary z deskach, przez które Polacy chcieli wzrokiem dotrzeć do wnętrza”.
Herzog rozpoczął indywidualną krucjatę, pisał do władz, a z drugiej strony prowadził zbiórki, rozpowszechniał materiały o Piłsudskim i ulotki dotyczące Katynia. 30 września 1973 (gdy skończył już 72 lata) władze postanowiły umorzyć kolejne postępowanie karne w przekonaniu, że nie stanowi on zagrożenia dla istniejącej sytuacji politycznej. Jego obserwacją zajmowali się pracownicy trzech wydziałów komendy wojewódzkiej MO oraz liczni „tajni współpracownicy”. Dokumentacja dotycząca „figuranta” Herzoga budzi przerażenie objętością oraz szczegółowym charakterem. „Towarzyszyli mu nawet po śmierci, „zabezpieczając” manifestację patriotyczną, w jaką przekształcił się jego pogrzeb.
[„Figurant Herzog” Postać Józefa Herzoga w dokumentach bezpieczeństwa PRL”, „Sowiniec” nr 23, Kraków 2003, ss. 260.]
Zmarł już po wybuchu „Solidarności” i powołaniu Komitetu Opieki nad Kopcem Józefa Piłsudskiego. Podczas pogrzebu 27 stycznia 1983 roku na klepsydrach można było przeczytać: „Panie Marszałku! Melduję – od młodości do śmierci broniłem Honoru i Godności Żołnierza Polskiego.”
[i]Janusz Cisek to dyrektor Muzeum Wojska Polskiego. W latach 90. dyrektor Instytutu Józefa Piłsudskiego w Nowym Jorku. Autor m.in. „Kalendarium życia Józefa Piłsudskiego” (wspólnie z Wacławem Jędrzejewiczem) oraz albumu „Józef Piłsudski”. Profesor w Instytucie Europeistyki UJ
