16 sierpnia 1914 roku rozpoczęto tworzenie dwóch oddziałów:
Legionu Wschodniego (we Lwowie) pod dowództwem gen. Adama Pietraszkiewicza (nie udało się go do końca sformować i ostatecznie został rozwiązany 21 września).
Legionu Zachodniego (w Krakowie) pod dowództwem gen. Rajmunda Baczyńskiego, a od 25 września 1914 roku – gen. Karola Trzaski-Durskiego.
W grudniu 1914 roku Legiony przeformowano w dwie brygady, do których w maju 1915 roku dołączono trzecią:
I Brygada – dowódca: brygadier Józef Piłsudski, po jego dymisji od 27 września 1916 roku płk Marian Januszajtis „Żegota” (do 30 lipca 1917), skład:
1. Pułk Piechoty, 5. Pułk Piechoty, 7. Pułk Piechoty, 1. Pułk Ułanów
II Brygada – dowódca: płk Ferdynand Küttner, od 14 lipca 1916 roku płk Józef Haller (do 19 lutego 1918), skład:
2. Pułk Piechoty, 3. Pułk Piechoty
III Brygada – dowódca: płk Wiktor Grzesicki, od 14 lipca płk Stanisław Szeptycki, od 14 listopada 1916 roku płk Zygmunt Zieliński, od 25 kwietnia 1917 roku płk Bolesław Roja (do 30 lipca 1917), skład:
4. Pułk Piechoty, 6. Pułk Piechoty
Poza brygadami powołano także pod bezpośrednim dowództwem Komendy Legionów 2. Pułk Ułanów i 1. Pułk Artylerii.
W kwietniu 1916 roku Austriacy przekazali Legiony pod dowództwo niemieckie w celu stworzenia Polskiej Siły Zbrojnej (Polnische Wehrmacht), a po kryzysie przysięgowym w lipcu 1917 roku Legiony rozwiązano. Z części żołnierzy, którzy złożyli przysięgę (głównie z II Brygady), sformowano Polski Korpus Posiłkowy pod dowództwem gen. Zygmunta Zielińskiego.