16 sierpnia 1914 roku rozpoczęto tworzenie dwóch oddziałów:

Legionu Wschodniego (we Lwowie) pod dowództwem gen. Adama Pietraszkiewicza (nie udało się go do końca sformować i ostatecznie został rozwiązany 21 września).

Legionu Zachodniego (w Krakowie) pod dowództwem gen. Rajmunda Baczyńskiego, a od 25 września 1914 roku – gen. Karola Trzaski-Durskiego.

W grudniu 1914 roku Legiony przeformowano w dwie brygady, do których w maju 1915 roku dołączono trzecią:

I Brygada – dowódca: brygadier Józef Piłsudski, po jego dymisji od 27 września 1916 roku płk Marian Januszajtis „Żegota” (do 30 lipca 1917), skład:

1. Pułk Piechoty, 5. Pułk Piechoty, 7. Pułk Piechoty, 1. Pułk Ułanów

II Brygada – dowódca: płk Ferdynand Küttner, od 14 lipca 1916 roku płk Józef Haller (do 19 lutego 1918), skład:

2. Pułk Piechoty, 3. Pułk Piechoty

III Brygada – dowódca: płk Wiktor Grzesicki, od 14 lipca płk Stanisław Szeptycki, od 14 listopada 1916 roku płk Zygmunt Zieliński, od 25 kwietnia 1917 roku płk Bolesław Roja (do 30 lipca 1917), skład:

4. Pułk Piechoty, 6. Pułk Piechoty

Poza brygadami powołano także pod bezpośrednim dowództwem Komendy Legionów 2. Pułk Ułanów i 1. Pułk Artylerii.

W kwietniu 1916 roku Austriacy przekazali Legiony pod dowództwo niemieckie w celu stworzenia Polskiej Siły Zbrojnej (Polnische Wehrmacht), a po kryzysie przysięgowym w lipcu 1917 roku Legiony rozwiązano. Z części żołnierzy, którzy złożyli przysięgę (głównie z II Brygady), sformowano Polski Korpus Posiłkowy pod dowództwem gen. Zygmunta Zielińskiego.