Podstawowymi jednostkami KOP były bataliony piechoty sformowane w pułki i brygady). Od jednostek liniowych WP odróżniało je słabsze nasycenie artylerią i wsparcie saperów. W skład batalionu wchodziły średnio trzy kompanie strzeleckie oraz kompania odwodowa.
Każda kompania obsadzała trzy – cztery strażnice, utrzymując za wysuniętymi placówkami pluton odwodowy gotowy do kontrakcji.
W KOP służyli specjalnie wyselekcjonowani żołnierze narodowości polskiej z centralnych i zachodnich województw. Wcześniej musieli przejść półroczne lub roczne szkolenie w oddziałach liniowych WP. Przeniesieni na wschód, musieli poznać specyfikę służby granicznej. Podczas szkolenia duży nacisk kładziono na szlifowanie taktyki walki w małych zespołach oraz przygotowanie oddziałów do działań opóźniających i osłonowych.
Doskonaleniu indywidualnych umiejętności strzeleckich oraz działaniom na szczeblu drużyny poświęcano co najmniej dwie godziny dziennie.
Ponadto raz do roku organizowano sprawdzian sprawności zawodowej oficerów oraz zajęcia sztabowe i gry taktyczne na wyższych szczeblach. Dlatego można powiedzieć, że oficerowie i żołnierze należeli do elity naszej armii. Od 1937 roku przystąpiono do wzmacniania siły bojowej na szczeblu brygad i pułków KOP, tworząc dodatkowe oddziały artylerii, saperów i kawalerii.