Wszystko zaczęło się 10 września 1935 r., kiedy ludowy komisarz spraw wewnętrznych Ukrainy Wsiewołod Balicki skierował do CK WKP(b) notatkę o wykryciu Polskiej Organizacji Wojskowej, czyli konspiracyjnej organizacji założonej podczas I wojny światowej. Władze sowieckie były przekonane, że POW działała także później, już na terytorium ZSRR, i prowadziła tam działalność dywersyjną. NKWD od razu przystąpiła do montowania intrygi, która pozwoliłaby na pozbycie się niewygodnych czekistów. W ten sposób otworzyłaby się droga awansu dla młodych funkcjonariuszy.
Na aresztowanych wymuszano zeznania obciążające coraz szersze kręgi ludzi. W październiku 1936 r. zatrzymano pracownika 5. Wydziału (Specjalnego) Głównego Wydziału Bezpieczeństwa Państwowego NKWD, Polaka Mieczysława Mazepusa, potem zaś działającego w Polsce sowieckiego szpiega Ilinicza. Obszerne zeznania tego ostatniego ujawniały istnienie siatki peowiackiej w strukturach NKWD.
Dla Nikołaja Iwanowicza Jeżowa, ludowego komisarza bezpieczeństwa państwowego, nie mogło być lepszej wieści. Nadarzyła mu się wyjątkowa sposobność, by rozprawić się z grupą prominentnych czekistów, których angażował jeszcze Feliks Dzierżyński, i którzy wciąż bardzo liczyli się w strukturach NKWD. Tak oficjalnie powstała „sprawa POW” – nr 11/139.Wiosną 1937 r. rozpoczęły się aresztowania wśród Polaków czekistów. Jednymi z pierwszych byli Roman Pilar i Ignacy Sosnowski. Potem dołączył do nich Kazimierz Naujokajtis. W maju i lipcu 1937 r. protokoły z przesłuchań przekazano do Biura Politycznego. Zeznania satysfakcjonowały Jeżowa – zawierały wszystko, czego oczekiwał. Podejrzani przyznali się do sabotażu i szpiegowania na rzecz Polski. Pilar zeznał, że działał na rzecz II Oddziału Polskiego Sztabu Generalnego.
W połowie 1937 r. zebrał dość materiałów przeciw starej czekistowskiej gwardii. Wielu spośród tych ludzi nie pracowało już w organach bezpieczeństwa, ale zajmowało wysokie stanowiska w partii. Do nich należeli Józef Unszlicht, Jan Olski i Stanisław Messing. Oni stali się głównymi „spiskowcami”. O ich „wspólnikach” meldowali młodzi czekiści zainteresowani objęciem zwalniających się posad. Jeżow mógł zameldować Stalinowi o wykryciu dużego i rozgałęzionego polskiego spisku, zawiązanego przez członków Komitetu Centralnego WKP(b), Kominternu, armii, NKWD, działaczy komitetów ludowych polskiego pochodzenia, a także przybyszów z Polski.
W czerwcu 1937 r. podczas plenum CK WKP(b) Jeżow przedstawił sprawozdanie z działalności NKWD w ostatnich miesiącach. Mówił o wykryciu dużych organizacji spiskowych. Wśród najważniejszych formacji antyradzieckich wymienił szpiegowską POW pod dowództwem Unszlichta i Łoganowskiego, których zdążono już aresztować. Stwierdził, że polski wywiad posługiwał się POW, która „przeżarła organy radzieckiego wywiadu i kontrwywiadu, masowo wykorzystując do tego Polaków z pochodzenia”.
