Był nim Karol Robert, przedstawiciel neapolitańskich Andegawenów. Aby osłabić pozycję Wacława, papież zakwestionował nie tylko węgierską koronację jego syna, ale też prawa króla czeskiego do korony polskiej. Przez kilka lat Wacław się nie poddawał. W 1304 r. próbował nawet zająć Miśnię. To spowodowało uderzenie Albrechta Habsburga na Czechy. Wacław odparł natarcie, ale zrozumiał, że musi ustąpić. Tym bardziej że jego rządy zaczęły budzić opór nawet w Czechach. Jego tamtejsi poddani nie mogli się pogodzić ze znaczeniem, jakie na królewskim dworze osiągnęli niemieccy doradcy. Wacław zrezygnował z Miśni i wycofał swego syna z Węgier. Niewiele to jednak pomogło.
W 1304 r. władza Wacława w Polsce zaczęła się kruszyć. Polacy pokładali początkowo wielkie nadzieje w czeskim królu, który miał zjednoczyć kraj. Wacław przywrócił wprawdzie Królestwo Polskie, nie spełnił jednak oczekiwań elit. Zarówno małopolscy, jak i wielkopolscy możni liczyli na to, że w odnowionym królestwie będą odgrywać decydujące role. Wydawało się, że przodującą pozycję Małopolanom zapewnił przywilej wydany w Lutomyślu. Król Wacław zapewnił w nim, że nie będzie mianował dostojników bez zgody polskiej elity. Słowa dotrzymał – nie mianował żadnego wojewody ani kasztelana bez zgody swych nowych poddanych.
Wprowadził jednak do Polski nowy urząd królewskiego starosty. Starostowie byli namiestnikami króla w poszczególnych prowincjach państwa. Zaprowadzili w Polsce porządek, jednak nie znaleźli uznania. Ponieważ takiego urzędu dotychczas nie było, Wacław nie czuł się zobowiązany do wyznaczania starostów za zgodą Polaków. Starostami w Polsce byli więc Czesi, Niemcy, a nawet jeden Włoch, któremu król był winien pieniądze, i zamiast je zwrócić, nadał mu na rok ten wysoki urząd. Ponadto mimo koronacji Wacława na króla Polski poszczególne jej prowincje nie były zarządzane z Krakowa czy z Poznania, lecz z Pragi. Polskie elity polityczne stały się elitami prowincjonalnymi. To budziło niezadowolenie.
