Zum Jugendturnier 2003 reisten 40 Mannschaften an. Die Saison 2003/04 stellte einen großen Umbruch bei den Männern dar: 7 Spieler beendeten ihre Karriere oder wechselten zu anderen Vereinen! Spartenleiter Wolfgang Anders wurde als Stellvertreter der VfL-Vorsitzenden Annemarie Deschler gewählt. 2006 wurde ihm das „Ehrenzeichen für Verdienste im Ehrenamt“ des Bayerischen Ministerpräsidenten Edmund Stoiber im Hofcafe Haag von Landrat Georg Huber überreicht.
Nach dem großen Spielerabgang verstärkte sich die Herrenmannschaft für die Saison 2006/07 für die Bezirksoberliga. Deutschland wurde 2007 Handballweltmeister! Das Interesse der Kinder an dieser schönen Sportart stieg dadurch auch in Waldkraiburg und die Jugendarbeit wurde im VfL groß geschrieben. Während die Männer die Saison mit einem unbefriedigenden 7. Platz abschlossen, wurden im Jugendbereich Meisterschaften und gute Platzierungen erreicht. Auch das Städtepokal- und das Jugendturnier wurden erneut zum großen Erfolg. Am Busausflug zum Supercup-Endspiel in der Münchner Olympiahalle im August nahmen 100 Personen teil. Die Jugend fuhr zu einem Turnier in Südtirol. 40 Jahre Handball wurden im September 2007 im Haus der Kultur groß gefeiert.
Mit 9 Mannschaften startete der VfL in die Saison 2007/08. Leider konnten die Männer die Bezirksoberliga nicht halten und spielten in der Saison 2008/09 in der Bezirksliga. Einige Spieler beendeten ihre Karriere, doch das Trainerduo Hubert Kamrad / Axel Selent baute auf eine sehr junge Nachwuchsmannschaft. Diese brachte die Herren in der Saison 2009/10 zurück in die Bezirksoberliga. Bei der Jahreshauptversammlung im Mai 2010 zog sich Wolfgang Anders nach über zwei Jahrzehnten als Abteilungsleiter zurück und übergab sein Amt an Markus Lode. Bei der Hauptversammlung des VfL wurde Wolfgang Anders die Ehrenmitgliedschaft des VfL verliehen.