Im März 1972 übernahm Alfred Weissmann die Sparte. Dann kam der große Einbruch: In der Saison 1972/73 und im Sommer 1973 gab es keine Herrenmannschaft. Einige verbliebene Spieler kümmerten sich jedoch um die Jugend.
Im Oktober 1974 wurde die Dreifach-Sporthalle an der Franz-Liszt-Schule eingeweiht.
Danach gab es einen enormen Zulauf und es ging mit dem Handball wieder bergauf. Sowohl Männer- als auch Jugendmannschaften nahmen wieder am Spielbetrieb teil. Der Bayerische Handballverband wurde auf den VfL aufmerksam und es wurden Auswahlspiele in Waldkraiburg ausgetragen.
Alfred Weissmann trat 1977 zurück und Wilhelm Scheichengraber übernahm erneut das Amt des Spartenleiters. Das 10-jährige Sparten-Jubiläum wurde im Zappe-Wintergarten gefeiert. Es wurden Meisterschaften in allen Jugendklassen errungen und der Deutsche Meister TV Großwallstadt gab ein Gastspiel.
Für weitere Auswahlspiele betraute der BHV den VfL. Auch die weibliche A-Jugend schob sich in den Vordergrund und wurde Bayerischer Vizemeister. Ab 1979 leitete Walter Lode sen. die Sparte. Bereits zum 10. Mal fand das Eberhard-Krain-Gedächtnis-Pokalturnier statt. Mit Berni Distler, Reiner Kunz, Norbert Fischer und Ralf Bichler verfügten die Handballer über eine einmalige Unterhaltungsgruppe. Es wurden Busausflüge nach Berlin, Paris, Budapest oder Wien organisiert. Weitere ausländische Spitzenmannschaften kamen nach Waldkraiburg.