Spätestens mit zwei Finalteilnahmen aus zwei Spielzeiten war der KAC Floorball keine Unbekannte mehr im österreichischen Floorball. Spätestens mit dem Abgang von Martin und Andreas Pfeifer verlor das Team allerdings etwas an Tiefe. Um weiterhin konkurrenzfähig zu bleiben, wurde der Entschluss gefasst, den Kader vor allem in der Breite zu verstärken. So wurde eine Kooperation mit dem FBV Klagenfurt abgeschlossen, der schlussendlich acht Spieler an den KAC Floorball verlieh. Unter ihnen waren auch Spieler wie Thomas Kruggel, Walter Kampel oder Michael Schachner, denen später vor allem im Kärntner Floorball das Prädiakt „Urgestein“ verliehen werden sollte.
Spielerrebellionen und interne Unruhen
Trotz eigentlich recht vielversprechender Arbeit, die der Vorstand über den Sommer leisten konnte, schaffte es der KAC Floorball nicht, an die Erfolge der beiden vergangenen Spielzeiten anzuknüpfen. Erstmals war in der Saison 2004/05 im Halbfinale Endstation, während sich Zell am See erneut zum Champion krönte. Mit der Zeit keimten bald darauf auch erstmals interne Diskussionen auf. Zu dieser Zeit hatten einige Spieler ihren Lebensmittelpunkt in Graz und waren nicht mehr zu hundert Prozent dazu bereit, die wöchentlichen Reisestrapazen zu Trainings und Spielen auf sich zu nehmen. Trotzdem wurde der Alltag von ständigen Unruhen und mangelnder Selbsteinschätzung begleitet – viele Spieler sahen die Mannschaft nach wie vor als die stärkste Österreichs.
Dass auch die Saison 2005/06 für die Rotjacken bereits im Halbfinale ihr Ende nahm, machte die Situation nicht unbedingt einfacher. Die internen Streitereien und Meinungsverschiedenheiten hielten an und Drohungen von Seiten einiger Spieler, die Mannschaft zu verlassen, wurden zu beinahe wöchentlichen Vorkommnissen. Trotz der zwischenzeitlichen Verpflichtungen der Legionäre Jochen Bathe (Deutschland) und Jonne Hyvönen (Finnland) konnte keine Trendumkehr geschafft werden. Im Gegenteil, auch in den beiden darauffolgenden Spielzeiten scheiterte der KAC Floorball jeweils im Halbfinale und verpasste es damit erneut, den zweiten Titel der Vereinsgeschichte einzufahren.
Niemis Abschied löst Team-Rebuild aus
Die große Hiobsbotschaft erreichte den KAC Floorball dann vor der Saison 2008/09, als Tero Niemi verkündete, wieder in seine finnische Heimat zurückzukehren. Mit dem Abgang des Meistermachers von 2003 hinterließ sowohl auf dem Spielfeld als auch hinter der Bande eine große Lücke. Seine Rolle des Spielertrainers wurde vom bisherigen Kapitän Torsten Lutter übernommen. Niemi sollte jedoch nicht der einzige Abgang der Rotjacken im Sommer 2008 bleiben: Nach den Unruhen der vergangenen Jahre zogen ganze elf Spieler die Reißleine und kehrten dem Klub den Rücken. An eine Teilnahme an der Bundesliga war kaum noch zu denken.
So entschloss sich der KAC Floorball für einen Neustart in der neu gegründeten zweiten Liga. Der Kader wurde komplett umgekrempelt, zwölf Spieler aus dem eigenen Nachwuchs wurden in die Kampfmannschaft hochgezogen. Die beiden Torhüter Felix Scherer und Raphael Wigoutschnigg sowie Rückkehrer Andreas Pfeifer komplettierten die große Welle an Neuzugängen. Lutters erste Saison als Spielertrainer verlief durchaus erfolgreich: Die Rotjacken beendeten die Spielzeit als Zweitliga-Vizemeister und gaben daraufhin bekannt, wieder in die Bundesliga zurückzukehren.