Zwei Beobachtungen noch zur vorgestern erfolgten Vorstellung der neuen Apple Mac mini und Mac Studio – Modelle.
Neural Engine 16 Kerne
In jedem M-Prozessor seit dem M1 gibt es einen „16-Core Neural Engine“-Chip. Der hat mit dem M5 (ab Pro ) einen Upgrade erfahren, es gibt jetzt neben dem Chip mit der „16‑Core Neural Engine“ noch „Neural Accelerators“ und mit dem M6 ist daraus ein „Dual 16‑Core Neural Engine“ geworden. Diese langsame Steigerung ist sicherlich den kommenden Siri AI-Anforderungen geschuldet, von denen wir in der EU ja erst einmal wenig mitbekommen werden.
Leistung im Überfluss
Viel interessanter ist natürlich die Frage, was jemand mit einem Mac Studio mit 36-Core CPU, 80 Core GPU und 512 GB gemeinsamen Hauptspeicher anfangen will. Seit dem M1 stellt sich für Otto Normalanwender tatsächlich die Frage, warum man auf ein neueres Modell wechseln sollte. Alle „normalen“ Anwendungen wir Photoshop, Lightroom, Logic laufen doch wunderbar.
Ok, Anwender von Logic, die das Programm ausreizen wollen, brauchen für viele Spuren viel Leistung, aber selbst da wage ich zu bezweifeln, dass ein solcher Rechner einen nennenswerten Markt findet.
Und die Antwort, wofür diese Geräte gebaut werden gibt Apple auf der Webseite des Studio auch selbst:
Selbstgehostete KI Modelle
Damit könnten sie mal wieder spät, aber nicht zu spät, einen Nerv getroffen haben. Guckt man sich mal die aktuelle KI-Landschaft an und liest neben den eindrucksvollen Marketingdokumenten auch mal etwas in Finanzforen mit, dann wird einem schnell klar, dass die neue Währung im Umgang zwischen Kunden und Anbietern der KI das Token ist. So ein Kontingent von Token kann man kaufen und dann bei Abfragen an die KI verbrauchen. Das tun viele, und die ersten Firmen haben schon die ersten leidvollen Erfahrungen gemacht: Tausende von Euro für banale Umwandlung von PDFs in Powerpoint-Slides. Allgemeine Schätzungen gehen davon aus, dass der aktuelle Preis für diese Token dramatisch unterpreist ist, und zwar je nach Schätzung um den Faktor 100 bis 1000. Jeder Firmenchef, der KI als wichtigen Baustein seiner Verarbeitungskette vorantreibt, wird bei dem Gedanken, von so einer Firma mit absehbaren Preissteigerungen abhängig zu sein, einigen Nachtschweiß haben.
Meine Prognose:
Hier wird die Stunde der lokalen KI-Modelle schlagen, und Apple hat dafür grade die extrem leistungsfähige Hardware vorgestellt. Im Bereich der KI gilt: Die harte Währung ist Rechenleistung, CPU und GPU. Nicht umsonst ist eine Firma wie Nvidia, die die Älteren unter uns noch als Hersteller von stromfressenden Grafikkarten kennen, mittlerweile eine der wertvollsten Firmen geworden. Und in deren Bereich versucht Apple grad etwas zu wildern. Sieht man sich mal den M5 Ultra etwas genauer an, dann wird da prominent erwähnt, dass man über Thunderbolt 5 bis zu vier dieser Geräte als Cluster verbinden kann, der dann 3x so schnell ist wie der Einzelrechner. Und wenn irgendjemand um die 70.000€ für so ein Konstrukt ausgibt, dann will er auch einen Ertrag sehen.
Weltwissen versus Spezialistentum
Die aktuellen KI-Modelle (die mit den teuren Token) können jede Frage beantworten, von eingewachsenen Zehennägeln über die Migration zweier Fritzbox-Router bis hin zum Sinn des Lebens. (Wenn da nicht 42 rauskäme, wäre ich schon etwas enttäuscht.)
So ein Riesenpaket an Möglichkeiten braucht die normale Firma in der Regel aber gar nicht, da geht es eher darum PDFs in Powerpoint zu wandeln und ähnliches. Hierzu lassen sich hervorragend lokale Modelle nehmen, und, noch wichtiger: Die lassen sich dann ohne Angst vor Datenabfluß auch mit den wichtigen internen Firmendaten trainieren.
Spart man hier im Monat 2000€ an Token ein, dann ist so ein Cluster von Rechnern in 3Jahren amortisiert. Und man hat noch schicke Hardware, sollte die KI-Blase dann irgendwann platzen – wozu eine stärkere Nutzung von lokalen Modellen ja gern beschleunigend wirkt.
