Kauf kein NAS für lokale KI, hol dir stattdessen das hier
Ein NAS ist eine großartige Ergänzung für jedes Homelab-Setup. Es kann Ihre Fotos und andere Dateien sichern, einen Jellyfin- oder Plex-Server betreiben und einige Ihrer Abonnementdienste ersetzen.
Es ist verlockend zu denken, dass sie auch eine gute Möglichkeit wären, um in lokale KI einzusteigen. Leider ist ihre Hardware wirklich nicht für diese Aufgabe geeignet. Wenn Sie etwas Kompaktes und Energieeffizientes brauchen, gibt es bessere, kostengünstigere Optionen.
Ein NAS ist nicht die Lösung für lokale KI
Sie sind praktisch, aber nicht die besten
NAS-Einheiten sind leicht verfügbar, relativ erschwinglich und beliebt, da sie Ihnen helfen können, Abonnementkosten zu senken. Zunehmend werden sie auch verwendet, um einige KI-Anwendungen selbst zu hosten. Sie sollten jedoch keine speziell für KI kaufen.
Die meisten großen NAS-Hersteller bauen ihre Geräte mit stromsparenden CPUs, die dafür gedacht sind, Dateien bereitzustellen, ohne viel Strom zu verbrauchen, nicht um KI-Workloads zu bewältigen. Selbst wenn Sie ein High-End-Gerät mit 32 GB RAM oder mehr haben, sehen Sie nur ein paar Token pro Sekunde. Sie würden feststellen, dass Sie auf eine Maschine warten, die Text langsamer generiert, als Sie tippen können.
Wenn Sie bereits ein NAS haben, schadet es sicherlich nicht, es für KI zu verwenden—geben Sie nur kein Geld für eines mit diesem Zweck aus.
Einzigartige und kreative DIY-NAS-Setups
Quiz-Herausforderung
Von alten Laptops bis zu staubigen Routern - finde heraus, wie gut du die wilde Welt des selbstgemachten Netzwerkspeichers kennst.
Welcher große Vorteil macht einen alten Laptop zu einer überraschend guten Wahl für den Bau eines DIY-NAS?
Welche Open-Source-Firmware wird am häufigsten auf kompatible Router geflasht, um NAS-ähnliche USB-Speicherfreigabefunktionen zu ermöglichen?
Welches NAS-Betriebssystem ist speziell dafür entwickelt, auf stromsparenden ARM-basierten Einplatinencomputern wie dem Raspberry Pi gut zu laufen?
Beim Bau eines NAS mit einem Raspberry Pi, was ist der häufigste Engpass, der die Dateiübertragungsgeschwindigkeit begrenzt?
Worauf bezieht sich in DIY-Speichergemeinschaften üblicherweise ein 'Franken-NAS'?
Welches RAID-Level wird für ein kleines 2-Laufwerke-DIY-NAS empfohlen, das Datensicherheit über die Gesamtspeicherkapazität stellt?
Welches Protokoll konfigurieren die meisten DIY-NAS-Erbauer, um Windows-PCs im lokalen Netzwerk den Zugriff auf freigegebene Ordner wie ein Netzlaufwerk zu ermöglichen?
Welche Low-Power-x86-Plattform wurde aufgrund ihres lüfterlosen Designs und effizienter Intel-Atom- oder Celeron-Prozessoren bei DIY-NAS- und Heimserver-Bauten extrem beliebt?
Dein Punktestand
Danke fürs Spielen!
Was für KI am wichtigsten ist
NAS-Hardware ist auf Dinge wie Stromverbrauch und Anzahl der Laufwerkschächte optimiert - keines davon hilft wirklich bei KI-Arbeitslasten. Du solltest zu diesem Zeitpunkt auch nicht zu viel auf NPU-Marketing achten. Die meisten wichtigen KI-Tools, wie Ollama, llama.cpp und LM Studio, schicken momentan sowieso keine KI-Arbeitslasten zur NPU.
Hinweis: Es könnte möglich sein, dass zukünftige Software gleichzeitig die Vorteile einer integrierten GPU und einer NPU nutzt.
Die Speicherbandbreite ist ebenfalls eine wesentliche Einschränkung, weshalb der einheitliche Speicheransatz, der von modernen Macs verwendet wird, ihnen einen Vorteil gegenüber anderen Mini-PCs verschafft, die RAM-Riegel verwenden.
Ein Mac Mini ist eine überraschend gute Option
Tolle Leistung für alle Aufgaben
Wenn Sie etwas Kompaktes und Energieeffizientes brauchen, um kleine bis mittelgroße KI-Modelle auszuführen, ist ein Mac Mini eine ziemlich gute Option. Der Mac Mini kann mit bis zu 64 GB einheitlichem Speicher für 2000 $ausgestattet werden, was es ihm ermöglicht, Modelle mit 30 Milliarden (30B) Parametern problemlos auszuführen. Sie könnten wahrscheinlich einige quantisierte Modelle mit bis zu 70B Parametern unterbringen, aber Sie werden auf einige Leistungsengpässe stoßen.
Da es sofort mit LM Studio und Ollama funktioniert, können Sie problemlos zwischen der Nutzung als Ihren täglichen PC, Heimserver oder dedizierte lokale KI-Box wechseln.
Der Mac Mini hat eine Grenze
Der einzige echte Nachteil des Mac Mini ist das Speicherlimit. Mit maximal 64 GB beim M4 Pro können Sie Modelle mit mehr als etwa 70 Milliarden Parametern nicht ausführen. Wenn Sie größere Modelle ausführen müssen, müssen Sie auf einen Mac Studio umsteigen, der erheblich teurer ist.
Ein Mini-PC mit einem AMD-AI-Chip ist auch großartig
Mehr Speicher, als du weißt, was du damit anfangen sollst
So leistungsfähig Mac Minis auch sind, sie sind nicht die einzigen Mini-PCs, die als Heim-AI-Server dienen können. Wenn Sie nach einer vernünftigen Option suchen, die weniger als der Mac Mini kostet, beginnen Sie mit Mini-PCs, die einen AMD Ryzen AI 9 HX 370 haben.
Als ein Beispiel produziert MINISFORUM einen Mini-PC mit einem Ryzen AI 9 HX 370 und 32 GB, 64 GB oder 96 GB RAM, der bei etwa 1.100 $beginnt. Mehrere Hersteller produzieren Modelle mit bis zu 96 GB RAM, obwohl diese normalerweise etwa 2.000 $kosten.
Wenn Sie noch mehr Leistung benötigen, würde ich vorschlagen, sich Mini-PCs mit dem Ryzen AI Max+ 395 oder dem AI Max+ 388 anzusehen. Sie unterstützen bis zu 128 GB gemeinsamen Speicher, und Sie könnten bis zu 96 GB als VRAM zuweisen. Dadurch können Sie problemlos 70B+-Modelle ausführen, die auf einem Mac Mini unmöglich unterzubringen wären.
Leider sind Mini-PCs mit dem AI Max+ 395 Prozessor und 128 GB RAM ziemlich teuer, obwohl sie tendenziell ein wenig günstiger sind als das Mac Studio mit der gleichen Menge an RAM. Wenn der neuere AI Max+ 388 weit verbreitet verfügbar wird, wird er wahrscheinlich etwas günstiger sein und könnte eine gute Option sein, wenn Sie etwas Geld bei einem AI-PC sparen möchten.
ROCm bietet einen Vorteil
AMDs ROCm ist ziemlich ausgereift und läuft jetzt llama.cpp, Ollama und LM Studio ohne allzu große Probleme. Es ist eine vernünftige Wahl, wenn Sie Linux für Headless-Server bevorzugen.
AMD behauptet, dass man bei einigen Modellen eine bis zu 12,2-fach schnellere Zeit bis zum ersten Token im Vergleich zu Intel Lunar Lake sehen könnte, die Geschwindigkeit ist potenziell vorhanden. Als zusätzlicher Vorteil, wenn man einen Mini-PC mit OCuLink-Anschlüssen bekommt, hat man die Möglichkeit, später eine separate GPU hinzuzufügen, wenn man die zusätzliche Leistung möchte.
Du solltest beim NAS nicht sparen
Nur weil ein NAS nicht ideal zum Ausführen von KI-Modellen ist, bedeutet das nicht, dass es keinen Wert hat. Es ist großartig für das, was es ist: bequeme Speichergeräte. Wenn Sie noch keine Art von Backup-Lösung zu Hause haben, würde ich im Allgemeinen empfehlen, eine zu kaufen.
Wenn Sie ein Gerät wollen, das sowohl ein NAS als auch ein KI-Server ist, ist die kostengünstigste Option, es selbst aus generalüberholten oder gebrauchten Teilen zu bauen. Sie können so viel RAM hinzufügen, wie Sie möchten, eine GPU mit genügend VRAM auswählen, um die Modelle auszuführen, die Sie benötigen, und dann kontinuierlich neue Laufwerke hinzufügen, wenn Ihr Speicherbedarf wächst. Ein solcher Heimserver wäre auch in der Lage, fast jeden anderen Dienst, den Sie möchten, selbst zu hosten, sodass Sie die Möglichkeit haben, Abonnements zugunsten von datenschutzfreundlicheren Alternativen zu reduzieren.