Ich habe einen vollständig lokalen KI-Coding-Assistenten unter Windows mit Ollama und VS Code gebaut

Cloud-basierte Programmierassistenten sind definitiv hilfreich, aber sie kommen mit wiederkehrenden Abonnements oder Kosten nach Gebrauch, und Sie setzen möglicherweise vertrauliche Informationen ins Internet.

Die gute Nachricht ist, dass Sie den gesamten Betrieb auf Ihre eigene Hardware verlagern können. Indem Sie Ollama ausführen und es über eine spezielle Erweiterung mit VS Code verbinden, können Sie sehr einfach eine private, offline, abonnementsfreie Alternative zu den großen Cloud-Modellen aufbauen.

Lokale Codierungsagenten sind großartig für Kosten und Datenschutz

Privatsphäre, keine Abonnementgebühren und Offline-Nutzung

Codierende Agenten sind beliebter denn je, und dank jüngster Verbesserungen sind lokale codierende Agenten zunehmend eine realistische Alternative zu den großen Cloud-Modellen, insbesondere wenn man seine Arbeit in kleinere Abschnitte aufteilen kann.

Das Ausführen von Dingen lokal hat einige Vorteile, der offensichtlichste davon ist die Privatsphäre. Wenn Ihr Code niemals Ihren Computer verlässt, verringern Sie das Risiko, proprietären Code zu leaken, Daten preiszugeben oder gesetzliche Anforderungen zu verletzen. Wenn Sie an etwas Sensiblem arbeiten oder einfach nur auf Ihre Privatsphäre achten, sind lokale Modelle eine großartige Option.

Darüber hinaus können Sie die Abrechnung über die API oder monatliche Abonnements vergessen. Sie können Ihren Coding-Assistenten so viel nutzen, wie Sie möchten, und Ihre einzigen tatsächlichen monatlichen Kosten sind der Strom sowie die anteiligen Kosten für die Hardware. Es klingt zunächst hart, aber wenn man bedenkt, dass Claude funktional bei 100 $pro Monat beginnt (der 20 $-Plan wird für die meisten intensiven Nutzer zu begrenzt sein), summiert sich das schnell auf den unverbindlichen Verkaufspreis einer RTX 5080.

Wenn Ihnen die Idee gefällt, Ihre Daten zu kontrollieren, ein Abonnement zu kündigen und Sie die Hardware haben, ist eine lokale KI eine großartige Option.

Was ein lokales KI-Setup tatsächlich benötigt

Ein lokaler KI-Coding-Agent besteht aus drei Komponenten

Wenn Sie ein großes Sprachmodell als Programmierassistent betreiben, benötigen Sie drei Dinge:

• Ollama — Betreibt das große Sprachmodell
• VScode mit Continue oder Cline — Bietet eine Benutzeroberfläche in VS Code
• Ein LLM — Ein LLM irgendeiner Art, um tatsächlich beim Programmieren zu helfen

Sie können jedes beliebige LLM verwenden, das Sie möchten, aber beachten Sie, dass LLMs sehr speicherintensiv sind. Eine gute Faustregel ist, dass jede Milliarde Parameter 1 Gigabyte VRAM für ein Standard-8-Bit-Modell benötigt. Gemma 4 12B würde also 12 GB VRAM benötigen, ohne den Speicherplatz für das Kontextfenster einzubeziehen.

Sie müssen auch Ihr Kontextfenster berücksichtigen, also wie viel „Stoff“ Sie Ihrer KI zuführen, kombiniert damit, wie viel sie ausgibt. Ihr Kontextfenster kann von einigen hundert Megabyte bis zu mehreren Gigabyte verbrauchen. Wenn Sie sich Ihrer VRAM-Grenze nähern, achten Sie genau darauf - sonst könnte es leicht dazu führen, dass auf die CPU ausgelagert wird, was Ihre Leistung massiv einschränken würde.

Quantisierung ist dein bester Freund—mit einem Haken

Hier kann die Quantisierung - die man als eine Art der Modellkomprimierung betrachten kann - helfen. Um eine allgemeine Vorstellung davon zu bekommen, ob Ihr quantisiertes Modell passt, teilen Sie Ihre Quantisierung durch 8 und multiplizieren Sie dann diesen gesamten Wert mit der Parametergröße des Modells. Zum Beispiel, wenn Sie eine 5-Bit-quantisierte Version von Gemma 4 12B ausführen, könnten Sie vernünftigerweise erwarten, dass sie in 7,5 GB VRAM passt, da 5/8 mal 12 7,5 ist.

Genau aus diesem Grund können 3-Bit-quantisierte Modelle von Qwen 3.6 27B auf einer GPU mit 16 GB VRAM ausgeführt werden - sie verbrauchen im Vergleich zum vollständigen 8-Bit-Modell nur 10-13,5 GB VRAM.

Es gibt keine feste Antwort auf die Frage „Welches Modell sollte man verwenden.“ Im Allgemeinen sind quantisierte Modelle nicht so intelligent wie ihre unquantisierten Varianten, und je stärker ein Modell quantisiert ist, desto weniger intelligent wird es sein.

Ich würde 2-Bit-Quantisierungen sofort ausschließen - sie sind fast nie lohnenswert. 3-Bit-Modelle sind manchmal jedoch in Ordnung. Außerdem würde ich vermeiden, stark quantisierte Versionen kleiner Modelle auszuführen. Sie sind ohnehin schon recht schlank, und der Verlust an Intelligenz ist normalerweise zu erheblich, um nützlich zu sein.

Einrichtung eines lokalen Codieragenten

Ollama und dein Modell zum Laufen bringen

Um zu beginnen, laden Sie Ollama herunter und installieren Sie es mit dem Installer von der Ollama-Website. Wenn Sie Windows oder macOS verwenden, ist ein tatsächlicher Installer verfügbar. Wenn Sie Linux verwenden, müssen Sie curl verwenden.

Sobald sie installiert und laufen, musst du Modelle herausnehmen, die zu deiner Hardware passen. Wenn du zum Beispiel die Unsloth-quantisierte Version von Qwen 3.6-27B ziehen möchtest, führst du aus:

ollama run hf.co/unsloth/Qwen3.6-27B-MTP-GGUF:Q3_K_S

Ich habe batiai/qwen3.6-27b:q3 für mein fortgeschritteneres lokales Codierungsmodell verwendet.

Sobald das erledigt ist, können Sie ollama ls ausführen, um zu bestätigen, dass es verfügbar ist.

Sie können auch kleinere, leichtere Modelle verwenden (suchen Sie nach etwas im 7B-Bereich) für intelligentere Autovervollständigung in Continue in Kombination mit den schwereren Modellen. Wenn Sie keinen 27B-Coding-Assistenten ausführen können, probieren Sie stattdessen ein quantisiertes 14B-Modell oder ein 7B-Modell aus. Sie sind immer noch ziemlich gut, besonders für die Autovervollständigung.

Richten Sie Ihren KI-Coding-Agenten in VS Code ein

Als Nächstes installieren Sie die Cline- oder Continue-Erweiterung in VS Code. Sobald sie installiert ist, zeigen Sie einfach Ihre Erweiterung auf den auf Ihrem PC laufenden Ollama-Server, und sie wird in der Lage sein, alle für Ollama verfügbaren Modelle zu erkennen.

Cline glänzt, wenn Sie etwas wollen, das vollständig funktionsfähige Codeblöcke basierend auf Ihren Anweisungen erstellt, es kann keine Inline-Autovervollständigung durchführen. Wenn Sie nur Inline-Autovervollständigung wollen, verwenden Sie Continue.

Sobald es konfiguriert ist, sende ein paar Chat-Anfragen oder fülle ein paar Zeilen automatisch aus. Wenn du bemerkst, dass die Antworten stark verzögert sind oder das System sich träge anfühlt, solltest du deine Modellgröße auf etwas Kleineres anpassen, um besser zu deinem VRAM zu passen. Du kannst auch Ollama PS ausführen, um zu sehen, wie dein System die Ressourcen zwischen GPU und CPU aufteilt. In einer idealen Welt möchte man 100 % GPU - es ist viel schneller.

Lokale codierende LLMs haben tatsächlich einige Einschränkungen

CPU-Auslagerung ist ein Leistungsproblem

Lokale LLMs können jetzt einige der Funktionen größerer cloudbasierter Modelle ersetzen, was großartig ist, wenn Sie die Privatsphäre benötigen oder einfach nicht für Rechenleistung bezahlen möchten.

Es hat jedoch einige Nachteile.

Ich benutze eine RTX 5070Ti, die 16 Gigabyte VRAM hat. In der Praxis bedeutet das, dass ich Modelle mit mehr als etwa 12 Milliarden Parametern (wie Googles Gemma 4 12B) unter normalen Umständen nicht verwenden kann. Zwischen dem Kontext und dem Modell selbst verbrauche ich diese 16 GB ziemlich schnell.

Sobald die 16 GB aufgebraucht sind, beginnt es, auf Ihre CPU und den Systemspeicher auszulagern. Leider ist das im Vergleich dazu qualvoll langsam. Ein LLM, das auf einer GPU vielleicht mit 70-90 Tokens/s läuft, wird oft auf 5 Tokens/s abbremsen, wenn es auf die CPU ausgelagert wird. Wenn Sie es als Hintergrundprozess verwenden, ist das in Ordnung. Wenn Sie jedoch daneben sitzen und darauf warten, dass es fertig wird, ist es ziemlich unangenehm.

Private KI-Codierung ist jetzt ein praktisches tägliches Werkzeug, kein Experiment mehr

Die Kombination von Ollama, Cline und einem dedizierten Code-Modell erstellt eine lokale Version von Claude oder Copilot, die für die tägliche Arbeit tatsächlich nützlich ist, solange man vorsichtig damit umgeht, wie man sie verwendet. Während die Cloud ihre Vorteile in Bezug auf rohe Leistung hat, zahlt sich der lokale Ansatz in dem Moment aus, in dem Datenschutz oder Kosten zu einer primären Sorge werden.