Ich habe endlich einen lokalen Coding-Assistenten eingerichtet, der in meinem Editor funktioniert — dieser Stack ist Gold.

Ich habe schon eine Weile Vibe-Coding gemacht und KI-Assistenten genutzt. So nützlich das auch ist, einschließlich der Zeiten, in denen ChatGPT mir bei einem Projekt Nein gesagt hat, summieren sich die Abonnements schnell. Das größere Problem ist jedoch das nagende Gefühl, dass jeder Code-Schnipsel, den ich schreibe, an einen entfernten Server geschickt wird, über den ich keine Kontrolle habe. Für persönliche Projekte ist das nur eine kleine Unannehmlichkeit. Für alles Professionelle oder Sensible ist das jedoch ein K.O.-Kriterium.

Also habe ich mich schließlich entschieden, etwas zu beenden, das ich seit Monaten geplant hatte: einen lokalen Coding-Assistenten einzurichten, der in meinem Editor funktioniert. Am Ende habe ich ein Setup, das in VS Code funktioniert, offline läuft und nach der Einrichtung nichts kostet. Das Stack, auf das ich gestoßen bin, ist ziemlich ausgezeichnet, und seitdem habe ich nicht zurückgeschaut.

Dieser Stapel klickt einfach

Drei Werkzeuge, die tatsächlich reibungslos zusammenarbeiten

Das gesamte Setup basiert auf drei Werkzeugen: Ollama, Continue.dev und einem guten lokalen Modell. Das ist alles. Keine Cloud-API-Schlüssel, keine monatlichen Abrechnungsprobleme oder Daten, die Ihren Rechner verlassen.

Ollama ist die Laufzeitumgebung, die es Ihnen ermöglicht, LLMs lokal mit einem einzigen Terminalbefehl abzurufen und auszuführen, und ist eine der besten Anwendungen, um die Vorteile lokaler LLMs zu nutzen. Sie übernimmt sonst komplizierte Aufgaben wie Modellverwaltung, Hardwarekompatibilität und das Bereitstellen des Modells über eine lokale API auf Ihrem Gerät. Sie funktioniert unter Windows, macOS und Linux, und die Installation ist so einfach wie das Herunterladen einer ausführbaren Datei, deren Ausführung und das Ausführen des Terminalbefehls, um Ihr Wunschmodell herunterzuladen.

Continue.dev ist eine Open-Source-, aktiv gepflegte VS Code-Erweiterung, die Ihren Editor mit der lokalen Ollama-Instanz verbindet, die auf Ihrem Computer läuft. Sie erhalten Funktionen wie Inline-Autovervollständigung, ein Chat-Panel, das innerhalb von VS Code angedockt ist, und die Möglichkeit, Codeblöcke zu markieren und schnelle Erklärungen zu erhalten. Sie können das KI-Modell sogar bitten, den Code zu refaktorisieren oder Tests dafür zu generieren, alles ohne den Editor zu verlassen.

Zu guter Letzt kommt Ihr Modell. Und hier haben Sie eine schwierige Entscheidung zu treffen.

Die Wahl des Modells macht den Unterschied aus

Etwas Schnelles, Leistungsfähiges und Ortsfreundliches auswählen

Das Modell, das Sie wählen, kann Ihre gesamte Erfahrung machen oder zerstören. Sie benötigen möglicherweise keine monströse GPU, um lokale KI-Modelle auszuführen, aber Sie müssen je nach Ihren Bedürfnissen und der PC-Hardware klug bei Ihrer Wahl sein.

Ich habe meinen Sweet Spot bei Qwen2.5-Coder gefunden, Alibabas auf Programmierung fokussiertem Modell. Es ist herausragend für seine Größe, wobei die 7B-Version bequem auf 8 GB VRAM läuft, während das 32B-Modell eine Leistung liefert, die in Code-Generierungs-Benchmarks mit GPT-4o vergleichbar ist. Es unterstützt über 92 Programmiersprachen und ist ziemlich gut darin, fehlerhaften Code zu reparieren.

Wenn Sie mehr VRAM zur Verfügung haben, speziell 16 GB oder mehr, lohnt sich auch ein Blick auf DeepSeek-Coder-V2. Es ist ein Mixture-of-Experts-Modell, das auf über 2 Billionen Tokens aus Code und technischem Text trainiert wurde. Laienhaft gesagt hat es stärkere Fähigkeit zum logischen Denken, wodurch es besser geeignet ist, ganze Projekte von Grund auf nach Stimmungscode zu erstellen. Weitere Optionen sind Qwen3-Coder und Llama 3.3 70B, aber fühlen Sie sich frei, andere Modelle von Quellen wie Hugging Face zu durchsuchen, um alternative Modelle zu finden, die möglicherweise besser für Sie geeignet sind.

Die Einrichtung ist viel weniger schmerzhaft als erwartet

Gehe von null zu einem funktionierenden Assistenten in überraschend wenigen Schritten

Um alles zum Laufen zu bringen, installieren Sie Ollama und führen dann den Terminalbefehl aus, um Ihr gewünschtes Modell herunterzuladen. Zum Beispiel, um Qwen2.5-Coder zu installieren, führen Sie diesen Befehl aus:

ollama run qwen2.5-coder:7b

Sobald Ollama das Modell heruntergeladen hat, wird der lokale Server automatisch gestartet. Sie können dies testen, indem Sie in Ihrem Browser zu 127.0.0.1:11434 gehen, und Sie sollten eine Seite mit dem Text „Ollama is running.“ sehen. Wenn nicht, gehen Sie zu den Ollama-Einstellungen und aktivieren Sie den Schieberegler Ollama für das Netzwerk freigeben.

Wechseln Sie dann zu VS Code, gehen Sie zum Extensions-Tab und suchen Sie nach Continue. Installieren Sie die Erweiterung und warten Sie, bis die Continue-Schaltfläche in der Seitenleiste angezeigt wird. Klicken Sie auf das Erweiterungssymbol und folgen Sie diesen Schritten:

Klicken Sie auf das Open Settings-Zahnradsymbol oben rechts im Erweiterungsfenster.
Gehe zum Configs-Tab und klicke auf das Zahnradsymbol neben der bestehenden Local Config. Klicke auf das Plus-Symbol, um eine neue Konfiguration zu erstellen, falls keine existiert.
Die Konfiguration ist hier einfach YAML. Geben Sie den Modellnamen an, setzen Sie den Anbieter auf ollama und geben Sie die lokale API-URL wie oben erwähnt ein.

Sie können die unten bereitgestellte Vorlage verwenden, um schnell loszulegen. Stellen Sie sicher, dass Sie den Modellnamen gegen das Modell ausgetauscht haben, das Sie verwenden.

name: Local Agent
version: 1.0.0
schema: v1
models:
  - name: Qwen2.5-Coder 
    provider: ollama
    model: qwen2.5-coder:7b
    roles:
      - autocomplete
      - chat
      - edit
      - apply
    apiBase: http://127.0.0.1:11434

Wenn Sie alles richtig gemacht haben, sollten Sie in der Lage sein, Inline-Vervollständigungen zu erhalten, indem Sie die Tabulatortaste auf Ihrer Tastatur drücken. Durch Drücken von Ctrl + L oder Klicken auf die Continue-Symbole wird das Chatfenster geöffnet, sodass Sie mit der KI über Ihren Code sprechen, mehr davon generieren oder ihn nach Belieben analysieren können. Sie können innerhalb von Continue auch zwischen Modellen wechseln, falls Sie für schnelle Vervollständigungen ein leichteres Modell und für komplexere Generierungen ein schwereres verwenden möchten.

Es hat komplett verändert, wie ich programmiere

Schnellere Bearbeitungen, weniger Kontextwechsel, besserer Ablauf

Ich benutze dieses Setup schon eine Weile, und der Unterschied ist spürbar. Der offensichtlichste Vorteil ist die Geschwindigkeit, da ich nicht auf eine Serverantwort warten muss. Die Fertigstellungen fühlen sich flotter an als bei den meisten Cloud-Tools, die ich verwendet habe, besonders wenn ich eine schwankende Internetverbindung habe. Es lässt sich auch ziemlich gut in VS Code integrieren, was bedeutet, dass ich nicht ständig zwischen meinem Editor und dem Browser wechseln muss, um zu arbeiten.

Der eigentliche Vorteil für mich ist jedoch Seelenfrieden. Wenn ich an etwas Sensiblem arbeite, sei es berufliche Arbeit für einen Kunden oder eine Sicherheitsüberprüfung vorhandenen Codes, verlässt keine Daten meinen Rechner für einen externen Server. Es gibt keinen mentalen Aufwand darüber, wohin diese Daten gehen, und ich habe standardmäßig Datenschutz in meinen Arbeitsablauf integriert.

Wenn Sie für ein Coding-Assistenten-Abonnement bezahlt haben, probieren Sie es aus. Egal, ob Sie es satt haben, eine monatliche Gebühr zu zahlen, oder Datenschutzbedenken haben, lokale KI ist inzwischen so gut, dass die Cloud-Version sich nicht mehr lohnt. Tatsächlich ist dieser Stack für die tägliche Arbeit im Editor und zur Unterstützung bei der Entwicklung besser. Solange Sie KI nicht als Ersatz für menschliches Denken verwenden, sondern als Assistenten, um Ihren Code schneller und robuster zu schreiben, werden Sie nichts vermissen, abgesehen von einigen Experimenten mit verschiedenen Modellen.