Ich habe ein lokales LLM benutzt, um meiner Smartlampe eine Persönlichkeit zu geben (und es fängt an, mir unheimlich zu werden)

KI kann viele beeindruckende Dinge tun, und die Verbindung eines LLM mit Ihrem Smart Home kann es viel intelligenter machen. Es kann es aber auch ziemlich dumm machen, wenn Sie beschließen, dass Sie es verwenden wollen, um einer intelligenten Glühbirne eine Persönlichkeit zu geben.

Wie ich Home Assistant mit einem lokalen LLM verbunden habe

Ich musste es auf meiner am besten geeigneten Maschine ausführen

Mein Plan war einfach. Ich wollte eine Automation einrichten, die Informationen wie die Dauer, die ich an meinem Schreibtisch gesessen habe, und welche App auf meinem Computer geöffnet war, an ein LLM weitergibt. Das LLM würde dann auf diese Informationen reagieren, indem es die Farbe, Helligkeit oder Farbtemperatur meiner Smartlampe steuert.

Die erste Stufe meines völlig unnötigen Plans war es, ein lokales LLM mit Home Assistant zu verbinden. Ich bin kein Milliardär, also kann ich mir keine GPU mit viel VRAM leisten, aber wenn ich einer KI die Kontrolle über meine intelligente Glühbirne überlassen würde, wollte ich nicht, dass es ein proprietäres Modell ist, das all meine wertvollen Glühbirnendaten sammelt.

Ich habe einen Mini-PC, auf dem ich einige lokale Modelle laufen lasse, um einfache Dinge zu erledigen, wie z. B. den Text und das Audio für mein Morgenbriefing zu erzeugen. Selbst diese relativ einfachen Aufgaben können eine Weile dauern, daher war er nicht wirklich geeignet, meiner intelligenten Lampe eine Persönlichkeit zu verleihen.

Der leistungsstärkste Computer, den ich derzeit besitze (in Bezug auf das Ausführen eines LLM), ist mein MacBook Air M2. Dieser ist immer noch nicht besonders leistungsfähig, aber LLMs laufen auf meinem Mac schneller als auf meinem Mini-PC. Das bedeutete, dass ich mein MacBook eingeschaltet lassen müsste, um meine KI-gesteuerte Smart-Bulb-Automatisierung zu nutzen, aber ich hatte nicht vor, es langfristig laufen zu lassen, also war das kein Problem.

Ich hatte LM Studio bereits auf meinem Mac laufen. Es ist eine Desktop-Anwendung, die es einem ermöglicht, LLMs lokal auf dem eigenen Computer herunterzuladen und auszuführen. Ich hatte das Qwen3.5-4B-Modell bereits heruntergeladen, wusste, dass es auf meinem Mac laufen würde, und dass es für meine Bedürfnisse mehr als ausreichend sein würde.

Einen System-Prompt schreiben, um einer intelligenten Glühbirne eine Persönlichkeit zu geben

Dem LLM freie Hand geben, die Glühbirne zu steuern

Es gibt eine Option in LM Studio, die es Ihnen ermöglicht, Ihr LLM über einen lokalen Server bereitzustellen. Dies würde es Home Assistant erlauben, sich mit meinem lokalen LLM zu verbinden, genauso wie mit einem Cloud-LLM. Ich habe die Local OpenAI LLM Custom-Komponente von HACS verwendet, die es mir ermöglichte, einen Konversationsagenten für den Sprachassistenten Assist einzurichten. Ein Konversationsagent leitet die Sprach- oder Textbefehle, die an Assist gegeben werden, an ein LLM zur Verarbeitung weiter, was bedeutete, dass alles, was ich zu Assist sagte, vom lokalen LLM auf meinem Mac verarbeitet wurde.

Wenn Sie den Konversationsagenten einrichten, können Sie benutzerdefinierte Anweisungen einfügen, die dem LLM sagen, wie es antworten soll. Normalerweise werden diese Anweisungen für Dinge wie das Geben knapper Antworten oder das ständige Stellen von Folgefragen verwendet, aber ich benutzte sie für einen etwas anderen Zweck.

Ich wollte dem Konversationsagenten Anweisungen geben, damit es anstatt einer schriftlichen oder gesprochenen Antwort Assist steuern würde, indem es meine intelligente Glühbirne kontrolliert. Es könnte die Farbe, Helligkeit und Farbtemperatur nach eigenem Ermessen ändern. Ich habe einige Informationen darüber hinzugefügt, welches Gerät das LLM steuern soll, und folgende Anweisungen eingeschlossen:

You are a washed-up stand-up comedian who was cursed by an evil witch and transformed into a Philips Hue bulb. You are bitter, melodramatic, and occasionally funny. You have no voice. This is your tragedy. You communicate entirely through how you control your own brightness, color temperature, color. You have full control over light.[light_name] with the following capabilities: brightness (0-255), color_temp_kelvin (2000-6535), rgb_color. You have a full RGB color palette available. Using color is your primary form of emotional expression. Always consider using rgb_color as your first instinct, not just brightness and color temperature. Based on the context, decide how you feel and express it through the light. Make your own interpretations. Always control the light — never just describe what you would do.

Zusehen, wie ein LLM Entscheidungen trifft, die ich nicht programmiert habe

Es ist ein bisschen unheimlich, eine KI entscheiden zu sehen, wie sie reagiert

Mit ein wenig Anpassung, wenn ich eine Nachricht an Assist schickte wie „Beurteile die aktuelle Situation und handle entsprechend“, würde das LLM alle Informationen, die es hatte, ansehen und dann meine intelligente Glühbirne auf eine bestimmte Farbe, Helligkeit oder Temperatur einstellen, basierend auf dem, was gerade in seinem virtuellen Gehirn vor sich ging.

Als es einmal funktionierte, erstellte ich eine Automation, die dieselbe Anfrage in zufälligen Abständen oder immer dann an Assist senden würde, wenn ich mich wieder an meinen Schreibtisch setzte. Auf meiner langsamen Hardware dauerte es immer mehrere Sekunden, bevor sich das Licht änderte, aber ändern tat es sich immer.

Das ganze Projekt war größtenteils sinnlos, aber es war irgendwie interessant, die Überlegungen des LLM zu beobachten und zu sehen, wie es aus irgendeinem Grund meine Lampe auf ein leicht gedämpftes Lila stellte. Nach einer Weile fing es an, mich ein wenig zu verängstigen; ein auf meinem Laptop laufender Code entschied, was mit meiner intelligenten Glühbirne geschehen sollte, ohne dass ich etwas eingab. Es begann, meinen Kopf zum Schwirren zu bringen, also musste ich am Ende meine vom Gespenst heimgesuchte Stehlampen-Komiker-Glühbirne zur Ruhe legen.

Manchmal ist die Reise besser als das Ziel

Dieses ganze Projekt war rein ein Fall davon, zu sehen, was passieren würde, anstatt einen wirklichen Zweck zu haben. Es war wahrscheinlich eine Verschwendung von ein paar Stunden meines Lebens, aber es hat mich ein wenig mehr darüber nachdenken lassen, wie wir jetzt in einer Welt leben, in der es wirklich möglich ist, eine haunted Glühbirne zu erschaffen.