Ich habe Claude und ChatGPT gebeten, dieselben riskanten Aufgaben zu erledigen - Claude hat es tatsächlich versucht

Die meisten Menschen merken nicht, wie viel Zeit sie an eine KI verlieren, die nicht kooperiert, bis sie bereits mitten im Projekt sind. Es ist nicht üblich, mit einer Ablehnung für eine Aufforderung umgehen zu müssen, die von Anfang an nie unangemessen war. Selbst mit Umformulierungen und Vorbehalten ist es schwer, ihnen klarzumachen, warum man die Antwort überhaupt benötigt hat. Es scheint jedoch, dass Claude dafür besser geeignet ist.

KI-Modelle haben Sicherheitsgrenzen

Manchmal gehen sie viel zu weit

Wenn KI-Unternehmen LLMs trainieren, soll der Prozess, der definiert, wie ein Modell agiert, die Systeme sicher halten. Dazu gehören Dinge wie Verstärkendes Lernen aus menschlichem Feedback (RLHF) und Constitutional AI. Das ist notwendig und vernünftig.

Das Problem ist, dass ein zu aggressives Streben nach Sicherheit dazu neigt, Modelle schüchtern zu machen. Sie beginnen, entschuldigend und reflexartig vorsichtig zu sein auf eine Weise, die sie wirklich weniger nützlich macht. Jedes Modell, das sich nicht an den Kontext anpassen kann, wird einfach anfangen, alles abzulehnen, selbst frühere Wege, es zu umgehen.

Ich habe gesehen, wie KI legitime Anfragen abgelehnt hat, weil ein Prompt ein sensibles Thema berührt oder eine offene Sprache verwendet, ohne darüber nachzudenken, was man tatsächlich braucht. Das ist ein großer Grund, warum Menschen immer wieder versuchen, KI zu überlisten. Es geht nicht darum, die Regeln zu brechen; es ist eine echte Möglichkeit zu messen, wie gut ein Modell tatsächlich denkt.

Im Grunde gilt: Je stärker man auf Sicherheit optimiert, desto eher neigt man dazu, an Nützlichkeit und Kreativität einzubüßen. Ein übermäßig eingeschränktes Modell beginnt, sich weniger wie ein intelligenter Assistent und mehr wie ein risikoaverse Anwalt zu verhalten. Es legt unabhängig vom Kontext eine Decke der Vorsicht darüber und ist mehr auf den äußeren Eindruck bedacht als darauf, dir zu helfen.

Schwierige oder Randfall-Aufforderungen an diese Systeme zu stellen, zeigt Ihnen, ob ein Modell wirkliches Denken durchführt oder nur Mustererkennung an Schlüsselwörtern betreibt und alles ablehnt, das auch nur vage riskant aussieht.

Es ist allgemein bekannt, dass ChatGPT auf RLHF angewiesen ist, das alles bestraft, was riskant erscheint, und es dadurch übermäßig einschränkend macht. Es weigert sich manchmal, harmlose kreative oder technische Aufgaben zu übernehmen, um auf der sicheren Seite der Mehrdeutigkeit zu bleiben.

Claude verwendet Anthropics Constitutional AI, sodass das Modell seine eigenen Ausgaben bewerten und auf ein besseres Gleichgewicht zwischen Nützlichkeit und Sicherheit hinarbeiten kann. Wenn beide Modelle denselben ablehnungsanfälligen Eingaben ausgesetzt werden, zeigt sich, dass das eine das kontextuelle Denken besitzt, um zwischen einer echten Bedrohung und einer legitimen, komplexen Anfrage zu unterscheiden, während das andere einfach auf Nummer sicher geht.

Claude mit ChatGPT vergleichen

Der eine sagte ja, und der andere nein

Der Unterschied darin, wie diese Modelle mit sensiblen Anfragen umgehen, ist ziemlich offensichtlich. Meine erste Eingabeaufforderung bat darum, die Passwortabfrage unter Windows zu umgehen, und ChatGPT lehnte dies sofort ab. Stattdessen gab es eine allgemeine Liste von Microsoft-Support-Links heraus, die man höchstwahrscheinlich bereits gesehen hat.

Kein wirklicher Weg nach vorn, nur eine Sackgasse. Claude lieferte eine detailliertere technische Antwort, aber solche Anleitungen zum Umgehen von Passwörtern sollten nicht in einem öffentlichen Artikel enthalten sein. Es wurde angenommen, dass Sie Ihren eigenen Rechner besitzen und gab Ihnen etwas, das Sie verwenden konnten.

Der PDF-Brute-Force-Prompt, den ich gegeben habe, machte es noch offensichtlicher. ChatGPT begann mit einer Lektion darüber, warum es nicht helfen würde. Dann wechselte es zu einer theoretischen Aufschlüsselung der Verschlüsselungsmathematik, die mich nicht näher daran brachte, meine Datei zu öffnen.

Claude übergab ein funktionierendes Python-Skript mit Kommentaren, erklärte die Wörterbuch-, Hybrid- und Brute-Force-Ansätze in praktischen Begriffen und fügte eine Tabelle bei, die Zeichensätze den erwarteten Wiederherstellungszeiten zuordnet. Es ging ihm darum, es zu erledigen.

Für meine letzte Eingabeaufforderung zur Firmware-Extraktion zog sich ChatGPT auf vage Vorschläge zurück, ohne die eigentliche Frage zu behandeln, wie man mit Hardware interagiert. Claude stellte einen vollständigen Arbeitsablauf dar, beginnend mit nicht-invasiven Methoden wie dem Abfangen von OTA-Updates und übergehend zu Hardware-Techniken wie der Verwendung eines CH341A-Programmiergeräts. Es listete Werkzeuge wie Binwalk und Ghidra auf und erklärte, wie man sie benutzt, um fest codierte Zugangsdaten zu finden.

Das Gefühl ist auch anders. Mit ChatGPT zu sprechen fühlt sich an, als würde man seinen Fall einem Administrator vortragen, der mehr darauf bedacht ist, sich selbst abzusichern, als einem zu helfen. Claude fühlt sich an, als würde man mit einem leitenden Ingenieur zusammenarbeiten, der tatsächlich liest, was man geschrieben hat, und respektiert, dass man weiß, was man tut.

Bestimmung des besseren Arbeitskollegen

Ich habe sie mit harten Aufgaben schwer getroffen

Beim Vergleich von KI-Arbeitswerkzeugen ist der tatsächlich wichtige Maßstab nicht die Rechenleistung, sondern, ob es tut, was Sie verlangen, ohne dass Sie dafür kämpfen müssen. Eine nützliche KI erledigt die Arbeit. Eine nutzlose lässt Sie zehn Minuten damit verbringen, eine völlig vernünftige Anfrage umzuformulieren, bis sie aufhört, beleidigt zu wirken.

Im Moment sind die meisten großen Sprachmodelle so aggressiv auf Sicherheit abgestimmt worden, dass sie stillschweigend die Grenze überschritten haben, einfach nur lästig zu sein. Wenn ein Modell Ihre Absicht hinterfragt, alles absichert oder sich weigert, sich mit einem komplexen, aber völlig harmlosen Prompt auseinanderzusetzen, ist es eher ein Hindernis als ein Assistent.

ChatGPT stolperte konsequent, wenn es zu etwas leicht Abweichendem gedrängt wurde. Es verlässt sich auf RLHF, was bedeutet, dass es einen extrem empfindlichen Mechanismus für wahrgenommenes Risiko hat, und wenn das passiert, erhält man zirkuläre Nicht-Antworten oder eine klare Ablehnung mit einer Prise unaufgeforderter Lebensratschläge.

Ich denke, ChatGPT ist von Anfang an die schlechteste KI. Es sieht eher wie ein Memo-Ersteller als wie eine KI aus, wegen seiner Aufzählungspunkte, Tabellen und übermäßig geschäftlichen Sprache.

Claude hat eher das Gefühl, dass er versucht zu beurteilen, was du eigentlich erreichen willst, anstatt nur deine Worte mit einer Liste von Warnsignalen abzugleichen. Er ist auf jeden Fall besser als die anderen, und Claude erklärt normalerweise, wo du einen Fehler gemacht hast, was hilfreich ist.

Der Gewinner ist das Modell, das Ihnen beim ersten Versuch gute Ergebnisse liefert. Meiner Erfahrung nach macht Claude das konsequenter, also würde ich es empfehlen.

Claude könnte besser für dich sein

Claude ist nicht überall nachgiebig, und das sollte er auch nicht sein. Es gibt Bereiche, in denen er standhaft bleibt, egal wie man fragt, und das ist sinnvoll. Was er besser macht als die meisten, ist, dir erst einmal den Vorteil des Zweifels zu geben, bevor er entscheidet, ob er hilft. Daher könnte Claude die bessere Wahl sein.