Qwable 27B: Ein lokales KI-Modell repliziert die Reasoning-Leistung von Fable 5 auf Consumer-Hardware

Developer Mia veröffentlichte Qwable 27B auf Hugging Face, ein vollständiges Fine-Tuning von Alibabas Qwen3.6-27B, das auf einem Fable-5-Style-Reasoning-Datensatz trainiert wurde, nach einer Ankündigung vom 15. Juni 2026. Das Modell repliziert den strukturierten Denkansatz von Anthropics Fable 5, läuft jedoch vollständig auf lokaler Hardware ohne API-Kosten oder verpflichtende Richtlinien zur Datenspeicherung. Kurz danach veröffentlichte der Open-Source-Contributor Huihui-ai eine abliterierte Version, die das eingebaute Verweigerungsverhalten entfernt, indem er Modellgewichte mit dem cvector-generator von llama.cpp modifiziert. Die Veröffentlichungen folgten auf eine Woche, in der die US-Regierung anordnete, Fable 5 für alle ausländischen Staatsangehörigen zurückzuziehen, nachdem eine umstrittene Jailbreak-Feststellung vorgelegen hatte. Beide Qwable-Varianten bieten lokale Alternativen zu cloudbasierten KI-Diensten, beseitigen Server-Abhängigkeiten und machen Anforderungen an die Datenverarbeitung durch Dritte überflüssig.

Qwable 27B Architektur und Trainingsmethodik

Qwable 27B ist ein vollständiges Fine-Tuning des Basis-Modells Qwen3.6-27B von Alibaba, das von Developer Mia auf einem Datensatz mit Fable-5-Style-Reasoning-Beispielen erstellt wurde. Der Trainingsansatz ist Instruction Fine-Tuning auf Trace-Style-Beispielen: Dabei sammelte der Developer Beispiele, die im Format von Fable 5s Schritt-für-Schritt-Antworten vorlagen, und trainierte Qwen darauf, ähnliche Ausgabe-Strukturen zu erzeugen. Das resultierende Modell mit 27 Milliarden Parametern zielt auf die Instruction-Following-Struktur von Fable 5 ab und liefert stärker angeleitete, erklärende und schrittweise Outputs für das Erledigen von Aufgaben als das Basis-Qwen-Modell.

Das Modell läuft im GGUF-Format, einem komprimierten Dateityp, der mit LM Studio und llama.cpp kompatibel ist. Der Q4-quantized Build benötigt ungefähr 16,5 GB Speicherplatz. Alle Verarbeitung erfolgt lokal, ohne Daten an externe Server zu senden, wodurch die verpflichtende 30-Tage-Anforderung zur Datenspeicherung entfällt, die Fable 5 für den gesamten Traffic auferlegte – inklusive Unternehmenskunden mit vorherigen Vereinbarungen zu keiner Speicherung.

Abliteration-Prozess entfernt Verweigerungsmechanismen

Huihui-ai führte eine Abliteration durch, um Huihui-Qwable-3.6-27b-abliterated zu erzeugen, eine Variante, die das Verweigerungsverhalten des Modells eliminiert. Der Prozess identifiziert eine Verweigerungsrichtung, die in Modellgewichten eingebettet ist, indem das Modell auf großen Mengen schädlicher und harmloser Prompts ausgeführt wird, Unterschiede in internen Aktivierungen gemessen werden und anschließend die Gewichte so modifiziert werden, dass dieser Unterschied verschwindet. Nach der Abliteration enthält das Modell keine mathematischen Signale mehr, die Verweigerungsantworten auslösen.

Huihui-ai wandte die Technik direkt auf den Qwable-GGUF mit dem cvector-generator von llama.cpp an, ohne Python-Umgebung, vollständiges Retraining der vollen Gewichte oder angemietete Server. Der Prozess unterscheidet sich von Jailbreaking, da er die Modellarchitektur dauerhaft verändert, statt Prompt-Schwachstellen auszunutzen. Die Model Card spezifiziert, dass die abliterierte Version ausschließlich für Forschung und kontrollierte Umgebungen gedacht ist, wobei die rechtliche und ethische Verantwortung vollständig bei den Nutzern liegt.

Verfügbare Builds und Hardwareanforderungen

Die abliterierte Qwable-Version ist auf Hugging Face in drei Builds verfügbar. Die empfohlene Q4_K_M_Q8-Version wiegt ungefähr 19 GB und stellt die kleinste sowie nutzerfreundlichste Option dar. Eine Version, die Multi-Token-Vorhersagen unterstützt, ist für Systeme mit ausreichenden Rechenressourcen verfügbar und ermöglicht schnellere Antwortgenerierung. Sowohl die Standard-Qwable- als auch die abliterierte Variante laufen auf Consumer-Hardware über lokale Laufzeitumgebungen wie LM Studio.

Use Cases für Standard- und Abliterierte Versionen

Die Standard-Qwable eignet sich für Codierungsunterstützung, technisches Debugging und Workflows, die Modelle benötigen, welche Reasoning-Prozesse darstellen, statt direkte Antworten zu produzieren. Sie läuft in lokalen Agent-Setups und den meisten lokalen Laufzeitumgebungen. Die abliterierte Version richtet sich an Security Researcher, die rohes Modellverhalten ohne Filterung durch den Anbieter benötigen, an synthetische Daten-Pipelines, die Outputs zu sensiblen Themen benötigen, sowie an Evaluationsarbeit, bei der die Modellfähigkeiten getestet werden, ohne dass Content-Policies eingreifen. Die Model Card warnt, dass eine reduzierte Sicherheitsfilterung dazu führen kann, dass Outputs sensibel, kontrovers oder unangemessen sind.

FAQ

Was ist Qwable 27B und wann wurde es veröffentlicht?

Qwable 27B ist ein vollständiges Fine-Tune von Alibabas Qwen3.6-27B, trainiert auf einem Fable-5-Style-Reasoning-Datensatz, angekündigt von Developer Mia am 15. Juni 2026. Das Modell läuft lokal im GGUF-Format und benötigt in seinem Q4-quantized Build ungefähr 16,5 GB.

Wie unterscheidet sich die abliterierte Version von der Standard-Qwable-Modell?

Die abliterierte Version, erstellt von Huihui-ai, entfernt das Verweigerungsverhalten, indem die Modellgewichte mit dem cvector-generator von llama.cpp modifiziert werden. Der Prozess beseitigt die mathematischen Signale, die Verweigerungsantworten auslösen, wodurch ein Modell entsteht, das alle Prompts verarbeitet, ohne Content-Filterung, und dabei gleichzeitig die volle Funktionalität beibehält.

Welche Hardwareanforderungen gibt es, um Qwable-Modelle auszuführen?

Der Q4-quantized Build benötigt ungefähr 16,5 GB Speicherplatz, während die empfohlene Q4_K_M_Q8-abliterierte Version etwa 19 GB wiegt. Beide Modelle laufen auf Consumer-Hardware über lokale Laufzeitumgebungen wie LM Studio oder llama.cpp, wobei eine Multi-Token-Prediction-Version für Systeme mit höherer Rechenleistung verfügbar ist.

Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare