20B-Kleinmodell-Suchfähigkeit erreicht GPT-5 und Opus: Vektordatenbank Chroma Open Source Agent Suchmodell Context-1

Laut 1M AI News hat die Open-Source-Vektor-Datenbank Chroma Context-1 veröffentlicht, ein Suchmodell für intelligente Agenten mit 20 Milliarden Parametern, das speziell für Multi-Round-Suchaufgaben entwickelt wurde. Die Modellgewichte sind unter der Apache 2.0-Lizenz offen zugänglich, und der Code für die synthetische Datengenerierung wurde ebenfalls veröffentlicht.

Context-1 ist als Retrieval-Subagent positioniert: Er beantwortet keine Fragen direkt, sondern liefert durch mehrere Suchrunden eine Reihe unterstützender Dokumente für das nachgelagerte Reasoning-Modell. Die Kerntechnologie ist der „Self-Editing-Context“, bei dem das Modell während der Suche aktiv irrelevante Dokumentausschnitte verwirft, um innerhalb des begrenzten Kontextfensters Platz für nachfolgende Suchvorgänge zu schaffen und so eine Leistungsverschlechterung durch Kontextexpansion zu vermeiden.

Das Training erfolgt in zwei Phasen: Zunächst wird mit großen Modellen wie Kimi K2.5 SFT-Trajektorien generiert, um eine supervisierte Feinabstimmung durchzuführen, dann folgt ein Reinforcement-Learning-Training (basierend auf dem CISPO-Algorithmus) auf über 8000 synthetischen Aufgaben. Das Belohnungsdesign nutzt eine Kursmechanik: Frühzeitiges Re-Recall fördert eine breite Exploration, später wird schrittweise auf Präzision umgestellt, um selektives Behalten zu ermutigen. Das Basismodell ist gpt-oss-20b, das mit LoRA angepasst wurde. Bei der Inferenz wird es mit MXFP4 quantisiert auf B200 ausgeführt, mit einer Durchsatzrate von 400-500 Token pro Sekunde.

Auf den vier von Chroma selbst entwickelten Domänenbenchmarks (Webseiten, Finanzen, Recht, E-Mail) sowie auf öffentlichen Benchmarks (BrowseComp-Plus, SealQA, FRAMES, HotpotQA) erreicht die vierfache Parallelversion von Context-1 bei der Kennzahl „Endgültige Antworttrefferquote“ eine Leistung, die mit führenden Modellen wie GPT-5.2, Opus 4.5, Sonnet 4.5 vergleichbar oder nahezu gleichauf ist. Zum Beispiel erreicht sie auf BrowseComp-Plus eine Rate von 0,96 (Opus 4.5: 0,87, GPT-5.2: 0,82), wobei die Kosten und Latenz nur ein Bruchteil der letzteren betragen. Bemerkenswert ist, dass dieses Modell nur auf Webseiten-, Recht- und Finanzdaten trainiert wurde, aber auch im E-Mail-Bereich, der nicht im Training enthalten war, deutliche Verbesserungen zeigt, was die domänenübergreifende Transferfähigkeit der Suchfunktion unterstreicht.