NVIDIA und MediaTek arbeiten zusammen, um die nächste Generation KI-nativer Assistenten fürs Auto zu bauen

NVIDIA（輝達）與 MediaTek（聯發科）展開深度合作關係，雙強聯手建構高效的 zentrale Rechenarchitektur. Der NVIDIA DRIVE AGX-Computing-Plattform wird die künstliche Intelligenz vom reinen single-command Empfänger zu einem KI-Agenten mit Fähigkeit zur Inferenz umgewandelt. Dabei wird die Dimensity AX Cockpit-SoC von MediaTek integriert. Durch Edge-Computing und Cloud-Ressourcen kann das Fahrzeug ein Erlebnis mit geringer Latenz, hoher Privatsphäre und personalisierten KI-Agenten bereitstellen.

Fahrzeug-gestützte KI-Agenten-Hybridarchitektur verarbeitet komplexe Rechenanforderungen

Fahrzeug-gestützte KI-Agenten verwenden eine Hybridarchitektur, um den Anforderungen vielfältiger Aufgaben gerecht zu werden. An der Edge-Seite führt die NVIDIA DRIVE AGX-Plattform aus und übernimmt die Verarbeitung lokalster Aufgaben, die extrem latenzsensibel sind (Reaktionszeit unter 500 Millisekunden) und Privatsphäre betreffen, wie Sprachsteuerung, Bild­erkennung und die Analyse von Fahrzeug-Telematikdaten. Selbst wenn die Netzwerkverbindung instabil ist oder unterbrochen wird, kann die lokale Seite große Sprachmodelle und VLMs mit Parametern von über 7B weiter ausführen, um sicherzustellen, dass die Grundfunktionen weiterlaufen. Im Gegensatz dazu übernimmt die Cloud-Umgebung die Rolle einer „AI-Fabrik“: Sie führt rechenintensive Aufgaben wie Websuche und komplexe Routen- bzw. Einsatzplanungen kontinuierlich aus, trainiert, feintuned und validiert Modelle, und setzt die optimierten Ergebnisse anschließend zurück ins Fahrzeug um, um ein dynamisches Leistungs-Gleichgewicht zu erreichen.

Wie optimiert die KI-Agenten-Orchestrierung die User Experience?

Um sicherzustellen, dass Nutzer zwischen Edge und Cloud ein nahtloses Erlebnis erhalten, führt das System ein Agent-Orchestration-Mechanismus ein. Wenn der Fahrer komplexe Anforderungen stellt, erkennt das System automatisch die Absicht basierend auf der aktuellen Situation und routet die Aufgaben zu den passenden lokalen oder Cloud-Agenten zur kooperativen Zusammenarbeit. Beispielsweise wenn Reise- oder Terminabsprachen diskutiert werden, aktiviert das System lokale Navigations- und Cloud-Suchagenten, die gemeinsam arbeiten. Entscheidend ist die Context-Sharing-Technologie: Das System synchronisiert relevante Hintergrundinformationen zwischen unterschiedlichen Plattformen, verhindert, dass Nutzer wiederholt Befehle geben müssen, und stellt sicher, dass Cloud-Informationen korrekt an das lokale System zurückgemeldet werden. Diese Transparenz in der Interaktionslogik (UX Transparency) kann den Status asynchroner Aufgaben nachverfolgen und stellt sicher, dass das System auch bei Netzwerkwechsel oder -ausfall eine stabile und konsistente Servicequalität beibehält, wodurch die Fahrer weniger gestört werden.

Wie ist die Software-Stack-Architektur für die Performance bei Multi-Platform-Deployments?

NVIDIA stellt mit NeMo und TensorRT eine einheitliche Softwarearchitektur bereit und überbrückt dadurch effektiv die technische Lücke zwischen Forschung und praktischer Implementierung. Entwickler können in der Cloud-Umgebung TensorRT-LLM für großskalierte Inferenz nutzen und das Modell nahtlos auf der fahrzeuginternen Edge-Seite mit TensorRT Edge-LLM bereitstellen. Diese Toolchain-Konsistenz stellt nicht nur sicher, dass die Modell-Performance und -Zuverlässigkeit in verschiedenen Umgebungen gewährleistet sind, sondern schafft auch eine „hybride Edge-X-Cloud-Feedback-Schleife“. Durch die Ansammlung von realen Nutzungsdaten aus Fahrzeugen können Assistenzprogramme sich fortlaufend iterativ weiterentwickeln, damit das Verständnis und die Reaktionsfähigkeit präziser werden. Automobilhersteller können zudem ihre fahrzeuginternen Funktionen flexibler aktualisieren, sodass Fahrzeuge die Fähigkeit besitzen, sich im Laufe der Nutzung selbst zu optimieren, und damit die technische Lebensdauer der Fahrzeug-IT deutlich verlängern.

NVIDIA arbeitet mit MediaTek zusammen, um das zukünftige AI-native Auto zu verwirklichen

Die zentrale Computerarchitektur, die NVIDIA und MediaTek gemeinsam entwickeln, kombiniert die Cockpit-Chips (SoCs) der MediaTek Dimensity AX-Serie mit dem NVIDIA DRIVE AGX-Plattform-Stack aus Orin oder Thor. In dieser Architektur übernimmt Dimensity AX die Workloads für High-End-In-Car-Gaming, Multimediainhalte und traditionelle Informations- und Unterhaltungssysteme (IVI). NVIDIA DRIVE AGX konzentriert sich hingegen auf die Verarbeitung von KI-Computing und unterstützt Multi-Modal-Anwendungen sowie Automatisiertes Fahren.

Die Chip-Architektur, die NVIDIA und MediaTek in Zusammenarbeit umsetzen, besteht im Wesentlichen darin, das MediaTek Dimensity AX Cockpit-System-on-a-Chip (SoC) der Serie mit der NVIDIA DRIVE AGX-Plattform zu kombinieren und so eine zentrale Computerarchitektur (Central Car Computer) aufzubauen.

Im Folgenden die wichtigsten Details dieser Kooperationsarchitektur:

Die Kernkomponenten werden mit dem MediaTek Dimensity AX C-X1 (oder C-Serie) Cockpit-SoC und NVIDIA DRIVE AGX (z. B. Orin oder Thor) gepaart.

MediaTek Dimensity AX übernimmt die Verarbeitung von High-End-In-Car-Gaming, Multimedia und traditionellen Informations- und Unterhaltungssystemen (IVI).

NVIDIA DRIVE AGX entlädt die KI-Workloads, unterstützt die Mehrzahl der KI-Modelle und ermöglicht vielfältige Multi-Modal-Anwendungen sowie automatisiertes Fahren.

Die Dimensity-Plattform von MediaTek und das DRIVE AGX teilen sich die DriveOS-Softwareumgebung von NVIDIA.

Beide sind über PCIE verbunden und nutzen die DriveOS NvStreams API, um hochbandbreitige Daten wie Video und Audio nahtlos zu teilen.

Die Zusammenarbeit zwischen NVIDIA und MediaTek bietet Automobilherstellern extrem ausbaufähige Optionen: Während Autobauer die bestehende Cockpit-Erfahrung beibehalten können, lässt sich auf „AI-native“ zukünftige Fahrzeugmodelle aufrüsten.

Dieser Artikel „辉达、联發科双强联手打造 AI 原生助理未来车“ erschien zuerst auf „鏈新聞 ABMedia“.