Google DeepMind veröffentlicht Magenta RealTime 2, ein Echtzeit-Musikmodell für Mac mit Latenzen unter 200 ms

Laut Beating hat Google DeepMind Magenta RealTime 2 (MRT2) veröffentlicht, ein Open-Source-Modell zur Echtzeit-Musikgenerierung, das für Apple-Silicon-MacBooks optimiert ist. Das Modell ermöglicht es Musikern, die Audiogenerierung über MIDI-Signale, Text-Prompts oder Audiosamples zu steuern, mit einer Latenz von unter 200 Millisekunden.

MRT2 unterstützt drei Interaktionsmodi: MIDI-geführte Begleitung, die automatisch orchestrale Untermalung basierend auf der Akkordeingabe erzeugt, Text-zu-Instrument-Synthese für eine stilbasierte Generierung und Audio-Cloning, das die Klangeigenschaften des Inputs nachahmt. Es sind zwei Parameter-Versionen verfügbar – eine 230-Millionen-Parameter-Version mrt2_small für alle Apple-Silicon-Macs und eine 2,4-Milliarden-Parameter-Version mrt2_base für leistungsstärkere M-Series-Pro- und -Max-Chips. Die Inferenzbibliothek magenta-rt sowie eine auf C++ basierende Inferenz-Engine wurden nun auf GitHub Open Source gestellt, einschließlich eigenständiger macOS-Anwendungen und DAW-Plugins.