Neue ARM-GPU bringt Neural Graphics aufs Smartphone

Die neue ARM-GPU Mali G2-Ultra NX soll mithilfe der KI Desktop-Grafik und hohe Bildraten auf Mobilgeräten ermöglichen, ohne die Energiegrenzen zu sprengen. ARM, Entwickler weitverbreiteter Prozessor- und Grafik-IPs, hat mit der Mali G2-Ultra NX eine neue GPU-Architektur für Mobilgeräte vorgestellt. Sie verfügt über dedizierte Neuralbeschleuniger, eine Raytracing-Einheit der dritten Generation und eine neue Execution Engine. Die GPU ist Bestandteil von Arm CSS for Mobile 2 und soll im Zusammenspiel mit CPU-, Speicher- und Softwareoptimierungen Desktop-ähnliche Grafik innerhalb der engen Energie- und Temperaturgrenzen mobiler Geräte ermöglichen. , Senior Product Manager bei Arm, steigen die Ansprüche an Mobile Gaming: Spieler erwarten aufwendigere Grafik, höhere Bildraten und immer immersivere Spielwelten. Gleichzeitig müssen Entwickler die engen Grenzen mobiler Geräte hinsichtlich Leistungsaufnahme, Wärmeentwicklung und Speicherbandbreite berücksichtigen. Klassische Renderverfahren stoßen unter diesen Bedingungen zunehmend an ihre Grenzen. Soll eine mobile GPU eine mit Desktop-Systemen vergleichbare Bildqualität liefern, ist eine besonders hohe Effizienz erforderlich. Einen möglichen Weg sieht ARM in 'Neural Graphics': KI-Verfahren rekonstruieren Bilddetails, generieren Zwischenbilder und verbessern die Bildqualität, während sie den Rechenaufwand für die GPU sowie die Belastung des Gesamtsystems reduzieren. Um diese Techniken breit einzusetzen, sind allerdings eine tiefe Integration in die GPU-Architektur und passende Entwicklungswerkzeuge erforderlich. Die Mali G2-Ultra NX ist ARMs erste 'AI-native'-GPU. Ihre Neuralbeschleuniger sind direkt in die Shader-Kerne integriert und teilen sich Speicher, kohärente Caches und Steuereinheiten mit den klassischen Grafik- und Compute-Einheiten. Drei KI-Verfahren stehen dabei im Mittelpunkt. Neural Super Sampling rekonstruiert aus einem intern niedriger aufgelösten Rendering ein höher aufgelöstes Bild. Dabei werden temporale Informationen genutzt und eine Kantenglättung integriert. Das Verfahren ähnelt damit Techniken wie DLSS, XeSS und den KI-basierten FSR-Varianten. Neural Frame Rate Upscaling erzeugt mithilfe von Bewegungs-, Tiefen- und Bilddaten zusätzliche Zwischenbilder, um die wahrgenommene Bildrate zu erhöhen. Neural Super Sampling and Denoising kombiniert wiederum KI-Upscaling mit einem neuronalen Denoiser. Das soll insbesondere bei aufwendigen Raytracing-Szenen mit komplexer Beleuchtung und Schatten die Bildqualität verbessern.. Zum Schutz Ihrer persönlichen Daten werden externe Einbindungen erst angezeigt, wenn Sie dies durch Klick auf"Alle externen Inhalte laden" bestätigen:Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt. Mehr dazu in unserer Hardwarebeschleunigter Optical Flow unterstützt bei NFRU die Schätzung von Bewegungen und damit die Erzeugung möglichst kohärenter Zwischenbilder. In der gemeinsam mit Sumo Digital entwickelten Demo 'Neural Dawn' sollen NFRU und NSSD zusammen gegenüber nativem Rendering eine bis zu viermal höhere Performance-Effizienz und bis zu 70 Prozent weniger externen Speicherverkehr erreichen. Dadurch könnten auch anspruchsvolle Techniken wie Unreal Engine Megalights auf Mobilgeräten praktikabel werden. In Verbindung mit NFRU stellt Arm längere mobile Spielsitzungen mit bis zu 120 Fps in Aussicht. Die neue Execution Engine stellt laut ARM die größte Überarbeitung der Mali-Befehlssatzarchitektur seit sieben Generationen dar. Sie bietet bis zu doppelt so viele Register pro Warp und soll gegenüber der Vorgängergeneration eine bis zu 24 Prozent höhere Benchmark-Leistung sowie 14 Prozent mehr Spieleleistung ohne KI-Unterstützung erzielen. Auch die Raytracing-Einheit der dritten Generation wurde auf eine höhere Effizienz ausgelegt. Sie soll komplexere Beleuchtung, Schatten, Reflexionen und Geometrien verarbeiten und dabei in ausgewählten Raytracing-Benchmarks bis zu 13 Prozent weniger DRAM-Datenverkehr verursachen. Unterstützung für Opacity Micromaps soll dabei die Verarbeitung komplexer Geometrien mit transparenten oder ausgeschnittenen Bereichen beschleunigen, beispielsweise bei Blattwerk, Stoffen und geschichteten Oberflächen. In einer ARM-Demo erhöhte die Technik die Bildrate um 30 Prozent und reduzierte den Raytracing-Aufwand um bis zu 70 Prozent. Die Raytracing-Einheit dritter Generation der Mali-G2-Ultra-NX-GPU kann Raytracing für transparente Oberflächen sowie Alpha-Texturen dank Support für Opacity Micromaps deutlich beschleunigen. Für Spieleentwickler stellt ARM außerdem neue Werkzeuge und Schnittstellen bereit. Das offene Neural Graphics Development Kit umfasst NSS und NFRU, ML-Erweiterungen für Vulkan, Plug-ins für die Unreal Engine, ein SDK zur Integration in eigene Engines sowie Werkzeuge für Profiling, Training und Modelloptimierung. Erste Integrationen entstehen unter anderem für TencentsDie PCGH-Redaktion freut sich über Ihre Meinung in den Kommentaren zu diesem Test. Sollten Sie noch keinen Extreme-Account haben, laden wir Sie zu einerARM hat eine neue GPU für den mobilen Einsatz vorgestellt. Die neue Grafikkarte Mali G2-Ultra NX soll desktopähnliche Grafik und höhere Bildraten auf Mobilgeräten ermöglichen, ohne dabei die Energiegrenzen zu sprengen.