CUDA (früher auch Compute Unified Device Architecture genannt) ist eine von Nvidia entwickelte Programmierschnittstelle (API), mit der Programmteile durch den Grafikprozessor (GPU) abgearbeitet werden können. In Form der GPU wird zusätzliche Rechenkapazität bereitgestellt, wobei die GPU im Allgemeinen bei hochgradig parallelisierbaren Programmabläufen (hohe Datenparallelität) signifikant schneller arbeitet als die CPU. CUDA wird vor allem bei wissenschaftlichen und technischen Berechnungen eingesetzt.
Der nur für Grafikberechnungen genutzte Grafikprozessor kommt mittels der CUDA-API auch als Koprozessor zum Einsatz. Anwendungsbeispiele sind die Lösung seismologischer oder geologischer Probleme, die Simulation elektromagnetischer Felder oder auch das Training von Neuronalen Netzen im Bereich des Maschinellen Lernens. Anwendung findet CUDA unter anderem bei dem Projekt SETI@home im Rahmen der Berkeley Open Infrastructure for Network Computing (BOINC). Allgemein lässt es sich nur dort effizient anwenden, wo (neben anderen Bedingungen) Berechnungen stark parallelisiert werden können.
Eingesetzt werden kann die CUDA-Technologie mit einer Grafikkarte ab der „GeForce 8“-Serie und auf den Quadro-Karten ab der Quadro FX 5600. Die Tesla-Karten von Nvidia wurden zum Einsatz für Hochleistungsrechnen optimiert und werden überwiegend mit CUDA angesprochen, unterstützen aber auch offene Standards wie OpenCL. Einigen fehlen sogar die Anschlüsse für Monitore.
Seit dem Zukauf der PhysX-Technologie von Ageia entwickelt Nvidia diese Technologie weiter und hat sie auf CUDA umgeschrieben.
Im März 2015 wurde von Nvidia die CUDA-Version 7.0 veröffentlicht.[2]
Im September 2015 wurde von Nvidia die CUDA-Version 7.5 veröffentlicht.[2]
Seit September 2016 ist die CUDA-Version 8.0 verfügbar, welche die neue Pascal-Serie voll unterstützt.[2]
Seit September 2017 ist die CUDA-Version 9.0 mit Update auf 9.1 ab Dezember sowie Update 9.2 ab März, verfügbar, welche die neue Volta-Serie voll unterstützt.[2] FERMI wird nicht mehr unterstützt.
Seit Herbst 2018 unterstützt CUDA 10 die Turing-Architektur.[3]
CUDA 11 unterstützt voll die aktuelle Ampere-Architektur. Mit minimaler Compute capability 3.5 wird nur noch ein Teil der Kepler-Karten unterstützt.[4]
Programmierer verwenden zurzeit C for CUDA (C mit Nvidia-Erweiterungen). Es existieren auch Wrapper für die Programmiersprachen Perl, Python, Ruby, Java, Fortran und .NET, sowie Anbindungen an MATLAB, Mathematica und R. Nvidia erstellte CUDA mit dem optimierenden C-Compiler Open64.[5] Seit der Fermi-Architektur kann auch C++ verwendet werden.
Als CUVID (CUDA Video Decoding API) bezeichnet man eine Programmierschnittstelle für das Decodieren von Videos.[6]
Beispiele für andere GPGPU-Lösungen:
Eines der ersten Programme, die CUDA unterstützen, ist der Client von folding@home, der die Geschwindigkeit biochemischer Berechnungen vervielfacht. Am 17. Dezember 2008 folgte der Client von SETI@home, der die Suche nach außerirdischem Leben um den Faktor 10 beschleunigt. Nvidia brachte die Software „Badaboom“ heraus, ein Videokonverter, der bis zu 20-mal schneller Videos konvertieren kann, als durch eine Berechnung mit der CPU. Andere Programme, welche CUDA verwenden, sind „TMPGEnc“, Sorenson Squeeze 7, Adobe Photoshop ab CS4 (hierbei wird der Einsatz von Filtern beschleunigt), Adobe Premiere Pro ab CS5.5 und Mathematica 8+ sowie die Nvidia-Software StyleGAN.
Simulationssoftware wie MSC/Nastran 2013+ wird mit CUDA zum Teil sehr stark beschleunigt; bei großen Modellen kann ein zu kleiner GPU-Speicher hinderlich sein.[9] Weitere führende CFD- und FEM-Software wie OpenFoam und ANSYS nutzt CUDA zur Beschleunigung von Berechnungen.[10] Dabei sinkt mitunter der Stromverbrauch der Berechnungen aufgrund der höheren Effizienz der GPU gegenüber der CPU bei diesen speziellen Rechenoperationen.
Frühe Grafikprozessoren (GPUs) vor der Einführung von CUDA waren Prozessoren mit einem anwendungsspezifischen Design, daher kannten GPUs eher exotische Datentypen wie 9 Bit oder 12 Bit mit Festkommastelle, verzichteten hingegen aber häufig auf die für Allzweck-CPUs und FPUs üblichen Registerbreiten von 32, 48, 64 oder 80 Bit (usw.). Somit waren Berechnungen, beispielsweise mit den Genauigkeiten nach IEEE 754 (64 Bit für double precision), häufig nicht im Befehlssatz der GPU vorgesehen und mussten relativ aufwändig per Software emuliert werden. CUDA-fähige GPUs sind häufig auf Berechnungen mit 32-Bit oder 16-Bit Datentypen optimiert und weisen deutlich geringere Leistungen für 64-Bit Datentypen auf. Daher eignen sich GPUs vor allem zur Berechnung von Datentypen, die mit vergleichsweise geringen Bit-Breiten arbeiten.
Stand 2010 fertigten erste Hersteller bereits erweiterte GPUs, die neben den von der GPU benötigten Datentypen auch universelle Datentypen und Operationen z. B. zur direkten Berechnung IEEE 754 konformer Ergebnisse beinhalten. Als einer der aktuell führenden Hersteller stellt Nvidia mit der Fermi-Generation GPUs bereit, die sowohl 32-Bit-Integer, als auch einfach- und doppelt-genaue Gleitkomma-Datenformate nativ bereitstellen (float/double).[11]
Ein anderer Nachteil ist die Anbindung an die Rechnerarchitektur, sie erfolgt bei aktuellen GPUs meist über PCIe und bringt, im Vergleich zur direkten Anbindung von Prozessoren, schlechtere (höhere) Latenzzeiten und geringere I/O-Durchsatzraten mit sich. Daher lohnt die Auslagerung nur bei Funktionen mit einigem Rechenaufwand – besonders dann, wenn eine GPU für diese Aufgaben vom Befehlssatz her (z. B. für große Matrizen) besser geeignet ist.
Weiter wird die feste Bindung an einen Hersteller kritisiert. Nutzt man CUDA, im Unterschied zu Bibliotheken für CPUs mit MMX- oder SSE-Erweiterungen (die praktisch auf allen CPUs der verschiedenen Hersteller von x86-Prozessoren laufen), so bindet man ein Programm an den GPU-Hersteller Nvidia und somit an das Vorhandensein von Nvidia-Hardware. Das inzwischen auf Vulkan/SPIR-V abgestützte OpenCL ist universeller und bietet eine Implementierung für GPUs von Nvidia,[12] AMD (vormals ATI),[13] VIA,[14] S3[15] und Anderen. Dazu ist eine CPU-Unterstützung für x86-Prozessoren über die SSE3-Erweiterungen implementiert, weiter bietet IBM eine OpenCL-Implementierung für die Power-Architektur und die Cell Broadband Engine an.[16] Aus dem breiteren Ansatz von OpenCL ergibt sich im Vergleich mit CUDA auf identischer Nvidia-Hardware allerdings ein merklicher Performance-Nachteil. Bei der Verwendung von OpenCL sind je nach Problemstellung Einbußen von etwa 5 bis 50 Prozent zu beobachten.[17][18]
Stufen der unterstützten CUDA Versionen von GPU und Karte.[19]
GeForce G110M, GeForce 9300M GS, GeForce 9200M GS, GeForce 9100M G, GeForce 8400M GT, GeForce G105M
Quadro NVS 450, Quadro NVS 420, Quadro NVS 290, Quadro NVS 295, Quadro Plex 2100 D4, Quadro FX 3800M, Quadro FX 3700M, Quadro FX 3600M, Quadro FX 2800M, Quadro FX 2700M, Quadro FX 1700M, Quadro FX 1600M, Quadro FX 770M, Quadro FX 570M, Quadro FX 370M, Quadro FX 360M, Quadro NVS 320M, Quadro NVS 160M, Quadro NVS 150M, Quadro NVS 140M, Quadro NVS 135M, Quadro NVS 130M, Quadro NVS 450, Quadro NVS 420, Quadro NVS 295
GeForce GTS 360M, GeForce GTS 350M, GeForce GT 335M, GeForce GT 330M, GeForce GT 325M, GeForce GT 240M, GeForce G210M, GeForce 310M, GeForce 305M
Quadro FX 1800M, Quadro FX 880M, Quadro FX 380M, NVIDIA NVS 300, NVS 5100M, NVS 3100M, NVS 2100M, ION
GeForce GTX 480M
Quadro 5010M, Quadro 5000M
GeForce GTX 675M, GeForce GTX 670M, GeForce GT 635M, GeForce GT 630M, GeForce GT 625M, GeForce GT 720M, GeForce GT 620M, GeForce 710M, GeForce 610M, GeForce GTX 580M, GeForce GTX 570M, GeForce GTX 560M, GeForce GT 555M, GeForce GT 550M, GeForce GT 540M, GeForce GT 525M, GeForce GT 520MX, GeForce GT 520M, GeForce GTX 485M, GeForce GTX 470M, GeForce GTX 460M, GeForce GT 445M, GeForce GT 435M, GeForce GT 420M, GeForce GT 415M, GeForce 710M, GeForce 410M,
Quadro 4000M, Quadro 3000M, Quadro 2000M, Quadro 1000M, NVS 5400M, NVS 5200M, NVS 4200M
GeForce GTX 880M, GeForce GTX 780M, GeForce GTX 770M, GeForce GTX 765M, GeForce GTX 760M, GeForce GTX 680MX, GeForce GTX 680M, GeForce GTX 675MX, GeForce GTX 670MX, GeForce GTX 660M, GeForce GT 750M, GeForce GT 650M, GeForce GT 745M, GeForce GT 645M, GeForce GT 740M, GeForce GT 730M, GeForce GT 640M, GeForce GT 640M LE, GeForce GT 735M, GeForce GT 730M
Quadro K500M, Quadro K510M, Quadro K610M, Quadro K1000M, Quadro K2000M, Quadro K1100M, Quadro K2100M, Quadro K3000M, Quadro K3100M, Quadro K4000M, Quadro K5000M, Quadro K4100M, Quadro K5100M
GeForce GTX 960M, GeForce GTX 950M, GeForce 940M, GeForce 930M, GeForce GTX 860M, GeForce GTX 850M, GeForce 845M, GeForce 840M, GeForce 830M
Quadro M2000M, Quadro M1000M, Quadro M600M, Quadro K620M
GeForce GTX 980M, GeForce GTX 970M, GeForce GTX 965M
Quadro M5500, Quadro M5000M, Quadro M4000M, Quadro M3000M
GeForce RTX 2080 Ti, RTX 2080 Super, RTX 2080, RTX 2070 Super, RTX 2070, RTX 2060 Super, RTX 2060, GeForce GTX 1660 Ti, GTX 1660 Super, GTX 1660, GTX 1650 Super, GTX 1650
[23]
[24][25]
Die Tesla Mikro-Architektur (Compute Capability 1.x) wird mit der CUDA-SDK Version 6.5 zum letzten Mal unterstützt. Die Fermi Mikro-Architektur (Compute Capability 2.x) wird mit der CUDA-SDK Version 8.0 zum letzten Mal unterstützt.[26] Teile der Kepler Mikro-Architektur (Compute Capability 3.0) werden mit der CUDA-SDK Version 10.2 zum letzten Mal unterstützt.
Grafikprozessoren: NV1 | Riva | TNT | TNT2 | Vanta | GeForce | Quadro | Titan
Mobil und Ultramobil: GoForce | Tegra | GeForce Go | GeForce M
Chipsätze: nForce | nForce2 | nForce3 | nForce4 | nForce 500 | nForce 600 | nForce 700 | ION
Prozessoren: Nvidia Tegra | Nvidia Tesla
Sonstiges: Optimus | CUDA | PhysX | PureVideo HD | SLI | TurboCache | VDPAU
