Die innovative Gaudi-Architektur ermöglicht eine fast lineare Steigerung der Leistungsfähigkeit von Training-Systemen, da ein großer Durchsatz selbst bei einer kleinen Batch-Größe aufrechterhalten wird. Das erlaubt eine Steigerung der Leistung der auf Gaudi basierenden Systeme – von einzelnen Geräten bis hin zu großen, aus Hunderten von Gaudi-Prozessoren bestehenden Systemen.
Neben der rekordverdächtigen Leistungsfähigkeit stellt Gaudi eine weitere branchenweite Neuerung beim KI-Training bereit: On-Chip-Integration von Funktionen für Fern-Speicherdirektzugriff über Converged Ethernet (RDMA over Converged Ethernet, RoCE v2) in den KI-Prozessor. Damit wird die Erweiterung von KI-Systemen bis zu jeder Größe unter Verwendung von standardmäßigem Ethernet möglich. Mit Gaudi können Kunden von Habana Labs jetzt Switching beim Standard-Ethernet sowohl für den Ausbau von KI-Training-Systemen nutzen als auch für ein Scaling-out, also eine Erhöhung der Serveranzahl für diese Systeme. Die Ethernet-Switches stammen aus unterschiedlichen Quellen und bieten praktisch unbeschränkte Möglichkeiten bei der Steigerung der Geschwindigkeit und der Port-Zahl. Zudem sind sie bereits in Rechenzentren im Einsatz, um Rechner- und Speicher-Systeme zu erweitern. Im Gegensatz zum standardbasierten Ansatz von Habana stützen sich die GPU-basierten Systeme auf proprietäre System-Schnittstellen, die von vornherein der Ausbaufähigkeit und den Wahlmöglichkeiten der System-Entwicklern Grenzen setzen.
„Dank seiner neuen Produkte konnte Habana rasch vom Inferencing zum Training übergehen und deckt damit das komplette Spektrum an Funktionen für neuronale Netze ab", sagte dazu Linley Gwennap, Hauptanalyst von The Linley Group. „Gaudi stellt eine starke Leistungsfähigkeit bereit und bietet unter den Beschleunigern für KI-Training eine in der Branche führende Energieeffizienz. Als erster KI-Prozessor, der 100G Ethernet in Verbindung mit RoCE-Unterstützung integriert, bietet er die Möglichkeit für große Beschleuniger-Cluster, die unter Verwendung von in der Industrie standardmäßig verwendeten Komponenten aufgebaut sind."
Der Gaudi-Prozessor umfasst 32GB HBM-2-Speicher und wird aktuell in zwei Varianten angeboten:
- HL-200 – eine PCIe-Karte, die acht Ports für 100Gb Ethernet unterstützt;
- HL-205 – eine Mezzanine-Karte, die die OCP-OAM-Spezifikation erfüllt und 10 Ports für 100Gb Ethernet bzw. 20 Ports für 50Gb Ethernet unterstützt.
Darüber hinaus führt Habana ein 8-Gaudi-System unter der Bezeichnung HLS-1 ein. Dieses umfasst acht HL-205 Mezzanine-Karten mit PCIe-Anschlüssen für eine Anbindung an externe Hosts und 24 100Gbps Ethernet-Ports für die Verbindung mit handelsüblichen Ethernet-Switches, womit ein Ausbau in einem standardmäßigen 19''-Rack möglich ist, indem dieser mit einer Vielzahl von HLS-1-Systemen bestückt wird.
Gaudi ist nach dem Habana Goya™ KI-Inferencing-Prozessor der zweite, für spezielle Zwecke gebaute KI-Prozessor, der von Habana Labs auf den Markt gebracht wird, und das innerhalb eines Jahres. Der Goya wird seit dem 4. Quartal 2018 ausgeliefert und hat eine in der Branche führende Leistungsfähigkeit beim Inferencing, mit der in der Industrie größten Durchsatzrate, der größten Energieeffizienz (Bilder-pro-Sekunde pro Watt) und Echtzeit-Latenz.
„Bei Modellen für das KI-Training erhöht sich die benötigte Rechenkapazität Jahr für Jahr exponentiell, weswegen es unabdingbar ist, den dringenden Bedarf der Rechenzentren und in der Cloud an einer grundsätzlich höheren Produktivität und einer verbesserten Erweiterbarkeit anzugehen. Mithilfe der innovativen Gaudi-Architektur kann Habana die in der Branche höchste Leistungsfähigkeit bereitstellen und gleichzeitig standardbasierte Ethernet-Verbindungen integrieren, womit ein unbeschränkter Ausbau möglich wird", sagte David Dahan, CEO von Habana Labs. „Gaudi wird den Status quo auf dem Gebiet der KI-Training-Prozessoren grundlegend verändern."
„Facebook versucht derzeit, offene Plattformen für Innovationen in Bereichen anzubieten, in denen unsere Branche zusammenwachsen kann", sagte Vijay Rao, Direktor für Technologie in der Strategieabteilung von Facebook. „Wir sind sehr froh darüber, dass der Habana Goya KI-Inferencing-Prozessor das Backend für den Glow-Compiler für Maschinelles Lernen eingerichtet und auf Open-Source-Grundlage bereitstellt hat und dass der Habana Gaudi KI-Training-Prozessor die Spezifikation des OCP Accelerator Module (OAM) unterstützt."
Der Gaudi-Prozessor ist vollständig programmier- und anpassbar und er verfügt über ein Tensor Processing Core (TPC™)-Cluster der zweiten Generation und darüber hinaus Entwicklerwerkzeugen, Bibliotheken und einem Compiler, die zusammen eine umfassende und flexible Lösung bieten. Das Software-Paket SynapseAI™ von Habana Labs besteht aus einer umfangreichen Kernel-Bibliothek und einer offenen Toolchain für Kunden, damit diese unternehmenseigene Kernels hinzufügen können.
Habana wird in der zweiten Jahreshälfte 2019 Gaudi-Plattformen für ausgewählte Kunden testen. Weitere Informationen zu den Gaudi KI-Training- und den Goya KI-Inferencing-Prozessoren finden Sie unter www.habana.ai
INFORMATIONEN ZU HABANA LABS
Habana Labs ist ein Unternehmen für KI-Prozessoren, das 2016 gegründet wurde, um von Grund auf Prozessor-Plattformen zu entwickeln, die für das Training von tiefgehenden neuronalen Netzen und für Inferencing-Anwendungen in Produktionsumgebungen optimiert sind. Mithilfe von Plattformen, die Verbesserungen bei der Verarbeitungsleistung, der Erweiterbarkeit, den Kosten und dem Energieverbrauch bieten, entfesseln wir das wahre Potenzial der KI. Habana hat Niederlassungen in Tel-Aviv in Israel, San Jose in Kalifornien, Peking in China und Gdansk in Polen und beschäftigt weltweit 150 Mitarbeiter.
Weitere Informationen erhalten Sie unter www.habana.ai oder wenden Sie sich an [email protected].
Foto - https://mma.prnewswire.com/media/903245/HLS_1_with_heatsink_small.jpg
Foto - https://mma.prnewswire.com/media/903246/HL_205_small.jpg
Foto - https://mma.prnewswire.com/media/903247/HLS_1_Open_Overhead_View_smaller.jpg
Logo - https://mma.prnewswire.com/media/744578/Habana_Labs_Ltd___Logo.jpg
Weitere Links
http://www.habana.ai/
Artikel teilen