Was ist neu?
Auf seiner Haus-Messe in Las Vegas hat VMware seine vertiefte Zusammenarbeit mit Nvidia bekannt gegeben und gleichzeitig das Entwicklungspaket „Private AI Foundation“ vorgestellt.Für Unternehmen mit Datenschutzbedenken
Dieses umfassende Workflow-Produkt für KI-Entwickler soll Unternehmen, die aus Datenschutzgründen bisher von der Nutzung generativer KI-Anwendungen abgesehen haben, eine Lösung bieten. Immer mehr Unternehmen zeigen Interesse daran, generative KI-Anwendungen in ihre Geschäftsabläufe zu integrieren. Allerdings haben sie oft ernsthafte Bedenken hinsichtlich der Sicherheit ihrer Daten.Eigene Modelle auf Basis von Open-Source-Modellen
Mit dem neuen Produkt von VMware und Nvidia soll es möglich sein, eigene generative KI-Systeme auf der Basis von Open-Source-Modellen wie Llama 2 oder Falcon in unmittelbarer Nähe der eigenen Daten aufzubauen und so einen angemessenen Datenschutz zu gewährleisten.
Die VMware Private AI Foundation basiert auf dem Software-defined-Datacenter-Dienst VMware Cloud Foundation und nutzt Funktionen des Nvidia-NeMo-Frameworks für das Training der integrierten Modelle.
NeMo ist ein Open-Source-Toolkit, das speziell für das Erstellen, Trainieren und Optimieren von Sprach- und Audiomodellen entwickelt wurde. Es bietet verschiedene Anpassungstechniken und ist optimiert für das Inferencing von Modellen in großem Maßstab mit Multi-GPU- und Multi-Node-Konfigurationen.
VMware Private AI Foundation unterstützt voraussichtlich alle verfügbaren Nvidia AI Enterprise Container und wird mit Deep Learning VM-Images geliefert, die bereits für die erforderliche GPU-Treiberunterstützung vorkonfiguriert sind. Zudem wird PostgreSQL-Vektordatenbanken zur Handhabung dynamischer Daten unterstützt.Vortrainierte Modelle testen und anpassen
Kunden haben außerdem direkten Zugriff auf Nvidias AI Workbench, mit der sie vortrainierte KI-Modelle testen und anpassen können. Die Anzahl der benötigten GPUs hängt vom KI-Modell und der Größe des Deployments ab.
VMware hat eine Referenzkonfiguration veröffentlicht, die 2-, 4- und 8-GPU-Umgebungen unterstützt. Die Workloads können je nach Bedarf aufgeteilt werden, um die gewünschte Leistung zu erzielen. Laut VMware variieren die Parametergrößen der Llama-2-Modelle zwischen 13 und 140 GByte. Ein durchschnittliches Modell mit 70 GByte passt bequem in den GPU-Speicher.
Verbindungen per NVLink und NVSwitch
Nvidia NVLink und NVSwitch werden in die VM integriert, um eine direkte Verbindung zwischen GPUs und die Verbindung von größeren Umgebungen zu ermöglichen. VMware verwendet Nvidia GPUDirect Storage, um die Datenübertragung ohne Beanspruchung der x86-CPU zu optimieren. Dies bietet eine effiziente Verbindung zwischen GPU und Hochleistungsspeicher vSAN.Hardwareunterstützung
VMware Private AI Foundation unterstützt die leistungsstarken Grafikeinheiten Nvidia L40s GPU, H100 und L100.
Die L40s-GPU von Nvidia ist die aktuell leistungsstärkste universelle Datacenter-GPU und bietet eine verbesserte Leistung bei der Interferenz und dem Modelltraining im Vergleich zur vorherigen Generation.
Die L40s-GPU kann außerdem mit der Bluefield-3 Datenverarbeitungseinheit ausgestattet werden, um die Kommunikation im Rechenzentrum zu optimieren.Vertrieb ab Anfang 2024
VMware verkündet Partnerschaften mit Dell, HPE und Lenovo als Vertriebspartner für ihr neues Produkt.
Kunden haben die Wahl, das komplette Paket oder nur die Software zu erwerben.
Die Preisgestaltung orientiert sich an der Anzahl der Grafikeinheiten.
Die vollständig integrierte Version von VMware Private AI Foundation wird Anfang 2024 verfügbar sein.Fazit
Für alle Unternehmen und insbesondere KMU´s, die Datenschutzbedenken beim Einsatz von #KI-basierten Tools und Systemen haben, bekommen einen sehr vielversprechenden Lösungsansatz von einem langjährigen zuverlässigen Player in der IT. VMWare ist in sehr vielen Unternehmen mit seinen Produkten, angefangen vom ESXi-Server für die Virtualisierung bekannt für Stabilität und Zuverlässigkeit.
Wie sehen Sie diese neue Entwicklung des KI-Tools?
Diskutieren Sie gerne mit uns! Es wird immer spannender!!!
Herzliche Grüße
Ihr Günther Hellberg
#BeratungKI #KI #KMU #VMWare