WEKA s'associe à Contextual AI pour fournir des solutions d'IA d'entreprise prêtes pour la production dans Google Cloud
Le modèle linguistique contextuel (CLM) s'appuie sur la WEKA Data Platform pour permettre une utilisation plus sûre, plus précise et plus efficace de l'IA d'entreprise
CAMPBELL, Californie, 7 août 2024 /PRNewswire/ -- WekaIO (WEKA), la société de plateforme de données natives de l'IA, a annoncé aujourd'hui qu'elle travaillait avec Contextual AI, la société qui construit l'IA pour changer la façon dont le monde fonctionne, pour fournir l'infrastructure de données qui sous-tend ses modèles linguistiques contextuels (CLM). Les CLM de Contextual AI sont formés à l'aide de RAG 2.0, une approche dernière génération propriétaire de génération augmentée de récupération (RAG) développée par Contextual AI, maintenant alimentée par la WEKA® Data Platform. Les CLM alimentent des applications d'IA sûres, précises et fiables pour des entreprises du Fortune 500 sur la plateforme de Contextual AI.
Développer la prochaine génération de modèles d'IA d'entreprise
Fondée en 2023, Contextual AI offre une plateforme clé en main pour la création d'applications d'IA d'entreprise grâce à sa technologie de pointe RAG 2.0. Contrairement aux pipelines RAG traditionnels, qui assemblent un modèle figé pour les intégrations, une base de données vectorielle pour la recherche et un modèle de génération en boîte noire, RAG 2.0 fournit un système intégré unique de bout en bout, permettant une plus grande précision, une meilleure conformité, moins d'hallucinations et la capacité d'attribuer des réponses aux documents sources.
Les charges de travail de l'IA générative ont des exigences importantes en matière de performances, de gestion des données et de puissance de calcul, ce qui peut rendre leur formation et leur utilisation très coûteuses en temps et en ressources. L'IA contextuelle s'appuie sur des ensembles de données vastes et diversifiés pour entraîner ses CLM. Lors de la formation, l'entreprise a d'abord rencontré des goulets d'étranglement au niveau des performances et des problèmes d'échelle qui ont entraîné une mauvaise utilisation des GPU et retardé les délais de développement de ses modèles d'IA.
Architecture d'un système de gestion des données pour maximiser l'utilisation des GPU
L'augmentation de l'utilisation des GPU est essentielle pour garantir que les systèmes et les charges de travail de l'IA fonctionnent avec une efficacité maximale. L'architecture avancée native de l'IA de WEKA Data Platform est conçue pour accélérer chaque étape du pipeline d'IA, en créant des pipelines de données sans friction qui saturent les GPU avec des données pour s'assurer qu'ils fonctionnent plus efficacement afin que les charges de travail de l'IA fonctionnent plus rapidement et de manière plus durable. La solution logicielle de WEKA est conçue pour être déployée sur n'importe quel Cloud et matériel, et son architecture "zero-copy, zero-tune" prend en charge dynamiquement tous les profils de charge de travail d'IA, en gérant les opérations de métadonnées à travers des millions de petits fichiers pendant l'entraînement du modèle et les performances des écritures massives pendant les opérations de point de contrôle du modèle, dans une plateforme de données unique.
Contextual AI a déployé la WEKA Data Platform sur Google Cloud pour créer une couche d'infrastructure de données haute performance qui gère tous ses ensembles de données - 100 To au total - pour l'entraînement des modèles d'IA. La plateforme WEKA a permis un saut significatif dans la performance des données, qui a été directement corrélée à l'augmentation de la productivité des développeurs et à l'accélération des temps d'apprentissage des modèles.
En plus du mouvement rapide des données du stockage à l'accélérateur, la plateforme WEKA a fourni à Contextual AI une gestion transparente des métadonnées, la création de points de contrôle et des capacités de prétraitement des données qui ont éliminé les goulots d'étranglement des performances dans ses processus de formation, amélioré l'utilisation des GPU et aidé à réduire ses coûts liés au cloud.
"L'entraînement de modèles d'IA à grande échelle dans le cloud nécessite une solution moderne de gestion des données, capable d'offrir une utilisation élevée des GPU et d'accélérer le temps de développement des modèles", a déclaré Amanpreet Singh, directeur technique et cofondateur de Contextual AI. "Avec la WEKA Data Platform, nous disposons désormais des pipelines de données robustes nécessaires pour alimenter les GPU de nouvelle génération et construire des solutions d'IA générative de pointe à grande échelle. Cela fonctionne comme par magie pour transformer un stockage rapide et éphémère en données persistantes et abordables."
Principaux résultats obtenus avec la WEKA Data Platform :
- Des performances trois fois supérieures : Multiplication par trois des performances pour les principaux cas d'utilisation de l'IA grâce à une augmentation significative de l'utilisation des GPU.
- Une création de points de contrôle pour les modèle d'IA 4 fois plus rapide : Élimination des retards dans l'achèvement des points de contrôle des modèles afin d'améliorer avec un facteur quatre les processus de points de contrôle, permettant d'accroître considérablement la productivité des développeurs.
- Réduction des coûts de 38 % : Les coûts de stockage en nuage associés ont été réduits de 38 % par téraoctet.
"L'IA générative offre un potentiel pratiquement illimité pour débloquer des connaissances et créer une nouvelle valeur pour les entreprises, mais beaucoup d'entre elles ne savent toujours pas par où commencer et comment faire avancer leurs projets d'IA", a déclaré Jonathan Martin, président de WEKA. "Contextual AI révolutionne l'avenir de l'IA d'entreprise en créant des solutions avancées d'IA générative qui aident les organisations à exploiter le potentiel de l'IA, beaucoup plus rapidement. WEKA est fière d'aider Contextual AI à surmonter les défis critiques de la gestion des données pour accélérer la formation de modèles d'IA fiables et dignes de confiance, qui feront progresser la révolution de l'IA."
Pour en savoir plus sur la façon dont Contextual AI travaille avec WEKA pour alimenter ses solutions d'IA d'entreprise, visitez le site : https://www.weka.io/customers/contextual-ai/.
À propos de Contextual AI
La mission de Contextual AI est de changer la façon dont le monde fonctionne grâce à l'IA. L'entreprise, qui jouit de la confiance d'entreprises du classement Fortune 500, automatise les tâches complexes, ce qui permet aux travailleurs intellectuels de se concentrer sur des activités à forte valeur ajoutée. Douwe Kiela, cofondateur et PDG, qui est à l'origine de la technique inédite RAG, un standard dans l'industrie, dirige notre équipe d'experts de haut niveau aux côtés d'Amanpreet Singh, cofondateur et directeur de la technologie. L'équipe fait progresser les applications d'IA générative personnalisables avec la technologie de pointe RAG 2.0 et l'apprentissage automatique de bout en bout pour les entreprises dans de multiples cas d'utilisation et secteurs, y compris la banque, les semi-conducteurs, les médias, et plus encore. Basée à Mountain View et disposant de bureaux à New York et à Londres, Contextual AI emploie plus de 30 personnes. Pour en savoir plus, consultez le site https://contextual.ai.
À propos de WEKA
WEKA conçoit une nouvelle approche de la pile de données de l'entreprise, adaptée à l'ère de l'IA. La WEKA® Data Platform établit la norme pour l'infrastructure d'IA avec une architecture native du cloud et de l'IA qui peut être déployée n'importe où, offrant une portabilité transparente des données à travers les environnements sur site, cloud et edge. Elle transforme les silos de données existants en pipelines de données dynamiques qui accélèrent les GPU, l'apprentissage et l'inférence des modèles d'IA et d'autres charges de travail exigeantes, leur permettant de travailler plus efficacement, de consommer moins d'énergie et de réduire les émissions de carbone associées. WEKA aide les entreprises et les organismes de recherche les plus innovants au monde à surmonter les défis complexes liés aux données pour parvenir plus rapidement et plus durablement à des découvertes, des idées et des résultats - y compris 12 des entreprises du classement Fortune 50. Visitez www.weka.io pour en savoir plus, ou retrouvez WEKA sur LinkedIn, X et Facebook.
Découvrez pourquoi WEKA a été reconnu comme Visionnaire pendant trois années consécutives dans le Gartner® Magic Quadrant™ for Distributed File Systems and Object Storage - obtenir le rapport.
WEKA et le logo WEKA sont des marques déposées de WekaIO, Inc. Les autres noms commerciaux utilisés dans le présent document peuvent être des marques déposées de leurs propriétaires respectifs.
Logo - https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo.jpg
Partager cet article