Chinchilla AI est encore un autre exemple de modèle de langage AI, censé surpasser GPT-3. Oui, vous avez bien entendu. Le moteur derrière leChatGPTest surpassé par le nouveau modèle de langage de DeepMind . La nouvelle s’est rapidement répandue, et bientôt tout le monde s’est demandé : « Qu’est-ce que Chinchilla AI ? » Êtes-vous un d’entre eux? Vous êtes venus au bon endroit. Comme toujours, nous continuons à partager avec vous les dernières tendances du monde de l’IA.
Nous avons déjà expliqué certains des meilleurs outils d’IA comme ChatGPT , DALL-E 2, Stable Diffusion et Lensa AI. C’est maintenant au tour de Chinchilla AI. Continuez à lire et découvrez s’il est vraiment meilleur que GPT-3.
Table des matières
Qu’est-ce que l’IA Chinchilla ?
DeepMind de Chinchilla AI est un choix populaire pour un grand modèle de langage, et il s’est avéré supérieur à ses concurrents. En mars 2022, DeepMind a publié Chinchilla AI. Il fonctionne d’une manière analogue à celle d’autres grands modèles de langage tels que GPT-3 (175 paramètres), Jurassic-1 (178B paramètres), Gopher (280B paramètres) et Megatron-Turing NLG (300 paramètres) (530B paramètres) . Néanmoins, le principal argument de vente de Chinchilla AI est qu’il peut être créé pour le même coût prévu que Gopher, et pourtant il utilise moins de paramètres avec plus de données pour fournir, en moyenne, des résultats 7 % plus précis que Gopher.
DeepMind
@DeepMind
Pour un budget FLOP, les travaux précédents ont sur-alloué des paramètres au détriment des jetons d’entraînement. Chinchilla et Gopher utilisent le même calcul d’entraînement ; pourtant Chinchilla est formé sur 4 fois plus de jetons et est 4 fois plus petit, ce qui le rend moins cher à utiliser en aval. https://t.co/RepU03NJ91 2/3 https://t.co/kBAavQ3rTC
Chinchilla surpasse Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) et Megatron-Turing NLG sur un large éventail de tâches d’évaluation en aval (530B). Il simplifie considérablement l’utilisation en aval car il nécessite beaucoup moins de puissance informatique pour l’inférence et le réglage fin.
Pour rationaliser les opérations et améliorer la prise de décision, les entreprises peuvent tirer parti de Chinchilla AI. Il ouvre la voie aux entreprises pour créer et publier des applications alimentées par l’IA, améliorant ainsi les fonctionnalités des produits numériques.
Sur la base de la formation des modèles de langage précédemment utilisés, il a été déterminé que si l’on double la taille du modèle, on doit également avoir le double du nombre de jetons de formation. Cette hypothèse a été utilisée pour entraîner Chinchilla AI par Deepmind. Semblable à Gopher en termes de coût, Chinchilla AI a des paramètres 70B et quatre fois plus de données. Chinchilla surpasse Gopher (280B), Megatron-Turning NLG (530B), Jurassic-1 (178B) et GPT-3 à tous les niveaux dans une pléthore de tâches d’évaluation, obtenant des résultats tout à fait remarquables (175B).
Chinchilla AI a une précision moyenne de 67,5 % sur le benchmark MMLU, soit 7 % de plus que les performances de Gopher. Incroyablement, Chinchilla AI surpasse les modèles de langage massifs plus traditionnels en termes de précision. Chinchilla nécessite beaucoup moins de puissance de traitement pour l’inférence et les ajustements, ce qui profite grandement aux applications en aval.
Malheureusement, il n’existe actuellement aucun moyen pour le grand public d’utiliser Chinchilla AI DeepMind car il est encore en phase de test. Une fois publié, Chinchilla AI sera utile pour développer divers outils d’intelligence artificielle, tels que des chatbots, des assistants virtuels et des modèles prédictifs. Jusque-là, nous comptons beaucoup sur les Tweets envoyés par les chercheurs de DeepMind.
Chinchilla AI de DeepMind change la donne avec le potentiel d’améliorer les résultats des entreprises et la qualité de l’expérience de leurs clients. De nombreuses opérations peuvent être automatisées et améliorées avec l’aide de Chinchilla AI.
Les avantages anticipés de l’ adoption de l’IA sont sur le point de se terminer. Être pressé!
Fonctionnalités de Chinchilla AI
En ce qui concerne la technologie de l’intelligence artificielle (IA), le budget informatique est généralement l’élément limitant. En fin de compte, la taille du modèle et la quantité de jetons de formation seront déterminées par la somme d’argent que l’entreprise peut dépenser pour une technologie plus puissante. Chinchilla AI dispose de certaines fonctionnalités pour résoudre ce problème :
Taille de modèle fixe : Les développeurs de DeepMind ont commencé avec une famille de tailles de modèles fixes (70M-16B) et ont modifié le nombre total de jetons d’entraînement pour optimiser les performances (4 variantes). L’appariement optimal a ensuite été déterminé pour chaque ressource informatique disponible. Un modèle avec la même puissance de calcul que la formation de Gopher contiendrait des jetons 1.5T et des paramètres 67B, tels que calculés par cette approche.
Courbes pour isoFLOP : Les ingénieurs de DeepMind ont joué avec différentes tailles de modèles tout en gardant constante la puissance de calcul disponible. Un modèle de calcul optimal avec 63 milliards de paramètres et 1,4 billion de jetons peut être formé en utilisant la même puissance de calcul que Gopher en utilisant cette approche.
Création d’une fonction de perte paramétrique : en appliquant ce qu’ils ont appris des deux premières approches, les ingénieurs de DeepMind ont caractérisé les pertes comme des fonctions paramétriques de la taille du modèle et du nombre de jetons. En termes de calcul, le modèle de calcul optimal formé avec cette approche aurait des paramètres 40B, ce qui est comparable à Gopher.
Par rapport à tous les principaux modèles de langage établis au cours des deux dernières années qui ont présenté des résultats SOTA, les performances de Chinchilla sont remarquables non seulement en raison de l’amélioration, mais aussi parce que le modèle est plus petit. De nombreux spécialistes dans le domaine de l’intelligence artificielle ont fait valoir que les entreprises et les institutions universitaires perdent du temps et de l’argent en se concentrant sur l’expansion de la taille de leurs modèles au lieu de trouver des moyens de mieux utiliser les ressources et les paramètres déjà à leur disposition.
Chinchilla est une amélioration révolutionnaire en termes de performances et d’efficacité.
Comment utiliser Chinchilla de Deepmind ?
Puisque nous avons couvert les bases de Chinchilla AI, nous répondrons à vos questions sur la façon de l’utiliser, mais nous avons d’abord de terribles nouvelles. Malheureusement, il n’est pas accessible au public au moment de la rédaction. A terme, dans les mois à venir, nous pourrons utiliser Chinchilla AI et mettre à jour cette partie. Une fois son utilisation rendue publique, vous pouvez les faire avec Chinchilla AI :
Chinchilla AI est une plate-forme d’IA pour l’automatisation des processus et l’amélioration du jugement commercial. Il aide les entreprises à créer et à publier des applications basées sur l’IA qui améliorent les fonctionnalités de leurs produits numériques.
Chinchilla AI peut être utilisé pour créer des chatbots. Comme leur nom l’indique, les chatbots sont des programmes informatiques capables de simuler un dialogue humain. Ils sont généralement mis en œuvre pour rationaliser les processus de vente ou de service client.
Avec Chinchilla AI, vous pouvez créer votre propre chatbot sans avoir besoin d’apprendre à coder. Il peut être utilisé pour créer un chatbot à utiliser dans des endroits comme Discord, votre site Web, Facebook Messenger, etc.
Des chatbots, des assistants virtuels, des modèles prédictifs et d’autres applications alimentées par l’IA peuvent être créés à l’aide de Chinchilla AI. Lorsqu’il s’agit de créer des applications alimentées par l’IA, Chinchilla AI est idéale pour les entreprises qui doivent évoluer rapidement.
L’application de Chinchilla AI permet le développement de personnages interactifs dans les jeux vidéo. Son interface conviviale et son ensemble de fonctionnalités robustes peuvent être utilisés pour programmer l’intelligence artificielle pour des jeux de complexité variable, des classiques d’arcade aux simulations stratégiques à enjeux élevés. Lorsqu’elle est associée à d’autres technologies d’IA, Chinchilla AI peut également être utilisée pour créer des modèles imprimables en 3D.
