Présentation de GPT-Neo : une alternative de générateur de contenu IA open source à GPT-3
Un aperçu de GPT-Neo, l’alternative de générateur de contenu IA open source à GPT-3, et comment il peut être utilisé pour générer du texte avec Python.
Dans ce didacticiel, nous discuterons de l’alternative Open Source AI Content Generator GPT-3 appelée GTP-Neo. Nous y accéderons via la bibliothèque HuggingFace Transformers et Python.
GPT – signifie Generative Pre-trained transformers, un modèle d’apprentissage automatique de réseau neuronal formé à l’aide de données Internet pour générer du texte basé sur des invites. GPT a été développé par OpenAI et est accessible via leur API, avec une clé API. Le service n’est pas gratuit et il existe des directives strictes sur les cas d’utilisation autorisés lorsque vous obtenez les clés API.
GPT-Neo est un moteur AI alternatif à GPT-2/3, développé par EleutherAI et disponible via la bibliothèque de transformateurs. Dans ce didacticiel, nous expliquerons comment vous pouvez démarrer avec GPT-Neo pour la génération de texte.
Il existe un guide écrit étape par étape que vous pouvez trouver ici :
Comment GPT-Neo se compare-t-il à GPT-2 et GPT-3 #
En bref, GPT-Neo est un clone de GPT-2, il se compare mieux aux moteurs GPT-2 de deuxième génération d’OpenAI, voir tableau ci-dessous.
EleutherAI a deux versions de GPT-Neo : (1) 1,3 milliard de paramètres et (2) 2,7 milliards de paramètres. Les paramètres vous donnent une indication de la taille du modèle, le plus grand modèle est plus performant, mais prend plus de place et prend plus de temps pour générer du texte, tandis que le plus petit modèle est plus rapide mais aussi moins performant.
GPT-2 était dans une fourchette similaire à 1,3 milliard de GPT-Neo, mais GPT-3 est dans un ordre de grandeur plus grand avec 175 milliards de paramètres.
De plus, OpenAI a maintenant publié et standardisé la série « instruct » qui fait passer la génération de texte au niveau supérieur, au lieu d’inviter le générateur avec une instruction qui doit se terminer : vous pouvez désormais simplement « fournir une instruction » et le générateur de texte sera en mesure de comprendre et de se conformer à vos instructions.
En résumé, GPT-3 est plus avancé et propose des séries d’instructions, une meilleure façon d’interagir avec les modèles d’IA. Cependant, il existe des cas d’utilisation pour lesquels GPT-Neo peut toujours être utilisé, les avantages de l’utilisation des modèles pré-formés open source sont : (1) aucun temps d’attente, (2) aucune clé API nécessaire, (3) aucune approbations nécessaires ou examens d’applications.
Étapes pour implémenter des modèles de génération de texte GPT-Neo avec Python #
Il existe deux méthodes principales pour accéder aux modèles GPT-Neo. (1) Vous pouvez télécharger les modèles et les exécuter sur votre propre serveur ou (2) utiliser l’API de HuggingFace ( qui coûte environ 9 $ par mois ). L’avantage d’utiliser l’API est la vitesse à laquelle vous pouvez obtenir du texte généré à partir du modèle, et c’est probablement la voie à suivre si vous exécutez une application en direct.
Nous allons couvrir la méthode auto-hébergée dans ce tutoriel, avec les étapes suivantes :
Configurer un serveur virtuel avec Digital Ocean
Installer Pytorch
Installer les transformateurs
Exécutez le code pour générer du texte
Configurer Virtual Server avec Digital Ocean et Python Virtual Environment #
Les étapes à suivre sont décrites en détail dans le didacticiel vidéo sur YouTube. Ce que je voudrais mentionner ici est; la taille de la goutte que vous achetez est très importante.
Les modèles EleutherAI sont très gros et occupent beaucoup d’espace et de mémoire. Au cours des tests, nous avons pu exécuter le modèle 1,6 milliard sur une mémoire optimisée de 16 Go/2 processeurs et un SSD de 50 Go. Techniquement, cela devrait également pouvoir exécuter le modèle 2,7 milliards, mais nous ne l’avons pas testé.
Choisissez le bon droplet pour le modèle d’IA :
N’oubliez pas que vous téléchargez les modèles et que vous les exécutez sur votre propre machine, votre mémoire et votre espace doivent pouvoir gérer les modèles. C’est le compromis pour éviter l’API. Financièrement, cela n’a aucun sens de payer 80 $ par mois juste pour faire fonctionner votre propre modèle, OpenAI avec un moteur bien supérieur coûtera bien moins cher que cela.
Bien sûr, vous pouvez toujours avoir vos propres raisons d’exécuter votre propre modèle, comme éviter le processus d’approbation et peut-être votre propre cas d’utilisation qu’OpenAI pourrait ou non approuver.
Le reste des étapes est disponible sur le 👉🏽 Tutoriel Vidéo .
Si vous utilisez un environnement virtuel, comme nous le montrons dans le tutoriel. Vous devez utiliser pip au lieu de pip3 comme l’indiquent les instructions.
Installez les transformateurs et exécutez le code #
pip install transformers
Le reste du code est le suivant :
Ce code ci-dessus peut sembler d’une simplicité trompeuse, mais il se passe beaucoup de choses et il ne fonctionnera pas si le système d’exploitation ne dispose pas de suffisamment de mémoire et que vous n’avez pas couvert toutes les étapes préalables comme indiqué ci-dessus.
Vous pourriez obtenir cette réponse :
Killed
Cette réponse signifie que vous n’avez pas assez de mémoire pour exécuter le modèle sur votre machine. Vous pouvez soit mettre à niveau votre machine, soit utiliser un modèle plus petit. Un modèle alternatif qui ne nécessite pas beaucoup de mémoire est « distilgpt2 ». Il est beaucoup plus petit et moins capable bien sûr.
Pour utiliser un modèle différent, remplacez la ligne du générateur dans le code par ceci :
