Google Colab — Le guide du débutant
Que vous soyez un étudiant intéressé par l’exploration de l’apprentissage automatique mais ayant du mal à effectuer des simulations sur d’énormes ensembles de données, ou un expert jouant avec ML désespérément à la recherche d’une puissance de calcul supplémentaire, Google Colab est la solution parfaite pour vous. Google Colab ou « le Colaboratoire » est un service cloud gratuit hébergé par Google pour encourager la recherche sur l’apprentissage automatique et l’intelligence artificielle, où souvent l’obstacle à l’apprentissage et au succès est l’exigence d’une énorme puissance de calcul.

Avantages de Colab
En plus d’être facile à utiliser (que je décrirai plus tard), le Colab est assez flexible dans sa configuration et fait une grande partie du gros du travail pour vous.
- Prise en charge de Python 2.7 et Python 3.6
- Accélération GPU gratuite
- Bibliothèques préinstallées : toutes les principales bibliothèques Python telles que TensorFlow, Scikit-learn, Matplotlib, entre autres, sont préinstallées et prêtes à être importées.
- Construit sur Jupyter Notebook
- Fonctionnalité de collaboration (fonctionne avec une équipe comme Google Docs) : Google Colab permet aux développeurs d’utiliser et de partager le bloc-notes Jupyter entre eux sans avoir à télécharger, installer ou exécuter autre chose qu’un navigateur.
- Prend en charge les commandes bash
- Les blocs-notes Google Colab sont stockés sur le lecteur
Si vous préférez en savoir plus avant de commencer, je vous recommande la FAQ Google Colab , la documentation Google Colab et les extraits de code , ainsi que les conseils de la communauté d’utilisateurs utiles sur Stack Overflow .
Commençons!
Créer un bloc-notes Colab
- Ouvrez Google Colab .
- Cliquez sur « Nouveau bloc-notes » et sélectionnez Bloc-notes Python 2 ou Bloc-notes Python 3.
OU
- Ouvrez Google Drive .
- Créez un nouveau dossier pour le projet.
- Cliquez sur ‘Nouveau’ > ‘Plus’ > ‘Colaboratoire’.
Réglage de l’accélérateur GPU
Le matériel par défaut de Google Colab est le CPU ou il peut être GPU.
- Cliquez sur ‘Modifier’ > ‘Paramètres du notebook’ > ‘Accélérateur matériel’ > ‘GPU’.
OU
- Cliquez sur ‘Runtime’ > ‘Hardware Accelerator’ > ‘GPU’.
Exécution d’une cellule
- Assurez-vous que le runtime est connecté. Le bloc-notes affiche une coche verte et « Connecté » dans le coin supérieur droit.
- Il existe différentes options d’exécution dans ‘Runtime’.
OU
- Pour exécuter la cellule actuelle, appuyez sur MAJ + ENTRÉE.
Commandes Bash
Les commandes Bash peuvent être exécutées en préfixant la commande avec ‘!’.
- Cloner un dépôt git
!git clone [URL du clone git]
- Commandes de répertoire !ls, !mkdir.
!ls
Cette commande génère les dossiers /content et /drive (s’il a été monté). Exécutez l’extrait de code suivant pour modifier le dossier actuel.
import sys
sys.path.append('[Nom du dossier]')
- Télécharger à partir du Web
!wget [url] -p lecteur/[Nom du dossier]
Installation des bibliothèques
Bien que la plupart des bibliothèques Python couramment utilisées soient préinstallées, de nouvelles bibliothèques peuvent être installées à l’aide des packages ci-dessous :
!pip install [nom du paquet]
OU
!apt-get install [nom du paquet]
Télécharger des fichiers locaux
à partir des fichiers d'importation google.colab
téléchargés = files.upload()
Sélectionnez les fichiers à télécharger
Pour plusieurs fichiers, les noms de clé individuels peuvent être obtenus en parcourant les fichiers téléchargés.
pour le fichier dans uploaded.keys() :
print('Fichier téléchargé "{name}" avec une longueur de {length} octets'.format(name=file, length=len(uploaded[file])))
Montage de Google Drive
Exécutez le code suivant.
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt- get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default( )
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
Cliquez sur le lien et entrez la clé API.
!mkdir -p lecteur
!google-drive-ocamlfuse lecteur
Votre disque est maintenant monté. Vous pouvez utiliser tous les fichiers et dossiers de votre lecteur en utilisant le chemin comme suit
!ls /content/drive/[nom du dossier]
/content est le dossier racine de Google Colab et doit être ajouté à tous les chemins utilisés dans le bloc-notes.
Importation à partir de scripts .py existants
Téléchargez tous les scripts .py existants dans un dossier sur le lecteur. Considérez un script ‘script.py’ téléchargé dans le dossier ‘Project’.
Pour importer n’importe quel module
import sys
sys.path.append('Projet')
script d'importation
Exécuter un script .py existant
Pour exécuter un script
!python3 /content/drive/Project/script.py
Vérifiez les spécifications du processeur et de la RAM
!cat /proc/cpuinfo
!cat /proc/meminfo
Vérifier les spécifications du GPU
depuis tensorflow.python.client import device_lib
device_lib.list_local_devices()
Colab fournit le GPU Tesla K80.
Cela devrait vous permettre de démarrer avec Google Colab. Sentez-vous libre de poser des questions!
Modifier
Voici une ressource que j’ai trouvé plutôt complète et utile. https://neptune.ai/blog/google-colab-dealing-with-files