Google Colab — Le guide du débutant

Que vous soyez un étudiant intéressé par l’exploration de l’apprentissage automatique mais ayant du mal à effectuer des simulations sur d’énormes ensembles de données, ou un expert jouant avec ML désespérément à la recherche d’une puissance de calcul supplémentaire, Google Colab est la solution parfaite pour vous. Google Colab ou « le Colaboratoire » est un service cloud gratuit hébergé par Google pour encourager la recherche sur l’apprentissage automatique et l’intelligence artificielle, où souvent l’obstacle à l’apprentissage et au succès est l’exigence d’une énorme puissance de calcul.

Avantages de Colab

En plus d’être facile à utiliser (que je décrirai plus tard), le Colab est assez flexible dans sa configuration et fait une grande partie du gros du travail pour vous.

• Prise en charge de Python 2.7 et Python 3.6
• Accélération GPU gratuite
• Bibliothèques préinstallées : toutes les principales bibliothèques Python telles que TensorFlow, Scikit-learn, Matplotlib, entre autres, sont préinstallées et prêtes à être importées.
• Construit sur Jupyter Notebook
• Fonctionnalité de collaboration (fonctionne avec une équipe comme Google Docs) : Google Colab permet aux développeurs d’utiliser et de partager le bloc-notes Jupyter entre eux sans avoir à télécharger, installer ou exécuter autre chose qu’un navigateur.
• Prend en charge les commandes bash
• Les blocs-notes Google Colab sont stockés sur le lecteur

Si vous préférez en savoir plus avant de commencer, je vous recommande la FAQ Google Colab , la documentation Google Colab et les extraits de code , ainsi que les conseils de la communauté d’utilisateurs utiles sur Stack Overflow .

Commençons!

Créer un bloc-notes Colab

1. Ouvrez Google Colab .
2. Cliquez sur « Nouveau bloc-notes » et sélectionnez Bloc-notes Python 2 ou Bloc-notes Python 3.

OU

1. Ouvrez Google Drive .
2. Créez un nouveau dossier pour le projet.
3. Cliquez sur ‘Nouveau’ > ‘Plus’ > ‘Colaboratoire’.

Réglage de l’accélérateur GPU

Le matériel par défaut de Google Colab est le CPU ou il peut être GPU.

1. Cliquez sur ‘Modifier’ > ‘Paramètres du notebook’ > ‘Accélérateur matériel’ > ‘GPU’.

OU

1. Cliquez sur ‘Runtime’ > ‘Hardware Accelerator’ > ‘GPU’.

Exécution d’une cellule

1. Assurez-vous que le runtime est connecté. Le bloc-notes affiche une coche verte et « Connecté » dans le coin supérieur droit.
2. Il existe différentes options d’exécution dans ‘Runtime’.

OU

1. Pour exécuter la cellule actuelle, appuyez sur MAJ + ENTRÉE.

Commandes Bash

Les commandes Bash peuvent être exécutées en préfixant la commande avec ‘!’.

• Cloner un dépôt git

!git clone [URL du clone git]

• Commandes de répertoire !ls, !mkdir.

!ls

Cette commande génère les dossiers /content et /drive (s’il a été monté). Exécutez l’extrait de code suivant pour modifier le dossier actuel.

import sys 
sys.path.append('[Nom du dossier]')

• Télécharger à partir du Web

!wget [url] -p lecteur/[Nom du dossier]

Installation des bibliothèques

Bien que la plupart des bibliothèques Python couramment utilisées soient préinstallées, de nouvelles bibliothèques peuvent être installées à l’aide des packages ci-dessous :

!pip install [nom du paquet]

OU

!apt-get install [nom du paquet]

Télécharger des fichiers locaux

à partir des fichiers d'importation google.colab 
téléchargés = files.upload()

Sélectionnez les fichiers à télécharger

Pour plusieurs fichiers, les noms de clé individuels peuvent être obtenus en parcourant les fichiers téléchargés.

pour le fichier dans uploaded.keys() : 
  print('Fichier téléchargé "{name}" avec une longueur de {length} octets'.format(name=file, length=len(uploaded[file])))

Montage de Google Drive

Exécutez le code suivant.

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools 
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null 
!apt- get update -qq 2>&1 > /dev/null 
!apt-get -y install -qq google-drive-ocamlfuse fuse 
from google.colab import auth 
auth.authenticate_user() 
from oauth2client.client import GoogleCredentials 
creds = GoogleCredentials.get_application_default( ) 
import getpass 
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL 
vcode = getpass.getpass() 
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

Cliquez sur le lien et entrez la clé API.

!mkdir -p lecteur 
!google-drive-ocamlfuse lecteur

Votre disque est maintenant monté. Vous pouvez utiliser tous les fichiers et dossiers de votre lecteur en utilisant le chemin comme suit

!ls /content/drive/[nom du dossier]

/content est le dossier racine de Google Colab et doit être ajouté à tous les chemins utilisés dans le bloc-notes.

Importation à partir de scripts .py existants

Téléchargez tous les scripts .py existants dans un dossier sur le lecteur. Considérez un script ‘script.py’ téléchargé dans le dossier ‘Project’.

Pour importer n’importe quel module

import sys 
sys.path.append('Projet') 
script d'importation

Exécuter un script .py existant

Pour exécuter un script

!python3 /content/drive/Project/script.py

Vérifiez les spécifications du processeur et de la RAM

!cat /proc/cpuinfo 
!cat /proc/meminfo

Vérifier les spécifications du GPU

depuis tensorflow.python.client import device_lib 
device_lib.list_local_devices()

Colab fournit le GPU Tesla K80.

Cela devrait vous permettre de démarrer avec Google Colab. Sentez-vous libre de poser des questions!

Modifier

Voici une ressource que j’ai trouvé plutôt complète et utile. https://neptune.ai/blog/google-colab-dealing-with-files