Initiation au Big Data (programmation)

Les élèves vont découvrir le Big Data en réalité en metant en oeuvre un programme simple afin de récupérer automatiquement une donnée pour commencer. Il vont mettre en oeuvre une technique de Web-scraping.

Il sera possible ensuite d'automatiser la chose pour que les données soient récupérer périodiquement. L'objectif est de faire toucher du doigt aux élèves une méthode pour extraire des données. Ensuite, il est possible de travailler sur un grand nombre de données avec le même principe.

Il sera possible de traiter les données récupérées.

L'exemple choisi est la récupéreration de la dernière donnée de température d'une station météo sur le Web.

Cette activité pédagogique demande des pré-requis: notion sur le HTML, Python notion de liste (tableau à une dimension), chaîne de caractère string, float.

Il serait aussi intéressant de les faire travailler sur la partie légale de cette récupération de données (non traitée dans cette activité).

L'activité pédagogique

le programme en Python 3

Il est nécessaire d'installer la bibliothèque bs4. Pour on lance une commande DOS, puis on se positionne dans le répertoire où se trouve l'installation de python, puis on tape "pip install bs4", sur Raspberry Pi: sudo apt-get install python3-bs4 si on est en python3.