Objectifs
Comprendre ce que sont Hadoop et YARN
Connaître les différents outils et les Framework dans un environnement Hadoop 2.0
Appréhender MapReduce
Comprendre comment exécuter une tâche de MapReduce sur YARN
Exécuter des modifications en masse avec PIG
Savoir écrire des requêtes pour HIVE afin d’analyser ses données
Savoir utiliser Sqoop pour transférer les données entre Hadoop et une base de données relationnelle
Découverte d’autres briques : automatiser vos process avec Oozie
Utiliser une base de données No-SQL (HBase)
Connaître les différents outils et les Framework dans un environnement Hadoop 2.0
Appréhender MapReduce
Comprendre comment exécuter une tâche de MapReduce sur YARN
Exécuter des modifications en masse avec PIG
Savoir écrire des requêtes pour HIVE afin d’analyser ses données
Savoir utiliser Sqoop pour transférer les données entre Hadoop et une base de données relationnelle
Découverte d’autres briques : automatiser vos process avec Oozie
Utiliser une base de données No-SQL (HBase)
Public
Data Scientists, Développeurs décisionnels, ...
Méthode
Pédagogie active mêlant exposés, exercices et applications pratiques
Programme
- Hadoop
- Pig
- Hive
- Sqoop
- Optionnel : (sous réserve de temps)
- Comprendre Hadoop 2.0 et son écosystème
- Quels impacts de l’arrivée d’Hadoop dans un SI traditionnel ?
- Le Hadoop Distributed File System (HDFS)
- Introduction aux données dans HDFS
- MapReduce Framework et YARN
- Pig
- Introduction à Pig
- Programmation Pig avancée
- Troubleshooting et optimisation avec Pig
- Résolution des problèmes avec Pig
- Utiliser l’UI Web d’Hadoop
- Démo optionnelle : résolution d’un « Failed Job » avec l’UI Web
- Echantillonnage de données et débogage
- Vue d’ensemble des performances
- Comprendre le plan d’exécution
- Astuces pour améliorer la performance de vos « Pig Jobs »
- Hive
- Programmation Hive
- Utilisation de HCatalog
- Programmation Hive avancée
- Etendre Hive
- Transformation de données avec des Scripts personnalisés
- Fonctions définies par l’utilisateur
- Paramétrer les requêtes
- Exercices « Hands-On » : transformation de données avec Hive
- Programmation Hive avancée (suite)
- Analyse de données et statistiques
- Sqoop
- Import/Export avec Sqoop (SGBDR <-> HDFS)
- Sqoop, fonctions avancées
- Définition de workflow avec Oozie
- Optionnel : (sous réserve de temps)
- Introduction à H-Base
- Exemple d’ingestion de données avec l’ETL Talend
- Créer son propre cluster Hadoop (plateforme de test)
