Vous êtes ici : Accueil > Big Data > Formation > Technologies du Big Data > Analyse de données en environnement Hadoop

Formation Analyse de données en environnement Hadoop


Objectifs

Comprendre ce que sont Hadoop et YARN
Connaître les différents outils et les Framework dans un environnement Hadoop 2.0
Appréhender MapReduce
Comprendre comment exécuter une tâche de MapReduce sur YARN
Exécuter des modifications en masse avec PIG
Savoir écrire des requêtes pour HIVE afin d’analyser ses données
Savoir utiliser Sqoop pour transférer les données entre Hadoop et une base de données relationnelle
Découverte d’autres briques : automatiser vos process avec Oozie
Utiliser une base de données No-SQL (HBase)

Public

Data Scientists, Développeurs décisionnels, ...

Pré-requis

Aucun

Méthode pédagogique

Pédagogie active mêlant exposés, exercices et applications pratiques

Programme

- Hadoop

  • Comprendre Hadoop 2.0 et son écosystème
  • Quels impacts de l’arrivée d’Hadoop dans un SI traditionnel ?
  • Le Hadoop Distributed File System (HDFS)
  • Introduction aux données dans HDFS
  • MapReduce Framework et YARN

- Pig

  • Introduction à Pig
  • Programmation Pig avancée
  • Troubleshooting et optimisation avec Pig
  • Résolution des problèmes avec Pig
  • Utiliser l’UI Web d’Hadoop
  • Démo optionnelle : résolution d’un « Failed Job » avec l’UI Web
  • Echantillonnage de données et débogage
  • Vue d’ensemble des performances
  • Comprendre le plan d’exécution
  • Astuces pour améliorer la performance de vos « Pig Jobs »

- Hive

  • Programmation Hive
  • Utilisation de HCatalog
  • Programmation Hive avancée
  • Etendre Hive
  • Transformation de données avec des Scripts personnalisés
  • Fonctions définies par l’utilisateur
  • Paramétrer les requêtes
  • Exercices « Hands-On » : transformation de données avec Hive
  • Programmation Hive avancée (suite)
  • Analyse de données et statistiques

- Sqoop

  • Import/Export avec Sqoop (SGBDR <-> HDFS)
  • Sqoop, fonctions avancées
  • Définition de workflow avec Oozie

- Optionnel : (sous réserve de temps)

  • Introduction à H-Base
  • Exemple d’ingestion de données avec l’ETL Talend
  • Créer son propre cluster Hadoop (plateforme de test)

Modalités d'évaluation

Un formulaire d'auto-évaluation proposé en amont de la formation nous permettra d'évaluer votre niveau et de recueillir vos attentes. Ce même formulaire soumis en aval de la formation fournira une appréciation de votre progression.
Des exercices pratiques seront proposés à la fin de chaque séquence pédagogique pour l'évaluation des acquis.
En fin de formation, vous serez amené(e) à renseigner un questionnaire d'évaluation à chaud.
Une attestation de formation vous sera adressée à l'issue de la session.
Trois mois après votre formation, vous recevrez par email un formulaire d'évaluation à froid sur l'utilisation des acquis de la formation.

Solutions de financement

Cette formation peut être financée :
  • dans le cadre du plan de développement des compétences de votre Entreprise
  • par l’OPCO (opérateur de compétences) de votre Entreprise ou le FAF (Fonds d’Assurance Formation) pour les professionnels libéraux
  • par Pôle Emploi dans le cadre du dispositif de l'Aide Individuelle à la Formation (soumis à accord de votre Agence)
  • à titre personnel

Accessibilité

Vous souhaitez suivre notre formation Analyse de données en environnement Hadoop et êtes en situation de handicap ? Merci de nous contacter afin que nous puissions envisager les adaptations nécessaires et vous garantir de bonnes conditions d'apprentissage

La formation Analyse de données en environnement Hadoop dans nos Centres ou en distanciel

  • Tarif : 1 800 € HT
    -10% dès 2 inscrits, -20% à partir de 3

  • Option(s) :
    - Forfait déjeuners : 60€ HT

Nos prochaines sessions

A distance

du 11 au 13 décembre 2023


Lyon

du 23 au 25 octobre 2023


Paris

du 25 au 27 septembre 2023


Toulouse

du 25 au 27 octobre 2023


Bordeaux | Lille | Marseille | Nantes | Nice | Strasbourg

Demandez l'ouverture d'une nouvelle session dès 2 collaborateurs intéressés
Demande d'ouverture d'une nouvelle session Notre formation Analyse de données en environnement Hadoop vous intéresse mais vous n'êtes pas disponible aux dates proposées ?
Les lieux d'organisation ne vous conviennent pas ?
Faites-nous part de votre demande d'ouverture d'une nouvelle session dans l'une des 9 villes proposées.
Pour cela, votre demande doit concerner au moins 2 personnes et la session doit être planifiée dans un délai minimal de 3 mois.
Un conseiller vous confirmera au plus vite l'ajout de cette nouvelle session.

    * : champ obligatoire

    Formation souhaitée

    Ville souhaitée

    Date de démarrage souhaitée

    Votre message

    Nombre de participants

    Vos coordonnées :

    Civilité *

    Votre prénom *

    Votre nom *

    Votre Société *

    Votre email *

    Votre téléphone *

    Je souhaite recevoir par email :

    le catalogue formation (2 fois par an)des lettres d'information ponctuelles (6 par an au maximum)

    En soumettant ce formulaire, j'accepte que les informations saisies soient exploitées dans le cadre de la demande d'ouverture d'une nouvelle session de formation interentreprises et de la relation commerciale qui peut en découler

    Pour connaître et exercer vos droits, notamment de retrait de votre consentement à l'utilisation des données collectées par ce formulaire, veuillez consulter notre politique de confidentialité



    Plans d'accès / hébergements
    La formation Analyse de données en environnement Hadoop dans votre Entreprise ou en distanciel

    • Tarif : Nous consulter

    Demande de devis personnalisé
    Décrivez-nous votre projet au moyen du formulaire ci-dessous et recevez un devis personnalisé dans les meilleurs délais.

      * : champ obligatoire

      Formation souhaitée *

      Nombre de participants

      Min : 

      Max :

      Lieu de la formation *

      Logiciel à votre disposition

      Période souhaitée

      Début :

      Fin :      

      Vos commentaires

      Envoyez-nous un fichier (cahier des charges, ...)

      Vos coordonnées :

      Civilité *

      Votre prénom *

      Votre nom *

      Votre Société *

      Votre email *

      Votre téléphone *

      Je souhaite recevoir par email :

      le catalogue formation (2 fois par an)des lettres d'information ponctuelles (6 par an au maximum)

      En soumettant ce formulaire, j'accepte que les informations saisies soient exploitées dans le cadre de la demande de devis pour une formation intra-entreprise et de la relation commerciale qui peut en découler

      Pour connaître et exercer vos droits, notamment de retrait de votre consentement à l'utilisation des données collectées par ce formulaire, veuillez consulter notre politique de confidentialité



      Date de dernière modification : 04/11/2022