Formation Apprendre à programmer avec Apache Spark
But et objectifs de la formation
Permettre aux Data Engineers et / ou Scientists d’acquérir les bases de développement avec Apache Spark et de créer des applications distribuées permettant de préparer, transformer et enrichir efficacement des volumes importants de données.
- Apprendre les bases de développement avec Apache Spark
- Développer des applications distribuées et optimisées
Modalités de suivi et d’exécution de la formation
Exécution de l’action
- Feuilles de présence émargées par les stagiaires et le formateur
- Evaluation des acquis en fin de session
Modalités d’évaluation des résultats (ou acquisition des compétences)
- Questions écrites (QCM)
- Questions pendant la formation
- Résultats des exercices pratiques
Méthodes pédagogiques, techniques et d'encadrement mobilisées et informations complémentaires
Méthodes et outils pédagogiques
- De la théorie à la pratique avec des cas d’usages concrets
- Supports pédagogiques : Support du diaporama et ressources documentaires au format PDF
- Prise en compte du handicap : Possibilité d’adapter les supports de formation et les lieux de formation en fonction des handicaps. Etude au cas par cas.
Eléments matériels de la formation
- Supports techniques : L’ordinateur du stagiaire est requis.
- Salle de formation : Rétroprojecteur, Espace de détente, Mobilisation d’une salle adaptée au PMR en cas de besoin
- Equipements divers mis à disposition : N/A
- Documentation : Diaporama formateur, site officiel de « Apache Spark »
Compétences des formateurs
- Fiches de compétences des formateurs fournies au moment de la demande.
Informations complémentaires
- Horaires : 9h-12h30 et 13h30-17h
- Sessions à Niort ou Paris
- Cette fomation s'adresse à des Data Engineers ou des Data Scientists
Accessibilité Handicap
Possibilité d’adapter les supports de formation et les lieux de formation en fonction des handicaps. Etude au cas par cas.
Public visé : Salarié, Manager
Format : Présentiel
Pré-requis : Aucun
Modalités et délai d'accès : Questionnaire de recueil des besoins, Délai d'accès : environ 15 jours à réception des documents contractuels signés, Délai d'inscription : au plus tard 15 jours avant le démarrage de la formation
Modalités d'évaluation : Etude de cas, Questionnaire
Rythme : Temps plein
Niveau de Formation : D - Autre formation professionnelle
Tarif formation HT : 1600,00 €Tarif HT par personne. Pour les formations en intra, nous consulter. Eligible OPCO
2.0 jour(s)
14.0 heure(s)
Résumé du programme
- SPARK_2J
Programme de la formation
SPARK_2J
SPARK_2J
1. Big Data et Apache Spark a. Introduction au paradigme « Big Data » b. Apache Spark, à l’aide ! 2. Environnement de développement a. Environnement de développement (VSCode) b. Console interactive PySpark c. « Hello World » en Spark 3. Spark, DataFrames et Transformations a. Découverte de Spark SQL b. Création et évaluation des DataFrames c. Opérations de transformations 4. Architecture Spark a. Architecture et composants Spark b. Optimisation des requêtes c. Partitionnement des données 5. Structured Streaming a. Requête en flux continu b. Aggrégation des flux 6. Bonus : Machine Learning avec Spark MLlib a. Aperçu de Spark MLlib : notions de pipeline et modèle de Machine Learning