Big Data Analytics con Python e Spark

Il corso insegna a elaborare grandi moli di dati con Spark, il framework di calcolo distribuito, e mostra come usarlo anche da R tramite i pacchetti SparkR e sparklyr. Il percorso parte dall'installazione dell'ambiente, sia in locale sia su piattaforme cloud come AWS e Databricks, e prosegue con gli RDD e i DataFrame, lavorando su dataset reali di recensioni, serie temporali e dati di Twitter in streaming. Include anche un'introduzione al machine learning con MLlib, con esempi di regressione, classificazione e analisi del sentiment. È pensato soprattutto per chi si occupa di analisi dati in azienda, nel marketing o in ambiti come la diagnostica, e per chi vuole portare sul lavoro strumenti per trattare dati che non entrano in un singolo computer.

• Introduzione - Installazione di Spark in locale con VirtualBox - Creare una macchina virtuale AWS EC2 - Creare un Cluster con AWS EMR -Utilizzare Spark con DataBricks - Il Resilient Distributed Dataset (RDD) - Analisi di 225 Milioni di Recensioni su Amazon [Laboratorio] - Il DataFrame - Analisi di 28 milioni di Recensioni di Film [Laboratorio] - Time Series - Analisi delle Azioni di Apple [Laboratorio] - Machine Learning con Spark MLlib - Kaggle e le sue API - Machine Learning Supervisionato - Regressione - Machine Learning Supervisionato - Classificazione - Sentiment Analysis sulle Recensioni di Yelp [Laboratorio] - Spark Streaming - Analisi in Tempo Reale dei Tweets pubblicati su Twitter [Laboratorio]