AWS - Data Engineering on AWS

- Comprendere i ruoli fondamentali e i concetti chiave del data engineering, incluse le data personas, la data discovery e i servizi AWS rilevanti.

- Identificare e spiegare i vari strumenti e servizi AWS cruciali per il data engineering, includendo orchestrazione, sicurezza, monitoring, CI/CD, IaC, networking e cost optimization.

- Progettare e implementare una soluzione di data lake su AWS, includendo storage, data ingestion, trasformazione ed esposizione dei dati per il consumo.

- Ottimizzare e mettere in sicurezza un data lake adottando open table formats, misure di sicurezza e attività di troubleshooting sui problemi più comuni.

- Progettare e configurare un data warehouse utilizzando Amazon Redshift Serverless, comprendendone architettura, data ingestion, processing e funzionalità di serving.

- Applicare tecniche di ottimizzazione delle performance per i data warehouse in Amazon Redshift, includendo monitoring, data optimization, query optimization e orchestrazione.

- Gestire sicurezza e controllo degli accessi in Amazon Redshift, comprendendo autenticazione, sicurezza dei dati, auditing e compliance.

- Progettare pipeline di dati batch efficaci utilizzando i servizi AWS appropriati per il processing e la trasformazione dei dati.

- Implementare strategie complete per pipeline batch, coprendo data processing, trasformazione, integrazione, catalogazione ed esposizione dei dati.

- Ottimizzare, orchestrare e mettere in sicurezza pipeline batch, dimostrando competenze avanzate nell’automazione del data processing e nella sicurezza.

- Architettare pipeline di dati streaming, comprendendo diversi use case, ingestion, storage, processing e analisi tramite servizi AWS.

- Ottimizzare e mettere in sicurezza soluzioni di streaming data, includendo aspetti di compliance e controllo degli accessi.

- Familiarità con i concetti base di machine learning, come supervised e unsupervised learning, regression, classification e algoritmi di clustering.

- Conoscenza operativa del linguaggio Python e delle principali librerie di data science come NumPy, Pandas e Scikit-learn.

- Comprensione di base dei concetti di cloud computing e familiarità con la piattaforma AWS.

- Familiarità con SQL e i database relazionali è consigliata, ma non obbligatoria.

- Esperienza con sistemi di version control come Git è utile, ma non richiesta.