-Deseñar, desarrollar, construir, probar y mantener los sistemas de procesamiento de datos
-Modelar los datos
-Realizar las conexiones a las distintas fuentes de datos
-Programar las ingestas de datos, con procesos de limpieza y agregación para que la información le llegue al Data Scientist tal como se la espera
-Configurar clusters para que los modelos se ejecuten de manera óptima
-Productivizar los casos de uso desarrollados por los DSc
-Probar y desplegar el sw (CI, QA, CD)- función devops
Conocimientos Requeridos:
-Conocimiento de Linux y Git como ingeniero que trabaja en proyectos de software.
-Hadoop y Spark a nivel de entornos
-Map Reduce a nivel de modelos computacionales
-HDFS, SQL y NoSQL (MongoDB, Elastic, …)
-Uno o dos lenguajes de programación: Python para procesado de datos, Scala como lenguaje nativo de Spark y Java en muchos casos.
-Gobierno de datos y seguridad aplicada a los mismos
Área: Lugar: España Fecha: 27/10/2022 Ref: Data Engineering - España
