Data Engineer

hace 3 meses

Madrid, España SANDAV A tiempo completo

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos.
- Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL.
- Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas)
- Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos.
- Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo.
- Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías)
- Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB
- Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio
- Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad.
- Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento.- **Requisitos mínimos**
- Spark en Scala como lenguaje de desarrollo de canalización de datos heredado
- Spark como servicio en Scala como plataforma de desarrollo de canales de datos
- Experiência en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming,
- Transmisión de estructura Spark y Apache Kafka
- Gestión de soluciones heredadas de almacenamiento de big data (HDFS)
- Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet)
- Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres)
- Shell scripting y Airflow como solución de programación de canalización de datos
- Dremio como herramienta de virtualización de datos
- Dataiku como herramienta de preparación de datos como bonificación
- Inglés nível alto (B2-C1).
- **Requisitos deseados**
- Se valora positivamente si se tiene Francés.
- Madrid, España
- Indefinido
- Experiência de 2 a 5 años
- Ciclo Formativo (FP)
- 36.000 - 42.000
- ingles

)
- 0

)

  • Verisk Analytics Data Engineer III: Expert in Hybrid Cloud Solutions

    hace 2 semanas

    Madrid, Madrid, España Data Engineer Jobs A tiempo completo

    Job OverviewWe are seeking an experienced Data Engineer to join our team in Jersey City, NJ. The successful candidate will have a strong background in designing and developing cloud data pipelines using AWS services.About the RoleThe Data Warehouse Dimensional Modeler is a mid-to-senior level position that provides data pipeline expertise and business...

  • Verisk Analytics Data Engineer Iii

    hace 2 semanas

    Madrid, España Data Engineer Jobs A tiempo completo

    .We help the world see new possibilities and inspire change for better tomorrows. Our analytic solutions bridge content, data, and analytics to help business, people, and society become stronger, more resilient, and sustainable.Job DescriptionHYBRID - ON SITE - MUST BE OK WITH COMING INTO THE JERSEY CITY, NJ OFFICEThe Data Warehouse Dimensional Modeler is a...

  • Verisk Analytics Data Engineer Iii

    hace 1 mes

    Madrid, España Data Engineer Jobs A tiempo completo

    We help the world see new possibilities and inspire change for better tomorrows. Our analytic solutions bridge content, data, and analytics to help business, people, and society become stronger, more resilient, and sustainable.Job DescriptionHYBRID - ON SITE - MUST BE OK WITH COMING INTO THE JERSEY CITY, NJ OFFICEThe Data Warehouse Dimensional Modeler is a...

  • Data Engineer

    hace 1 mes

    Madrid, España Data Privacy A tiempo completo

    Country: SpainLynx Financial Crime Techestá buscando un/aData Engineer (Dask-PySpark)POR QUÉ DEBERÍAS CONSIDERAR ESTA OPORTUNIDADLynx Financial Crime Tech S.A. es una empresa de software basado en IA especializada en la detección de patrones de comportamiento y su aplicación en la detección de fraude y prevención de crímenes financieros.Liderada por...

  • Data Engineer

    hace 6 meses

    Madrid, España Page Personnel España A tiempo completo

    Buscamos un perfil DATA ENGINEER CON AL MENOS 3 AÑOS DE EXPERIENCIA PYTHON, PYSPARK, CLOUD INGLÉS ALTO INGENIERÍA INFORMÁTICA/TELECOMUNICACIONES/MATEMÁTICAS CONTRATO INDEFINIDO|CLIENTE FINAL Buscamos un perfil DATA ENGINEER CON AL MENOS 3 AÑOS DE EXPERIENCIA PYTHON, PYSPARK, CLOUD INGLÉS ALTO INGENIERÍA...

  • Cybersecurity Engineer with NTT Data

    hace 4 días

    Madrid, Madrid, España Ntt Data A tiempo completo

    Job DescriptionCybersecurity Engineer with NTT DataAbout NTT DATAWe are a leading IT services provider, helping clients around the world to achieve their business goals through innovative technology solutions.Job Title: Cybersecurity EngineerThis role is responsible for providing a managed service to clients by proactively identifying and resolving technical...

  • Data Engineer

    hace 1 mes

    Madrid, España Grupo NS A tiempo completo

    **Data Engineer (Data/BI)**: Madrid - Publicada el 18 de octubre de 2024 Descripción En Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiência de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la...

  • Data Engineer

    hace 3 semanas

    Madrid, España Inetum A tiempo completo

    Join Our DATA Team at INETUM!Are you ready to take your career to the next level? We are looking for a talented Data Engineer to join our dynamic team in Madrid with a remote work model!What You'll Do:As a Data Engineer, you will play a crucial role in developing and managing our data pipelines. Your expertise will help us leverage cutting-edge technologies...

  • Data Engineer

    hace 3 semanas

    Madrid, España Inetum A tiempo completo

    Join Our DATA Team at INETUM!Are you ready to take your career to the next level? We are looking for a talented Data Engineer to join our dynamic team in Madrid with a remote work model!What You'll Do:As a Data Engineer, you will play a crucial role in developing and managing our data pipelines. Your expertise will help us leverage cutting-edge technologies...

  • Data Engineer

    hace 6 meses

    Madrid, España sg tech A tiempo completo

    Descripción **Oferta de Trabajo: Data Engineer en sg tech**: ¡Hola! Estamos buscando un Data Engineer para unirse a nuestro equipo en sg tech. Si eres apasionado por la tecnología y tienes experiência en Azure, Azure Databricks, Spark, Scala, Azure Data Factory y Delta Lake, ¡sigue leyendo! **Posición: Data Engineer**: - ** Empresa**: sg tech - **...

  • Data Engineer

    hace 3 semanas

    Madrid, España Inetum A tiempo completo

    Join Our DATA Team at INETUM!Are you ready to take your career to the next level? We are looking for a talented Data Engineer to join our dynamic team in Madrid with a remote work model!What You'll Do:As a Data Engineer, you will play a crucial role in developing and managing our data pipelines. Your expertise will help us leverage cutting-edge technologies...

  • Data Engineer Junior

    hace 6 meses

    Madrid, España Page Personnel España A tiempo completo

    Al menos dos años de experiência como Data Engineer - Experiência con Python - Experiência con ETLs - Experiência con CLOUD (valorable GCP) Contrato indefinido|Trayectoria profesional - Al menos dos años de experiência como Data Engineer - Experiência con Python - Experiência con ETLs - Experiência con CLOUD (valorable GCP) Cliente final líder...

  • Data Engineer

    hace 3 semanas

    Madrid, España Grupo NS A tiempo completo

    DESCRIPCIÓNEn Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiencia de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la migración hacia la nueva plataforma de Snowflake y Matillion. Entre las tareas se...

  • Data Engineer

    hace 1 mes

    Madrid, España Grupo NS A tiempo completo

    DESCRIPCIÓNEn Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiencia de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la migración hacia la nueva plataforma de Snowflake y Matillion. Entre las tareas se...

  • Data Engineer

    hace 1 mes

    Madrid, España Grupo Ns A tiempo completo

    DESCRIPCIÓNEn Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiencia de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la migración hacia la nueva plataforma de Snowflake y Matillion. Entre las tareas se...

  • Data Engineer

    hace 5 meses

    Madrid, España Sg Tech A tiempo completo

    Descripción**Oferta de Trabajo: Data Engineer en sg tech**:¡Hola! Estamos buscando un Data Engineer para unirse a nuestro equipo en sg tech. Si eres apasionado por la tecnología y tienes experiência en Azure, Azure Databricks, Spark, Scala, Azure Data Factory y Delta Lake, ¡sigue leyendo!**Posición: Data Engineer**:- ** Empresa**: sg tech- **...

  • Data Engineer

    hace 3 meses

    Madrid, España Ecf Data, Llc A tiempo completo

    .Our MissionDcycle's mission is to give companies control over sustainability. Sustainability is a very complex language at the methodological level, data engineering, and software development. Yes, sustainability is more about data engineering than saving penguins. However, corporate sustainability teams lack these capabilities. They are unable to meet the...

  • Data Engineer

    hace 1 mes

    Madrid, España Grupo Ns A tiempo completo

    En Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiencia de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la migración hacia la nueva plataforma de Snowflake y Matillion.Entre las tareas se incluye el...

  • Data Engineer

    hace 1 mes

    Madrid, España Grupo NS A tiempo completo

    **Descripción**: En Grupo NS estamos seleccionando un Data Engineer acostumbrado a trabajar en el área de Data/BI y experiência de más de 5 años en SQL así como en herramientas tales como SAP IQ, SAP Data Services o SAP Business Object para realizar funciones de desarrollo y la migración hacia la nueva plataforma de Snowflake y Matillion. Entre las...

  • Data Management Engineer

    hace 6 meses

    Madrid, España Walters People A tiempo completo

    Desde Walters People, buscamos perfil de Data Management Engineer para empresa especializada en datos y puntera a nível internacional en el sector, centrada totalmente en proyectos de Data & Analytics. Se busca un perfil con unos criterios claves: - Background de ingeniería informática y/o telecomunicaciones o similares. - Experiência como Data...