Data Engineer – Spark

Hace 2 días

madrid, comunidad de madrid, España Ad4 Octogono Jornada completa

En AD4 Octógono estamos buscando talento

Buscamos un/a Data Engineer especializado/a en Spark y Scala , con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.

La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Requisitos imprescindibles

  • Experiencia profesional de al menos 2 años en Data Engineering , con experiencia práctica en desarrollo con Spark y Scala.
  • Conocimientos sólidos de Apache Spark, Scala y Hadoop .
  • Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
  • Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
  • Conocimientos de servicios AWS:
  • AWS EMR.
  • AWS Glue.
  • AWS Lambda.
  • AWS Step Functions.
  • Experiencia en orquestación, planificación y monitorización de procesos batch.
  • Conocimientos de Terraform para configuración de infraestructura.
  • Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.
  • Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
  • Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.
  • Conocimientos de scripting con Bash y Python .
  • Experiencia trabajando en entornos Unix/Linux.
  • Control de versiones con Git y herramientas de construcción como Maven.
  • Conocimientos de procesos CI/CD y herramientas como Jenkins.
  • Experiencia con Jira.
  • Inglés C1 , imprescindible para la comunicación en un entorno profesional internacional.

Funciones y responsabilidades

Desarrollo e ingeniería de datos

  • Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.
  • Implementar procesos ETL y transformaciones complejas de información.
  • Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
  • Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.

Arquitectura y servicios AWS

  • Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.
  • Trabajar con AWS EMR, Glue y Lambda.
  • Gestionar ejecuciones parametrizadas y flujos de procesamiento.
  • Participar en la configuración y automatización de infraestructura mediante Terraform.

Calidad y validación de datos

  • Desarrollar y ejecutar procesos de validación y reconciliación de datos.
  • Realizar controles de calidad mediante SQL y Amazon Athena.
  • Detectar valores nulos, duplicados e inconsistencias.
  • Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.

Operación y soporte de producción

  • Monitorizar y solucionar incidencias en procesos productivos.
  • Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
  • Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
  • Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.
  • Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Se valorará especialmente

  • Experiencia en banca o servicios financieros.
  • Conocimiento de procesos de reporting regulatorio.
  • Experiencia en banca minorista, empresarial o corporativa.
  • Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
  • Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.
  • Conocimientos de Control-M para planificación y gestión de procesos batch.
  • Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
  • Experiencia elaborando documentación técnica y operativa.

Competencias personales

  • Capacidad analítica y resolución estructurada d