Empleos actuales relacionados con Big Data Engineer - Madrid, Madrid - SDG Group

Necesitamos incorporar personas con ganas de desarrollar su profesión en torno a las tecnologías y paradigmas más punteros e innovativos alrededor de la ingeniería y analítica de datos en una compañía global líder en servicios profesionales de Business Analytics y Data-Driven Solutions, que trabaja con más de 500 clientes en el mundo en una amplia gama de servicios y soluciones. Esta propuesta se enfoca en la práctica de Data Technologies y en el ámbito de lo que tradicionalmente se llamaba Big Data y ahora se engloba en algo más grande, Extreme Data, donde la principal actividad es coleccionar, gobernar y procesar datos para disponerlos para su consumo con las estrategias, metodologías y tecnologías más avanzadas. Se convivirá además con otras áreas de trabajo, teniendo la oportunidad de co-trabajar con ingenieros del ámbito de Modern Data Management, de sistemas de IA y Machine Learning además de Arquitectura Cloud, xOps y otras tecnologías emergentes. 

Quiénes somos:

SDG Group es una firma de consultoría global focalizada exclusivamente en proyectos de Data & Analytics, en cualquier punto de su cadena de valor. Somos una compañía líder en el mercado español, con la mayor plantilla de profesionales dedicados al mundo del dato, y una presencia relevante en países como Estados Unidos, Reino Unido o Italia, entre otros. SDG ha mantenido una trayectoria ascendente a lo largo de sus más de 25 años de historia, con un ritmo de crecimiento notable y sostenido durante los últimos años, y un plan estratégico ambicioso fundado nuestra capacidad de crecimiento sostenible.

La posición abierta es para la incorporación a la Práctica de Data Technologies: departamento de SDG integrado por equipos de especialistas, que promueve la excelencia técnica en la compañía. Se trata de una práctica transversal que da servicio al resto de prácticas y equipos que conforman SDG, y participa en iniciativas y proyectos de relevancia estratégica. Data Technologies se segmenta en diferentes áreas de conocimiento: Innovation, Advisory & Solutioning, Data Management, Extreme Data, AI Engineering y Cloud Architecture, xOps & Emerging Tools. En concreto, el área de la posición a cubrir es Extreme Data.

La actividad del área de Extreme Data abarca un abanico muy amplio de diciplinas dentro de la ingeniería de datos: fundación de Data Lakes, Lake House y Data Clouds, construcción de plataformas de Enterprise Searching e ingeniería alrededor de casos de uso Near Real Time mediante plataformas y soluciones de Event Streming Processing. En todas ellas principalmentese desarrollan etapas de ingesta, procesamiento, limpieza, gobierno, gestión del ciclo de vida de datos, etc  siguiendo las best-practice de las últimas tendencias basadas en conceptos como Data Fabric driven by Metadata y Data Ops.

Qué nos hace diferentes: 

• Modelo de trabajo Smart Work con una combinación de remoto y tiempo en oficina en localizaciones donde haya oficina y 100% remoto en el resto.
• Desarrollo de una carrera como Extreme Data Architect en una compañía de corte internacional tanto desde la perspectiva más tecnológica como de la más metodológica.
• Ser parte de una cultura colaborativa dinámica donde de forma apasionada convergen el conocimiento en diferentes industrias, el buen management y la tecnología.
• Trabajo rodeado de un equipo de práctica con grandes especialistas y referentes profesionales que impulsan y motivan el desarrollo y la realización profesional.
• Contacto y apoyo constante por parte de la dirección y de los diferentes leads
• Pensando siempre en el next-step de Data & Analytics colaborando con el departamento de Innovación.
• Horario laboral flexible y facilidad para la conciliación laboral familiar
• Retribución flexible de salario anual con el objetivo de obtención de ventaja fiscal mediante Tickets Restaurant
• Opción de seguro médico para ti y tu familia, además de otros beneficios sociales.
• Un plan de Educación que atiende a todos los momentos de la carrera laboral.
• Posición con amplias posibilidades de crecimiento mediante un plan de carrera fuertemente tecnológico y especializado además de cuidadosamente diseñado y en constante evolución para ayudarte a conseguir tus metas profesionales:
  • Retrospectivas y revisiones cada 6 meses
  • Valoraciones estrictamente meritocráticas y en base a las 6 dimensiones de crecimiento profesional que establece SDG para cada categoría profesional (Práctica, Operaciones, Equipo, Cliente, Negocio e Influencia).
  • Make your own SDG: consensua tus objetivos con tus managers y adapta tu plan de carrera a tus aspiraciones de crecimiento de acuerdo con tu contexto personal en cada momento.
• Grandes clientes de todos los sectores:
  • Ecosistemas tecnológicos variados y de gran envergadura.
  • Importantes iniciativas de transformación en la mayoría de proyectos.
• Trabajo en colaboración con otras áreas de Data Technologies y otras prácticas y equipos de SDG: Innovation, Advisory & Solutioning, AI Engineering, Extreme Data, Cloud Architecture, xOps & Emerging Tools, Advanced Analytics y Software Factor
• Proyectos liderados y gestionados por SDG en su mayoría: el outsourcing no es la base del negocio de SDG.

Tu día a día con nosotros:

• Definir y diseñar plataformas de data moderno en nube pública o en nube privada, con la estrategia correcta: Data Lake, Lake House, Data Cloud, Data Warehouse Augmenting, Data AnalyticsLake, etc. Teniendo en cuenta todo el ciclo de vida de datos bajo una estrategia dirigida por metadatos y fundametanda en DataOps
• Desplegar, integrar y configurar todos aquellos componentes para la disponibilización de dichas plataformas de datos, entendiendo en profundidad su uso y aplicación en el contexto real de analítica descriptiva y predictiva, y garantizando las características requeridas por en función de todo ello, aplicándose para ello técnicas de DataOps junto con equipos de cloud engineers.
• Desarrollar soluciones de Big Data, Event Streaming o Enterprise Searching end-to-end como parte de equipos multidisciplinares, colaborando en la definición de la solución y llevando a cabo la implementación de todos los procesos involucrados en la construcción y aplicación
• Conocer, gestionar y utilizar las diferentes herramientas y plataformas disponibles en las distintas nubes para el desarrollo de soluciones de Extreme Data: Azure Data Factory, Azure Functions y DataBricks, GCP Dataflow, GCP Dataproc y GCP BigQuery, Confluent, Apache Kafka, Kafka Streams, Schema Registry, kSQL, Elastic Search, SolR, Open Search, AWS EMR, AWS Glue, AWS Redshift  y otros servicios del ecosistema de extreme-data de las diferentes nubes que pivoten principalmente entre Apache Spark y Apache Kafka.
• Aplicar nuevas prácticas y tecnológicas emergentes del desarrollo del software más tradicional o del mundo SaaS o K8s native, a la dimensión de extreme data: Python, Docker, Airflow, Apache Beam. Great Expectations, DBT Cloud, FiveTran, HVR, Argo, etc.
• Participar en la elección de nuevas plataformas de datos, nuevas estrategias de desarrollos, nuevas metodologías, nuevos partnership con los Lead de la compañía y el departamento de innovación.
• Participar junto en el departamento de impulso y los diferentes equipos de cliente y expertos en industria en el desarrollo de propuestas comerciales desde el papel de desarrollo de negocio definiendo la solución, la arquitectura funcional lógica y física y la estimación de esfuerzos y costes de operación.
• Co-trabajar con el departamento de innovación en la labor de perfeccionar y aumentar el portfolio mediante el desarrollo de artefactos de ingeniería aplicables al ecosistema de data y analytics.

¿Qué te llevará a conseguir esta posición?

Formación:

• Ingeniería Informática, Ingeniería de Telecomunicación u otra salida academia que te haya dotado de capacidad de desarrollo y pensamiento crítico en este ambiente.
• Se valora de forma muy positiva tener formación a través de un Master u otras alternativas que aumenten tus skills, por ejemplo, un Máster en Big Data y Analytics

Experiencia:

• A partir de 5 años trabajando en equipo para disponer soluciones productivas de ingeniería de datos extremas en contextos empresariales e industriales.
• A partir de 4 años desarrollando la actividad de (Big) Data Engineer en el ámbito técnico que se propone posteriormente o en ambientes técnicos semejantes que te hayan proporcionado de las mismas habilidades de ingeniería y pensamiento crítico y constructivo.
• A partir de 2 años trabajando en el modelado de Datos, Eventos y diseño de Capas en ambientes Data Lake, Lake House, Data Cloud, Kafka Topics & Partitioning, Schema Registry, etc.
• A partir de 1 años cuidando la calidad de datos aplicando las mejores técnicas, productos, frameworks y estrategias para ello.
• A partir de 1 años realizando la labor de desarrollo de negocio desde la perspectiva de diseño de soluciones de analítica y estimación de esfuerzos.
• Se valoran certificaciones profesionales en Cloud y/o productos del ecosistema de data & analytics.

Conocimientos teórico-prácticos:

• Conocimiento de arquitectura y ciclo de vida de los datos en ambientes de Data Lake, Lake House, Data Cloud, Event Streaming y Enterprise Search Data Platforms
• Conocimiento de las diferentes estrategias de mover datos hacia o desde un repositorio de datos central, esto es Data Collection y Data Delivery y las diferentes técnicas asociadas a cada una de ellas: Change Data Capture, Ingesta de ficheros (Parquet, Avro, Text-File, etc.) en modo batch o microbatch, tratamiento de eventos y sus esquemas, Ingesta desde APIs, Data Sharing, etc.
• Conocimiento de diferentes formas de confeccionar Data Platforms, ya sea Cloud Native o no.

Conocimientos técnicos:

• Lenguajes,
  • Dominio alto de SQL, además se valorará otras variantes y experiencias como puede ser PL/SQL
  • Dominio alto de Python, Java y Scala (al menos uno de estos lenguajes)
  • Dominio medio de Bash u otro paradigma de scripting en Unix
• Conocimiento de un porcentaje medio de herramientas y frameworks específicas ligadas a Extreme Data, algunas que consideramos interesantes: Apache Spark, Apache Flink, Apache Kafka dbt Cloud / CLI, Azure Data Factory, Fivetran, Debezium, Apache Hop, Apache Nifi, Apache Beam, Otras herramientas de integración de datos y orquestación
• Conocimiento de herramientas de orquestación y ejecución de procesos: Apache Airflow, Kedro, Argo, Prefect…
• Conocimiento de al menos una plataforma de datos con profundidad: DataBricks, AWS EMR, AWS Glue, Confluent, Elastic Search, GCP Dataflow & Dataproc, etc.
• Conocimiento y experiencia en el uso de sistemas de control de versiones (SCM), esencialmente Git.
• Conocimiento de herramientas de automatización bajo un paradigma DataOps: Azure DevOps, Jenkins, AWS CodePipeline, Bitbucket Pipelines, GitHub Actions…
• Conocimiento básico con respecto a tecnologías y herramientas de contenerización, esencialmente Docker y Kubernetes.
• Experiencia en la utilización de al menos dos de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos

Soft skills y otras:

• Fuertes habilidades de comunicación y organización con la capacidad de lidiar con la ambigüedad mientras se hacen malabares con múltiples prioridades.
• Ganas de innovar y perseguir la excelencia profesional desde la perspectiva de la técnica.
• Inquietud por la evolución y el desarrollo profesional constante.
• Capacidad de desenvolverse inglés en el entorno profesional