Spark Data Engineer
hace 2 días
Requisitos mínimos:
- Estar graduado en Ingeniería Informática o de Telecomunicaciones.
- Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.
- Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.
- Además será importante que tengas experiencia en algunas de las siguientes herramientas:
- Lenguajes: Python, Java o Scala.
- Herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark. Además es importante que tengas conocimientos sólidos de HDFS.
- Conocimiento de al menos una plataforma de datos con profundidad: Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, etc.
- Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows,...
- Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.
- Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.
Requisitos valorables:
- Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.
- Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.
- Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.
- Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés.
- Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...
Acerca del puesto:
SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.
Como data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica. Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.
Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.
Responsabilidades:
- Darás tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones técnicas que se llevan a cabo durante las fases de diseño de la misma, priorizando estrategias dirigidas por metadatos y fundamentadas en DataOps.
- Participarás en la toma de requerimientos necesarios para arquitecturas y pipelines de datos.
- También llevarás a cabo tareas de desarrollo con diferentes tecnologías, aunque principalmente usamos Spark (tanto para procesos en batch como streaming). Adicionalmente, y aunque nuestros desarrollos habitualmente no se basen en SQL, es importante que tengas la soltura suficiente para hacer exploración de datos.
- Somos bastante agnósticos a la tecnología y a la infraestructura en nuestros proyectos, así que es posible que tengas experiencia proyectos en AWS, Azure, GCP u on-premises, por lo que será importante que no te importe estar cambiando de entorno con frecuencia.
- A veces también nos toca crear u optimizar tiempos de respuesta en motores de búsqueda, así que cualquier experiencia en Solr o Elastic nos gustará.
- Además, en algunos momentos también necesitaremos hacer pruebas de concepto y pruebas con tecnologías nuevas en el mercado y servicios cloud nuevos o que creamos que puedan ser útiles para nuestros proyectos o clientes, por lo que también podrás colaborar en tareas de innovación.
-
Engineer Data Scala Spark, Hibrido
hace 6 meses
Madrid, España CAS TRAINING A tiempo completoEngineer DATA Scala SPARK en hibrido. Cas Training empresa de referencia con más de 20 años en consultoría tecnológica outsourcing y formación especializada selecciona a un/a para un Engineer DATA Scala SPARK para un importante proyecto en modalidad modalidad híbrida en Madrid **Requisitos**: - Data Engineer con conocimientos de - Scala (mandatory)...
-
Engineer Data Scala Spark, Hibrido
hace 2 meses
Madrid, España Reconocida Empresa A tiempo completoEngineer DATA Scala SPARK en híbrido. Cas Training, empresa de referencia con más de 20 años en consultoría tecnológica, outsourcing y formación especializada, selecciona a un/a Engineer DATA Scala SPARK para un importante proyecto en modalidad híbrida en Madrid.Requisitos Data Engineer con conocimientos de:Scala (mandatory)Spark (mandatory)Python...
-
Data Engineer Con Spark Y Mongodb
hace 1 mes
Madrid, España Tecdata Engineering A tiempo completoBuscamos un Data Engineer con experiencia demostrable de más de 3 años en Spark y MongoDB, para trabajar en proyectos avanzados en la nube.Requisitos:Más de 3 años de experiencia con Spark y MongoDB.Experiencia en algún hiperescalador Cloud, preferiblemente Azure.Capacidad para trabajar de forma autónoma.100% remoto.Esta posición es ideal para alguien...
-
Data Engineer Spark Y Mongodb
hace 1 mes
Madrid, España Tecdata Engineering A tiempo completoDescripción:Estamos en busca de un Data Engineer con experiencia en Spark y MongoDB, así como en entornos de Cloud (preferiblemente Azure) para trabajar en modalidad 100% remota.Buscamos a alguien con capacidad de autogestión y disponibilidad inmediata.Requisitos:Más de 3 años de experiencia con Spark y MongoDB (experiencia demostrable).Experiencia...
-
Data Engineer Spark/scala
hace 3 meses
Madrid, España Inetum Spain A tiempo completo**Company Description** Why INETUM?** We are an international, agile digital consultancy. In the post-digital transformation era, we strive to ensure that each of our 28,000 professionals can continuously renew themselves. Each of them can design their professional journey according to their preferences, collaborate with their clients to practically build...
-
Data Engineer Spark
hace 6 meses
Madrid, España Tuyú Technology A tiempo completoData Engineer Spark - Scala en hibrido.¿Quieres crecer profesionalmente?¿Buscas nuevos retos a nivel profesional?¡Te estamos buscando!En TUYÚ Technology buscamos Data Engineer / Ingeniero de datos para importante cliente especializado en Ingeniería.¿Qué ofrecemos?Trabajar en proyectos de larga duración con una alta carga tecnológica de equipos...
-
Data Engineer Spark
hace 1 semana
Madrid, España Tuyú Technology A tiempo completoData Engineer Spark - Scala¿Quieres crecer profesionalmente? ¿Buscas nuevos retos a nivel profesional? ¡Te estamos buscando! En TUYÚ Technology buscamos Data Engineer / Ingeniero de datos para importante cliente especializado en Ingeniería.¿Qué ofrecemos?Trabajar en proyectos de larga duración con una alta carga tecnológica de equipos...
-
Ca13 - Data Engineer (Python & Spark)
hace 6 meses
Madrid, España Ingefor International A tiempo completoDescripción Desde Ingefor International, buscamos DATA ENGINEER con al menos 2 años de experiência: Requisitos imprescindibles: Data Engineer para realizar la programación de las ingestas y transformaciones del proyecto de Datalake de WH bajo tecnología AWS. - Python Intermedio Obligatorio - Spark Streaming Intermedio Obligatorio
-
Data Engineer
hace 6 meses
Madrid, España CAS TRAINING A tiempo completoData Engineer (Spark Scala Python) en hibrido. Seleccionamos para proyecto de Sector Público ubicado en la zona de Pio XII ( Madrid ) un Data Engineer con mínimo 2 años de experiência con Spark Scala y Python (incluída libreria Pyspark ). - Aportar mínimo 2 años de experiência con Spark Scala y Python. - Conocer lenguaje SQL para consultar bases de...
-
Data Engineer Spark
hace 1 mes
Madrid, España Tuyú Technology A tiempo completoData Engineer Spark - Scala en hibrido.¿Quieres crecer profesionalmente? ¿Buscas nuevos retos a nivel profesional? ¡Te estamos buscando! En TUYÚ Technology buscamos Data Engineer / Ingeniero de datos para importante cliente especializado en Ingeniería.¿Qué ofrecemos?Trabajar en proyectos de larga duración con una alta carga tecnológica de equipos...
-
Data Engineer Spark
hace 1 semana
Madrid, España Tuyú Technology A tiempo completoData Engineer Spark - Scala¿Quieres crecer profesionalmente? ¿Buscas nuevos retos a nivel profesional? ¡Te estamos buscando! En TUYÚ Technology buscamos Data Engineer / Ingeniero de datos para importante cliente especializado en Ingeniería.¿Qué ofrecemos?Trabajar en proyectos de larga duración con una alta carga tecnológica de equipos...
-
Data Engineer
hace 6 meses
Madrid, España Cas Training A tiempo completoData Engineer (Spark Scala Python) en hibrido.Seleccionamos para proyecto de Sector Público ubicado en la zona de Pio XII ( Madrid ) un Data Engineer con mínimo 2 años de experiência con Spark Scala y Python (incluída libreria Pyspark ).- Aportar mínimo 2 años de experiência con Spark Scala y Python.- Conocer lenguaje SQL para consultar bases de...
-
Data Engineer Spark
hace 2 semanas
Madrid, España Tuyú Technology A tiempo completoData Engineer Spark - Scala ¿Quieres crecer profesionalmente?¿Buscas nuevos retos a nivel profesional?¡Te estamos buscando!En TUYÚ Technology buscamos Data Engineer / Ingeniero de datos para importante cliente especializado en Ingeniería.¿Qué ofrecemos?Trabajar en proyectos de larga duración con una alta carga tecnológica de equipos...
-
Ca13 - Data Engineer (Python & Spark)
hace 6 meses
Madrid, España Ingefor International A tiempo completoDescripciónDesde Ingefor International, buscamos DATA ENGINEER con al menos 2 años de experiência:Requisitos imprescindibles:Data Engineer para realizar la programación de las ingestas y transformaciones del proyecto de Datalake de WH bajo tecnología AWS.- Python Intermedio Obligatorio- Spark Streaming Intermedio Obligatorio
-
Senior Data Engineer Spark Expert
hace 6 meses
Madrid, España Tech Rise People A tiempo completo**Key Responsibilities**: - Spark Expert: Efficiently process and analyse massive datasets using Spark/Pyspark. Implement, optimize, and fine-tune ETL processes for integrating data from various sources. - Hands-on experience with Databricks, particularly with Medallion architecture, to build and manage scalable data pipelines. - Design, develop, and...
-
Spark Data Engineer
hace 6 meses
Madrid, España Sdg Group A tiempo completo.Requisitos mínimos:Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de...
-
Data Engineer Spark Y Mongodb Madrid · Completamente Remoto
hace 2 semanas
Madrid, España buscojobs España A tiempo completoData Engineer Spark y MongoDB Madrid · Completamente remotoDescripción del empleo:Estamos en busca de un Data Engineer con experiencia en Spark y MongoDB, así como en entornos de Cloud (preferiblemente Azure) para trabajar en modalidad 100% remota. Buscamos a alguien con capacidad de autogestión y disponibilidad inmediata.Responsabilidades:Más de 3...
-
Data Engineer Spark Y Mongodb Madrid · Completamente Remoto
hace 2 semanas
Madrid, España buscojobs España A tiempo completoData Engineer Spark y MongoDB Madrid · Completamente remotoDescripción del empleo:Estamos en busca de un Data Engineer con experiencia en Spark y MongoDB, así como en entornos de Cloud (preferiblemente Azure) para trabajar en modalidad 100% remota. Buscamos a alguien con capacidad de autogestión y disponibilidad inmediata.Responsabilidades:Más de 3...
-
Madrid, España buscojobs España A tiempo completoData Engineer Spark y MongoDB Madrid · Completamente remoto Descripción del empleo: Estamos en busca de un Data Engineer con experiencia en Spark y MongoDB, así como en entornos de Cloud (preferiblemente Azure) para trabajar en modalidad 100% remota. Buscamos a alguien con capacidad de autogestión y disponibilidad inmediata. Responsabilidades: Más de...
-
Spark Data Engineer
hace 6 meses
Madrid, España Sdg Group A tiempo completoRequisitos mínimos: Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de...
