Data Lake Engineer

hace 2 semanas

Madrid, Madrid, España Sdg Group A tiempo completo
We are searching for a remarkable Data Lake Engineer to join our awesome team at SDG Group in Madrid.
Growing your career as a Full Time Data Lake Engineer is an incredible opportunity to develop productive skills.
If you are strong in cooperation, persuasion and have the right initiative for the job, then apply for the position of Data Lake Engineer at SDG Group today

Requisitos mínimos:
Estar graduado en Ingeniería Informática o de Telecomunicaciones.

Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.

Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.

Además será importante que tengas experiencia en algunas de las siguientes herramientas:

Lenguajes:
Python, Java o Scala. Herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark. Además es importante que tengas conocimientos sólidos de HDFS.

Conocimiento de al menos una plataforma de datos con profundidad:
Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, etc. Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows,... Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.

Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.


Requisitos valorables:

Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.

Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.

Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.

Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés. Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...

Acerca del puesto:

SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato.

Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.

Como data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica.

Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.

Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.


Responsabilidades:

Darás tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones técnicas que se llevan a cabo durante las fases de diseño de la misma, priorizando estrategias dirigidas por metadatos y fundamentadas en DataOps.

Participarás en la toma de requerimientos necesarios para arquitecturas y pipelines de datos.

También llevarás a cabo tareas de desarrollo con diferentes tecnologías, aunque principalmente usamos Spark (tanto para procesos en batch como streaming).

Adicionalmente, y aunque nuestros desarrollos habitualmente no se basen en SQL, es importante que tengas la soltura suficiente para hacer exploración de datos.

Somos bastante agnósticos a la tecnología y a la infraestructura en nuestros proyectos, así que es posible que tengas experiencia proyectos en AWS, Azure, GCP u on-premises, por lo que será importante que no te importe estar cambiando de entorno con frecuencia.

A veces también nos toca crear u optimizar tiempos de respuesta en motores de búsqueda, así que cualquier experiencia en Solr o Elastic nos gustará.

Además, en algunos momentos también necesitaremos hacer pruebas de concepto y pruebas con tecnologías nuevas en el mercado y servicios cloud nuevos o que creamos que puedan ser útiles para nuestros proyectos o clientes, por lo que también podrás colaborar en tareas de innovación.

Benefits of working as a Data Lake Engineer in Madrid:

  • Company offers great benefits
  • Company offers career progression opportunities
  • Advantageous package

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Cgi A tiempo completo

    Position Description: At CGI we are looking for a Data Engineer with PalantirRequirements: More than 2 years of experience in the architecture of data solutions developed in the cloud. Palantir Certification Python/PySpark for Data Engineer Knowledge of data management fundamentals and data warehousing principles. Demonstrated strength in data modelling, ETL...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España CGI A tiempo completo

    Position Description: At CGI we are looking for a Data Engineer with Palantir. Requirements: - More than 2 years of experience in the architecture of data solutions developed in the cloud. - Palantir Certification - Python/PySpark for Data Engineer - Knowledge of data management fundamentals and data warehousing principles. - Demonstrated strength in...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Itjobs A tiempo completo

    At CGI we are looking for a Data Engineer with PalantirRequirements:More than 2 years of experience in the architecture of data solutions developed in the cloud.Palantir CertificationPython/PySpark for Data EngineerKnowledge of data management fundamentals and data warehousing principles.Demonstrated strength in data modelling, ETL and Storage/Data Lake...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Cgi A tiempo completo

    At CGI we are looking for a Data Engineer with PalantirRequirements:More than 2 years of experience in the architecture of data solutions developed in the cloud.Palantir CertificationPython/PySpark for Data EngineerKnowledge of data management fundamentals and data warehousing principles.Demonstrated strength in data modelling, ETL and Storage/Data Lake...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Sdi Digital Group A tiempo completo

    Position Description :At CGI we are looking for a Data Engineer with PalantirRequirements :More than 2 years of experience in the architecture of data solutions developed in the cloud.Palantir CertificationPython / PySpark for Data EngineerKnowledge of data management fundamentals and data warehousing principles.Demonstrated strength in data modelling, ETL...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España sg tech A tiempo completo

    Oferta de Trabajo:Data Engineer en sg tech:Hola Estamos buscando un Data Engineer para unirse a nuestro equipo en sg tech. Si eres apasionado por la tecnología y tienes experiência en Azure, Azure Databricks, Spark, Scala, Azure Data Factory y Delta Lake, sigue leyendoPosición:Data Engineer:- Empresa: sg tech- Experiência: 3 añosDescripción del...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Ad4 Octogono A tiempo completo

    En AD4 Octógono estamos en búsqueda de un Data Engineer que tenga experiencia en MLops, con al menos dos años en un puesto similar.En este rol, tendrás la oportunidad de trabajar en un entorno dinámico y colaborativo, ideal para crecer profesionalmente y seguir aprendiendo.Ofrecemos un salario competitivo que se ajusta a tus habilidades y experiencia,...

  • Ingeniero/A Con Big Data, Data Lake, Scala. 100% Teletrabajo

    hace 2 semanas

    Madrid, Madrid, España Krell Consulting & Training, S.L. A tiempo completo

    Estamos buscando a un talentoso Ingeniero/apara unirse a nuestro equipo en Krell-Consulting Si eres un apasionado por la tecnología y te apasiona trabajar con Big Data, Data Lake, SCALA, SQL, Python, Git, CI/CD, este puesto es para tiRequisitos:Experiencia laboral: 6 añosConocimiento en Big Data, Data Lake, SCALA, SQL, Python, Git, CI/CDExcelentes...

  • Ingeniero/A Con Big Data, Data Lake, Scala. 100% Teletrabajo

    hace 2 semanas

    Madrid, Madrid, España Krell Consulting & Training, S.L. A tiempo completo

    Estamos buscando a un talentoso Ingeniero/a para unirse a nuestro equipo en Krell-Consulting Si eres un apasionado por la tecnología y te apasiona trabajar con Big Data, Data Lake, SCALA, SQL, Python, Git, CI/CD, este puesto es para tiRequisitos: Experiencia laboral: 6 añosConocimiento en Big Data, Data Lake, SCALA, SQL, Python, Git, CI/CDExcelentes...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España CGI A tiempo completo

    Position Description:At CGI we are looking for a Data Engineer with PalantirRequirements: More than 2 years of experience in the architecture of data solutions developed in the cloud. Palantir Certification Python/PySpark for Data Engineer Knowledge of data management fundamentals and data warehousing principles. Demonstrated strength in data modelling, ETL...

  • Data Engineer Senior Madrid · Híbrido

    hace 2 semanas

    Madrid, Madrid, España Tecdata Engineering A tiempo completo

    Resumen, tiene que ser un perfil de al menos 3 años de experiencia principalmente como Data Engineer y que haya tenido experiencia también en Data scientist,imprescindibles modelos multidimensionales, es decir Datamart, ETL .. Que tenga al menos 1 lenguaje de programación, preferiblemente Python o Spark .Bases de datos., algunos de los Apaches como...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Second Window A tiempo completo

    Te ofrecemos crecer con nosotros en nuestra unidad tecnológica como Data Engineer / Data Scientist, en un puesto a largo plazo, estable y en modalidad hibrida (3 días teletrabajo, 2 presencial) en unos de los clientes punteros a nível mundial. Se busca un perfil que tenga a partir de 2-3 años de experiência en el ámbito de Data, que tenga experiência...

  • Data Engineer Spark/kafka

    hace 2 semanas

    Madrid, Madrid, España e-Frontiers A tiempo completo

    Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente).Si te encanta trabajar con datos, eres un entusiasta de las nuevas...

  • Data Engineer

    hace 2 semanas

    Madrid, Madrid, España Alter Solutions A tiempo completo

    ¿Qué buscamos?Un perfil de Data Engineer con experiência de al menos 4 años utilizando alguna de las siguientes tecnologías:Dominio de Python Spark. AWS Cloud. Azure Data Lake, Data Factory y Databricks. CI&CD Git. Nível de ingles: C1Additional Information:¿Qué podemos ofrecerte?- Modalidad de trabajo: Totalmente remota. Trabajar en un cliente...

  • data engineer con aws

    hace 2 semanas

    Madrid, Madrid, España IRIUM A tiempo completo

    En nos preocupamos porque no dejes de perseguir tus sueños. Prepárate para conquistar tus metas, y ten siempre presente disfrutar del camino. Estamos buscando a un Data Engineer con AWS para proyecto estable. ¿Qué buscamos?: Solo candidatos que residan en España. Experiencia en proyectos de ingeniería de datos, calidad de datos y gobernanza de datos....

  • Data Engineer Especializado En Gobernanza De Datos

    hace 2 semanas

    Madrid, Madrid, España Grupo Ns A tiempo completo

    Data Engineer especializado en Gobernanza de Datos:Madrid Publicada el 26 de abril de 2024DescripciónDesde Grupo NS necesitamos incorporar un Ingeniero de Datos especializado en gobernanza técnica del dato para un proyecto en modalidad Híbrida (MADRID)Es esencial tener experiência comprobada en ingeniería de datos y llamadas a APIs (mínimo 2 años),...

  • data engineer

    hace 2 semanas

    Madrid, Madrid, España Alovia - H.R. Consultancy Firm A tiempo completo

    ALOVIA es una firma con sede central en Madrid, España. Nos especializamos en la consultoría de RR.HH., basada en la provisión de las mejores soluciones de software del mercado. Transformamos culturas, reconocemos talento, y unimos personas y organizaciones impactando en su desarrollo profesional. Estamos en la búsqueda de un DATA ENGINEER para uno...

  • Data Engineer Especializado Gobernanza De Datos, Hibrido

    hace 2 semanas

    Madrid, Madrid, España Grupo Ns A tiempo completo

    Data Engineer especializado Gobernanza de Datos, hibridoMadrid, Community of MadridData Engineer especializado Gobernanza de Datos, hibridoMadridMadrid, Community of Madrid, ESData Engineer especializado Gobernanza de Datos en hibrido. Desde Grupo NS necesitamos incorporar un Ingeniero de Datos especializado en gobernanza técnica del dato para un proyecto...

  • Data Engineer Con Aws

    hace 2 semanas

    Madrid, Madrid, España Irium - Spain A tiempo completo

    En IRIUM nos preocupamos porque no dejes de perseguir tus sueños. Prepárate para conquistar tus metas, y ten siempre presente disfrutar del camino. Estamos buscando a un Data Engineer con AWS para proyecto estable. ¿Qué buscamos?:Solo candidatos que residan en España. Experiencia en proyectos de ingeniería de datos, calidad de datos y gobernanza de...

  • Data Engineer Azure

    hace 2 semanas

    Madrid, Madrid, España Logicalis Spain A tiempo completo

    En Logicalis Spain estamos buscando varios perfiles de Data Engineer Azure para integrarse en un nuevo proyecto internacional para nuestro área de Data & Analytics.Se trabajará mayoritariamente en remoto, pero con asistencia puntual a las oficinas del cliente en:Alcobendas, Madrid Roma Italia DF México Buenos Aires, ArgentinaREQUISITOS TÉCNICOSBuscamos...