Spark Data Engineer

hace 3 semanas

Madrid, España Sdg Group A tiempo completo

Requisitos mínimos: Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.Además será importante que tengas experiencia en algunas de las siguientes herramientas:Lenguajes: Python, Java o Scala.Herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark. Además es importante que tengas conocimientos sólidos de HDFS.Conocimiento de al menos una plataforma de datos con profundidad: Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, etc.Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows,...Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.Requisitos valorables: Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés.Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...Acerca del puesto: SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.
Como data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica. Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.
Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.
Responsabilidades: Darás tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones técnicas que se llevan a cabo durante las fases de diseño de la misma, priorizando estrategias dirigidas por metadatos y fundamentadas en DataOps.Participarás en la toma de requerimientos necesarios para arquitecturas y pipelines de datos.También llevarás a cabo tareas de desarrollo con diferentes tecnologías, aunque principalmente usamos Spark (tanto para procesos en batch como streaming). Adicionalmente, y aunque nuestros desarrollos habitualmente no se basen en SQL, es importante que tengas la soltura suficiente para hacer exploración de datos.Somos bastante agnósticos a la tecnología y a la infraestructura en nuestros proyectos, así que es posible que tengas experiencia proyectos en AWS, Azure, GCP u on-premises, por lo que será importante que no te importe estar cambiando de entorno con frecuencia.A veces también nos toca crear u optimizar tiempos de respuesta en motores de búsqueda, así que cualquier experiencia en Solr o Elastic nos gustará.Además, en algunos momentos también necesitaremos hacer pruebas de concepto y pruebas con tecnologías nuevas en el mercado y servicios cloud nuevos o que creamos que puedan ser útiles para nuestros proyectos o clientes, por lo que también podrás colaborar en tareas de innovación.
#J-18808-Ljbffr

  • Engineer Spark, Madrid

    hace 6 días

    Madrid, España Grupo NS A tiempo completo

    Engineer Spark en Madrid. Desde Grupo NS precisamos incorporar un Ingeniere datos senior (mínimo 3 años de experiência con este rol y en las actividades solicitadas) que haya trabajado en la productivización de modelos analíticos. No es un perfil de científico de datos solo debe contar con experiência en el paso a producción de los modelos ya...

  • Data Engineer

    hace 4 semanas

    Madrid, España e-Frontiers A tiempo completo

    Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente). Si te encanta trabajar con datos, eres un entusiasta de las nuevas...

  • Senior Engineer Spark, Madrid

    hace 6 días

    Madrid, España Grupo NS A tiempo completo

    Senior Engineer Spark en Madrid. Desde Grupo NS precisamos incorporar perfiles con experiência como Data Engineer de al menos tres años. Imprescindible conocimiento en el ciclo de vida de modelos analíticos (productivización de los modelos ya desarrollados fine tunning reentrenamiento optimización y refactorización) Conocimiento (e idealmente...

  • Perfil data con Spark Scala y AWS

    hace 3 días

    Madrid, España TECDATA ENGINEERING A tiempo completo

    buscamos un data engineer con experiencia en spark scala y conocimientos en AWS Remoto: 100% Ingles: Hablado y escrito

  • Data Engineer

    hace 4 semanas

    Madrid, España Walters People A tiempo completo

    Desde Walters People, buscamos Data Engineer, para potente empresa especializada en proyectos de Data & Analytics. Buscamos un perfil con: - Dos años de experiência como Data Engineer. - Experiência trabajando con Python, Scala y Spark. - Nível de inglés medio alto. - Valorable experiência en entornos Cloud. Contrato directo con cliente de forma...

  • Big Data Engineer

    hace 7 días

    Madrid, España Aderen A tiempo completo

    Job Opening ID - 1817 - Project lenght in months - Largo Plazo - Languages - Español - Knowledge area - Skills - Big Data, Spark, Unix/Linux - Rate - Eur - 240-260 - Job Description **BUSCAMOS**: Big Data Engineer **FUNCIONES - TAREAS & CONOCIMIENTOS**: Profesional con experiência de al menos 3 años como Big Data Engineer **Conocimientos...

  • Data Engineer

    hace 4 semanas

    Madrid, España onhunters A tiempo completo

    Descripción Desde** onhunters** estamos buscando** DATA ENGINEER **para trabajar en importante compañía internacional, en **Madrid, en modalidad híbrida.** Las funciones a realizar serán: - Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS - Migración de datos y analítica avanzada a Cloudera. - Integración de...

  • Data Engineer

    hace 3 días

    Madrid, España TECDATA ENGINEERING A tiempo completo

    En TECDATA estamos buscando un Data Engineer con Experiencia de 3 años -en Spark ,Scala, SQL y Conocimientos en Cloudera, AWS  - ingles Avanzado -Remoto 100%

  • Data Engineer

    hace 6 días

    Madrid, España Alter Solutions A tiempo completo

    **¿Qué buscamos?** Un perfil de **Data Engineer **con experiência de al menos 4 años utilizando alguna de las siguientes tecnologías: - Dominio de Python - Spark. - AWS Cloud. - Azure Data Lake, Data Factory y Databricks. - CI&CD - Git. - Nível de ingles: C1 **Additional Information**: **¿Qué podemos ofrecerte?** - ** **Modalidad de trabajo:...

  • Data Engineer

    hace 4 semanas

    Madrid, España Entelgy A tiempo completo

    ¿Tienes un perfil de Ingeniero de Datos y buscas un proyecto estable con un modelo de 100% teletrabajo? En Entelgy estamos reforzando nuestro equipo de Data & Analytics con una nuevo compañero, para participar en proyecto de largo recorrido en cliente multinacional. El perfil que buscamos para el equipo es el de un Data Engineer con experiência avanzada...

  • Data Engineer, Hibrido

    hace 2 días

    Madrid, España CMV Consultores A tiempo completo

    Data Engineer en hibrido. CMV Consultores es una empresa de Servicios de IT dedicada fundamentalmente a la selección de profesionales con perfiles técnicos. Asimismo ofrece a sus clientes servicios de asesoría y soporte en la implantación de soluciones tecnológicas y desarrollo de aplicaciones. ¿Estás buscando una nueva oportunidad o un nuevo...

  • Data Engineer, Hibrido

    hace 22 horas

    Madrid, España Cmv Consultores A tiempo completo

    Data Engineer en hibrido. CMV Consultores es una empresa de Servicios de IT dedicada fundamentalmente a la selección de profesionales con perfiles técnicos. Asimismo ofrece a sus clientes servicios de asesoría y soporte en la implantación de soluciones tecnológicas y desarrollo de aplicaciones. ¿Estás buscando una nueva oportunidad o un nuevo...

  • Big Data Engineer, 100% En Remoto

    hace 3 semanas

    Madrid, España Cas Training A tiempo completo

    Big data engineer en 100% En remoto. CAS Training selecciona a dos desarrolladores con al menos dos años de experiencia en entornos big data Se requiere experiencia en Conocimientos y experencia contrastada en arquitecturas big data Conocimientos consolidados en procesamiento de datos con spark batch y streaming Conocimientos kafka. Arquitectura cloud AWS...

  • Data Engineer

    hace 4 semanas

    Madrid, España PSS A tiempo completo

    Data Engineer (Remoto) en Madrid. ¿Te apetece formar parte de una compañía en pleno crecimiento? ¿Y trabajar rodeado del mejor TALENTO en proyectos realmente innovadores? En PSS es posible y nos gustaría conocerte. Actualmente estamos buscando un perfil de Ingeniero de datos / Data Engineer de entre 2 y 4 años de experiência principalmente trabajando...

  • Big Data Engineer

    hace 3 semanas

    Madrid, España Onhunters A tiempo completo

    Desde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...

  • Cloudera Data Engineer

    hace 6 días

    Madrid, España onhunters A tiempo completo

    Descripción Desde** onhunters** estamos buscando** CLOUDERA DATA ENGINEER **para trabajar en importante compañía internacional, en **Madrid.** Las funciones a realizar serán: - Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS - Migración de datos y analítica avanzada a Cloudera. - Integración de flujos y...

  • Data Engineer Spark Y Scala Madrid

    hace 4 semanas

    Madrid, España Twtspain A tiempo completo

    En The Whiteam Consulting estamos buscando Data Engineer con inglés yal menos 2-3 años de experiencia para formar parte de un importante proyecto de empresa multinacional, estable a largo plazo , en Madrid ¿Qué buscamos? Necesitamos que domines: ? Spark y Scala ? Inglés B2. Escrito y oral fluido. Se valorará otros conocimientos técnicos como: HDFS,...

  • Data Science Engineer

    hace 4 semanas

    Madrid, España TEC Partners A tiempo completo

    Job Type: Permanent Sector: Technology Seniority: Experienced Essential skils: Data Location: Madrid Region: Madrid Region Salary: Negotiable Data Science Engineer - Permanent Role - Minimum 2 years - Madrid Based TEC Partners is looking for a Data Science Engineer to join my clients Data team based in Madrid. You will play a key part in productising...

  • Data/Big Data Java/Spark

    hace 22 horas

    Madrid, España Tecdata Engineering A tiempo completo

    ¡Únete a nuestro equipo remoto como Data/Big Data Java/Spark! ¡Estamos buscando un desarrollador con al menos 2 años de experiencia para unirse a nuestro equipo dinámico y apasionado en el campo de Data/Big Data!Responsabilidades:Desarrollo, pruebas y despliegue de microservicios con Java y Spring Boot.Definición y ejecución de pruebas unitarias,...

  • Data Engineer, Madrid

    hace 7 días

    Madrid, España Digital Talent Agency A tiempo completo

    Data Engineer en Madrid. ¿Estás buscando impulsar tu carrera profesional como científico/a o ingeniero/a de datos y te gustaría...? Formar parte del Departamento de I+D de una importante multinacional del sector industrial Participar en el desarrollo y despliegue de nuevos productos y soluciones Trabajar con herramientas como Python Azure...