Data Engineer Spark/kafka

hace 2 semanas


Madrid, España e-Frontiers A tiempo completo

Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente).

Si te encanta trabajar con datos, eres un entusiasta de las nuevas tecnologías, te encanta trabajar en entornos internacionales y te apasiona afrontar nuevos retos sigue leyendo.

Funciones
- Ingesta de datos en tiempo real con Kafka: Instalación de Kafka y configuración; definición de Brokers Kafka; creación y supresión de topics; desarrollo de Consumers y Producers para escribir y leer de los topics. Volcado a ficheros para creación del Data Lake.
- Spark: Desarrollo de trabajos en batch y streaming que procesan datos masivos en el Data Lake. Uso de Scala y Jupyter.
- Hive: Desarrollo de consultas masivas y encapsulamiento de trabajos desde fuentes de datos S3/HDFS del Data Lake.
- Creación de servicios en contenedores Docker y orquestación con Jenkins. Configuración de Kubernetes con Helm (Charts) - Integración continua.
Creación de visualizaciones de datos con Kibana/PowerBi.
- Desarrollo de scripting de procesamiento y transformación de datos desde diversas fuentes y destinos: S3, fichero json & avro, MongDB, Google Analytics.

**Requisitos**:

- Se requiere experiência trabajando al menos 2 años como Data Engineer.
- Experiência con Kafka y Spark. El resto de herramientas serán valorables pero no imprescindibles.
- Resumen de tecnologías utilizadas: Kafka, Scala, Jupyter, HDFS, Hive, AWS, S3, Helm, Docker, Kubernetes, Jenkins, Kibana, PowerBI, MongoDB, Google Analytics.

Información Relevante
- Contrato indefinido;
- Salario: desde 30.000€ - 35.000€ (en función de los años de experiência);
- Teletrabajo 100% Remoto. Con opción a ir a la oficina si lo deseas.
- 3 meses de jornada intensiva en verano.
- Horario Flexible.
- Plan de carrera y formación.
- Retribución variable.


  • Data Engineer

    hace 4 semanas


    Madrid, España PSS A tiempo completo

    Data Engineer (Remoto) en Madrid. ¿Te apetece formar parte de una compañía en pleno crecimiento? ¿Y trabajar rodeado del mejor TALENTO en proyectos realmente innovadores? En PSS es posible y nos gustaría conocerte. Actualmente estamos buscando un perfil de Ingeniero de datos / Data Engineer de entre 2 y 4 años de experiência principalmente trabajando...


  • Madrid, España Cas Training A tiempo completo

    Big data engineer en 100% En remoto. CAS Training selecciona a dos desarrolladores con al menos dos años de experiencia en entornos big data Se requiere experiencia en Conocimientos y experencia contrastada en arquitecturas big data Conocimientos consolidados en procesamiento de datos con spark batch y streaming Conocimientos kafka. Arquitectura cloud AWS...

  • Data Engineer

    hace 4 semanas


    Madrid, España CAS TRAINING A tiempo completo

    Data Engineer (Spark Scala Python) en hibrido. Seleccionamos para proyecto de Sector Público ubicado en la zona de Pio XII ( Madrid ) un Data Engineer con mínimo 2 años de experiência con Spark Scala y Python (incluída libreria Pyspark ). - Aportar mínimo 2 años de experiência con Spark Scala y Python. - Conocer lenguaje SQL para consultar bases de...

  • Data Engineer

    hace 4 semanas


    Madrid, España onhunters A tiempo completo

    Descripción Desde** onhunters** estamos buscando** DATA ENGINEER **para trabajar en importante compañía internacional, en **Madrid, en modalidad híbrida.** Las funciones a realizar serán: - Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS - Migración de datos y analítica avanzada a Cloudera. - Integración de...

  • Spark Data Engineer

    hace 3 semanas


    Madrid, España Sdg Group A tiempo completo

    Requisitos mínimos: Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de...

  • Big Data Engineer

    hace 3 semanas


    Madrid, España Onhunters A tiempo completo

    Desde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...

  • Data Engineer

    hace 1 día


    Madrid, España Alovia - H.R. Consultancy Firm A tiempo completo

    ALOVIA es una firma con sede central en Madrid, España. Nos especializamos en la consultoría de RR.HH., basada en la provisión de las mejores soluciones de software del mercado. Transformamos culturas, reconocemos talento, y unimos personas y organizaciones impactando en su desarrollo profesional. Estamos en la búsqueda de un DATA ENGINEER  para uno de...

  • Big Data Engineer

    hace 3 semanas


    Madrid, España Mensoft Consultores, S.L A tiempo completo

    ¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Experiencia de entre 2 y 4 años como Big Data Engineer - Experencia contrastada en arquitecturas Big Data- Experiencia en procesamiento de datos con...

  • Big Data Engineer

    hace 2 semanas


    Madrid, España Onhunters A tiempo completo

    Desde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...

  • Big Data Engineer

    hace 1 día


    Madrid, España Mensoft Consultores, S.L A tiempo completo

    ¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer, que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Al menos de 2 años de experiencia - Experencia contrastada en arquitecturas Big data- Procesamiento de datos con Spark batch y streaming-...

  • Data Engineer

    hace 1 mes


    Madrid, España e-Frontiers A tiempo completo

    Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente). Si te encanta trabajar con datos, eres un entusiasta de las nuevas...


  • Madrid, España Sdg Group A tiempo completo

    ¡Hola Data Lover! En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, ¡sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics! ¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de...

  • Kafka Engineer

    hace 1 mes


    Madrid, España SlashMobility A tiempo completo

    **¿De qué va la empresa en la que trabajarás?** Somos una empresa de soluciones móviles corporativas, la cual desde hace 10 años viene centrado su misión en acelerar la digitalización tecnológica de la sociedad, desarrollamos tanto webs como apps híbridas. En estos años nuestro equipo ha dado forma a más de 1000 proyectos para 150 clientes con...


  • Madrid, España TECDATA ENGINEERING A tiempo completo

    buscamos un data engineer con experiencia en spark scala y conocimientos en AWS Remoto: 100% Ingles: Hablado y escrito

  • Data Engineer

    hace 1 mes


    Madrid, España Walters People A tiempo completo

    Desde Walters People, buscamos Data Engineer, para potente empresa especializada en proyectos de Data & Analytics. Buscamos un perfil con: - Dos años de experiência como Data Engineer. - Experiência trabajando con Python, Scala y Spark. - Nível de inglés medio alto. - Valorable experiência en entornos Cloud. Contrato directo con cliente de forma...


  • Madrid, España Tecdata Engineering A tiempo completo

    Estámos en búsqueda de 2 perfiles Kafka enfocados al mundo de data .Conocimientos generales: solventes en inglés (y español) que tengan conocimientos en Kafka, Kafka Streams, Java, Scala, Spark._Uno de los perfiles debe ser un perfil técnico alto senior con experiencia demostrada en esas tecnologíasModalidad remoto 100% #J-18808-Ljbffr

  • Senior Big Data Engineer

    hace 3 semanas


    Madrid, España Sdi Digital Group A tiempo completo

    Senior Big Data Engineer (Python & Spark) - OpenbankCountry : Spain WHAT YOU WILL BE DOING Data Analytics & Models Sr Analyst Openbank is in the middle of a digital transformation, working in startup format and innovating in core banking product development from within. We want to convey a whole new digital experience to our customers and for that reason we...

  • Data Engineer

    hace 4 semanas


    Tres Cantos, Madrid provincia, España beonit A tiempo completo

    _Desde beonit trabajamos para una de las empresas bancarias referentes en España que se dedica al diseño, desarrollo y gestión de soluciones y servicios IT, tanto para las entidades financieras de su grupo como de otros clientes._ **Buscamos un Data Engineer para la **extracción** y preparación de datos trabajando desde el Área de Data Analytics y en...

  • Data Engineer

    hace 4 días


    Madrid, España TECDATA ENGINEERING A tiempo completo

    En TECDATA estamos buscando un Data Engineer con Experiencia de 3 años -en Spark ,Scala, SQL y Conocimientos en Cloudera, AWS  - ingles Avanzado -Remoto 100%

  • Streaming Data Engineer

    hace 4 semanas


    Madrid, España Sdg Group A tiempo completo

    En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, ¡sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics! ¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de negocio. ¡Es hora de despegar...