Data Engineer Spark/kafka
hace 2 semanas
Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente).
Si te encanta trabajar con datos, eres un entusiasta de las nuevas tecnologías, te encanta trabajar en entornos internacionales y te apasiona afrontar nuevos retos sigue leyendo.
Funciones
- Ingesta de datos en tiempo real con Kafka: Instalación de Kafka y configuración; definición de Brokers Kafka; creación y supresión de topics; desarrollo de Consumers y Producers para escribir y leer de los topics. Volcado a ficheros para creación del Data Lake.
- Spark: Desarrollo de trabajos en batch y streaming que procesan datos masivos en el Data Lake. Uso de Scala y Jupyter.
- Hive: Desarrollo de consultas masivas y encapsulamiento de trabajos desde fuentes de datos S3/HDFS del Data Lake.
- Creación de servicios en contenedores Docker y orquestación con Jenkins. Configuración de Kubernetes con Helm (Charts) - Integración continua.
Creación de visualizaciones de datos con Kibana/PowerBi.
- Desarrollo de scripting de procesamiento y transformación de datos desde diversas fuentes y destinos: S3, fichero json & avro, MongDB, Google Analytics.
**Requisitos**:
- Se requiere experiência trabajando al menos 2 años como Data Engineer.
- Experiência con Kafka y Spark. El resto de herramientas serán valorables pero no imprescindibles.
- Resumen de tecnologías utilizadas: Kafka, Scala, Jupyter, HDFS, Hive, AWS, S3, Helm, Docker, Kubernetes, Jenkins, Kibana, PowerBI, MongoDB, Google Analytics.
Información Relevante
- Contrato indefinido;
- Salario: desde 30.000€ - 35.000€ (en función de los años de experiência);
- Teletrabajo 100% Remoto. Con opción a ir a la oficina si lo deseas.
- 3 meses de jornada intensiva en verano.
- Horario Flexible.
- Plan de carrera y formación.
- Retribución variable.
-
Data Engineer
hace 4 semanas
Madrid, España PSS A tiempo completoData Engineer (Remoto) en Madrid. ¿Te apetece formar parte de una compañía en pleno crecimiento? ¿Y trabajar rodeado del mejor TALENTO en proyectos realmente innovadores? En PSS es posible y nos gustaría conocerte. Actualmente estamos buscando un perfil de Ingeniero de datos / Data Engineer de entre 2 y 4 años de experiência principalmente trabajando...
-
Big Data Engineer, 100% En Remoto
hace 3 semanas
Madrid, España Cas Training A tiempo completoBig data engineer en 100% En remoto. CAS Training selecciona a dos desarrolladores con al menos dos años de experiencia en entornos big data Se requiere experiencia en Conocimientos y experencia contrastada en arquitecturas big data Conocimientos consolidados en procesamiento de datos con spark batch y streaming Conocimientos kafka. Arquitectura cloud AWS...
-
Data Engineer
hace 4 semanas
Madrid, España CAS TRAINING A tiempo completoData Engineer (Spark Scala Python) en hibrido. Seleccionamos para proyecto de Sector Público ubicado en la zona de Pio XII ( Madrid ) un Data Engineer con mínimo 2 años de experiência con Spark Scala y Python (incluída libreria Pyspark ). - Aportar mínimo 2 años de experiência con Spark Scala y Python. - Conocer lenguaje SQL para consultar bases de...
-
Data Engineer
hace 4 semanas
Madrid, España onhunters A tiempo completoDescripción Desde** onhunters** estamos buscando** DATA ENGINEER **para trabajar en importante compañía internacional, en **Madrid, en modalidad híbrida.** Las funciones a realizar serán: - Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS - Migración de datos y analítica avanzada a Cloudera. - Integración de...
-
Spark Data Engineer
hace 3 semanas
Madrid, España Sdg Group A tiempo completoRequisitos mínimos: Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de...
-
Big Data Engineer
hace 3 semanas
Madrid, España Onhunters A tiempo completoDesde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...
-
Data Engineer
hace 1 día
Madrid, España Alovia - H.R. Consultancy Firm A tiempo completoALOVIA es una firma con sede central en Madrid, España. Nos especializamos en la consultoría de RR.HH., basada en la provisión de las mejores soluciones de software del mercado. Transformamos culturas, reconocemos talento, y unimos personas y organizaciones impactando en su desarrollo profesional. Estamos en la búsqueda de un DATA ENGINEER para uno de...
-
Big Data Engineer
hace 3 semanas
Madrid, España Mensoft Consultores, S.L A tiempo completo¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Experiencia de entre 2 y 4 años como Big Data Engineer - Experencia contrastada en arquitecturas Big Data- Experiencia en procesamiento de datos con...
-
Big Data Engineer
hace 2 semanas
Madrid, España Onhunters A tiempo completoDesde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...
-
Big Data Engineer
hace 1 día
Madrid, España Mensoft Consultores, S.L A tiempo completo¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer, que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Al menos de 2 años de experiencia - Experencia contrastada en arquitecturas Big data- Procesamiento de datos con Spark batch y streaming-...
-
Data Engineer
hace 1 mes
Madrid, España e-Frontiers A tiempo completoDesde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente). Si te encanta trabajar con datos, eres un entusiasta de las nuevas...
-
Kafka / Real-Time Engineer
hace 2 semanas
Madrid, España Sdg Group A tiempo completo¡Hola Data Lover! En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, ¡sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics! ¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de...
-
Kafka Engineer
hace 1 mes
Madrid, España SlashMobility A tiempo completo**¿De qué va la empresa en la que trabajarás?** Somos una empresa de soluciones móviles corporativas, la cual desde hace 10 años viene centrado su misión en acelerar la digitalización tecnológica de la sociedad, desarrollamos tanto webs como apps híbridas. En estos años nuestro equipo ha dado forma a más de 1000 proyectos para 150 clientes con...
-
Perfil data con Spark Scala y AWS
hace 5 días
Madrid, España TECDATA ENGINEERING A tiempo completobuscamos un data engineer con experiencia en spark scala y conocimientos en AWS Remoto: 100% Ingles: Hablado y escrito
-
Data Engineer
hace 1 mes
Madrid, España Walters People A tiempo completoDesde Walters People, buscamos Data Engineer, para potente empresa especializada en proyectos de Data & Analytics. Buscamos un perfil con: - Dos años de experiência como Data Engineer. - Experiência trabajando con Python, Scala y Spark. - Nível de inglés medio alto. - Valorable experiência en entornos Cloud. Contrato directo con cliente de forma...
-
Madrid, España Tecdata Engineering A tiempo completoEstámos en búsqueda de 2 perfiles Kafka enfocados al mundo de data .Conocimientos generales: solventes en inglés (y español) que tengan conocimientos en Kafka, Kafka Streams, Java, Scala, Spark._Uno de los perfiles debe ser un perfil técnico alto senior con experiencia demostrada en esas tecnologíasModalidad remoto 100% #J-18808-Ljbffr
-
Senior Big Data Engineer
hace 3 semanas
Madrid, España Sdi Digital Group A tiempo completoSenior Big Data Engineer (Python & Spark) - OpenbankCountry : Spain WHAT YOU WILL BE DOING Data Analytics & Models Sr Analyst Openbank is in the middle of a digital transformation, working in startup format and innovating in core banking product development from within. We want to convey a whole new digital experience to our customers and for that reason we...
-
Data Engineer
hace 4 semanas
Tres Cantos, Madrid provincia, España beonit A tiempo completo_Desde beonit trabajamos para una de las empresas bancarias referentes en España que se dedica al diseño, desarrollo y gestión de soluciones y servicios IT, tanto para las entidades financieras de su grupo como de otros clientes._ **Buscamos un Data Engineer para la **extracción** y preparación de datos trabajando desde el Área de Data Analytics y en...
-
Data Engineer
hace 4 días
Madrid, España TECDATA ENGINEERING A tiempo completoEn TECDATA estamos buscando un Data Engineer con Experiencia de 3 años -en Spark ,Scala, SQL y Conocimientos en Cloudera, AWS - ingles Avanzado -Remoto 100%
-
Streaming Data Engineer
hace 4 semanas
Madrid, España Sdg Group A tiempo completoEn SDG, no solo tendrás la oportunidad de formar parte de algo increíble, ¡sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics! ¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de negocio. ¡Es hora de despegar...