Streaming Data Engineer

hace 1 semana

Madrid, España Sdg Group A tiempo completo

En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics
¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de negocio.
Es hora de despegar hacia el futuro mediante el poder de los datos Únete a nosotros y prepárate para romper las reglas y alcanzar tu mejor versión ?????.
Descubre el poder de SDG: líderes globales en la industria del dato ???????? En SDG trabajamos para la mitad de las empresas del IBEX-35, pero también en multitud de compañías internacionales. Gracias al boom de la analítica, estamos en un ritmo constante de crecimiento, y desde 1994 nos hemos convertido en el socio de confianza para empresas que desean maximizar todo el potencial de sus datos.
Si buscas formar parte de una compañía 100% especializada en #Data & #Analytics, te estamos esperando
Requisitos mínimos ???? Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos.Experiencia de al menos 2 años trabajando en proyectos de tratamiento de datos en tiempo real.Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.Además será importante que tengas experiencia en algunas de las siguientes herramientas:Conocimientos sólidos en algunos de los frameworks y herramientas más relevantes en el procesamiento de eventos en streaming: Spark Structured Streaming, Flink, KStreams y/o ksqlDB.Conocimientos sólidos sobre Kafka u otros brokers de mensajería, independientemente de si son desplegados en on premise o en cualquier de sus variantes cloud (Confluent, MSK, Pub/Sub, Azure Event Hubs,...).Experiencia en todos los servicios adyacentes a Kafka como Kafka Connect, Schema Registry, MirrorMaker, clientes CDC...Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.Requisitos valorables ???? Se valora de forma muy positiva tener formación a través de un Máster u otras alternativas que aumenten tus skills, por ejemplo, un Máster en Big Data y Analytics.Hacemos muchas pruebas en local con el uso de contenedores, así que será importante que puedas manejar Docker. También será muy bien valorado conocimientos en Kubernetes.Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés.Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.Acerca del puesto ???? SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.
Como Streaming data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica.
Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.
Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.
Dar tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones que se llevan a cabo durante las fases de diseño de los proyectos que llegan a la compañía, teniendo en cuenta factores como escalabilidad, coste, facilidad de implementación, mantenimiento…Participarás en la toma de requerimientos necesarios para desarrollar arquitecturas y pipelines de datos. Como persona dedicada al mundo Real Time, deberás tener en cuenta cómo integrar soluciones en RT con el resto de tecnologías presentes en el día a día.Desarrollarás procesos de tratamiento de datos en streaming integrando información en tiempo real así como 'at rest'. Estos desarrollos se llevarán a cabo utilizando tecnologías de procesamiento como Kafka Streams, Flink, Spark,…En los proyectos en los que trabajamos la performance es un factor fundamental, por lo que también te tocará optimizar la configuración de las herramientas de procesamiento, así como de las plataformas que gestionan los datos optimizando el throughput, latencias, orden de consumo, delivery guarantees,.... Aunque actualmente apostamos por Kafka como plataforma de Streaming en nuestras arquitecturas, también hemos desarrollado con otros proveedores como Azure Event Hubs o Kinesis.Tendrás que garantizar la estabilidad de los procedimientos monitorizando los pipelines de datos y generando políticas de disaster recovery que minimicen el impacto de posibles errores.#J-18808-Ljbffr

  • Data Engineer

    Encontrado en: beBee S ES - hace 2 semanas

    Madrid, España LHH A tiempo completo

    Eres Data Engineer y te apasiona la innovación y el desarrollo de software? ? Desde LHH nos encontramos colaborando con una empresa del sector healthcare dedicada al desarrollo de soluciones inteligentes para la prevención y el cuidado de la salud. Buscan incorporar a su equipo de datos a un Data Engineer para sus oficinas en ? Madrid ¿Qué necesitas para...

  • CA13 - DATA Engineer (Python & Spark)

    Encontrado en: beBee S ES - hace 4 semanas

    Madrid, España Ingefor International A tiempo completo

    Desde Ingefor International, buscamos DATA ENGINEER con al menos 2 años de experiencia:Requisitos imprescindibles:Data Engineer para realizar la programación de las ingestas y transformaciones del proyecto de Datalake de WH bajo tecnología AWS.Python Intermedio ObligatorioSpark Streaming Intermedio Obligatorio

  • CA13 - DATA Engineer (Python & Spark)

    Encontrado en: Talent ES C2 - hace 1 semana

    Madrid, España Ingefor International A tiempo completo

    Desde Ingefor International, buscamos DATA ENGINEER con al menos 2 años de experiencia:Requisitos imprescindibles:Data Engineer para realizar la programación de las ingestas y transformaciones del proyecto de Datalake de WH bajo tecnología AWS.Python Intermedio ObligatorioSpark Streaming Intermedio Obligatorio

  • Data Engineer |

    hace 2 semanas

    Madrid, España Hays A tiempo completo

    **Tu nueva empresa**Startup tecnológica centrada en la transformación digital que utiliza un stack moderno para lograr el desarrollo de un software de calidad y la ingeniería de datos.Un proyecto que está creciendo exponencialmente, conformado por más de 35 personas en diferentes equipos de Data Analyst, Data Engineers, Data Scientist y BI.Recibirás...

  • Data Engineer Python, Madrid

    hace 6 días

    Madrid, España Grupo NS A tiempo completo

    Data Engineer Python en Madrid. Desde Grupo NS estamos seleccionando perfiles Data Engineer para un proyecto de larga duración y modalidad remoto con reuniones puntuales en Madrid. Dominio de Python y/o SAS Nível de licenciatura o ingeniería o superior Deseable Diseñar y evaluar la calidad de los datos (y el gobierno de los datos) Diseñar e...

  • Big Data Engineer

    hace 1 día

    Madrid, España Mensoft Consultores, S.L A tiempo completo

    ¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Experiencia de entre 2 y 4 años como Big Data Engineer - Experencia contrastada en arquitecturas Big Data- Experiencia en procesamiento de datos con...

  • Data Engineer

    Encontrado en: beBee jobs ES - hace 2 semanas

    Madrid, Madrid, España LHH A tiempo completo

    Eres Data Engineer y te apasiona la innovación y el desarrollo de software? ? Desde LHH nos encontramos colaborando con una empresa del sector healthcare dedicada al desarrollo de soluciones inteligentes para la prevención y el cuidado de la salud.Buscan incorporar a su equipo de datos a un Data Engineer para sus oficinas en ? Madrid ¿Qué necesitas para...

  • Big Data Engineer, 100% En Remoto

    hace 7 días

    Madrid, España Cas Training A tiempo completo

    Big data engineer en 100% En remoto. CAS Training selecciona a dos desarrolladores con al menos dos años de experiencia en entornos big data Se requiere experiencia en Conocimientos y experencia contrastada en arquitecturas big data Conocimientos consolidados en procesamiento de datos con spark batch y streaming Conocimientos kafka. Arquitectura cloud AWS...

  • Data Engineer

    Encontrado en: Talent ES C2 - hace 1 semana

    Madrid, España WayOps A tiempo completo

    En WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data & AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías.CONTEXTO & RESPONSABILIDADESLa persona seleccionada se incorporará dentro de nuestro equipo Data & AI core, participando en múltiples proyectos de...

  • Data Engineer

    hace 6 días

    Madrid, España Dcycle A tiempo completo

    Shape the next generation of sustainability at Dcycle. We are hiring a Data Engineer to help us reinvent sustainability. Dcycle is a start-up willing to reinvent the whole sustainability industry in order to make it accessible to every SME through software. You will be working in a young and highly motivated environment. Your new role as a Data Engineer -...

  • Data Engineer

    Encontrado en: beBee S ES - hace 2 semanas

    Madrid, España Page Personnel ETT A tiempo completo

    Creación, automatización y gestión de los flujos de procesamiento de datos (tanto en lotes como en tiempo real) y la puesta en marcha de modelos de aprendizaje automático para su uso en producción.El/la candidato/a seleccionado/a deberá cumplir los siguientes requisitos: Experiencia necesaria en la implementación y gestión de herramientas de big data...

  • Data Engineer

    Encontrado en: beBee S ES - hace 3 semanas

    Madrid, España Page Personnel ETT A tiempo completo

    Creación, automatización y gestión de los flujos de procesamiento de datos (tanto en lotes como en tiempo real) y la puesta en marcha de modelos de aprendizaje automático para su uso en producción.El/la candidato/a seleccionado/a deberá cumplir los siguientes requisitos: Experiencia necesaria en la implementación y gestión de herramientas de big data...

  • Data Engineer

    hace 2 días

    Madrid, España Second Window A tiempo completo

    Desde Second Window buscamos perfiles Data Engineer con manejo de Python y Sas para importante empresa energética ubicada en Madrid. Proyecto estable y de larga duración Modalidad de trabajo: 100% REMOTO (asistencia puntual a cliente ubicado en Alcobendas y zona Ifema) SKILLS: Datalake, Datawarehouse en diferentes escenarios (batch, streaming) conjunto...

  • Data Engineer

    Encontrado en: beBee S ES - hace 7 días

    Madrid, España IT Partner A tiempo completo

    En IT Partner, estamos buscando dos talentosos Data Engineers con 5 años de experiencia para unirse a nuestro equipo en Madrid. Esta es una oportunidad emocionante para formar parte de proyectos innovadores y trabajar en un ambiente colaborativo y dinámico.Diseñar e implementar arquitecturas de datos eficientes.Desarrollar soluciones utilizando Python con...

  • Senior Data Engineer Spark Expert

    hace 1 semana

    Madrid, España Tech Rise People A tiempo completo

    **Key Responsibilities**: - Spark Expert: Efficiently process and analyse massive datasets using Spark/Pyspark. Implement, optimize, and fine-tune ETL processes for integrating data from various sources. - Hands-on experience with Databricks, particularly with Medallion architecture, to build and manage scalable data pipelines. - Design, develop, and...

  • Data Engineer

    hace 14 horas

    Madrid, España Tecdata Engineering A tiempo completo

    En Tecdata Engineering estamos en busca de un Data Engineer con inglés avanzadoPerfil data, con conocimiento de Python y buen nivel de inglés (lo necesitará, ya que es el proyecto e USA)Trabajará con snowflake, si lo sabe genial.Con 1 año de experiencia es suficiente

  • Data Engineer

    hace 5 horas

    Tres Cantos, Madrid provincia, España beonit A tiempo completo

    Desde Beonit trabajamos para una de las empresas bancarias referentes en España que se dedica al diseño, desarrollo y gestión de soluciones y servicios IT, tanto para las entidades financieras de su grupo como de otros clientes._ **Data Engineer** - Estamos buscando un Data Engineer que forme parte del departamento de Data Analytics, trabajando de la...

  • Data Engineer

    Encontrado en: Talent ES C2 - hace 1 semana

    Madrid, España IT Partner A tiempo completo

    En IT Partner, estamos buscando dos talentosos Data Engineers con 5 años de experiencia para unirse a nuestro equipo en Madrid. Esta es una oportunidad emocionante para formar parte de proyectos innovadores y trabajar en un ambiente colaborativo y dinámico.Diseñar e implementar arquitecturas de datos eficientes.Desarrollar soluciones utilizando Python con...

  • Data Engineer Azure

    hace 6 días

    Madrid, España Grupo NS A tiempo completo

    **Volver a la página principal** **Data Engineer Azure** Madrid - Publicada el 26 de mayo de 2023 Descripción Desde Grupo NS precisamos incorporar un Data Engineer con experiência en Azure. **Skills**: - Azure - Datatafactory - Azure Datalake - Databricks - Synapse con el objetivo de analizar y desarrollar los procesos de ingesta, procesamiento y...

  • Data Engineer

    Encontrado en: Talent ES C2 - hace 1 semana

    Madrid, España Page Personnel A tiempo completo

    CONTRATO INDEFINIDO|CLIENTE FINALCLIENTE FINAL RETADOR A NIVEL TÉCNICOBuscamos un perfil DATA ENGINEER CON AL MENOS 3 AÑOS DE EXPERIENCIAPYTHON, PYSPARK, CLOUDINGLÉS ALTOINGENIERÍA INFORMÁTICA/TELECOMUNICACIONES/MATEMÁTICASBuscamos un perfil DATA ENGINEER CON AL MENOS 3 AÑOS DE EXPERIENCIAPYTHON, PYSPARK, CLOUDINGLÉS ALTOINGENIERÍA...