Kafka / Real-Time Engineer

hace 2 semanas

Madrid, España Sdg Group A tiempo completo

Hola Data Lover En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics
¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de negocio.
Es hora de despegar hacia el futuro mediante el poder de los datos Únete a nosotros y prepárate para romper las reglas y alcanzar tu mejor versión .
Descubre el poder de SDG: líderes globales en la industria del dato En SDG trabajamos para la mitad de las empresas del IBEX-35, pero también en multitud de compañías internacionales. Gracias al boom de la analítica, estamos en un ritmo constante de crecimiento, y desde 1994 nos hemos convertido en el socio de confianza para empresas que desean maximizar todo el potencial de sus datos.
Si buscas formar parte de una compañía 100% especializada en #Data & #Analytics, te estamos esperando
Requisitos mínimos Estar graduado en Ingeniería Informática o de Telecomunicaciones. Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos. Experiencia de al menos 2 años trabajando en proyectos de tratamiento de datos en tiempo real. Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc. Además será importante que tengas experiencia en algunas de las siguientes herramientas: Lenguajes: Python, Java o Scala. Conocimientos sólidos en algunos de los frameworks y herramientas más relevantes en el procesamiento de eventos en streaming: Spark Structured Streaming, Flink, KStreams y/o ksqlDB. Conocimientos sólidos sobre Kafka u otros brokers de mensajería, independientemente de si son desplegados en on premise o en cualquier de sus variantes cloud (Confluent, MSK, Pub/Sub, Azure Event Hubs,...). Experiencia en todos los servicios adyacentes a Kafka como Kafka Connect, Schema Registry, MirrorMaker, clientes CDC... Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git. Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos. Requisitos valorables Se valora de forma muy positiva tener formación a través de un Máster u otras alternativas que aumenten tus skills, por ejemplo, un Máster en Big Data y Analytics. Hacemos muchas pruebas en local con el uso de contenedores, así que será importante que puedas manejar Docker. También será muy bien valorado conocimientos en Kubernetes. Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también. Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,... Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés. Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas. Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo. Acerca del puesto SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.
Como Streaming data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica.
Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.
Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.
Responsabilidades Dar tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones que se llevan a cabo durante las fases de diseño de los proyectos que llegan a la compañía, teniendo en cuenta factores como escalabilidad, coste, facilidad de implementación, mantenimiento… Participarás en la toma de requerimientos necesarios para desarrollar arquitecturas y pipelines de datos. Como persona dedicada al mundo Real Time, deberás tener en cuenta cómo integrar soluciones en RT con el resto de tecnologías presentes en el día a día. Desarrollarás procesos de tratamiento de datos en streaming integrando información en tiempo real así como 'at rest'. Estos desarrollos se llevarán a cabo utilizando tecnologías de procesamiento como Kafka Streams, Flink, Spark,… En los proyectos en los que trabajamos la performance es un factor fundamental, por lo que también te tocará optimizar la configuración de las herramientas de procesamiento, así como de las plataformas que gestionan los datos optimizando el throughput, latencias, orden de consumo, delivery guarantees,.... Aunque actualmente apostamos por Kafka como plataforma de Streaming en nuestras arquitecturas, también hemos desarrollado con otros proveedores como Azure Event Hubs o Kinesis. Tendrás que garantizar la estabilidad de los procedimientos monitorizando los pipelines de datos y generando políticas de disaster recovery que minimicen el impacto de posibles errores. INSCRÍBETE AHORA ESTAMOS DESEANDO CONOCERTE

#J-18808-Ljbffr

  • Site Reliability Engineer

    hace 2 semanas

    Madrid, España Highland Capital Europe A tiempo completo

    Hi, we're Nexthink. We're not just the leader in the digital employee experience category, we invented the category. Our solutions combine real-time analytics, automation and employee feedback across all endpoints to help IT teams delight people at work. Our cloud-native platform pinpoints issues and solutions, automates response, and helps companies...

  • Kafka Engineer

    hace 4 semanas

    Madrid, España SlashMobility A tiempo completo

    **¿De qué va la empresa en la que trabajarás?** Somos una empresa de soluciones móviles corporativas, la cual desde hace 10 años viene centrado su misión en acelerar la digitalización tecnológica de la sociedad, desarrollamos tanto webs como apps híbridas. En estos años nuestro equipo ha dado forma a más de 1000 proyectos para 150 clientes con...

  • Experto en Kafka. Ingles. Teletrabajo

    hace 4 semanas

    Madrid, España Grupo NS A tiempo completo

    Descripción Desde Grupo NS precisamos incorporar experto en Kafka con nivel avanzado de ingles. Conocimientos de KSQL Funciones -Diseñar, implementar y mantener arquitecturas de Kafka de alto rendimiento para admitir flujos de datos en tiempo real. -Colaborar con los equipos de desarrollo y operaciones para asegurar la integración efectiva de...

  • Data Engineer

    hace 4 semanas

    Madrid, España PSS A tiempo completo

    Data Engineer (Remoto) en Madrid. ¿Te apetece formar parte de una compañía en pleno crecimiento? ¿Y trabajar rodeado del mejor TALENTO en proyectos realmente innovadores? En PSS es posible y nos gustaría conocerte. Actualmente estamos buscando un perfil de Ingeniero de datos / Data Engineer de entre 2 y 4 años de experiência principalmente trabajando...

  • Data Engineer

    hace 6 días

    Madrid, España Adroit People Ltd A tiempo completo

    **Please find the job Description**: **Role: Data Engineer** **Location: Madrid, Spain (100% Onsite)** **Type: Permanent** **Git, Gitlab** collaboration in SW development teams shared software-repositories and their concepts - branching - merging - versioning and releases - integration with the Code Pipeline **JIRA** including creating Kanban boards,...

  • Data Engineer entornos cloud

    hace 3 semanas

    Madrid, Madrid, España Walters People A tiempo completo

    Desde Walters People estamos buscando un perfil de Data Engineer especializado en entornos cloud AWS y/o Google Cloud para incorporarse en plantilla de importante multinacional del sector de Data & Analytics con sede en Madrid.Te incorporarás en el equipo de Data de la compañía y participarás en los proyectos a nivel global y punteros...

  • Financial Market Data Engineer

    hace 7 días

    Madrid, España TRM International A tiempo completo

    **TRM-International** is pleased to announce an excellent opportunity for a **Market Data Engineer** within a distinguished **FinTech **organisation that specialises in financial market data. We are seeking a highly motivated individual who is capable of overcoming challenges and thrives in the fast-paced environment associated with global financial...

  • Streaming Data Engineer

    hace 3 semanas

    Madrid, España Sdg Group A tiempo completo

    En SDG, no solo tendrás la oportunidad de formar parte de algo increíble, ¡sino que vivirás lo que significa ser un auténtico especialista en Data & Analytics! ¿Estás preparadx para embarcarte en esta emocionante aventura? con nosotrxs, podrás potenciar todas tus habilidades y capacidades analíticas, tecnológicas y de negocio. ¡Es hora de despegar...

  • Big Data Engineer

    hace 2 semanas

    Madrid, España Mensoft Consultores, S.L A tiempo completo

    ¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Experiencia de entre 2 y 4 años como Big Data Engineer - Experencia contrastada en arquitecturas Big Data- Experiencia en procesamiento de datos con...

  • Senior Scala Engineer

    hace 4 semanas

    Madrid, España e-Frontiers A tiempo completo

    En E-Frontiers estamos buscando un Senior Scala Engineer para formar parte de una empresa de producto alemana orientada al sector E-Commerce. **Requisitos**: - Scala y Typescript - Vue - Cypress, Cucumber - Docker, Kubernetes - Kafka, Argo, Akka, Spark, Jenkins, Terraform - AWS (Athena, EKS, IAM, S3...) - Inglés alto Ofrecen: - Modelo híbrido: 3 días...

  • Senior Software Development Engineer

    hace 3 semanas

    Madrid, España 1089 Outpayce, S.A.U. A tiempo completo

    Senior Software Development Engineer page is loaded Senior Software Development Engineer Apply locations Madrid time type Full time posted on Posted 7 Days Ago job requisition id R16545 Job Title Senior Software Development EngineerDid you know that when you pay with your Credit Card, ApplePay account, PayPal account, … there are a lot of steps between...

  • Senior Devops Engineer

    hace 2 semanas

    Madrid, España Yantech Associates A tiempo completo

    Senior DevOps Engineer YanTech Associates have partnered with a top eCommerce company in Europe who are looking to expand their DevOps team in Spain with another Senior DevOps Engineer. Key Responsibilities: Work closely with development and data engineering teams Take the lead in automating and optimizing operations and workflows Develop, implement, and...

  • Big Data Engineer, 100% En Remoto

    hace 3 semanas

    Madrid, España Cas Training A tiempo completo

    Big data engineer en 100% En remoto. CAS Training selecciona a dos desarrolladores con al menos dos años de experiencia en entornos big data Se requiere experiencia en Conocimientos y experencia contrastada en arquitecturas big data Conocimientos consolidados en procesamiento de datos con spark batch y streaming Conocimientos kafka. Arquitectura cloud AWS...

  • Senior DevOps Engineer

    hace 2 semanas

    Madrid, España YanTech Associates A tiempo completo

    Senior DevOps EngineerYanTech Associates have partnered with a top eCommerce company in Europe who are looking to expand their DevOps team in Spain with another Senior DevOps Engineer.Key Responsibilities: Work closely with development and data engineering teams Take the lead in automating and optimizing operations and workflows Develop, implement, and...

  • Backend Engineer

    hace 2 semanas

    Madrid, España Sdi Digital Group A tiempo completo

    This is Adyen Adyen provides payments, data, and financial products in a single solution for customers like Meta, Uber, H&M, and Microsoft - making us the financial technology platform of choice. At Adyen, everything we do is engineered for ambition. For our teams, we create an environment with opportunities for our people to succeed, backed by the culture...

  • Devops Engineer

    hace 3 semanas

    Madrid, España Aderen A tiempo completo

    BUSCAMOS :   DevOps Engineer Profesional con experiencia contrastada desempeñando el role de DevOps Engineer. Debe poseer unos buenos conocimientos en azure, alta experiencia en Terraform, Docker, y demás herramientas para integración continua.       Experiencia & Conocimientos Imprescindibles ? DevOps ? Azure ? Terraform ? Docker       SE OFRECE:...

  • Data Engineer

    hace 1 día

    Madrid, España Cobee A tiempo completo

    **About Us & Our Culture**: We, employees, need a much more engaging solution around our compensation, and that’s why Cobee was born. Since we created Cobee back in November 2018, our vision has been unwavering**:to become the most desirable solution for employees to get compensated at work**. As we fight for that vision, **we truly believe that we can...

  • Data Engineer

    hace 4 semanas

    Madrid, España onhunters A tiempo completo

    Descripción Desde** onhunters** estamos buscando** DATA ENGINEER **para trabajar en importante compañía internacional, en **Madrid, en modalidad híbrida.** Las funciones a realizar serán: - Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS - Migración de datos y analítica avanzada a Cloudera. - Integración de...

  • Data Engineer Datastage

    hace 5 días

    Madrid, España Logicalis A tiempo completo

    Job Snapshot **Employee Type**: - Full-Time **Location**: Madrid**Job Type**: - Engineering **Experience**: - Not Specified **Date Posted**: - 5/12/2023 **Job Description**: Desde Logicalis Madrid queremos incorporar 3 perfiles de** Data Engineer Datastage (2 perfiles junior y 1 senior) **para incorporarse en nuestro área de **Data &...

  • Devops Engineer

    hace 3 semanas

    Madrid, España Aderen A tiempo completo

    Job Description BUSCAMOS :   DevOps Engineer Profesional con experiencia contrastada desempeñando el role de DevOps Engineer. Debe poseer unos buenos conocimientos en azure, alta experiencia en Terraform, Docker, y demás herramientas para integración continua.       Experiencia & Conocimientos Imprescindibles ? DevOps ? Azure ? Terraform ? Docker  ...