Data Lake Engineer

hace 3 semanas

España SDG Group A tiempo completo

Requisitos mínimos:Estar graduado en Ingeniería Informática o de Telecomunicaciones.Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.Además será importante que tengas experiencia en algunas de las siguientes herramientas:Lenguajes: Python, Java o Scala.Herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark. Además es importante que tengas conocimientos sólidos de HDFS.Conocimiento de al menos una plataforma de datos con profundidad: Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, etc.Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows,...Conocimiento y experiencia en el uso de sistemas de control de versiones (VCS), esencialmente Git.Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos.Requisitos valorables:Nos gusta estar al día en nuevas tecnologías, así que necesitamos personas que quieran estar en continua evolución y que tengan ganas de aprender nuevas tecnologías y probar nuevas herramientas.Para nosotrxs el trabajo en equipo es primordial, por lo que buscamos personas que impulsen ese buen ambiente y las sinergias entre compañerxs y diferentes equipos de trabajo.Qué conozcas lenguajes que están tomando relevancia ahora en el mundo data como Rust o Elixir es algo que valoraremos muy positivamente también.Cómo trabajamos en un entorno global, será un plus que puedas comunicarte en inglés.Conocimiento sobre DataOps, Observabilidad, patrones de diseño low-code/no-code,...Acerca del puesto:SDG Group es una firma de consultoría global focalizada exclusivamente en soluciones de data & analytics, cubriendo con ello toda la cadena de valor del dato, y proporcionando planes de carrera tanto de consultoría como de especialización para todos aquellos que quieran progresar en el mundo del dato. Además, a través de nuestra cultura Smart Work tendrás la posibilidad de definir el modelo de trabajo que más se adapte a ti y a tus necesidades personales, al mismo tiempo que puedas colaborar en iniciativas de gran impacto para clientes punteros en sus respectivas industrias.Como data engineer del área de Data Technologies, tu misión será formar parte de equipos multidisciplinares con el objetivo de ayudar a nuestros clientes a abordar iniciativas de datos en entornos de alta complejidad técnica. Tendrás la posibilidad de utilizar un amplio espectro de tecnologías innovadoras para la construcción de soluciones de gestión de datos bajo diversos paradigmas de procesamiento y modelado, aplicando para ello los principios adecuados en términos de desarrollo y arquitectura.Asimismo, gracias a nuestro path de especialista tendrás la oportunidad de crecer como ingeniero y/o arquitecto Big Data, contando con herramientas y recursos para tu continuo aprendizaje y crecimiento profesional, al mismo tiempo que te involucras en diversos retos que permitan tanto a SDG Group como a nuestros clientes explotar al máximo el valor de sus datos.Responsabilidades:Darás tu opinión técnica sobre los procesos y arquitecturas que se desarrollen para nutrir las conversaciones técnicas que se llevan a cabo durante las fases de diseño de la misma, priorizando estrategias dirigidas por metadatos y fundamentadas en DataOps.Participarás en la toma de requerimientos necesarios para arquitecturas y pipelines de datos.También llevarás a cabo tareas de desarrollo con diferentes tecnologías, aunque principalmente usamos Spark (tanto para procesos en batch como streaming). Adicionalmente, y aunque nuestros desarrollos habitualmente no se basen en SQL, es importante que tengas la soltura suficiente para hacer exploración de datos.Somos bastante agnósticos a la tecnología y a la infraestructura en nuestros proyectos, así que es posible que tengas experiencia proyectos en AWS, Azure, GCP u on-premises, por lo que será importante que no te importe estar cambiando de entorno con frecuencia.A veces también nos toca crear u optimizar tiempos de respuesta en motores de búsqueda, así que cualquier experiencia en Solr o Elastic nos gustará.Además, en algunos momentos también necesitaremos hacer pruebas de concepto y pruebas con tecnologías nuevas en el mercado y servicios cloud nuevos o que creamos que puedan ser útiles para nuestros proyectos o clientes, por lo que también podrás colaborar en tareas de innovación.
#J-18808-Ljbffr

  • Data Engineer.

    hace 5 meses

    España SANDAV A tiempo completo

    En Sandav estamos buscando un Data Engineer para proyecto ESTABLE, en REMOTO, en sector industria 4.0. Se requiere: - Inglés B1 - Stack Técnico: - Práctica en metodología Agile Scrum. - Experiência en el despliegue de grandes aplicaciones Big Data distribuidas e implementación de procesos ETL. - Buenos conocimientos de programación en Scala para el...

  • Data Engineer

    hace 7 días

    España sg tech A tiempo completo

    Descripción **Oferta de Trabajo: Data Engineer en sg tech**: ¡Hola! Estamos buscando un Data Engineer para unirse a nuestro equipo en sg tech. Si eres apasionado por la tecnología y tienes experiência en Azure, Azure Databricks, Spark, Scala, Azure Data Factory y Delta Lake, ¡sigue leyendo! **Posición: Data Engineer**: - ** Empresa**: sg tech - **...

  • Big Data Engineer – Data Lake

    hace 3 semanas

    España Santander A tiempo completo

    Job Title: Big Data Engineer Data Lake (Openbank) Country: Spain WHAT YOU WILL BE DOING Openbank is in the middle of a digital transformation, working in startup format and innovating in core banking product development from within. We want to convey a whole new digital experience to our customers and for that reason we need the most skilled professionals to...

  • Data & BI Engineer

    hace 3 semanas

    España isolutions AG A tiempo completo

    Are you an experienced Data Engineer with a passion for Microsoft technologies?If so, join us in our journey of innovation and shape the future of data engineering! We look forward to welcoming you to our team.As a Data Engineer, you will thrive within our collaborative team, participating in high-end projects alongside skilled professionals. Your role will...

  • Data Engineer Datastage

    hace 3 semanas

    España NPR Spain A tiempo completo

    Data Engineer Datastage (Temporal) en hibrido. ¿Estás buscando un cambio en tu carrera en un lugar en el que poder desarrollarte profesionalmente? En NPR trabajarás de la mano de las mayores multinacionales tecnológicas con las últimas tecnologías del sector IT. Actualmente estamos en pleno proceso de expansión y buscamos un profesional experto en...

  • Data Engineer_L3

    hace 5 días

    España Grupo Data A tiempo completo

    Hi We are DATA Group and we are searching for the best talent Our goal is to simplify our clients' lives with innovative IT solutions. We operate at global scale and we are expanding to Portugal If you are passionate and have the desire to make the difference, we want to get to know you Join us to be part of this incredible adventure Who are we looking for?...

  • Data Engineer

    hace 2 semanas

    España ECF Data, LLC A tiempo completo

    This is what you will do:The Data Engineer role is a key member of the Data Team, reporting to the Director of Data Engineering Services, and has close interaction with Functional Leads, Data Architects, Data Analysts and Data Scientists. In this role, the individual will be responsible for designing and overseeing the creation of automated data pipelines,...

  • Data Engineer Senior

    hace 3 semanas

    España eXperience IT Solutions A tiempo completo

    Descripción: En Experience IT Solutions, somos una empresa líder en servicios IT con más de 250 empleados, presentes en toda España, y comprometidos en ofrecer soluciones tecnológicas innovadoras. Buscamos un Data Engineer Senior con experiencia en arquitecturas de datos, plataformas de datos y el paradigma de Data Mesh para unirse a nuestro equipo...

  • Data Engineer, Analytics

    hace 1 semana

    España Amazon A tiempo completo

    Data Engineer, Analytics & Data Management, Advertising Core ServicesWould you like to build highly available & performant data processing architectures for one of the largest data lakes in Amazon? Does Petabyte scale excite you?The Analytics & Data Management (ADM) team owns the central data lake for Advertising unifying Petabytes of data generated across...

  • Data Engineer

    hace 2 semanas

    España Second Window A tiempo completo

    ¡Te ofrecemos crecer con nosotros en nuestra unidad tecnológica como Data Engineer / Data Scientist, en un puesto a largo plazo, estable y en modalidad hibrida (3 días teletrabajo, 2 presencial) en unos de los clientes punteros a nível mundial. Se busca un perfil que tenga a partir de 2-3 años de experiência en el ámbito de Data, que tenga...

  • Data Engineer

    hace 2 semanas

    España COSENTINO A tiempo completo

    Cantoria, ES, 4850 Madrid, ES, 28046**Qué estamos buscando**: Buscamos a una persona con capacidades técnicas excelentes, conocimiento en creación de **Data Lakes** y con un enfoque de agilidad y orientación a negocio. Con muchas ganas de realizar una transformación “Data Driven” en** **el nuevo área** **de Data Fabric, dentro del área de** Data &...

  • Data Engineer Manager

    hace 3 semanas

    España myGwork A tiempo completo

    Data Engineer Manager Madrid Madrid, Community of Madrid, ES This job is with JTI, an inclusive employer and a member of myGwork – the largest global platform for the LGBTQ+ business community. Please do not contact the recruiter directly.The Data Engineer Manager role is to develop and maintain efficient and scalable Data projects in JTI’s Central Data...

  • Data Engineer Manager

    hace 3 semanas

    España JTI A tiempo completo

    Position: Data Engineer ManagerLocation: Madrid, M, ES, 00-000Contract Type: PermanentProfessional Area: Information TechnologyProfessional Level: ExperiencedAt JTI, we celebrate differences, and everyone truly belongs. 46,000 people from all over the world are continuously building their unique success story with us. 83% of employees feel happy working at...

  • Data Engineer

    hace 3 semanas

    España Randstad Es A tiempo completo

    Do you have experience as a data engineer? We are looking for you!Our ClientOur client is a B2B Pharmaceutical Laboratory company offering a broad portfolio of Generic Pharmaceutical Products and Value Added Medicines.Your FunctionsYou will assist in the creation of a Data Platform and participate in other data projects. You will be able to put into...

  • Data Engineer | Data Analyst

    hace 3 semanas

    España Data Privacy A tiempo completo

    ALOHAS is more than a fashion brand: it’s a responsible shopping experience and a chance to participate in the fight against overproduction in fashion. Working at ALOHAS is being part of the innovation and growth of a Spanish start-up with a young, creative and proactive team, good communication and a high level of energy! It’s demanding but extremely...

  • Data Engineer | Pharma

    hace 5 días

    España Ambit A tiempo completo

    Job Title: Data Warehouse EngineerWe are looking for a Data Warehouse Engineer, who will offer services to one of our clients, a multinational pharmaceutical company.MISSION:Design, construct, install, test and maintain highly scalable data management systems on AWS.Build and manage data pipelines to support continuous data ingestion, processing, and...

  • Data Engineer

    hace 3 semanas

    España Cosentino A tiempo completo

    Qué estamos buscando Buscamos a una persona con capacidades técnicas excelentes, alto conocimiento en creación de Data Lakes y con un enfoque de agilidad y orientación a negocio. Con muchas ganas de realizar una transformación Data Driven en el nuevo área de Data Fabric, dentro del área de Data & Analytics de Grupo Cosentino. Un perfil con talento que...

  • Azure Data Engineer

    hace 5 meses

    España The White Team A tiempo completo

    En The Whiteam Consulting estamos buscando **Azure Data Engineer con al menos 2-3 años de experiência **para formar parte de un importante proyecto de compañía multinacional, del sector automóvil, estable a largo plazo y totalmente en remoto! **¿Qué buscamos?** Necesitamos que domines: ️ Azure Databricks con Spark & Scala (NO PYSPARK) ️ Azure...

  • Data Engineer Manager

    hace 3 semanas

    España JTI A tiempo completo

    At JTI we celebrate differences, and everyone truly belongs. 46,000 people from all over the world are continuously building their unique success story with us. 83% of employees feel happy working at JTI.To make a difference with us, all you need to do is bring your human best.The Data Engineer Manager role is to develop and maintain efficient and scalable...

  • Verisk Analytics Data Engineer III

    hace 3 semanas

    España Data Engineer Jobs A tiempo completo

    We help the world see new possibilities and inspire change for better tomorrows. Our analytic solutions bridge content, data, and analytics to help business, people, and society become stronger, more resilient, and sustainable.Job DescriptionHYBRID - ON SITE - MUST BE OK WITH COMING INTO THE JERSEY CITY, NJ OFFICEThe Data Warehouse Dimensional Modeler is a...