Scala Big Data Engineer

hace 2 semanas

Madrid, España Signify Technology A tiempo completo

Signify are working with a large, Communications company in Europe on an exciting new role which will focus on designing more efficient and valuable data pipelines.

**The task**:
As a Scala Developer, you will be responsible for designing, developing, and maintaining data pipelines that will provide valuable insights for the company. By adopting a DevOps approach, you will ensure that the system is always running smoothly by automating tasks and focusing on creating new features rather than deployment. You will also be responsible for testing and monitoring the system using appropriate methods and tools.

**Core requirements**:

- 3+ years of programming in Scala with Apache Spark
- Strong knowledge of ETL processes
- DevOps knowledge and experience (2 years minimum)
- Prior use of Hadoop, and HDFS for large file storage (must be able to work with autonomously)

**Your responsibilities will include**:

- Developing data architectures
- Contributing to the short, mid, and long term vision of the system
- Extracting, transforming, and loading data from large and complex data sets
- Ensuring that data is easily accessible and performs well in scalable environments
- Participating in the planning and architecture of the big data platform to optimize performance
- Building large data warehouses for further reporting or advanced analytics
- Collaborating with machine learning engineers to implement and deploy solutions
- Ensuring robust CI/CD processes are in place

**The tech stack at a glance**:
**Scala, Spark, Hadoop, Databricks, Kafka, AWS, and more**

To be successful in this role, you should have strong knowledge and experience with Scala and Spark. You should also have experience with SQL and NoSQL databases, and be familiar with CI/CD concepts.

In addition, you should have technical knowledge in data pipeline management, workflow management (such as Oozie or Airflow), and large file storage (such as HDFS, Data Lake, S3, or Blob storage).

Experience with stream processing technologies (such as Kafka, Kinesis, or Elasticsearch) and a cloud environment (such as Hadoop, Cloudera, EMR, or Databricks) is a plus.

  • Big Data Engineer

    hace 5 días

    Madrid, España Aderen A tiempo completo

    Job Opening ID - 1817 - Project lenght in months - Largo Plazo - Languages - Español - Knowledge area - Skills - Big Data, Spark, Unix/Linux - Rate - Eur - 240-260 - Job Description **BUSCAMOS**: Big Data Engineer **FUNCIONES - TAREAS & CONOCIMIENTOS**: Profesional con experiência de al menos 3 años como Big Data Engineer **Conocimientos...

  • Scala Data Engineer con Inglés

    hace 4 días

    Madrid, España Big Fish - Personas & Talento A tiempo completo

    ¿Eres un/a entusiasta de Data Engineer con más de 2 años de experiência con Scala? ¿Te apetece trabajar en una nueva compañía, participativa y especializada, como asociado o socio desde el primer momento? ¿Te gustaría formarte y certificarte en AWS? Desde Big Fish seleccionamos a un profesional que le guste participar en multiples...

  • Big Data Engineer

    hace 2 semanas

    Madrid, España Mensoft Consultores, S.L A tiempo completo

    ¿Interesado/a en nuevos retos? En Mensoft Consultores estamos buscando un/a Big Data Engineer que quiera entrar a formar parte de un proyecto estable, en uno de nuestros clientes más importantes.REQUISITOS:- Experiencia de entre 2 y 4 años como Big Data Engineer - Experencia contrastada en arquitecturas Big Data- Experiencia en procesamiento de datos con...

  • Data Engineer

    hace 4 semanas

    Madrid, España e-Frontiers A tiempo completo

    Desde e-Frontiers estamos buscando profesionales con perfiles de Data Engineer para incorporar en el equipo técnico de Data&Analytics de uno de nuestros clientes, una empresa de soluciones tecnológicas basadas principalmente en Data y Cloud Integration (contrato directo con cliente). Si te encanta trabajar con datos, eres un entusiasta de las nuevas...

  • Consultor@ Scala/Spark/Big Data

    hace 1 semana

    Madrid, España Accude A tiempo completo

    En ACCUDE TI buscamos profesional con, al menos, 2 años de experiencia en Scala-Spark y Big Data para integrarse en proyecto en modalidad remota.Requisitos técnicos:- Experiencia de, al menos, 2 años en tecnologías Big Data.- Experiencia con Scala/Spark.- Experiencia previa de contacto con cliente.Requisitos valorables:- Experiencia en sector...

  • Consultor/a Big Data Spark Scala

    hace 4 semanas

    Madrid, España CAS TRAINING A tiempo completo

    Cas Training, empresa de referencia con más de 20 años en consultoría tecnológica, outsourcing y formación especializada, selecciona a un/a Consultor/a Big Data Spark Scala para formar parte de importante proyecto en modalidad de teletrabajo 100%.Requisitos:• MODALIDAD: Teletrabajo • SECTOR: BANCA • EXPERIENCIA: 2-3 años de experiencia...

  • Consultor@ Scala/Spark/Big Data

    hace 2 semanas

    Madrid, España Accude TI A tiempo completo

    col-wideJob Description:Consultor@ Scala/Spark/Big Data (Teletrabajo) - MadridEn ACCUDE TI buscamos profesional con, al menos, 2 años de experiencia en Scala-Spark y Big Data para integrarse en proyecto en modalidad remota.Requisitos técnicos:- Experiencia de, al menos, 2 años en tecnologías Big Data.- Experiencia con Scala/Spark.- Experiencia previa de...

  • Consultor@ Scala/Spark/Big Data

    hace 2 semanas

    Madrid, España Accude TI A tiempo completo

    Consultor@ Scala/Spark/Big Data (Teletrabajo) - MadridEn ACCUDE TI buscamos profesional con, al menos, 2 años de experiencia en Scala-Spark y Big Data para integrarse en proyecto en modalidad remota. Requisitos técnicos: - Experiencia de, al menos, 2 años en tecnologías Big Data. - Experiencia con Scala/Spark. - Experiencia previa de contacto con...

  • Big Data Engineer

    hace 2 semanas

    Madrid, España Vodafone A tiempo completo

    **About the role**: Our team will be responsible for migrating legacy analytic & business intelligence solutions and their associated data pipelines across Vodafone onto the Google Cloud Platform, enhancing and developing new solutions. The Data Engineer delivers data pipelines and data service components. This will be at an industrial scale delivering 20+...

  • Big Data Engineer

    hace 2 semanas

    Madrid, España Onhunters A tiempo completo

    Desde onhunters estamos buscando BIG DATA ENGINEER para trabajar en importante compañía internacional, en Madrid. Las funciones a realizar serán: Optimización de modelos de datos en stack de Cloudera: Impala, Spark, ETL en Hive, HDFS Migración de datos y analítica avanzada a Cloudera. Integración de flujos y orquestación de procesos. Conocimientos en...

  • ? Inicio Inmediato Consultor@ Scala/Spark/Big Data

    hace 3 semanas

    Madrid, España Accude TI A tiempo completo

    Consultor@ Scala/Spark/Big Data (Teletrabajo) - MadridEn ACCUDE TI buscamos profesional con, al menos, 2 años de experiencia en Scala-Spark y Big Data para integrarse en proyecto en modalidad remota.Requisitos técnicos:Experiencia de, al menos, 2 años en tecnologías Big Data.Experiencia con Scala/Spark.Experiencia previa de contacto con...

  • Big Data Engineer – Data Lake

    hace 4 semanas

    Madrid, España Santander A tiempo completo

    Big Data Engineer – Data Lake (Openbank)Country: Spain WHAT YOU WILL BE DOING Openbank is in the middle of a digital transformation, working in startup format and innovating in core banking product development from within. We want to convey a whole new digital experience to our customers and for that reason we need the most skilled professionals to come...

  • Data Engineer

    hace 4 semanas

    Madrid, España LJselection A tiempo completo

    Descripción Nuestro cliente es una consultora tecnológica boutique, nacida hace 20 años en la rebelión del código abierto que promociona soluciones de Transformación Digital, Big data y Cloud a empresas en rápido crecimiento. Actualmente buscan un** Data** **Engineer **para trabajar en un proyecto del sector telecomunicaciones. Necesitan** **un...

  • Big Data Engineer

    hace 4 semanas

    Madrid, España Capgemini A tiempo completo

    Descripción larga ¡Hola! Somos CAPGEMINI Tenemos la gran suerte de trabajar en un sector que lidera la evolución hacia un futuro sostenible e inclusivo. La TECNOLOGÍA. El catalizador de tantas soluciones que necesitamos ahora más que nunca. Somos 325.000 PERSONAS en todo el mundo unidas por una misma pasión. No importa dónde estemos, podemos estar...

  • Data Engineer

    hace 4 semanas

    Madrid, España Walters People A tiempo completo

    Desde Walters People, buscamos Data Engineer, para potente empresa especializada en proyectos de Data & Analytics. Buscamos un perfil con: - Dos años de experiência como Data Engineer. - Experiência trabajando con Python, Scala y Spark. - Nível de inglés medio alto. - Valorable experiência en entornos Cloud. Contrato directo con cliente de forma...

  • Técnico de Big Data Engineer

    hace 7 días

    Madrid, España Aratech A tiempo completo

    ¿Quiénes somos?   ¡Hola! Somos ARATECH Lifestyle Technology, una empresa con más de 10 años de experiencia en informática y consultoría. El grupo de profesionales que trabaja en ARATECH tiene como misión ofrecer las mejores soluciones a nuestros clientes trabajando junto a ellos en su Transformación Digital para proveer del mejor asesoramiento...

  • Big Data Engineer Aws/gcp/azure

    hace 1 semana

    Madrid, España We Bring A tiempo completo

    Desde **We Bring** estamos seleccionando para su incorporación en una empresa que desarrolla proyectos de Inteligencia Artificial end to end un/a **Big** **Data Engineer AWS/GCP/Azure 100% remoto**. **¿CUÁLES SERÁN TUS FUNCIONES?** - Desarrollarás, construirás, probarás y mantendrás arquitecturas, bases de datos y sistemas de procesamiento a gran...

  • Perfil data con Spark Scala y AWS

    hace 1 día

    Madrid, España TECDATA ENGINEERING A tiempo completo

    buscamos un data engineer con experiencia en spark scala y conocimientos en AWS Remoto: 100% Ingles: Hablado y escrito

  • Big Data Engineer

    hace 2 semanas

    Madrid, España Psicotec, Sa A tiempo completo

    Nuestro cliente es una de las 100 Compañías TIC más grandes de España y en proceso continuo de expansión (diez años seguidos creciendo a doble dígito). ¿Qué funciones principales desempeñarás? Participarás en proyectos de todo tipo de negocios-procesos, en muy diferentes entornos tecnológicos, disfrutando con la gestión integral del ciclo de...

  • Data Engineer Aws

    hace 2 semanas

    Madrid, España Sdi Digital Group A tiempo completo

    Position Description : Únete a CGI! Quieres formar parte de una de las cinco empresas más grandes de TI y procesos de negocios en el mundo? En CGI estamos seleccionando un / a Data Engineer AWS para formar parte de un gran equipo de trabajo en un proyecto a nivel internacional. Como Data Engineer AWS realizará las siguientes tareas : Desarrollará...