Databricks platform

Estamos en búsqueda de: Especialista en Databricks Platform (AWS/ML/Dev Ops) Tipo de perfil: Dominio de operaciones en la nube con AWS, con sólido entendimiento del escalado de infraestructura y optimización de coste/rendimiento. Experiencia demostrada y práctica con Databricks en AWS: administración del workspace, gestión de clústeres y pools, orquestación de trabajos (Jobs/Workflows), repositorios, secrets e integraciones. Amplia experiencia con Databricks Unity Catalog: configuración del metastore, catálogos/esquemas, data lineage, control de acceso (ACLs, grants), control de acceso basado en atributos y gobierno del dato. Experiencia en Infraestructura como Código (Ia C) para Databricks y AWS usando Terraform (proveedores databricks y aws) y/o AWS Cloud Formation; experiencia con Databricks asset bundles o CLI es un plus. Experiencia implementando CI/CD y Git Ops para notebooks, trabajos y activos de ML usando Git Hub y Git Hub Actions (o Git Lab/Jenkins), incluyendo pruebas automatizadas y promoción entre workspaces. Capacidad para estructurar librerías reutilizables, empaquetar y versionar código, y reforzar calidad mediante pruebas unitarias/de integración y linting. Dominio de SQL para desarrollo en Lakehouse. Experiment tracking, model registry, versionado de modelos, approval gates y despliegue a endpoints batch/en tiempo real (Model Serving). AWS IAM/STS, Private Link/VPC, cifrado KMS, secretos, SSO/SCIM y monitorización/observabilidad (Cloud Watch/Datadog/Grafana). Experiencia con prácticas Dev Ops para habilitar estrategias de automatización y reducir operaciones manuales. Experiencia o conocimiento en MLOps; crear pipelines que aceleren y automaticen ML será muy valorado. Excelentes habilidades de comunicación, colaboración transversal y gestión de stakeholders. Detallista, proactivo, capaz de trabajar de forma independiente y en un equipo distribuido. Funciones del candidato: Diseñar e implementar soluciones de plataforma Databricks escalables para soportar flujos de trabajo de analítica, ML y Gen AI en entornos dev/test/prod. Administrar y optimizar workspaces de Databricks: políticas de clústeres, pools, job clusters vs all-purpose clusters, autoscaling, uso de spot/fleet y GPU/compute acelerado cuando aplique. Implementar gobierno con Unity Catalog: definir metastore, catálogos, esquemas, data sharing, enmascaramiento de filas/columnas, lineage y controles de acceso; integrar con identidad empresarial y auditoría. Crear Ia C para aprovisionamiento y configuración reproducible de la plataforma usando Terraform; gestionar config-as-code para políticas de clúster, trabajos, repos, service principals y secret scopes. Implementar CI/CD para notebooks, librerías, pipelines DLT y activos de ML; automatizar pruebas, quality gates y promoción entre workspaces usando Git Hub Actions y APIs de Databricks. Estandarizar estructura de experimentos, implementar flujos de trabajo del registro de modelos y desplegar/operar endpoints de model serving con monitorización y rollback. Desarrollar y optimizar pipelines de Delta Lake (batch y streaming) usando Auto Loader, Structured Streaming y DLT; aplicar calidad de datos y SLAs con expectations y alertas. Optimizar coste y rendimiento: dimensionar correctamente clústeres y pools, aplicar políticas y cuotas, gestionar consumo de DBU, usar spot/fleet e implementar informes de chargeback/showback. Integrar observabilidad: métricas/logs/traces para trabajos, clústeres y model serving; configurar alertas, runbooks de guardia y respuesta a incidentes para reducir MTTR. Garantizar seguridad y cumplimiento de la plataforma: diseño de VPC, Private Link, cifrado en reposo/en tránsito, gestión de secretos, remediación de vulnerabilidades y preparación para auditorías; alineación con estándares internos de seguridad y, cuando aplique, controles Gx P. Colaborar con equipos multifuncionales para integrar la plataforma Databricks con fuentes de datos, flujos de eventos, aplicaciones downstream y servicios de IA en AWS. Realizar investigación técnica, evaluar nuevas funcionalidades de Databricks (p. ej., Lakehouse Federation, Vector Search, Mosaic AI) y proponer mejoras de plataforma alineadas con la hoja de ruta. Comunicar regularmente avances, riesgos y recomendaciones a los responsables del cliente y equipos de desarrollo. Requisitos indispensables: Experiencia práctica en administración de Databricks en AWS, incluyendo gobierno con Unity Catalog e integraciones empresariales. Sólida base en AWS: redes (VPC, subnets, SGs), roles y políticas IAM, KMS, S3, Cloud Watch; familiaridad con EKS es un plus. Dominio de Terraform (incluyendo databricks provider), Git Hub y Git Hub Actions. Sólidos conocimientos de Python y SQL; experiencia empaquetando librerías y trabajando con notebooks y repos. Experiencia con MLflow para tracking y model registry; se prefiere experiencia con endpoints de model serving. Familiaridad con Delta Lake, Auto Loader, Structured Streaming y DLT. Experiencia implementando automatización Dev Ops y runbooks; comodidad trabajando con REST APIs y Databricks CLI. Dominio de Git y Git Hub; estrategias de revisión de código y branching. Detalles del puesto: Modalidad: Presencial una vez al mes en las oficinas de Barcelona Horario de trabajo: Debe trabajar en horario laboral del Reino Unido, comenzando a las 09:00 (hora del Reino Unido) / 13:30 IST Nivel de inglés: C1, uso diario en un ámbito internacional