Ingeniero de Plataforma de Datos - Jersey City, NJ
Tiempo completo • Fully Remote - US
Descripción del puesto:
Buscamos un Ingeniero de Datos Senior altamente cualificado con 8+ años de experiencia práctica en ingeniería de datos empresariales, incluyendo una amplia experiencia en desarrollo de DAGs Apache Airflow, modelado e implementación de núcleos dbt y plataformas de contenedores nativas en la nube (Kubernetes / OpenShift).
Este puesto es fundamental para construir, operar y optimizar canalizaciones de datos escalables que apoyen plataformas financieras y contables, incluyendo migraciones de sistemas empresariales y cargas de trabajo de procesamiento de datos de alto volumen.
El candidato ideal tendrá amplia experiencia práctica en orquestación de flujos de trabajo, modelado de datos, ajuste de rendimiento y gestión distribuida de cargas de trabajo en entornos contenedores.
Responsabilidades clave:
Pipeline de datos y orquestación
- Diseñar, desarrollar y mantener complejos DAGs de flujo de aire para pipelines de datos basados en lotes y eventos
- Implementar las mejores prácticas para el rendimiento de DAG, gestión de dependencias, reintentos, monitorización SLA y alertas
- Optimizar las configuraciones del programador, ejecutor y trabajador Airflow para cargas de trabajo de alta concurrencia
Modelado de Núcleo y Datos DBT
- Lead implementación del núcleo dbt, incluyendo estructura del proyecto, entornos e integración CI/CD
- Diseñar y mantener modelos robustos de DBT (staging, intermediate, marts) siguiendo las mejores prácticas de ingeniería analítica
- Implementar pruebas DBT, documentación, macros y modelos incrementales para garantizar la calidad y el rendimiento de los datos
- Optimizar el rendimiento de consultas DBT para conjuntos de datos a gran escala y necesidades de informes downstream
Cloud, Kubernetes y OpenShift
- Desplegar y gestionar cargas de trabajo de datos en plataformas Kubernetes / OpenShift
- Estrategias de diseño para la distribución de cargas de trabajo, escalado horizontal y optimización de recursos
- Configurar solicitudes y límites de CPU/memoria, autoescalado y planificación por pods para cargas de trabajo de datos
- Solucionar problemas de rendimiento a nivel de contenedor y contención de recursos
Rendimiento y fiabilidad
- Monitorizar y ajustar el rendimiento de las tuberías de extremo a extremo en las plataformas Airflow, DBT y datos
- Identificar cuellos de botella en la ejecución de consultas, orquestación e infraestructura
- Implementar soluciones de observabilidad (registros, métricas, alertas) para la detección proactiva de incidencias
- Garantizar una alta disponibilidad, tolerancia a fallos y resiliencia de las canalizaciones de datos
Colaboración y Gobernanza
- Trabaja estrechamente con arquitectos de datos, ingenieros de plataformas y partes interesadas del negocio
- Apoyar casos de uso de informes financieros, contabilidad y datos regulatorios
- Hacer cumplir los estándares de ingeniería de datos, las mejores prácticas de seguridad y las políticas de gobernanza
Habilidades y cualificaciones requeridas:
Experiencia
- 10+ años de experiencia profesional en ingeniería de datos, ingeniería analítica o roles de ingeniería de plataformas
- Experiencia demostrada diseñando y apoyando plataformas de datos a escala empresarial en entornos de producción
Habilidades técnicas imprescindibles
- Apache Airflow a nivel experto (diseño DAG, planificación, ajuste de rendimiento)
- DBT Core a nivel experto (modelado de datos, pruebas, macros, implementación)
- Fuerte dominio de Python para ingeniería de datos y automatización
- Conocimiento profundo de Kubernetes y/o OpenShift en entornos de producción
- Amplia experiencia en gestión distribuida de cargas de trabajo y optimización del rendimiento
- Sólidas habilidades SQL para transformaciones complejas y análisis
Experiencia en la nube y la plataforma
- Experiencia ejecutando plataformas de datos en entornos cloud
- Familiaridad con despliegues contenedores, pipelines CI/CD y flujos de trabajo basados en Git
Cualificaciones Preferidas
- Experiencia apoyando servicios financieros o plataformas contables
- Exposición a migraciones de sistemas empresariales (por ejemplo, de plataforma heredada a pila de datos moderna)
- Experiencia con almacenes de datos (Oracle)
Este es un puesto remoto.
Compensación: 63,00 $ la hora
Sobre nosotros
AHU Technologies INC. es una empresa de consultoría de TI y dotación de personal permanente que satisface y supera las necesidades cambiantes de servicios de TI de las principales corporaciones dentro de los Estados Unidos. Hemos estado brindando soluciones de TI a clientes de diferentes sectores de la industria, ayudándolos a controlar los costos y liberar recursos internos para enfocarse en temas estratégicos.
AHU Technologies INC. fue cofundada por jóvenes emprendedores tecno-comerciales visionarios que siguen siendo nuestros principales consultores. Al mantener relaciones de trabajo con un grupo de otros consultores independientes altamente calificados, tenemos un número creciente de recursos disponibles para proyectos de desarrollo. Actualmente estamos trabajando en varios proyectos como entretenimiento multimedia, soluciones ERP, almacenamiento de datos, aplicaciones web, telecomunicaciones y medicina para nuestros clientes en todo el mundo.
(si ya tienes un currículum en Indeed)