Los Arquitectos de Datos, bajo el título provisional de Arquitectos de Extract, Transform, Load (ETL), actuarán como la principal línea de comunicación para el equipo del proyecto. Los Arquitectos ETL impulsarán el desarrollo de canales de integración de datos, permitiendo un acceso eficiente y fiable a datos críticos dentro del Data Warehouse/Data Lake del Sistema de Gestión de Información de Corrección (CIMS) en Azure. Trabajarán con Azure Data Factory (ADF), Azure Databricks, Azure Synapse, Power BI y Azure Purview. Los Arquitectos ETL estarán a la vanguardia de transformar datos complejos en conocimientos accionables. Los Arquitectos ETL serán responsables de garantizar la integridad de los datos, la seguridad y el rendimiento, todo ello al mismo tiempo que cumplen con necesidades críticas para la misión.

 

 

 

·      Liderar el diseño y desarrollo de procesos ETL de alto rendimiento para integrar y transformar datos entre fuentes dispares;

 

·      Ofrecer oleoductos eficientes y fiables que satisfagan las necesidades del negocio y mantengan los más altos estándares de seguridad; y

 

·      Utiliza ADF para automatizar y optimizar los flujos de trabajo de datos, asegurando transiciones fluidas de la fuente al destino.

 

 

·      Construir y gestionar flujos de trabajo ETL complejos que extraigan, transformen y carguen datos para análisis y reportes posteriores, asegurando que los datos sean precisos, puntuales y seguros; y

 

·      Asume la responsabilidad de la calidad y validación de los datos, creando procesos ETL resilientes que aseguren que solo datos confiables lleguen a su destino.

 

 

·      Aprovechar al máximo el poder del ecosistema Azure —ADF, Databricks, Synapse y Purview— para gestionar y procesar grandes volúmenes de datos estructurados y no estructurados, ofreciendo soluciones escalables y optimizadas para el rendimiento; y

 

·      Integrar grandes conjuntos de datos en Azure Synapse Analytics, permitiendo a los equipos de análisis ofrecer información basada en datos que respalden la misión del Departamento.

 

 

·      Optimizar continuamente los trabajos ETL para minimizar la latencia y maximizar el rendimiento; y

 

·      Asegurarse de que la arquitectura soporte un acceso rápido y fiable a los datos para usuarios finales y sistemas, cumpliendo con métricas de rendimiento estrictas.

 

 

·      Incorporar las mejores prácticas de seguridad y cumplimiento en cada paso del proceso ETL.

 

·      Proteger los datos sensibles cumpliendo con los estándares del sector y asegurando el cumplimiento de las políticas de gobernanza de datos del Departamento; y

 

·      Utiliza Azure Purview para hacer cumplir la gobernanza de datos, rastrear la línea de datos y asegurar que el manejo de datos cumpla con los más altos estándares de integridad.

 

 

·      Colaborar con equipos multifuncionales (por ejemplo, ingenieros de datos, analistas, partes interesadas del negocio y expertos en seguridad) para diseñar e implementar soluciones ETL que respondan a las necesidades cambiantes del Departamento; y

 

·      Actúa como líder técnico y mentor, ayudando a guiar a los miembros junior del equipo y proporcionando orientación experta sobre las mejores prácticas de procesamiento y transformación de datos.

 

 

·      Desarrollar y mantener una documentación clara y detallada para los procesos ETL, asegurando que el equipo pueda ofrecer de forma constante soluciones fiables y de alta calidad; y

 

·      Establecer y hacer cumplir las mejores prácticas para el manejo de datos, el desarrollo de ETLs y la seguridad, promoviendo una cultura de excelencia y responsabilidad.

 

 

El Departamento está buscando dos (2) Arquitectos ETL a tiempo completo y in situ durante todo el periodo de PO de esta RFQ. Los puestos requeridos, las cualificaciones y las cualificaciones preferidas se describen en las Secciones 4.1 y 4.2 y deben ser verificables en el currículum de los candidatos.

 

NOTA: Cualquier candidato seleccionado con acceso a la red del Departamento debe completar la Formación de Concienciación sobre Seguridad del Departamento en un plazo de 30 días naturales desde su contratación.

 

 

Se requiere un título universitario de una universidad o colegio acreditado en Informática, Sistemas de Información o un campo relacionado. Alternativamente, la experiencia laboral equivalente, incluyendo experiencia en Arquitectura Orientada a Servicios (SOA) y Microsoft Azure Cloud Solutions, puede sustituirse por el requisito educativo año a año, cuando corresponda.

 

 

·      Siete (7) o más años de experiencia en desarrollo de ETL e ingeniería de datos;

 

·      Tres (3) o más años de experiencia práctica trabajando con ADF, Azure Cloud, Azure Databricks, Azure Synapse Analytics y Azure Purview;

 

·      Historial probado en la construcción y optimización de pipelines ETL a gran escala para entornos de alto rendimiento y alta disponibilidad;

 

·      Amplia experiencia en Spark, Python y/o Scala para transformaciones de datos a gran escala;

 

·      Dominio sólido del Lenguaje de Consulta Estructurada (SQL) y experiencia trabajando con estructuras de datos complejas;

 

·      Conocimiento profundo de gobernanza de datos, protocolos de seguridad y control de acceso basado en roles (RBAC) dentro del ecosistema Azure; y

 

·      Capacidad para diseñar procesos ETL que sean resilientes, eficientes y totalmente conformes con las normas regulatorias.

 

NOTA: Además de la lista anterior, los candidatos seleccionados deben completar con éxito una verificación de antecedentes de Nivel II.

 

 

El Departamento prefiere que los candidatos tengan la siguiente experiencia, habilidades y/o conocimientos para este puesto:

 

·      Posesión de una certificación de Microsoft Office como Azure Data Engineer Associate, Azure Solutions Architect Expert y Azure Fundamentals; y

 

·      Certificación Azure Databricks como Data Engineer Associate.