Los arquitectos de datos, bajo el título de trabajo de trabajo de Arquitectos de extracción, transformación y carga (ETL), servirán como la principal línea de comunicación para el equipo del proyecto. Los arquitectos de ETL impulsarán el desarrollo de canalizaciones de integración de datos, lo que permitirá un acceso eficiente y confiable a datos críticos dentro del almacenamiento de datos/Data Lake del sistema de administración de información de corrección (CIMS) en Azure. Funcionarán con Azure Data Factory (ADF), Azure Databricks, Azure Synapse, Power BI y Azure Purview. Los arquitectos de ETL estarán a la vanguardia de la transformación de datos complejos en información procesable. Los arquitectos de ETL serán responsables de garantizar la integridad, la seguridad y el rendimiento de los datos, al tiempo que satisfacen las necesidades de misión crítica. Los deberes y responsabilidades específicos de este puesto son los siguientes:

 

 

·      Liderar el diseño y desarrollo de procesos ETL de alto rendimiento para integrar y transformar datos en fuentes dispares;

 

·      Entregar tuberías eficientes y confiables que satisfagan las necesidades comerciales y mantengan los más altos estándares de seguridad; y

 

·      Utilice ADF para automatizar y optimizar los flujos de trabajo de datos, lo que garantiza transiciones fluidas desde el origen hasta el destino.

 

 

·      Cree y gestione flujos de trabajo ETL complejos que extraigan, transformen y carguen datos para análisis e informes posteriores, lo que garantiza que los datos sean precisos, oportunos y seguros; y

 

·      Tome posesión de la calidad y la validación de los datos, creando procesos ETL resistentes que garanticen que solo los datos confiables lleguen a su destino.

 

 

·      Aproveche toda la eficacia del ecosistema de Azure (ADF, Databricks, Synapse y Purview) para administrar y procesar grandes volúmenes de datos estructurados y no estructurados, ofreciendo soluciones escalables y optimizadas para el rendimiento; y

 

·      Integre grandes conjuntos de datos en Azure Synapse Analytics, lo que permite a los equipos de análisis ofrecer información basada en datos que respalde la misión del Departamento.

 

 

·      Optimice continuamente los trabajos ETL para minimizar la latencia y maximizar el rendimiento; y

 

·      Asegúrese de que la arquitectura admita un acceso rápido y fiable a los datos para los usuarios finales y los sistemas, cumpliendo con estrictas métricas de rendimiento.

 

 

·      Incorpore las mejores prácticas de seguridad y cumplimiento en cada paso del proceso ETL;

 

·      Proteger los datos confidenciales adhiriéndose a los estándares de la industria y asegurando el cumplimiento de las políticas de gobierno de datos del Departamento; y

 

·      Use Azure Purview para aplicar la gobernanza de datos, realizar un seguimiento del linaje de datos y asegurarse de que el control de datos cumple con los más altos estándares de integridad.

 

 

·      Asociarse con equipos multifuncionales (por ejemplo, ingenieros de datos, analistas, partes interesadas comerciales y expertos en seguridad) para diseñar e implementar soluciones ETL que satisfagan las necesidades cambiantes del Departamento; y

 

·      Actuar como líder técnico y mentor, ayudando a guiar a los miembros del equipo junior y brindando orientación experta sobre las mejores prácticas de procesamiento y transformación de datos.

 

 

·      Desarrollar y mantener documentación clara y detallada para los procesos ETL, asegurando que el equipo pueda ofrecer soluciones confiables y de alta calidad de manera constante; y

 

·      Establezca y aplique las mejores prácticas para el manejo de datos, el desarrollo de ETL y la seguridad, impulsando una cultura de excelencia y responsabilidad.

 

 

Se requiere una licenciatura de un colegio o universidad acreditada en Ciencias de la Computación, Sistemas de Información o un campo relacionado. Alternativamente, la experiencia laboral equivalente, incluida la experiencia en arquitectura orientada a servicios (SOA) y soluciones en la nube de Microsoft Azure, puede sustituirse por el requisito educativo año por año, cuando corresponda.

 

El Departamento requiere la siguiente experiencia, habilidades y conocimientos para este puesto:

 

·      Siete (7) o más años de experiencia en desarrollo ETL e ingeniería de datos;

 

·      Tres (3) o más años de experiencia práctica trabajando con ADF, Azure Cloud, Azure Databricks, Azure Synapse Analytics y Azure Purview;

 

·      Historial comprobado de creación y optimización de canalizaciones ETL a gran escala para entornos de alto rendimiento y alta disponibilidad;

 

·      Amplia experiencia en Spark, Python y/o Scala para transformaciones de datos a gran escala;

 

·      Fuerte dominio del lenguaje de consulta estructurado (SQL) y experiencia trabajando con estructuras de datos complejas;

 

·      Conocimiento profundo de la gobernanza de datos, los protocolos de seguridad y el control de acceso basado en rol (RBAC) dentro del ecosistema de Azure; y

 

·      Capacidad para diseñar procesos ETL que sean resistentes, eficientes y totalmente compatibles con los estándares regulatorios.

 

 

El Departamento prefiere que los candidatos tengan la siguiente experiencia, habilidades y / o conocimientos para este puesto:

 

·      Posesión de una certificación de Microsoft Office como Azure Data Engineer Associate, Azure Solutions Architect Expert y Azure Fundamentals; y

 

·      Certificación de Azure Databricks como ingeniero de datos asociado.