Ingeniero/a de Analítica Senior
Imagine Worldwide busca un/a Ingeniero/a de Analítica Senior para construir, ejecutar y mejorar su plataforma de analítica de datos, asegurando escalabilidad y control de costos.
Sobre el puesto
El/la Ingeniero/a de Analítica Senior construirá, ejecutará y mejorará la plataforma de analítica de Imagine, incluyendo la infraestructura, los pipelines y los modelos de datos centrales en los que se basan los informes y análisis de la organización. La tarea principal es escalar la plataforma a medida que crecen los volúmenes de datos, manteniendo los costos bajo control sin sacrificar el rendimiento. En un equipo pequeño, esto implica cubrir tanto la infraestructura subyacente como la ingeniería de datos.
Qué harás
Las responsabilidades del/la Ingeniero/a de Analítica Senior se dividen en cuatro pilares. Los dos primeros cubren la plataforma en sí: la infraestructura sobre la que se ejecuta y los pipelines que introducen datos de muchas fuentes y los procesan a escala. El tercero cubre la orquestación y los modelos de datos centrales sobre los que trabaja el resto del Equipo de Analítica. El cuarto cubre las prácticas que mantienen la plataforma fiable, segura y asequible de ejecutar.
- Construir y mantener la infraestructura de AWS de la plataforma, incluyendo almacenamiento, cómputo, redes, catálogo de datos, secretos y gestión de acceso (S3, EC2, Glue Data Catalog, Lake Formation, IAM, Secrets Manager).
- Gestionar la infraestructura como código en Terraform, manteniendo los entornos reproducibles, controlados por versión y revisables.
- Administrar el almacén ClickHouse Cloud, incluyendo la configuración del servicio, la gestión de usuarios y roles, y la monitorización del rendimiento y la capacidad.
- Alojar y mantener las herramientas autoalojadas del equipo, incluyendo Apache Superset para BI y Apache Airflow para orquestación. Esto cubre el despliegue, las actualizaciones, la autenticación y la disponibilidad.
- Contribuir a las decisiones arquitectónicas sobre cómo evoluciona la plataforma, presentando opciones y compensaciones para su revisión con el Director/a de Analítica.
- Construir y mantener pipelines de ingesta desde las fuentes de la plataforma, incluyendo bases de datos de aplicaciones, APIs y sistemas operativos, utilizando herramientas como AWS Glue, Airbyte y AWS Lambda.
- Implementar patrones de carga incremental que se mantengan eficientes y recuperables a medida que crecen los volúmenes, depositando datos brutos en el lago de forma que conserve su historial completo.
- Desarrollar y optimizar trabajos de Spark que procesan miles de millones de eventos de dispositivos en sesiones de aprendizaje y agregados de nivel superior, prestando especial atención a la partición, el sesgo y el costo de cómputo.
- Incorporar y modelar el contexto del programa que da significado a los datos de eventos, como escuelas, términos, asignaciones de dispositivos e inscripciones, y gestionar cómo cambia ese contexto con el tiempo.
- Diseñar y mantener tablas Iceberg para el rendimiento y el costo, incluyendo la estrategia de partición, el tamaño de los archivos, la compactación y la gestión de instantáneas.
- Validar datos en la ingesta y detectar problemas de calidad de forma temprana, trabajando con el Equipo de Analítica para rastrearlos hasta su origen.
- Contribuir a la evaluación de nuevos enfoques de procesamiento a medida que crecen los volúmenes, incluyendo mover más trabajo hacia arriba en la cadena y evaluar dónde el streaming añadiría valor.
- Construir y mantener flujos de trabajo de Airflow que coordinen la ingesta, el procesamiento y la transformación, con dependencias claras, reintentos y alertas.
- Desarrollar y mantener modelos dbt de staging y core en ClickHouse, siguiendo convenciones consistentes para la nomenclatura, estructura y materialización.
- Implementar modelos incrementales para tablas de alto volumen, eligiendo estrategias de materialización y diseños de tablas que equilibren la frescura, la corrección y el costo.
- Escribir y mantener pruebas dbt y contratos de modelos para conjuntos de datos centrales, de modo que los cambios que rompan los informes posteriores se detecten antes de llegar a producción.
- Documentar modelos centrales como sesiones de aprendizaje con definiciones acordadas, incluyendo su linaje, y aclarar dónde un modelo aplica una aproximación en lugar de una transformación directa.
- Trabajar con el/la Analista Senior de BI y Datos en el límite entre los modelos centrales y de reporting, y con el/la Científico/a de Datos en conjuntos de datos para investigación y evaluación.
- Construir y mantener pipelines de CI/CD en GitHub Actions para código de infraestructura, pipelines y dbt, incluyendo comprobaciones automatizadas que impidan que cambios inseguros lleguen a producción.
- Implementar monitorización y alertas en pipelines, el almacén y herramientas alojadas, para que los fallos y retrasos sean visibles rápidamente y lleguen a las personas adecuadas.
- Responder a incidentes de la plataforma y problemas de datos, realizar análisis de causa raíz y contribuir al proceso de incidentes de calidad de datos del equipo.
- Aplicar y mantener controles de acceso y prácticas de seguridad en el lago de datos, el almacén y la capa de BI, de acuerdo con las políticas de gobernanza de datos de Imagine.
- Monitorizar los costos de la plataforma en AWS y ClickHouse, rastrear el costo y el rendimiento de las cargas de trabajo individuales a lo largo del tiempo, y utilizar esa evidencia para identificar ahorros y priorizar el trabajo de optimización.
- Mantener y probar periódicamente los procedimientos de copia de seguridad y recuperación para los componentes centrales de la plataforma.
- Participar en la revisión de código y escribir runbooks claros y documentación técnica, siguiendo los estándares de documentación del equipo, para que el conocimiento de la plataforma se comparta entre el equipo.
Qué buscan
Se requiere un título de grado en Ciencias de la Computación, Ingeniería de Software o un campo relacionado, o experiencia práctica equivalente. La experiencia demostrada se valora por igual a las credenciales formales.
Al menos 7 años en roles de ingeniería de datos, ingeniería de software o ingeniería de plataformas, incluyendo al menos 3 años construyendo y ejecutando procesamiento de datos distribuido (Spark o equivalente) en producción.
Un historial de toma de responsabilidad por una plataforma de datos en producción, o partes importantes de ella, incluyendo su fiabilidad, rendimiento y operación diaria.
Experiencia trabajando con conjuntos de datos de cientos de millones a miles de millones de registros, y diseñando procesamiento que se mantiene eficiente a medida que crecen los volúmenes.
Experiencia ejecutando cargas de trabajo de datos dentro de restricciones presupuestarias reales: tomando decisiones deliberadas entre cómputo, almacenamiento y rendimiento, y siendo capaz de mostrar el efecto de esas decisiones.
Experiencia gestionando la infraestructura en la nube sobre la que se ejecutan las cargas de trabajo de datos, no solo utilizando servicios gestionados.
Experiencia trabajando en equipos pequeños donde los ingenieros cubren un amplio alcance y trabajan con supervisión limitada.
Experiencia trabajando con equipos remotos en múltiples países y zonas horarias.
Fuerte Python, escrito con estándares de producción, con pruebas y diseño modular.
SQL avanzado, incluyendo la escritura y optimización de consultas contra bases de datos analíticas.
Spark (PySpark), incluyendo la optimización del rendimiento para partición, shuffles y sesgo de datos.
Un sólido entendimiento del diseño de data lakes, incluyendo formatos columnares como Parquet, estrategia de partición, y cuándo procesar en el lago en lugar del almacén.
Experiencia práctica en AWS con servicios de datos y la infraestructura circundante, como S3, Glue o EMR, IAM y EC2.
Infraestructura como código, utilizando Terraform, CloudFormation, CDK o similar.
Administración de Linux y Docker, al nivel necesario para desplegar y mantener servicios autoalojados.
dbt en producción, incluyendo modelos incrementales y pruebas.
Orquestación de flujos de trabajo con Airflow, Dagster, Prefect o similar.
Git, CI/CD y práctica de revisión de código.
Se valora
Apache Iceberg, u otro formato de tabla abierta como Delta Lake o Hudi.
ClickHouse, o un almacén columnar comparable como Snowflake, BigQuery o Redshift.
Terraform específicamente.
Apache Airflow específicamente.
AWS Glue y Lake Formation.
Modelado de datos para analítica, incluyendo el manejo de datos de referencia que cambian con el tiempo.
Plataformas Spark gestionadas como Databricks.
Tecnologías de streaming como Kafka, Flink, Kinesis o Spark Structured Streaming.
Datos de eventos, telemetría o IoT, particularmente de dispositivos que se sincronizan de forma intermitente.
Herramientas de ingesta como Airbyte.
Administración de herramientas de BI como Apache Superset.
Desarrollo de software más allá de los pipelines de datos, como la construcción de APIs o integraciones de sistemas.
Qué ofrecen
El salario es competitivo y acorde con la experiencia.
Sobre la empresa
Todos los niños tienen un potencial inmenso, pero cientos de millones no tienen acceso a la educación que necesitan. Imagine Worldwide cree que cada niño debe tener el derecho básico a la alfabetización y la aritmética. Proporcionamos una solución innovadora de tecnología educativa y un modelo de implementación para la crisis global de aprendizaje de alfabetización/aritmética utilizando la aplicación onebillion y varias herramientas y sistemas para apoyar la implementación. Nuestro modelo es masivamente escalable, basado en evidencia, y puede ofrecer aprendizaje fundamental a millones de los niños más marginados.
Imagine Worldwide se asocia con gobiernos, organizaciones y comunidades para proporcionar aprendizaje basado en tabletas, dirigido por el niño, que es accesible, efectivo y asequible. Estamos constituidos en California (Estados Unidos) como una organización sin fines de lucro, pero operamos en África Subsahariana a través de entidades registradas localmente en Malawi, Sierra Leona y Tanzania. Obtén más información en nuestro sitio web.
Cómo postularte
El/la Ingeniero/a de Analítica Senior debe tener su base en África. El puesto colaborará y coordinará frecuentemente con los equipos de operaciones en África, EE. UU. y el Reino Unido. Este es un puesto remoto a tiempo completo.
Oferta publicada originalmente en Himalayas. La empresa recibe las candidaturas en su web; Nexempleo solo la difunde.