Pipeline operativo en Google Cloud

Problema El contexto

Para analizar datos de varios años, el equipo armaba macros de Excel que resumían la información por partes, con el límite de 1 millón de filas de Excel. Esto tomaba entre 2 días y 1 semana, según la carga de trabajo.

Luego se creó una macro que revisaba cada archivo y lo resumía para analizarlo. El problema: ante un error había que buscar el archivo original, y los reportes se perdían o se borraban con frecuencia.

El reporte de staging de paletas se genera en .xlsb y se actualiza 4 veces al día. El objetivo: almacenarlo de forma estructurada, sin pasos manuales y sin duplicar registros en cada recarga.

Solución Qué resolví

1. Con VBA, el reporte .xlsb se convierte a CSV y se guarda en SharePoint.
2. Power Automate detecta el archivo nuevo y lo envía al bucket de Cloud Storage.
3. Un disparador de Cloud Functions se activa con el archivo y ejecuta un script que crea el job de Dataflow.
4. Dataflow transforma y limpia los datos: formatos de fecha, errores provenientes de fórmulas y tipos de datos por columna.
5. Se elimina la fecha en BigQuery y se insertan los datos; los registros con error van a la tabla de rechazos y el estado se avisa por correo.
6. Consultas programadas en BigQuery actualizan la tabla conectada al dashboard de Power BI, que la consume vía DirectQuery.

Estado: en producción; se ejecuta cada vez que detecta archivos nuevos.

Arquitectura técnica

Resultados y validación Resultados y evidencia

Cualitativo (no medido): el dashboard se actualiza solo, los errores se revisan a nivel de detalle y no se pierden archivos porque todo queda estructurado en BigQuery.

Tiempo de análisis con el pipeline frente a los 2 días a 1 semana anteriores.

Decisiones técnicas Cómo pensé

• Reemplazar el resumen archivo por archivo en Excel por datos estructurados en BigQuery: ante un error se revisa a nivel de detalle y no se pierden archivos.
• Power Automate como disparador y carga a Cloud Storage mediante URLs firmadas (carga segura).
• BigLake sobre el bucket para optimizar costos de almacenamiento.
• Como el reporte llega 4 veces al día, cada carga borra primero la fecha en BigQuery y luego inserta, para evitar duplicados.
• Los registros con error no detienen la carga: van a una tabla de rechazos y se avisa por correo.

Alternativas técnicas evaluadas dentro de GCP y por qué se descartaron.

Calidad de datos y pruebas

• Dataflow valida y corrige formatos de fecha, errores provenientes de fórmulas y tipos de datos por columna.
• Los registros con error van a una tabla de rechazos en BigQuery y no detienen la carga.
• Control de duplicados: cada carga borra la fecha correspondiente e inserta de nuevo, porque el reporte llega 4 veces al día.
• El estado del proceso se avisa por correo a los usuarios técnicos.

Pruebas automatizadas y validaciones adicionales: por documentar.

Limitaciones y siguientes pasos

El código productivo vive en GCP y procesa datos de la empresa, por lo que no es público. Siguiente paso propuesto: una versión reproducible con datos sintéticos, diagrama de arquitectura y pruebas.