Empresa de eCommerce a la vanguardia gracias a la migración de datawarehouse a Cloud BigQuery

EL CLIENTE

La empresa de eCommerce más grande de Latinoamérica con base y origen en Argentina.

PROYECTO

El área de Bussiness Intelligence de la empresa inició un proceso de modernización de su DataWarehouse -que se encontraba montado en Teradata On Premise- con el objetivo de llevarlo hacia la plataforma de servicios en la nube de Google.

El cambio de paradigma fue impulsado por la decisión de mantenerse a la vanguardia de las tendencias tecnológicas, hoy en día materializadas en la carrera de muchas de las empresas más importantes del mundo para llevar sus datos hacia la nube. Para esto, eligió el producto nativo Cloud BigQuery que, con sus grandes capacidades de procesamiento de datos y analítica avanzada, puede suplir todas las necesidades actuales y futuras de la firma.

Con esta situación inicial, la empresa referente de eCommerce recurrió a ERGO para nutrir sus equipos internos con una fuerza de trabajo de gran experiencia y trayectoria en la ingesta de datos en todo tipo de tecnologías.

 

Solución

Para comenzar el proyecto de migración se formó un equipo con gran experiencia en ingesta de datos, apoyados en las metodologías que ERGO utiliza.

Se definieron como tareas a realizar:

  • El análisis, desarrollo y pruebas de los procesos de migración de historia
  • Sincronización de información entre Teradata y BigQuery
  • Adaptación de los procesos de extracción de cada origen de datos hacia su nuevo destino en la nube

Todo aplicado con la herramienta de integración desarrollada por la empresa de eCommerce.

 

A partir del análisis realizado, se encontró una amplia variedad de puntos de origen de los datos a manejar en los procesos de extracción, como bases de datos relacionales como Oracle, MySQL o MSSQL, archivos planos, datos no estructurados en JSON y hasta algunos scrips en Python que debieron ser adaptados a GAIA, la herramienta integradora.

Para cada proceso, se generó un procedimiento de QA automático que brindó estadísticas de cada entidad y campo migrado para compararlo con su origen. Así fue posible validar que las transferencias como los datos extraídos estaban correctos. Estos indicadores resultantes fueron utilizados en DataStudio de Google para realizar un dashboard de QA:

Se realizó una migración de más de 50 entidades con excelentes resultados a partir de la utilización de todas las features de BigQuery y GAIA, que aseguraron los objetivos previstos por la empresa de eCommerce.

 

Resultados 

 

Rápidamente la empresa de eCommerce vio resultados beneficiosos. La agilidad con la que los usuarios obtienen sus datos generó un impacto positivo en su comunidad, apalancando el poder de procesamiento de la nube de Google Cloud Plataform y los beneficios de BigQuery a la hora de manejar ciertos workloads que en Teradata no eran posibles.

Gracias al buen rendimiento del proyecto, la migración se amplió con el objetivo de llevar más de 2000 entidades del DataWarehouse.

CASOS RELACIONADOS

Gestión eficiente de datos con mejores prácticas de gobierno

Conozca más

SAS reconoció a ERGO como partner del año 2018

SAS, empresa líder del mercado que brinda soluciones y servicios de innovación analítica, inteligencia artificial y gestión de datosy ayuda a convertir sus datos en mejores decisiones, destacó a ERGO Renova como el partner del año del 2018. El premio fue oficializado en la noche del 29 de abril en el Global Forum, un evento anual que se desarrolla en Dallas, Estados Unidos.

Conozca más

Gustavo Gutman, Country Manager de SAS Cono Sur: "ERGO es una empresa muy considerada en el mercado"

Conozca más

Ayudamos a las organizaciones a poner los datos al servicio del negocio

Conozca más
Desarrollado por