Migración de datalake a Google Cloud Plataform: la solución que hizo escalar los datos en importante empresa de telecomunicaciones

EL CLIENTE

Empresa de telecomunicaciones que brinda servicios de telefonía fija y móvil, transmisión de datos, televisión paga e Internet para individuos, empresas e instituciones en toda la República Argentina.

 

PROYECTO

La Data Office, que consolida todas las actividades de Data & Analytics del grupo empresario, impulsó la creación de un datalake en la nube que concentre los datos de toda entidad. El objetivo era acelerar los proyectos y generar mayor valor agregado al negocio a partir de las grandes capacidades analíticas de herramientas Cloud Native.

Hasta entonces, el repositorio de datos se encontraba al tope de su capacidad y necesitaba de constante mantenimiento para su funcionamiento. La empresa eligió a Goolge Cloud Platform (GCP) como proveedor de solución en la nube e inició la migración de los diferentes componentes analíticos on-premise. 

Con esta situación inicial, se recurrió a ERGO, con quien ya tiene una larga relación en proyectos de datalake y datawarehouse, para optimizar la arquitectura de sus ingestas a la nube de la manera más adecuada a su contexto y, a partir de allí, generar los procesos que permitan mover toda su historia hacia su nuevo destino.

 

Solución

En el Datalake a migrar convivían varios sistemas de datos. En la primera etapa, se trabajó con siete aplicativos que representan aproximadamente 1TB de datos diarios tanto Batch como RealTime y con la migración de toda su historia, que implicó hasta 1PB de información.

El sistema de administración de las métricas de clientes de la red, por ejemplo, manejaba el mayor volumen de información y se encargaba de ingestar los XDRs crudos para servicios móviles (Plano usuario, Señalización, Voz Entrante / Saliente y VoLTE) y los SDRs “Servicios correspondientes a casos de uso” (Roaming, VAP y CEI) que toman información de las sondas conectadas al core móvil.

La arquitectura del dataLake se componía de procesos generados en NiFi y orquestados por CTRLM, los cuales cargaban un cluster Hadoop y eran consumidos a través de Hive por los científicos de datos:

 

 

En cambio, la arquitectura propuesta para llevar el dataLake a Google Cloud Plataform significó remplazar cada eslabón de la arquitectura actual con su contraparte de la suite de herramientas de GCP, para lograr la mejor integración posible con un enfoque en reducción de costos de procesamiento y almacenamiento en la nube.

 

 

Resultados

 

Los beneficios que percibió la empresa de telefonía por utilizar esta arquitectura se vieron reflejados en la ingesta, ya que con la herramienta dataflow se generan pipelines más robustos para el manejo de los datos tanto Batch como Realtime.

En cuanto al almacenamiento, obtuvo una elasticidad acorde al uso que ofrece Cloud Storage de GCP que remplaza el esfuerzo para mantener el funcionamiento del actual datalake. Además, el costo de mantenimiento de los equipos y los posibles upgrade que puedan necesitar se redujo a 0.

A nivel de procesamiento, aprovecha el poder de escalamiento que posee Bigquery para realizar analítica avanzada en menor tiempo y cuenta con una alta disponibilidad, al ser 100% autogestionado, se asegura el 99,9% del uptime de la plataforma.

CASOS RELACIONADOS

Gestión eficiente de datos con mejores prácticas de gobierno

Conozca más

SAS reconoció a ERGO como partner del año 2018

SAS, empresa líder del mercado que brinda soluciones y servicios de innovación analítica, inteligencia artificial y gestión de datosy ayuda a convertir sus datos en mejores decisiones, destacó a ERGO Renova como el partner del año del 2018. El premio fue oficializado en la noche del 29 de abril en el Global Forum, un evento anual que se desarrolla en Dallas, Estados Unidos.

Conozca más

Gustavo Gutman, Country Manager de SAS Cono Sur: "ERGO es una empresa muy considerada en el mercado"

Conozca más

Ayudamos a las organizaciones a poner los datos al servicio del negocio

Conozca más
Desarrollado por