Big Data

Hay ocasiones en que el volumen o la velocidad de los datos es tan grande que las tecnologías tradicionales no son suficientes para poder capturarlos, transformarlos y almacenarlos. Es entonces cuando aparece Big Data. Actualmente todas las empresas generan una gran cantidad de datos, en el caso de negocios digitales esta cantidad puede llegar a ser inimaginable. Ser capaz de identificar los datos relevantes del negocio dentro de ese caos puede significar una ventaja competitiva.

Una definición sencilla del Big Data es el conjunto de tecnologías y procesos que nos permiten poder trabajar con cantidades de datos tan enormes que necesitan unas tecnologías específicas para ser procesadas. A parte del volumen, también puede ser porque los datos se generan a una gran velocidad o son muy variados. Son las conocidas 3 V’s de Big Data:

• Volumen: Cuando la cantidad de datos es tan grande que hacen falta sistemas de ingesta y almacenamiento más allá de las bases de datos y DWH tradicionales.
• Velocidad: Cuando los datos son generados a gran velocidad (IoT o peticiones web, por ejemplo) o bien se requiere que nuestro sistema responda en tiempo real.
• Variedad: Cuando además de datos estructurados provenientes de ERP, CRM o ficheros de Excel; también hay que analizar otras fuentes de datos cuya estructura no está tan definida: vídeo, audio, mensajes en RRSS…

En todos estos casos necesitamos de las tecnologías Big Data para poder trabajar con los datos, tanto batch como streaming,y ponerlos a disposición de los algoritmos que han de analizar esos datos y extraer de ellos un valor que se pone a disposición de nuestro cliente.

En Mistral somos capaces de abordar con éxito proyectos de Big Data cuando su uso es necesario. Esto sucede cuando, en proyectos de Business Intelligence y Data Science, las tecnologías tradicionales no son capaces de procesar la información debido a alguna de las tres V’s que hemos comentado anteriormente.

Big Data es el músculo y Data Science o Business Intelligence son el cerebro. A menudo se pueden abordar proyectos de analítica de datos, incluyendo los de Machine Learning, sin necesidad de utilizar tecnologías big data.

Cuando en un proyecto es necesario aplicar sistemas Big Data, la misión de estos es poner los datos a disposición de los algoritmos y cuadros de mando, que serán los encargados de extraer valor de ellos.

En un caso de éxito que realizamos para un cliente que se dedica al alquiler de vehículos, disponía de una aplicación que recibía millones de peticiones al día provenientes de otras empresas como compañías aéreas y clientes finales.

Implementamos una solución de Big Data en la nube que fuera capaz de ingerir estos datos en tiempo real y posteriormente transformarlos. Una vez podíamos trabajar con estos datos, desarrollamos un cuadro de mando con dicha información. De este modo nuestro cliente podía ver cómo variaba el número de consultas cada día y adaptar así los precios a la demanda.