Big Data o datos masivos, es un término que se refiere a grandes cantidades de información o datos, que debido a su tamaño y complejidad, no se puede procesar en una máquina de forma tradicional y por lo tanto requieren de un software especial.
En este video puedes ver a nuestro CEO Sebastian explicando qué es el Big Data:
Si has trabajado con hojas de cálculo como son Excel o Google Sheets, sabrás que Excel por ejemplo tienen un límite máximo de 1,048,576 de filas y Google Sheets solo te permite tener 5,000,000 de celdas en cada hoja. Por eso existen herramientas de Big Data especiales como pueden ser Apache Spark, o la plataformas de computación en la nube que puedes utilizar cuando las herramientas tradicionales como las hojas de cálculo no son suficiente.
¿De dónde vienen todos estos datos?
Si tienes un teléfono móvil, simplemente con todo lo que haces con él, desde las redes sociales, internet, todas las apps que usas, puedes imaginarte que todo lo que haces queda registrado como un dato, y las empresas recogen estos datos para utilizarlos para su negocio.
También internet de las cosas y los aparatos inteligentes, como los relojes, lavadores, y hasta coches de autoconducción, hacen que se generen más datos, y esto es una tendencia que no va a parar. Cada año se generan más y más datos, y esto es algo que podemos ver en este gráfico donde mostramos una estimación de los datos que vamos a seguir generando:
¿Pero qué son los datos?
En este video Sebastian nos explica de forma mas sencilla que son los datos:
Las 5 V’s del Big Data
Hay 5 V’s del Big Data que se han usado tradicionalmente para definirlo que serían las siguientes:
- Volumen
- Variedad
- Velocidad
- Veracidad
- Valor
Vamos a entrar en un poco más de detalle de cada una de ellas.
Volumen
El volumen del Big Data se refiere a la gran cantidad de información producida.
En el pasado se trabajaban con pequeñas cantidades de datos que cabían en un disquete o en un ordenador personal. Si hace años se hablaba de Kilobytes y Megabytes, hoy estamos hablando de Terabytes, Petabytes, Exabytes y Zetabytes.
Variedad
La variedad del Big Data se refiere al origen de los datos. Hoy en día, prácticamente todos los dispositivos producen información y están conectados a internet. Servidores, ordenadores, móviles, todo tipo de dispositivo y sensores, todos están recogiendo datos de diferentes sitios.
Velocidad
También, tenemos la velocidad del Big Data, que refiere a las tasas de transferencia de datos que mejoran cada día mas. Un claro ejemplo de ello es la adaptación a la nueva red 5G y el posible futuro 6G del que ahora se está empezando a hablar.
Veracidad
La veracidad de los datos es una de las características mas difíciles de cumplir en los análisis de datos. Limpiar los datos y detectar patrones reales es un reto cuando trabajas con Big Data. No todos los datos, ni todas las variables tienen la misma validez. Separar el grano de la paja es una tarea imprescindible que nos permitirá obtener un resultado con mayores probabilidades de éxito.
Valor
Finalmente, el valor de los datos se refiere a cómo se utilizan esos datos y que valor tienen en las organizaciones para sus productos y servicios, y como añaden valor para los clientes finales.
Los datos son el nuevo petroleo
El Big Data o los datos masivos se han vuelto muy importante para las empresas y el entorno corporativo. Las empresas pueden transformarse en verdaderas minas de oro cuando recogen tantos datos, si se exploran, analizan y se utilizan adecuadamente.
En este artículo escrito en The Economist por David Parkins, se compara a los datos con el petróleo.
Una frase que se escucha mucho es “Data is the new oil” que traducido al Español es “Los datos son el nuevo petróleo”.
El Big Data esta cambiando todo tipos de industrias, automóvil, entretenimiento, el turismo, el retail, la administración, las fábricas y el mundo de la publicidad entre otras.
Cloud computing o computación en la nube
Las herramientas para trabajar con Big Data son diversas y en los últimos años de suele trabajar en la nube, con uno de los tres grandes proveedores de servicios de computación en la nube cómo son Amazon Web Services, Microsoft Azure o Google Cloud Platform. Estas plataformas tienen todas las herramientas que necesitas para trabajar con datos masivos y poder sacarles valor. La mayoría de las empresas modernas ya están trabajando en la nube ya que tener todos los datos en servidores en las oficinas está quedando obsoleto.
En este video puedes ver una mejor definición de Cloud Computing:
Este video es parte de nuestro curso de Comienza con AWS
Las tres profesiones del Big Data
Las profesiones relacionadas con el Big Data se pueden separar en tres grupos:
En Datademia ofrecemos tres Bootcamps donde te podrás convertir en un analista, científico o ingeniero de datos.
En los siguientes artículos veremos los detalles de cada una de estas profesiones:
Puedes aprender sobre cada una de estas profesiones en los enlaces anteriores.
