Comprender las características de Big Data

Comprender las características de Big Data. El hecho de que las organizaciones enfrentan desafíos de Big Data es común hoy en día. El término Big Data se refiere al uso de un conjunto de múltiples tecnologías, tanto antiguas como nuevas, para extraer información significativa de una gran cantidad de datos.

El conjunto de datos no solo es grande, sino que también tiene su propio conjunto único de desafíos para capturarlos, administrarlos y procesarlos. A diferencia de los datos que persisten en las bases de datos relacionales, que están estructuradas, el formato de big data puede ser estructurado, semiestructurado a no estructurado, o recopilarse de diferentes fuentes con diferentes tamaños. Este artículo profundiza en los aspectos fundamentales de Big Data, sus características básicas, y le da una pista de las herramientas y técnicas utilizadas para tratarlo.

Tabla de contenidos

Una visión general

El término Big Data da una impresión solo del tamaño de los datos. Esto es cierto en cierto sentido, pero no da la imagen completa. Los desafíos asociados con él no son solo su tamaño solo. De hecho, la idea evolucionó para nombrar un mar de datos recopilados de diversas fuentes, formatos y tamaños, y, al mismo tiempo, es difícil aprovecharlos o sacarles provecho.

El surgimiento de la tecnología emergente y el uso creciente de Internet dieron un impulso al volumen y la disparidad. El volumen sigue aumentando con cada intercambio de información a través de Internet o incluso los minúsculos objetos IoT que utilizamos.

Un simple contestar una llamada telefónica o encender el CCTV puede generar una cadena de datos. Hoy, la mayoría de los dispositivos están conectados en línea. Ahora, si una organización quiere recopilar esa información en línea, necesita un proceso de procesamiento especial porque los datos generados serán masivos. Además, puede no haber uniformidad en el formato de los datos capturados. Esto se suma a la complejidad ya que tenemos que lidiar con datos estructurados, semiestructurados o no estructurados.

Las herramientas que utilizamos hasta ahora para organizar los datos son incapaces de manejar tanta variedad y volumen. Por lo tanto, podemos decir que el término Big Data en realidad se aplica a los datos que no pueden procesarse o analizarse a través de herramientas y técnicas tradicionales que normalmente se utilizan para procesar datos estructurados o semiestructurados, como el uso de bases de datos relacionales, XML, etc.

Las organizaciones de hoy están repletas de datos no estructurados o semiestructurados disponibles en formato sin formato. Estos datos pueden ser una gran cantidad de información si se procesan y el valor se obtiene de ellos. Pero, el problema es cómo hacerlo.

Las técnicas y herramientas tradicionales, como las bases de datos relacionales, son inadecuadas para manejar un volumen tan grande de datos variados. También es un problema de doble filo para las organizaciones, porque simplemente destruirlas significaría perder información valiosa, si es que la hay, y conservarlas es un desperdicio de recursos. Por lo tanto, se buscan algunas herramientas y técnicas para tratar el problema. A veces, estamos bastante seguros de su valor potencial en la pila y podemos cosechar una mina de oro de información, pero, sin las herramientas adecuadas, es bastante exigente para el proceso comercial obtener algún beneficio. Los datos de hoy son masivos y explotaron como cualquier cosa en los últimos años; Parece que no hay forma de detenerlo, por cierto.

Explosión de información

Big data se hace cada minuto más grande en casi todos los sectores, ya sea tecnología, medios, venta minorista, servicios financieros, viajes y redes sociales, por nombrar solo algunos. El volumen de procesamiento de datos del que estamos hablando es alucinante. Aquí hay información estadística para darle una idea:

Los canales meteorológicos reciben 18,055,555 solicitudes de pronóstico por minuto.
Los usuarios de Netflix transmiten 97,222 horas de video por minuto.
Los usuarios de Skype realizan 176,220 llamadas por minuto.
Los usuarios de Instagram publican 49,380 fotos por minuto.

Estos números están creciendo cada año, con un número creciente de personas que usan Internet. En 2017, el uso de Internet alcanzó hasta el 47% (3.800 millones de personas) de la población mundial. Con un número cada vez mayor de dispositivos electrónicos, nuestros datos de salida aproximados se estiman en 2.5 quintillones de bytes por día y en crecimiento.

Las estadísticas de Búsqueda de Google muestran 3.5 billones de búsquedas por día, lo que representa más de 40,000 búsquedas por segundo en promedio . Tampoco debemos perder de vista que otros motores de búsqueda también están haciendo búsquedas. El Informe de estadísticas de correo electrónico, 2015-2019 de Radicati Group, Inc., muestra 2.900 millones de usuarios de correo electrónico para 2019.

En un intento de estimar cuántas fotos se tomaron en 2019 : si hubiera 7,5 mil millones de personas en el mundo ese año, con aproximadamente 5 mil millones con teléfonos móviles, una suposición probable es que el 80% de esos teléfonos tienen cámaras incorporadas. Eso significa que hay alrededor de 4 mil millones de personas que usan sus cámaras. Si toman 10 fotos por día, lo que equivale a 3,650 fotos por año por persona, esto suma aproximadamente 14 billones de fotos tomadas por año.

Por lo tanto, cuando decimos Big Data, se refiere esencialmente a datos o conjuntos de registros que son demasiado grandes para ser previsibles. Se producen a través de los motores de búsqueda, informática empresarial, redes sociales, redes sociales, genómica, meteorología, pronósticos meteorológicos y muchas otras fuentes. Esto claramente no puede ser operado usando las herramientas y técnicas de administración de bases de datos existentes. Big Data abre una arena de grandes desafíos en términos de almacenamiento, captura, administración, mantenimiento, análisis, investigación, nuevas herramientas para manejarlos y similares.

Particularidades del Big Data

Como con todas las cosas importantes, si queremos gestionarlas, debemos caracterizarlas para organizar nuestra comprensión. Por lo tanto, Big Data puede definirse por una o más de tres características, las tres V: alto volumen , alta variedad y alta velocidad . Estas características plantean algunas preguntas importantes que no solo nos ayudan a descifrarlo, sino que también nos dan una idea de cómo lidiar con datos masivos y dispares a una velocidad manejable dentro de un marco de tiempo razonable para que podamos sacarle provecho. análisis en tiempo real, y proporcionar una respuesta posterior rápidamente.

Volumen: El volumen se refiere al gran tamaño de los datos cada vez más explosivos del mundo informático. Plantea la pregunta sobre la cantidad de datos.
Velocidad: la velocidad se refiere a la velocidad de procesamiento. Plantea la cuestión de a qué velocidad se procesan los datos.
Variedad: Variedad se refiere a los tipos de datos. Plantea la cuestión de cuán dispares son los formatos de datos.

Tenga en cuenta que caracterizamos Big Data en tres V, solo para simplificar sus principios básicos. Es muy posible que el tamaño sea relativamente pequeño, pero muy variado y complejo, o puede ser relativamente simple pero con un gran volumen de datos.

Por lo tanto, además de estas tres V, podemos agregar fácilmente otra, Veracidad. La veracidad determina la precisión de los datos en relación con el valor comercial que queremos extraer. Sin veracidad, es inviable que una organización aplique sus recursos para analizar la pila de datos. Con más precisión en cuanto al contexto de los datos, hay una mayor posibilidad de obtener información valiosa. Por lo tanto, la veracidad es otra característica de Big Data. Las empresas aprovechan los datos estructurados, semiestructurados y no estructurados del correo electrónico, las redes sociales, las transmisiones de texto y más. Pero, antes del análisis, es importante identificar la cantidad y los tipos de datos en consideración que impactarían los resultados del negocio.

Herramientas y técnicas

La Inteligencia Artificial (IA), IoT y las redes sociales están impulsando la complejidad de los datos a través de nuevas formas y fuentes. Por ejemplo, es crucial que, en tiempo real, los datos grandes que ingresan a través de sensores, dispositivos, redes, transacciones se capturen, administren y procesen con baja latencia. Big Data permite a los analistas, investigadores y usuarios de negocios tomar decisiones más informadas con mayor rapidez, utilizando datos históricos que de otro modo serían inalcanzables. Se puede utilizar el análisis de texto, el aprendizaje automático, el análisis predictivo, la minería de datos y el procesamiento del lenguaje natural para extraer una nueva visión de la pila de datos disponible.

La tecnología ha evolucionado para gestionar grandes volúmenes de datos, que anteriormente eran caros y tenían que contar con la ayuda de supercomputadoras. Con la aparición de las redes sociales como Facebook, los motores de búsqueda como Google y Yahoo !, los proyectos de Big Data cobraron impulso y crecieron como lo son hoy. Se han desarrollado tecnologías como MapReduce, Hadoop y Big Table para satisfacer las necesidades de hoy.

Los repositorios NoSQL también se mencionan en relación con Big Data. Es una base de datos alternativa en contraste con las bases de datos relacionales. Estas bases de datos no organizan registros en tablas de filas y columnas como se encuentran en las bases de datos relacionales convencionales. Existen diferentes tipos de bases de datos NoSQL, como Content Store, Document Store, Event Store, Graph, Key Value y similares. No usan SQL para consultas y siguen un modelo arquitectónico diferente. Se encuentran para facilitar Big Data Analytics de manera favorable. Algunos nombres populares son: Hbase, MongoDB, CouchDB y Neo4j. Aparte de ellos, hay muchos otros.

Conclusión

Big Data abrió una nueva oportunidad para la recolección de datos y la extracción de valor, que de otro modo estarían desperdiciando. Es imposible capturar, administrar y procesar Big Data con la ayuda de herramientas tradicionales como bases de datos relacionales. La plataforma Big Data proporciona las herramientas y los recursos para extraer información de los voluminosos, diversos y la velocidad de los datos.

Estas pilas de datos ahora tienen medios y un contexto viable para ser utilizados con diversos fines en el proceso comercial de una organización. Por lo tanto, para determinar exactamente qué tipo de datos estamos hablando, debemos entenderlo y sus características como el paso principal.

Ver otros recursos relacionados: ¿Por qué los centros de datos de hiperescala están aquí para quedarse? ; desventajas y contras del Big data; qué es Big data analytics y porqué lo necesito para mi negocio.