Así aprovechan las grandes empresas sus datos
Tres empresas ultra especializadas en momentos puntuales del ciclo del dato: analítica, 'backups' e IA
Paradigm4 agiliza la analítica con un sistema de ficheros propio; ExaGrid garantiza backups rápidos e inalterables; y IO River combina redes virtuales CDN para optimizar la computación y el uso de IA en el edge.
Más información: Big data: el motor que mueve la inteligencia artificial
El dato, como gran estrella de la nueva economía, desempeña papeles bien diferentes en su ciclo de existencia y da trabajo a especialistas en diferentes actividades. Véanse tres empresas muy distintas, con cometidos bien distantes entre sí, que hasta dan margen a invenciones propias. DISRUPTORES - EL ESPAÑOL tuvo acceso de primera mano a ellas en el reciente tour organizado por IT Press en Boston.
Paradigm4 se ocupa de poner los datos con alta disponibilidad al servicio de las necesidades de la analítica, con un sistema de ficheros de su invención sobre las nubes hiperscalares. Exagrid, al contrario, se dedica a garantizar la sosegada conservación y recuperación de copias de seguridad, con la máxima seguridad (valga la redundancia) y velocidad. IO River, por último, trabaja en agilizar el movimiento rápido de datos por las redes, seleccionando en cada momento cuál de los proveedores de difusión puede hacerlo con la mayor eficacia.
Marilyn Matz, cofundadora y CEO de Paradigm4, presenta en su sede de Waltham (Massachusetts) FleshFS, un sistema de archivos inventado por Gary Planthaber y diseñado para responder a lo que los fundadores de su compañía identificaron como un problema muy específico, la disponibilidad de datos para analítica científica. Dedicaron entre cinco y seis años a estudiar como lo hacían los que podrían ser definidos como “la competencia”.
Finalmente, optaron por crear una nueva interfaz tipo POSIX sobre almacenamiento de objetos, con especial atención a cargas de trabajo de alto rendimiento, ciencia de datos, genómica, inteligencia artificial y entornos cloud e híbridos, con la solución técnica inventada por Planthaber, su CTO.
Planthaber interviene por videoconferencia para explicar que necesitaban “una forma de hacer cómputo realmente escalable para los análisis de nuestros grandes clientes. Eso podía incluir clústeres de cientos, si no miles, de grandes nodos de cómputo, que tenían que procesar decenas o cientos de terabytes de datos al mismo tiempo”.
Se trataba de afrontar el uso de datos complejos, especialmente en ciencias de la vida, donde los volúmenes de información pueden alcanzar escalas de población completa, como en casos de proyectos genómicos masivos. El reto era facilitar que grandes clústeres de cómputo en la nube, con cientos o miles de nodos, accedieran en paralelo a decenas o cientos de terabytes de datos sin que el sistema de almacenamiento se convirtiera en un cuello de botella.
Paradigm4, incide Planthaber, evaluó múltiples alternativas, tanto open source como comerciales, incluyendo sistemas basados en S3, EFS, FSx for Lustre, S3FS, Goofys, ObjectiveFS y otras aproximaciones. Algunas carecían de soporte POSIX completo, o no ofrecían suficiente rendimiento, implicaban costes demasiado elevados o introducían puntos centrales de estrangulamiento.
En soluciones de código abierto, tampoco encontraron “nada en la comunidad open source que pudiera hacerlo. Y lo que no era open source seguía siendo demasiado caro para los presupuestos que intentábamos alcanzar”.
Así que optaron por desarrollar FleshFS como una solución propia. Inicialmente era para sus clientes de ciencias de la vida, pero acabó convertido en un producto independiente, que puede almacenar objetos en la nube de AWS, por ejemplo, pero sin usar su sistema de archivos. FleshFS no intenta reemplazar capacidades nativas del proveedor como replicación, versionado, codificación de borrado o políticas de retención, aclara Planthaber.
Datos y metadatos por separado
Funciona igualmente en las nubes de Google, Microsoft y Oracle. Básicamente, en cualquier almacenamiento de objetos compatible con la API S3. “No estamos en los marketplaces, pero trabajamos con todas las nubes”, afirma.
“El almacenamiento de objetos ofrece escalabilidad, elasticidad y costes atractivos”, justifica el consultor de la compañía David Freund. “Muchas aplicaciones siguen trabajando con archivos y directorios, y requieren semántica POSIX”. FleshFS, dice, busca combinar la economía y escala del almacenamiento. No asigna un archivo a un único objeto, sino que divide los archivos en bloques o segmentos y almacena cada uno como objeto independiente, para incrementar el paralelismo y mejorar el rendimiento de las lecturas parciales.
![Boyan Ivanov, CEO y cofundador de StorPool.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11245453.jpg?p=w:1706\/h:960&h=FkwtsCgP"])
“No es una correspondencia uno a uno entre archivos y objetos; es una correspondencia de uno a muchos. Y por eso hemos aumentado el paralelismo del acceso a todos los datos de ese archivo”, detalla. La solución utiliza un cliente de montaje basado en FUSE, en Linux, para presentar la interfaz de sistema de archivos y escribir o leer bloques desde el backend de objetos.
FleshFS separa la gestión de metadatos del almacenamiento de bloques: el servicio de metadatos es persistente y de baja latencia. Ofrece proxies opcionales que funcionan como caché de escritura y lectura, con un comportamiento inspirado en una CDN (Content Delivery Network) aunque no son tales, sino una forma de seleccionar automáticamente el proxy más cercano o eficiente para cada cliente. “Usamos cálculos de tiempo de ida y vuelta para determinar qué servidor proxy debería usar un cliente determinado”.
Con esta arquitectura puede hacer despliegues en una región específica, en múltiples regiones, múltiples nubes, en entornos on-prem o establecer combinaciones híbridas.
En cuanto a la relación coste-rendimiento, Freund menciona un caso de uso, sin nombrar al cliente, con un repositorio común de datos de investigación conteniendo más de un petabyte y más de 160 millones de archivos y carpetas. Afirma que ahorró más de 1,4 millones de dólares en un año frente a otra solución equivalente basada en servicios de AWS.
“Había científicos que a veces se quedaban parados durante 24 o 48 horas"
Marilyn Matz, cofundadora y CEO de Paradigm4.
Y antes de cambiar a FleshFS, “como tenían un sistema provisionado, cada vez que alcanzaban el máximo, tenían que pararlo para proporcionar más capacidad, por lo que había científicos que quedaban parados a veces durante 24 o 48 horas”, añade Matz.
Siendo una solución pensada para el cómputo con multitud de datos, Paradigm4 la presenta como una base para data lakehouse acceleration, una modernización de DBMS con arquitectura acoplada, cargas de entrenamiento e inferencia de IA, entornos agentic AI, repositorios de datos de investigación, scratch space compartido y colaboración entre clústeres HPC.
“El rendimiento de un lakehouse no lo determina sólo el motor de ejecución, sino también el almacenamiento que hay debajo”, sentencia Freund. Y el almacenamiento S3 no fue diseñado pensando en la IA, subraya el consultor.
El inventor Planthaber concluye que FleshFS “es una especie de navaja suiza de sistema de archivos”.
ExaGrid sólo almacena 'backup'
Bill Andrews, CEO de ExaGrid, afronta un tipo de necesidad muy diferente. El de garantizar la conservación de copias de seguridad absolutamente fiables y disponibles cuando hagan falta: “No hacemos aplicaciones de backup, no hacemos almacenamiento primario, no hacemos archivo… Nos situamos detrás de Veeam, Commvault, NetBackup, Rubrik y otros. Somos el almacenamiento de backup”.
ExaGrid, en cuya sede en Marlborough (Massachusetts) se celebra la reunión, lleva 18 años en el negocio. Y según su CEO se maneja bastante bien. La última vez que necesitó buscar financiación fue en 2013 y asegura que lleva “veintidós trimestres consecutivos haciendo caja positiva”. Vive sin deudas y aspira a crecer discretamente: “Queremos ser conocidos por los clientes, no por nuestros competidores”.
![Robbie Litchfield, cofundador de Novodisq.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11183789.jpg?p=w:1706\/h:960&h=7lLkI4V3"])
Al respecto afirma tener más de 5.200 clientes activos, presencia en 108 países y certificaciones locales en 132. Y no se trata, dice, de clientes históricos acumulados: “Son clientes instalados activos que nos usan todos los días; no contamos a alguno que compró hace cinco años y luego se fue”.
Su cliente objetivo se sitúa en la zona media alta del mercado. Es decir, empresa medianamente grande y gran empresa, con necesidades de 50 terabytes en adelante, hasta petabytes de datos: “No perseguimos a la pyme; para nosotros, un cliente pequeño tiene 50 terabytes de datos que proteger”, dice Andrews. Lo cual le sitúa 'a la caza' de grandes centros de datos corporativos, proveedores de almacenamiento gestionado de gran tamaño y grandes integradores globales, entre los que ya menciona a HCL y Kyndryl.
Andrews presume de la fidelidad de sus clientes: “¿Cuántos de nuestros 500 mayores clientes se fueron porque movieron sus datos a la nube pública? Cero”, afirma. Sostiene que, incluso, muchos clientes están llevando datos de vuelta por motivos de costes.
Y cuál es la gracia de ExaGrid. El CEO lo plantea partiendo de los tres puntos básicos de un sistema de backup: recuperación de archivos borrados, sobrescritos o corruptos; continuidad de negocio ante desastres naturales o fallos de data center; y recuperación frente a ataques de ransomware.
"Queremos ser conocidos por los clientes, no por nuestros competidores"
Bill Andrews, CEO de ExaGrid.
Para el último caso, especifica que los atacantes “primero copian los datos, luego los cifran, y después te dicen que, si no pagas, publicarán lo que han robado”. La defensa que ofrece es garantizar que exista una copia recuperable, no expuesta directamente a la red y protegida de posibles borrados maliciosos.
Asegura que ni el almacenamiento primario ni los appliances de deduplicación online resuelven bien todos los requisitos del copiado seguro. Un almacenamiento primario puede ser rápido para backup y restore, argumenta, pero carece de deduplicación avanzada (eliminación en la copia de elementos duplicados), seguridad específica y optimización para grandes volúmenes.
Por otra parte, la deduplicación online reduce la capacidad de almacenamiento necesaria, a cambio de penalizar el rendimiento: “Es tan intensiva en cómputo que ralentiza las copias y las restauraciones”.
Su propuesta es una arquitectura con tres niveles: una landing zone en disco, para copias y restauraciones rápidas, y un repositorio deduplicado para retención de largo plazo. “Tomamos lo mejor del almacenamiento primario y lo mejor de los dispositivos dedicados de deduplicación, y lo integramos en un solo sistema”.
Deduplicación con enfoque propio
ExaGrid no aplica la deduplicación tradicional por bloques, que utiliza grandes tablas hash [asociar claves con valores], sino un enfoque propio de detección de similitud, que le permite escalar horizontalmente. Es una escalabilidad en la que cada appliance aporta procesador, memoria, red y almacenamiento. Así, el rendimiento crece con la capacidad.
Andrews asevera que “si una ventana de backup es de seis horas con 100 TB, lo será igual con 500 TB, con un petabyte o con cinco petabytes”. Menciona como otra ventaja su capacidad para mezclar dispositivos dedicados de distintas edades y tamaños en el mismo sistema, bajo promesa de mantener el soporte sin penalizar al cliente por los modelos más antiguos o discontinuados. Nada de obsolescencia forzada.
![conceptual-image-showcasing-businessman-digital-environment.jpg](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11265924.jpg?p=c:3997:2254:nowe:0:75\/w:1706\/h:960&h=OuTHlvMn"])
En cuanto a seguridad, ofrece cifrado en reposo y en tránsito, control de acceso basado en roles, separación entre funciones de IT y seguridad, autenticación multifactor, HTTPS, listas blancas de IP, firma SMB y soporte de claves SSH. “Todo lo que es habitual en esta área de negocio”.
Y, como diferenciación, plantea la función 'tiered air gap', aislamiento por capas. Aunque un atacante pudiera borrar datos visibles en la landing zone, el repositorio deduplicado no está expuesto directamente a la red y conserva los objetos inmutables, explica Andrews. Lo cual se complementa con una política de borrado diferido, que retrasa la eliminación real de datos.
“Cuando recibimos peticiones de borrado, no sabemos si son operativas o si vienen de un atacante; por eso no borramos hasta que se cumple un plazo de tiempo. Típicamente los clientes lo establecen en 10 días. Si sufres un ataque un lunes, tienes nueve días más [para actuar]”, señala Andrews.
La inteligencia artificial juega otro papel de protección en este aspecto, añadiendo una capa de detección que aprende los patrones normales de borrado del cliente, y puede prolongar indefinidamente la política predefinida de borrado si detecta anomalías. “Si vemos que tus patrones de borrado cambian, te alertamos y lo paramos”. Para volver a la normalidad, deben intervenir dos perfiles: IT y seguridad. Así evita depender de que el cliente actúe manualmente durante un ataque.
Otro uso de la IA, en clave interna, es para mejorar la productividad de ingeniería y traducción. Afirma que los ingenieros usan portátiles con la IA integrada, entrenada con el código de la compañía, lo cual ya habría elevado su productividad en torno al 50%.
Consecuentemente con su plan de trabajo, ExaGrid dispone de integraciones profundas con sistemas como Veeam, Commvault, NetBackup, Rubrik y otras soluciones. Andrews destaca el uso de Veeam Data Mover, SOBR, Fast Clone y la capacidad de deduplicar aún más datos ya deduplicados por Veeam. Con Rubrik, enfatiza la capacidad de recibir los datos comprimidos, descomprimirlos, deduplicarlos adicionalmente y devolverlos en el formato correspondiente.
Andrews concluye que el backup no es un accesorio, sino una pieza crítica para la productividad de usuarios y continuidad de negocio: “Todo se reduce a que la gente pueda seguir trabajando”.
IO River, computación e IA en el edge
IO River sí que abraza el concepto de Content Delivery Network. Mejor dicho, se declara multi-edge y multi-CDN, como respuesta a los riesgos de depender de un único proveedor de la distribución de datos que pudieran padecer sus clientes, usuarios intensivos de grandes movimientos de información. Por ejemplo, para streaming.
Edward Tsinovoi, creador de IO River hace cuatro años junto con Michael Hakimi, ambos compañeros en la plataforma Akamai, comenta precisamente como un gran hito su colaboración este verano, junto con varios socios, para las emisiones de la Copa del Mundo de fútbol en algunos lugares de Europa.
La presentación, en este caso, tiene lugar en las oficinas bostonianas de Ventura Guides, el inversor principal de IO River, cuya sede oficial está en Tel Aviv, Israel. La firma israelí usa habitualmente esas oficinas para su actividad en Estados Unidos.
"El edge se convierte en el punto de entrada para la IA"
Edward Tsinovoi, creador de IO River,
Una CDN funciona como una red global de nodos de caché que se colocan cerca de los usuarios para servir copias de objetos con menor latencia que el flujo regular de internet (¡qué de tiempo sin escribir esta palabra a secas!). IO River lo combina con la computación en el borde (edge computing) y hace una tarea de seleccionar y enrutar el tráfico al proveedor que mejor está funcionando en cada momento y región.
Actúa como intermediario en la distribución, lo que exige integrar y operar múltiples plataformas con capacidades distintas. Su papel, asegura Tsinovoi, es una “solución holística centralizada” para mejorar la disponibilidad, reduciendo el impacto de sobrecargas y caídas globales o locales que pueda sufrir cada plataforma. “La única forma de superar este desafío es adoptar el multi-edge; no hay otra manera”.
Aplica procedimientos de traffic steering (guiado del tráfico) basado en IA y conmutación automática, para optimizar el rendimiento, fiabilidad y coste de forma dinámica, en cada momento. Asegura que puede percibir un problema antes que el propio proveedor afectado.
Tsinovoi añade que, si IO River no está disponible al mismo tiempo que falla un proveedor subyacente, no puede cambiar el enrutamiento en ese momento y el tráfico sigue fluyendo, pero no se reequilibra. De modo que un fallo propio no empeora la situación que se daría si su servicio no estuviera presente. “Si Akamai falla e IO River falla, no enrutaremos el tráfico; esa es la única implicación”. Y subraya que todos los proveedores sufren alguna vez caídas y cortes de servicio, con un gráfico que cita a Cloudflare, AWS CloudFront, Akamai, Google Cloud y MS FrontDoor, con sus peores incidentes en los últimos tres años.
![Foto de familia del noveno encuentro de CIOS DISRUPTORES.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11294954.jpg?p=w:320\/h:240&h=RBwPUWOv"])
Para su cliente es lo mismo que si trabajara con una sola plataforma. “Desde la experiencia del usuario, toda la complejidad desaparece”. Esto, explica, requiere abstraer capacidades muy diferentes entre proveedores y completar funcionalidades que puedan faltarle a alguno. Sin esta capa, el cliente quedaría limitado a “las capacidades básicas disponibles en cada proveedor”.
Con la aplicación de Virtual Edge y Virtual CDN afirma que han creado una nueva categoría de mercado, combinando redes globales, regionales y locales para dar cobertura mundial, adaptándose a los requisitos regulatorios de cada región.
“Es crear algo nuevo, capaz de combinar todas esas redes físicas diferentes en un único edge virtual”, asevera, realizando una tarea repartida en tres capas. La primera maneja el tráfico, “sin añadir latencia”. La segunda capa se ocupa de la entrega de contenido y aporta la consola de gestión. Y en la tercera se agrupan funciones de control, ciberseguridad, computación e inteligencia artificial en el edge. En momentos especiales de picos masivos de tráfico esa capa puede facilitar el uso simultáneo de más de un proveedor.
Al mantener una separación entre la infraestructura y los servicios de la aplicación puede ofrecer seguridad, WAF (Web Application Firewall), gestión de bots, API de seguridad y edge computing de forma consistente sobre diferentes CDNs. Su trabajo “no consiste en montar una red”, dice, y puede facilitar proveedores locales en Europa, China u otras regiones sin que el cliente tenga que integrarlos individualmente.
La contrapartida, el trabajo interno con el que puede aportar otro valor añadido, es el esfuerzo de equiparar los distintos servicios sobre los que trabaja, de manera transparente para sus clientes. “Hay diferencias fundamentales entre los motores de Akamai y CloudFront. Así que no es trivial lograr resultados idénticos”.
De momento IO River cuenta con medio centenar de clientes, pero Tsinovoi confía en su estrategia de futuro, previendo una tendencia de crecimiento debido a que parte de la inferencia y otros servicios IA se moverán más cerca del usuario final, para reducir latencia y mejorar resiliencia. “El edge se convierte en el punto de entrada para la IA”.
