Diseñado para la IA: Cómo el nuevo almacenamiento redefine el rendimiento

Los LLMs y enfoques como RAG están redefiniendo radicalmente las exigencias sobre la infraestructura de almacenamiento. Tradicionalmente, las arquitecturas de almacenamiento se diseñaban para las bases de datos, ficheros, gráficos (blobs), series temporales… Pero ahora contamos con el token como unidad fundamental de almacenamiento para los modelos de IA, por lo que tenemos que mejorar el almacenamiento y optimizarlo para la ingesta, procesamiento y recuperación muy rápida de estos tokens. Esta mejora es independiente de si nos encontramos en la fase de entrenamiento o de inferencia.

En este sentido, las tecnologías tradicionales no están dando el rendimiento que se necesita porque simplemente no son capaces de ofrecer el rendimiento y la latencia requerida. Además, recordemos que no estamos hablando solo de la cantidad de datos que se procesan, sino que hay otros factores como la velocidad y la frecuencia con la que se accede a ellos que también juegan un papel fundamental. Hay muchos repositorios de información en las organizaciones y hay algunos a los que se acceden con muy poca frecuencia, pero hay otros que se necesitan cada dos por tres. Por ello, es necesario contar con una tecnología que agregue información y cantidades de datos críticos a nivel masivo y de forma inteligente.

La estrategia que seguimos es combinar el almacenamiento con el procesamiento para que estén muy cerca, procurando integrar el almacenamiento lo más cerca posible de las unidades de procesamiento. Para los datos a los que se accede de forma más esporádica o para el almacenamiento a largo plazo, colaboramos estrechamente con los principales fabricantes de almacenamiento externo, asegurando una integración fluida y eficiente.

El rol de los proveedores de infraestructura es proporcionar soluciones de almacenamiento y cómputo con la mejor relación coste-rendimiento, garantizando que el software de almacenamiento permita gestionar las consultas y el acceso a los datos con la máxima velocidad, seguridad y eficiencia.

Con este planteamiento se debe garantizar la escalabilidad al ofrecer la posibilidad de añadir nodos de almacenamiento y discos bajo demanda, adaptándonos así al crecimiento exponencial de los datos y modelos. El rendimiento se consigue al integrar los datos con el procesamiento, permitiendo agregaciones masivas y optimizando el acceso al almacenamiento externo. Y, por último, se debe asegurar la resiliencia porque los nodos de procesamiento funcionan dinámicamente en función de la carga demandada y, en caso de fallo, existen nodos adicionales que las aplicaciones utilizarán de forma automática. Así se garantiza la continuidad operativa.

Tecnologías clave que impulsen la sostenibilidad

En mi experiencia, es que hay tres pilares tecnológicos en almacenamiento que están marcando la diferencia en términos de sostenibilidad sin sacrificar estas métricas críticas.

En primer lugar, el almacenamiento flash de alta densidad, que es un elemento transformador. Su eficiencia energética es notable; consumen menos energía por terabyte, generan menos calor, lo que reduce drásticamente la necesidad de refrigeración, y ocupan mucho menos espacio físico en el centro de datos. Esto se traduce en un menor coste operativo, menor huella de carbono y simplificación del mantenimiento. Para cargas de trabajo de IA que demandan una latencia muy baja y un ancho de banda importante, el almacenamiento flash es una gran opción.

En segundo lugar, el modelo de Almacenamiento como Servicio (STaaS) está ganando terreno rápidamente porque este modelo de consumo flexible permite a las empresas que aprovisionen capacidad y rendimiento bajo demanda. Además, facilita la optimización de recursos y reduce el desperdicio de la infraestructura infrautilizada, lo que tiene un impacto positivo en temas de sostenibilidad, consumo y huella ambiental.

Por último, la extensión del ciclo de vida de los equipos de manera que se maximice la utilidad de la tecnología. Es clave adoptar prácticas que alarguen la vida útil del hardware – entre las que se pueden incluir actualizaciones modulares, mantenimiento predictivo y una gestión inteligente de los activos. Esto no solo reduce la necesidad de fabricar y desechar equipos con tanta frecuencia, sino que también posiciona a las empresas como líderes en innovación responsable. En Lenovo estamos muy comprometidos con este enfoque.

Retos de la industria de almacenamiento

El crecimiento de la IA y la hipercomputación es una fuerza imparable, y el almacenamiento es el cimiento sobre el que se construye todo. Existen muchos retos en los que estamos trabajando como compañía y como industria:

El primero y quizás más evidente es la escalabilidad sin que se formen cuellos de botella. Las cargas de trabajo de IA generan volúmenes de datos sin precedentes que exigen un mayor rendimiento, por lo que se hacen necesarias arquitecturas de almacenamiento escalables, sin introducir latencia o limitaciones en el flujo de datos. Ligado a esto, tanto la eficiencia energética como la sostenibilidad siguen siendo un reto mayúsculo. Este tema se ha debatido ampliamente: a medida que la demanda de capacidad y rendimiento se dispara, también lo hace el consumo energético. La industria ya se ha puesto en marcha y está innovando en tecnologías de almacenamiento más eficientes, sistemas de refrigeración avanzados y en la gestión inteligente de la energía para cumplir la regulación y los objetivos medioambientales.

También se hace necesaria la creación de una infraestructura de datos unificada que elimine silos y optimice el uso de la información para IA. Los datos residen en múltiples ubicaciones y formatos, lo que dificulta su acceso y procesamiento eficiente para los modelos de IA. Se hacen necesarias soluciones que permitan una visión holística de los datos, facilitando su movimiento, transformación y análisis sin fricciones, independientemente de dónde se encuentren.

Otro de los retos que encontramos es la integración híbrida y multicloud. Las empresas operan en entornos complejos que combinan infraestructuras locales, nubes públicas y el edge, y el almacenamiento debe garantizar una interoperabilidad fluida, baja latencia y seguridad consistente en todos estos entornos.

Por supuesto, la seguridad ante ciberamenazas cobra cada vez más importancia en vista de la situación de complejidad geopolítica. Con la IA manejando datos cada vez más sensibles y críticos, la protección de datos en tiempo real, la industria debe ofrecer soluciones de almacenamiento que sean inherentemente seguras y que permitan una rápida recuperación ante cualquier incidente.

Finalmente, la adaptabilidad a nuevas cargas de trabajo. La IA, los contenedores, el edge computing y otras tecnologías emergentes exigen arquitecturas de almacenamiento más ágiles, definidas por software y capaces de evolucionar rápidamente. El almacenamiento del futuro debe ser flexible para que pueda soportar la diversidad y la dinámica de las cargas de trabajo de la próxima generación.

(datacenterdynamics.com)

Les estaremos informando con mucho más detalle, en el marco del informe especial: “Soluciones y productos de infraestructura para edificios y ciudades inteligentes (Sistemas BIM y BMS), POL (Passive Optical LAN). Seguridad integrada, video vigilancia y control de acceso. Casos de uso y aplicabilidad de cada solución y producto, incluyendo la colaboración digital (relacionado a realidad virtual sistema BIM) (Gemelos digitales). Buenas prácticas ambientales.», que estamos preparando para nuestra edición 216 y publicaremos en el mes de julio.

Mantente conectado a nuestra revista Channel News Perú, haciendo clic aquí y suscribiéndote a nuestro newsletter para contenido de valor diario.