Computadora 70B L40

Especificaciones

• GPU: 6x NVIDIA L40 (288 GB de VRAM en total)
• Placa base: Bastidor ASRock ROMED8-2T
• UPC: AMD EPYC 7542
• RAM: Memoria DDR512 LRDIMM SK Hynix de 2666 GB, 4 MHz, ECC REG (8 x 64 GB)
• Conexión GPU-placa base: Cable PCIe 4.0 x16 de Ryser
• Fuente de alimentación: 2x AX1600i 1000W
• Estuche: 4U Rack Mount
• Almacenamiento:
  • 2TB NVMe SSD
  • 500GB SATA

Características

1. Computación de GPU de alto rendimiento: equipada con 6 GPU NVIDIA L40, que proporcionan un total de 288 GB de VRAM para cargas de trabajo exigentes de inteligencia artificial, aprendizaje automático y visualización.
2. Componentes de nivel de servidor: cuenta con la confiable placa base ASRock Rack ROMED8-2T y una potente CPU AMD EPYC 7542 para capacidades de procesamiento excepcionales.
3. Amplia memoria: 512 GB de RAM DDR4 SK Hynix de alta velocidad garantizan una multitarea fluida y un procesamiento de datos eficiente para cálculos complejos.
4. Integración de GPU de alta velocidad: utiliza el cable RYSER PCIe 4.0 x16 para una conexión rápida y de ancho de banda completo entre las GPU y la placa base, lo que garantiza un rendimiento óptimo y velocidades de transferencia de datos.
5. Fuente de alimentación robusta: Las unidades duales AX1600i de 1000 W proporcionan un suministro de energía estable y amplio para soportar los componentes de alto rendimiento bajo cargas pesadas.
6. Almacenamiento expandible: viene con un SSD NVMe rápido de 2 TB para almacenamiento principal y una unidad SATA adicional de 500 GB para capacidad adicional.
7. Refrigeración de nivel profesional: alojado en un espacioso gabinete para montaje en rack de 24 U, que proporciona un flujo de aire óptimo y gestión térmica para un funcionamiento sostenido de alto rendimiento.
8. Configuración versátil: diseñada para una amplia gama de tareas informáticas de alto rendimiento, desde inteligencia artificial y aprendizaje automático hasta visualización y renderización profesional.

Casos de uso ideales

• Inferencia de modelos de lenguaje grandes (por ejemplo, modelos de parámetros 70B)
• Investigación sobre inteligencia artificial y aprendizaje automático
• Análisis y visualización de datos
• Renderizado y animación 3D profesional
• Simulaciones científicas
• Aplicaciones de computación de alto rendimiento (HPC)
• Visión artificial y procesamiento de imágenes
• Modelado financiero y análisis de riesgos

Notas especiales

• Optimizado para modelos 70B: con 288 GB de VRAM de GPU total, este sistema está diseñado específicamente para manejar modelos de lenguaje grandes con hasta 70 mil millones de parámetros, lo que lo hace ideal para aplicaciones e investigaciones de IA de vanguardia.
• Ventaja de NVIDIA L40: Las GPU L40 ofrecen un equilibrio entre rendimiento computacional y memoria, adecuado para una amplia gama de cargas de trabajo de IA, HPC y visualización profesional.
• Rendimiento PCIe 4.0: el cable PCIe 4.0 x16 de RYSER garantiza que cada GPU pueda funcionar con todo el ancho de banda, maximizando el rendimiento de los datos y minimizando la latencia.
• Diseño escalable: si bien está optimizado para modelos de parámetros 70B, este sistema se puede escalar o agrupar fácilmente para cargas de trabajo aún mayores o entornos multiusuario.

La computadora 70B L40 representa una solución potente y versátil para organizaciones e investigadores que trabajan con modelos de IA de gran tamaño, en particular en el ámbito del procesamiento y la generación de lenguaje natural. Su configuración equilibrada de GPU NVIDIA L40, CPU AMD EPYC y memoria de alta velocidad la hace adecuada para una amplia gama de tareas informáticas de alto rendimiento más allá de la IA, incluidas simulaciones científicas, análisis de datos y visualización profesional.

Entrega 2 - 6 semanas