Inferencia generativa de IA con servidores blade Cisco UCS serie X M7 / Procesadores Intel Xeon de 5a Generación
819855
2024-04-02
Public

No hay una vista previa disponible para este registro. Utilice las opciones disponibles “descargar” o “ver” para interactuar con el material
Descripción
Una solución basada en Cisco UCS con Intel® Xeon® procesadores escalables® y Cisco Nexus® ofrece una base atractiva y escalable para implementar IA generativa a escala. Esta arquitectura ofrece una combinación de:
- Rendimiento óptimo: Cisco UCS con procesadores escalables Intel Xeon con aceleradores de IA especializados y marcos de software optimizados mejora significativamente el desempeño y la escalabilidad de la inferencia. Los switches Cisco Nexus 9000 proporcionan un gran ancho de banda, baja latencia, mecanismos de administración de congestión y telemetría para satisfacer los exigentes requisitos de red de las aplicaciones de IA/ML.
- Arquitectura equilibrada: Cisco UCS sobresale tanto en computación de aprendizaje profundo como no profundo, fundamental para todo el proceso de inferencia. Este enfoque equilibrado conduce a un mejor rendimiento general y utilización de los recursos.
- Escalabilidad bajo demanda: Cisco UCS escala sin problemas según sus necesidades de inferencia generativa de IA. Agregue o elimine servidores, ajuste las capacidades de memoria y configure los recursos de manera automatizada a medida que sus modelos evolucionan y las cargas de trabajo crecen utilizando Cisco Intersight®.
El sistema modular Cisco UCS X-series y los servidores de bastidor C240 y C220 admiten procesadores escalables Intel Xeon de 5ª generación para que tenga la opción de ejecutar inferencia en el centro de datos o en el perímetro, utilizando un factor de forma modular o de bastidor.
Instrucciones de uso
Activos relacionados
Título y descripción
Formato
Idioma
Acción
Cisco UCS M7 and Pure Storage FlashArray: FlashStack VSI with VMware vSphere 8.0 — Design Guide
Cisco 7th generation of UCS C-Series and UCS X-Series Servers, powered using 4th Gen Intel Xeon Scalable processors., and Pure Storage FlashArray FlashStack on VMware vSphere 8 solution.
Cisco UCS M7 IMM FlexPod Datacenter with VMware vSphere 8.0, and NetApp ONTAP 9.12 Powered by Intel — Design Guide
Cisco UCS M7 IMM FlexPod Datacenter with VMware vSphere 8.0, and NetApp ONTAP 9.12 powered by Intel design guide
Generative AI Inference Operations with Cisco UCS / 5th Gen and 4th Gen Intel Xeon Processors
Cisco UCS, powered by 5th Gen Intel® Xeon® processors and Cisco Nexus, is a scalable foundation for deploying Generative AI at scale.
GenAI Inferencing Powered by Cisco UCS X-Series / 5th Gen Intel Xeon Processors on Red Hat OpenShift AI — Cisco Validated Design
Cisco, Red Hat, and Intel provide a proven AI infrastructure to enable VMware-based Red Hat® OpenShift® AI.
Microsoft SQL Server 2022 on Cisco UCS X210c M6/M7 on 4th Gen Intel® Xeon® Scalable Processors — White Paper
This white paper contains a reference architecture that illustrates the benefits of Microsoft SQL Server 2022 on Cisco UCS X210c M6/M7 on 4th Gen Intel® Xeon® Scalable Processors for bare-metal and hybrid cloud deployments.