
更多详细信息,架构解析AMD强调,深度大幅优化了大语言模型(LLM)的推理
推理效率。飙升
能够显著降低大型模型的架构解析延迟与功耗,计划于2025年下半年向主要客户出货基于MI350X的深度加速器。采用先进制程工艺,推理相比上一代MI300X在AI推理工作负载上实现了高达80%的飙升性能提升。请访问AMD官方新闻稿:AMD官方新闻。架构解析
MI350X引入了创新的深度矩阵乘法引擎和增强的稀疏性支持,该架构基于全新的推理CDNA 4计算单元,这一架构专为加速生成式AI应用而设计,飙升 目前,架构解析AMD已与多家领先的深度OEM和云服务提供商展开合作,引发行业高度关注。推理为云服务商和企业级AI部署提供更具竞争力的算力选择。AMD近日正式揭晓了其下一代数据中心GPU架构Instinct MI350X的详细技术细节,