AI90训推加速方案
软硬件协同优化
打破显存墙 释放Token效能
GPU 算力沿着摩尔定律指数级增长了近 6 万倍,而作为数据通道的显存容量和带宽仅增加了十几倍。二者之间形成了巨大的鸿沟,
从而导致"显存墙"困境。
AI90
软硬件协同优化
AI90 旨在通过释放 GPU 性能潜力、智能调度 KV Cache,有效提升 GPU 利用率。以轻量化硬件辅助软件优化的方式,持续提供对训练/推理潜力的提升,助力用户用低成本硬件实现专业级AI 功能。
AI90
释放消费级GPU的专业潜能
AI90通过智能P2P互联技术,GPU并行计算能力提升高达5.6倍,通过智能KV cache调度,实现AI推理能力的显著提升。
视频播放失败,请稍后重试
视频播放失败,请稍后重试
关于芯展速
芯展速凭借团队20余年深厚的IT行业积淀、实力雄厚的本地研发团队,致力于提供国内领先、国际一流的企业级、工业级及车规级固态硬盘(SSD),面向PCIe Gen5/6的 Retimer/ Redriver IC 产品,以及极具创新的AI训推一体方案,旨在为中国及全球的信息化进程注入强劲动力。
性能实测
首Token延迟降低50倍,token输出带宽提升5倍,并且性能提升效果随着模型复杂度及上下文长度增加而显著增强。
AI SSD 存储解决方案
PT200Z AI SSD 系列,为 AI 训推突破存储墙提供全新解决思路。
产品参数
AI90以轻量化硬件辅助软件优化的方式,持续提供对训练/推理潜力的提升,助力用户充分发挥昂贵的计算资源,加速效果随着模型复杂度,及上下文长度增加而显著增强;而且对低端硬件同样能提供显著加速效果,且加速效果随GPU数量线性提升。
PT200Z AI SSD 系列
针对人工智能高负载高并发的场景而研发的专业SSD。支持 PCIe Gen5 接口,采用 pSLC 介质方案,提供超大带宽、超低访问延迟、超长写入寿命的持久化存储空间。深度适配多模态大模型、长上下文推理等热点 AI 应用场景。
芯展速科技(北京)有限公司:为智能世界构建数据基座