面向关键推理场景

聚焦大模型推理中的核心挑战，提供针对性的加速优化能力

已验证硬件

主流GPU及服务器平台

推理框架

支持主流开源与商业框架

部署要求

支持云上与线下多种部署方式

软硬件协同，优化数据供给

通过AI 90链接GPU与主机内存，优化KV Cache的存储、传输与调度，为大模型推理提供稳定高效的数据供给

部署与兼容性

支持主流硬件与推理框架，提供灵活的部署方式，满足不同业务环境的需求

长上卡文

高效管理长上下文下的KV Cache

降低显存与内存占用

多并发

面向多用户、多任务的并发推理场景

提升系统整体吞吐

缓存复用

支持请求的KV Cache 复用，

避免重复计算，提升资源利用率

芯展速科技(北京)有限公司：做AI原生存储，让数据通向智能

KV Cache 管理

优化KV Cache的分配、调度与生命周期，提升内存使用效率。

 

缓存存储与传输

通过高效的数据传输与缓存机制，降低数据搬运开销。

 

推理框架集成

支持主流推理框架，集成方式灵活，便于快速部署