UCM v0.3.0版本发布！
·
UCM v0.3.0版本发布
本次版本聚焦 Store 模块能力增强、稀疏化算法迭代及工程验证体系完善，为大模型推理提供更高效、可靠的缓存加速能力：
✨ 新功能亮点
1）针对 Store 模块的 Pipeline Store 完成架构升级，在提升整体性能的同时新增 layerwise Connector
2）扩展存储适配范围，新增对 3FS Store 的支持
3）发布最新稀疏化算法 GSAOnDevice，同步完成与 vLLM 0.11.0 版本的适配，欢迎试用与反馈
4）完成更新CacheBlend的适配，可以在对应适配框架版本上体验
4）优化 CI 流水线设计，引入基于真实算力的验证环节，提升持续集成过程的可靠性与实用性
5）完善 UCM 测试框架能力，现已支持端到端场景下的性能与精度联合验证
💡 欢迎更新体验，如有建议或问题，欢迎随时提出！
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)