显存优化

2月10日，清华大学KVCache.AI团队与趋境科技联合发布的KTransformers开源项目迎来重大更新，成功打破大模型推理算力门槛。此次更新支持在24G显存的设备上本地运行671B参数的Dee...