助力拓宽更多应用场景趋境科技携合作伙伴开源KTransformers_社区互动

创始人

2025-11-21 14:45:03

0次

中新网上海新闻11月20日电(郑莹莹)趋境科技与清华共同开源的KTransformers，已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎。

KTransformers 专注于高效利用底层 GPU、CPU、内存等多样化算力，让大模型在更低算力、更灵活的硬件架构上高效运行。

月之暗面近期发布Kimi-K2-Thinking 模型后，KTransformers快速完成适配，支持用户在单卡环境下完成推理任务，双卡环境下完成LoRA微调任务，降低部署与定制化门槛。同时，趋境科技也已完成该模型在昇腾NPU上的适配，进一步拓宽其应用场景。

在推理部署层面，KTransformers与主流推理框架SGLang于10月达成合作，双方架构合入同一分支。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式，推动大模型推理向更高性能、更低成本演进。

大模型时代需要更“广谱”的推理基础设施路线，趋境科技已与多个国产 CPU、GPU硬件平台合作；为数十家行业开发伙伴提供算力底座，让更多团队用得起、调得动大模型。(完)

科技郑莹莹推理架构模型部署 Kimi 合作主流场景原创新闻趋境科技算力