IT之家 9 月 29 日音问，今晚开云kaiyun体育，DeepSeek-V3.2-Exp 发布并开源，引入稀少 Attention 架构。华为晓示昇腾已快速基于 vLLM/SGLang 等推理框架完成适配部署，兑现 DeepSeek-V3.2-Exp 0day 复旧，并面向竖立者开源总共推理代码和算子兑现。

IT之家从官方先容获悉，昇腾在 DeepSeek-V3.2-Exp 一发布开源即兑现了 DeepSeek-V3.2-Exp BF16 模子部署，并在 CANN 平台上完成对应的优化适配，全体部署政策沿用 DeepSeek 的大 EP 并行决议，针对稀少 DSA 结构，重迭兑现长序列亲和的 CP 并行政策，兼顾时延和探讨，在 128K 长序列下梗概保捏 TTFT 低于 2 秒、TPOT 低于 30 毫秒的推理生成速率。

NPU DeepSeek-V3.2-Exp 推理优化实行：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对 DeepSeek-V3.2-Exp 架构中两个全新的算子：Lightning Indexer (LI) 以及 Sparse Flash Attention (SFA)，针对性地进行算子 Tiling 缱绻、Cube 核与 Vector 核间的活水优化、猜度经由的兑现优化等，模子和会通 Kernel 均已开源。

NPU DeepSeek-V3.2-Exp Ascend C 会通算子优化：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾会通算子的编程易用性，昇腾 CANN 初次推出大会通算子的编程体系 PyPTO，旨在简化算子竖立经由，同期保捏高性能猜度材干。该框架革命性地接受 PTO (Parallel Tensor / Tile Operation) 编程范式，以 Tensor 为基本数据抒发方式，构建猜度图，兑现高效猜度与优化。当今在昇腾上如故基于 PyPTO 完成 DeepSeek-V3.2-Exp 模子中 DeepSeek Indexer Attention 和 Lightning indexer 算子的竖立实行，仅需几百行代码即可完成动态 Shape 算子编程和算子整网开动。

基于 PyPTO 的 Lightning Indexer 和 DeepSeek Indexer Attention 算子竖立实行：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

昇腾不仅提供了 DeepSeek-V3.2-Exp 的官方参考实行，也同步复旧 vLLM 和 SGLang 等业界主流大模子推理框架部署，提供完好功能，梗概让凡俗的竖立者在社区告成下载干系代码体验 DeepSeek-V3.2-Exp 模子，不错在昇腾兑现会通算子、稀少访存、多核并行猜度等深度优化材干，并捏续优化 DeepSeek-V3.2-Exp 在主流社区的推感性能。

大模子推理框架 vLLM 及昇腾兑现：

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模子推理框架 SGLang 及昇腾兑现：

https://github.com/sgl-project/sglang/issues/11060

]article_adlist-->

TileLang 是由 Tile-AI 社区发起的 Tile-level 的类 Python 的 AI 编程讲话（DSL）神志，在 Tile 粒度上进行编程和编译，兑现模子算子和硬件的高效协同。昇腾如故兑现 TileLang 的 Sparse Flash Attention 和 Lightning Indexer 算子竖立，后续将复旧更完备的 NPU 算子并擢升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang 算子竖立实行：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend 开源社区：

https://github.com/tile-ai/tilelang-ascend

]article_adlist-->

昇腾凭借敏捷协同优化材干开云kaiyun体育，0Day 高效完成 DeepSeek-V3.2-Exp 适配，不仅深度怒放自研编程讲话 AscendC 及 PyTorch 算子源码，也积极拥抱开源生态，同步兑现 vLLM、SGLang 等主流框架的快速复旧，并联袂开源社区 Tile-AI 共同开源 NPU 编程神志 TileLang-Ascend。

告白声明：文内含有的对外跳转纠合（包括不限于超纠合、二维码、口令等形式），用于传递更多信息，省俭甄选技术，效用仅供参考，IT之家总共著作均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权退却转载。 -->