网上营业厅
掌上营业厅
克日，，，，，天翼云上线全球运营商首个商用昇腾大规模专家并行（大EP）推理集群，，，，，团结息壤MaaS支持提供万亿级Tokens日挪用，，，，，支持用户国产化智算应用周全用云。。。。。。。。自2025年头以来，，，，，DeepSeek大模子依附其超高训练性价比、高推理性能掀起了全民AI热潮，，，，，人工智能周全迈入大规模应用阶段，，，，，推理应用在各行业周全加速落地，，，，，Tokens处置惩罚需求量与日俱增，，，，，这对推理系统的性能提出了更高的要求。。。。。。。。为应对这一挑战，，，，，大规模专家并行推理手艺与PD疏散手艺应运而生，，，，，为大模子推理应用的加速规模应用提供了强盛的手艺支持。。。。。。。。
大规模�？？？？？缃诘阕也⑿惺忠眨虺拼驟P) 是一种针对大规模深度学习MoE模子（如DeepSeek）的高效推理手艺，，，，，可对推理路由专家举行大规模EP并行、对MLA和共享专家举行DP并行，，，，，并举行双流并行通讯掩饰，，，，，同时降低模子权重占用的NPU内存，，，，，提升KV Cache缓存空间，，，，，增添整个集群的吞吐。。。。。。。。PD疏散手艺是指将推理历程中的Prefill盘算和Decode盘算脱离。。。。。。。。Prefill和Decode两者盘算类型差别：Prefill为盘算麋集型，，，，，时延主要由算力决议；； ；；；；Decode为访存带宽麋集型，，，，，时延主要由访存带宽决议。。。。。。。。PD混淆安排时，，，，，两者相互滋扰：Prefill时，，，，，Decode期待；； ；；；；Decode时，，，，，Prefill时延增添，，，，，P/D时延不稳固，，，，，资源需求更大。。。。。。。。PD疏散安排时，，，，，Prefill阶段和Decode阶段划分安排于差别的物理节点，，，，，两者并行盘算以实现硬件平均吞吐效率的有用提升。。。。。。。。
PD混淆安排示意图
PD疏散安排示意图
天翼云携手昇腾围绕大EP与PD疏散手艺举行深度立异，，，，，将DeepSeek 671B满血版大模子按专家维度切分到差别的NPU上，，，，，使得单卡权重占用内存比例大幅降低，，，，，权重加载耗时大幅镌汰，，，，，且可用于KV数据盘算的内存显著增添，，，，，实现高并发、高吞吐、低时延的推理性能。。。。。。。。在大EP计划实验历程中，，，，，双方团结解决多专家的协同调理、跨节点通讯拥塞等难题，，，，，实现推理API服务挪用三级负载平衡：
· API server层实现流式与非流式请求疏散；； ；；；；
· 在P/D节点实现推理请求实例级负载平衡调理；； ；；；；
· 专家级负载平衡实时动态调解冗余专家来分担负荷，，，，，有用阻止盘算资源铺张，，，，，团结专家亲和安排，，，，，降低通讯量30%。。。。。。。。
天翼云昇腾大EP推理集群在输入1K、输出1K场景与输入2K、输出2K场景下单卡平均端到端吞吐均提升3.8倍左右；； ；；；；在输入5K、输出2K场景下，，，，，单卡平均端到端吞吐提升5倍以上，，，，，知足长文档等刚性需求；； ；；；；相比于古板DeepSeek双机安排方法，，，，，支持3倍以上的用户并发量，，，，，更好服务于客户智能化转型。。。。。。。。
天翼云MaaS提供大模子服务的开发者平台，，，，，提供功效富厚、清静以及高性价比的模子挪用服务，，，，，同时提供数据集、精调、评测等端到端能力，，，，，以及RAG、联网搜索等插件服务，，，，，全方位包管模子服务的开发与落地。。。。。。。。
天翼云始终坚持以科技立异为基础，，，，，坚定不移走自主可控之路，，，，，一连夯实国产云底座，，，，，与时俱进，，，，，开拓立异知足各行业多元化营业场景需求。。。。。。。。在新时代AI生长浪潮中，，，，，引领先进手艺的前进偏向，，，，，一直优化性能，，，，，突破立异，，，，，为AI智算生长孝顺强劲动力，，，，，服务于千行百业，，，，，共创未来。。。。。。。。
