大模型推理主要分为预填充和解码两个核心阶段，两类阶段的资源需求差异较大。PD分离技术通过将两个阶段拆分并独立部署，有效解决了传统推理架构的资源争抢问题，显著提升了服务吞吐与稳定性。随着数据中心算力多样化发展，异构硬件混合部署成为一种主流趋势，将异构算力融入PD分离架构，能够充分盘活存量资源、降低推理运营成本、提升算力供应链稳定性。但硬件厂商生态不统一，也带来了跨设备通信不兼容、数据格式不一致、算力匹配失衡等新问题。本文主要介绍异构PD分离的技术价值、核心难点、主流优化思路与典型落地场景，梳理各技术方案的适用特点，为大家理解异构大模型推理架构提供全景参考。

1、为什么需要异构PD分离

大模型对话推理是一个连续的迭代过程，整体可划分为预填充（Prefill）和解码（Decode）两个阶段，二者对硬件的需求完全不同。预填充阶段主要处理用户输入的整段文本，依靠大规模并行计算完成向量运算，极度依赖芯片的峰值算力；解码阶段逐字生成回答，需要反复读写缓存数据，对显存带宽更加敏感，属于访存密集型任务。

传统的PD分离架构采用同构算力部署，即预填充和解码节点使用完全相同的GPU设备。这种方式虽然实现了任务解耦，但存在明显短板。一方面，单一厂商硬件采购成本高、供货周期不稳定，大规模集群部署的成本压力和供应链风险较大；另一方面，同规格硬件无法针对性适配两个阶段的差异化需求，容易出现算力浪费或带宽瓶颈，硬件资源利用率难以最大化。

当前数据中心存在算力混布现状，多款国内外加速硬件共存，形成了大量异构算力资源。异构PD分离的核心思路就是让合适的硬件做合适的事，即用算力更强的芯片负责预填充计算任务，用带宽更高的芯片承担解码生成任务，通过差异化分工盘活存量算力、优化整体成本。

不过异构算力的引入也打破了传统同构集群的运行逻辑。不同厂商硬件的通信规则、数据存储格式、性能特性各不相同，容易出现设备无法互通、数据解析异常、任务流水线卡顿等问题，需要通过针对性的架构优化，实现异构硬件的高效协同。

2、异构PD分离的核心痛点

相比于较为成熟的同构PD分离，异构PD架构的核心矛盾主要集中在跨厂商数据传输与协同适配。在大模型推理流程中，预填充阶段生成的KV缓存，需要实时传输到解码节点用于后续文字生成，这一跨设备数据流转是异构协同的关键瓶颈。整体来看，异构协同主要存在四大类通用问题。

首先是通信生态不兼容。各大硬件厂商均有专属的通信软件体系，不同厂商设备无法直接点对点传输数据，天然形成通信壁垒。其次是数据格式不统一，不同芯片支持的浮点精度、数据存储规则存在差异，直接传输原始数据容易出现解析错误、精度丢失或性能下降。第三是内存布局适配问题，各硬件的内存读写对齐标准不同，跨设备读取数据会大幅降低访存效率。最后是性能不匹配，异构芯片的算力、带宽差距较大，容易出现一端任务拥堵、一端空闲等待的流水线失衡问题。

行业目前的优化方案，主要围绕通信适配、网络转发、数据规范、智能调度多个维度展开，各方案相互补充、可以叠加使用，共同解决异构协同的各类痛点。

3、异构PD分离的主流技术

①统一通信适配，打通跨设备传输通道

通信适配层的核心目标，是打破不同厂商的通信壁垒，让异构硬件可以稳定传输KV缓存数据，目前行业主要有三种落地思路。

第一种是通用网络协议直传。该方式完全脱离厂商专属通信工具，使用业界通用的网络协议完成数据传输，兼容性最强，适配所有服务器和网卡设备。数据从显卡显存搬运到服务器内存后，通过标准网络链路完成收发，最终写入目标显卡。该方案无需依赖特殊硬件生态，部署简单，适合通用场景，但受限于服务器内存和通道带宽，大规模数据传输效率一般。

第二种是开源统一通信框架。依托成熟的跨平台通信中间件，向上提供统一的通信能力，向下适配不同硬件和网络类型，实现一套代码适配所有厂商设备。该技术支持显卡显存的直接注册与远程访问，减少CPU干预，传输效率接近原生通信能力，是目前行业主流的优化方向。但该方案的性能依赖硬件驱动适配，在部分国产硬件环境中，会出现性能降级的情况。

第三种是单节点共享内存中转。针对同一台服务器内的多卡异构场景，利用服务器共享内存作为中转载体，实现不同厂商显卡的数据流转。该方式部署成本低、适配简单，但需要多次数据拷贝，传输效率偏低、占用CPU资源较高，仅适合小规模数据传输和调试场景，不适合大规模线上业务。

②网络拓扑优化，实现跨区域异构互通

在数据中心中，异构节点往往分布在不同机柜、不同网络分区，无法直接通信。拓扑层优化通过部署专用协议网关，解决跨区域异构设备的连通问题。

网关节点搭载多厂商硬件驱动和多网络平面，将原本跨厂商的一跳通信，拆分为两段同厂商的原生通信。预填充节点先将数据传输至网关，网关完成中转后，再转发至解码节点。通过零拷贝转发技术，可最大程度减少数据冗余读写，保证传输效率。同时多网关集群部署，能够避免单点故障，提升服务稳定性。该方案的小幅代价是增加了网络转发延迟，需要通过集群扩容规避带宽瓶颈。

③标准化数据格式，规避解析与适配问题

数据格式和内存布局的差异，是异构数据传输的隐性瓶颈。不同芯片支持的数据精度不同，部分高精度格式在部分国产硬件上无法原生适配，强行使用会造成性能大幅损耗。同时，各硬件的内存对齐标准不统一，会直接降低数据读取效率，甚至引发硬件异常。

行业主流的解决方式是统一中间传输格式。选取一款所有硬件都原生支持、精度损耗极低的数据格式作为统一传输标准，发送端统一转换格式，接收端按需适配本地格式，在兼容性和推理精度之间实现平衡。同时通过张量平坦化处理，将多维数据统一整理为连续的标准数据格式，规避不同设备的内存对齐差异，让跨设备数据读取更高效。对于带宽压力较大的场景，还可选择性开启轻量化数据压缩，减少传输数据量，进一步提升传输效率。

④异构智能调度，均衡集群负载效率

合理的任务调度是发挥异构算力价值的核心手段之一。不同硬件的算力、带宽性能差距较大，静态的任务分配模式无法适配动态业务负载。

智能调度系统会提前采集各节点的性能特征，建立动态算力画像。当推理请求接入时，系统结合实时负载、硬件特性、任务类型，智能匹配最优的预填充、解码节点组合，在保障服务延迟稳定的前提下，最大化集群吞吐、最小化运营成本。

同时调度系统支持缓存亲和性策略，优先复用已有缓存资源，合理评估跨设备缓存迁移的开销，避免无效的数据迁移和格式转换，进一步提升整体运行效率。

4、异构PD分离的典型应用场景

①公有云混合算力集群

公有云厂商存在采用多厂商算力混布模式，平衡采购成本与供货风险。异构PD分离可以实现算力精细化分工，将高算力硬件用于预填充任务，高带宽硬件用于解码任务，充分释放不同硬件的性能优势。同时可适配政企国产化需求，构建国产算力+进口算力的混合推理架构，兼顾合规性、性能与成本。

②国产化替代过渡阶段

国产硬件的计算能力正在逐步接近主流水平，但解码阶段的带宽优化、软件生态仍存在短板。通过异构PD分离架构，可将国产芯片集中用于预填充任务，稀缺的高端进口芯片专注解码环节，通过资源互补规避硬件短板，盘活存量国产算力，有效提升集群整体吞吐能力。

③边缘推理部署

边缘场景对成本、功耗要求严苛，异构边缘PD分离将算力需求更高的预填充任务放在低成本端侧硬件完成，解码任务交由边缘机房高带宽硬件承接，在控制硬件成本的同时，保障边缘推理的服务稳定性，适合短文本、轻量化模型的边缘业务场景。

5、结语

异构PD分离是适配当前算力多样化趋势的主要推理部署架构之一，可有效解决传统同构PD集群成本高、资源利用率低、供应链单一的问题，能够最大化盘活存量异构算力，为大模型推理降本增效、提升算力韧性提供了可行路径。异构算力的生态差异带来了通信、格式、调度等多层级技术难题，需要通过通信适配、数据标准化、网络优化、智能调度等多维度技术协同优化。当前行业不存在通用的最优解决方案，需要结合自身硬件配置、网络条件和业务特征，灵活组合技术方案。在新一代硬件互连技术规模化落地前，精细化的异构适配与调度优化，仍是现阶段异构大模型推理架构的核心落地方式。未来，随着硬件生态逐步完善、互连技术持续升级，异构PD分离架构将更加轻量化、高效化，成为大模型推理基础设施的主流部署形态。

 

作者：罗馨玥、赵奇慧、王升

单位：中国移动研究院

内容来自：中移科协