DualPath:重新利用空闲网卡带宽
从双路径 KV-Cache 加载、CNIC 流量管理到自适应调度,理解推理系统如何把闲置网络带宽重新变成有效吞吐。
AI Infra · KV Cache · Multi-NIC · RDMASEARCH THE BLOG
共 6 篇文章
从双路径 KV-Cache 加载、CNIC 流量管理到自适应调度,理解推理系统如何把闲置网络带宽重新变成有效吞吐。
AI Infra · KV Cache · Multi-NIC · RDMA把 KV Cache 从推理副产品提升为系统调度中枢,连接分布式存储、传输引擎与 P/D 分离。
AI Infra · KV Cache · RDMA · Serving从 ATOP 搜索空间到低直径递归拓扑,分析性能、网络成本与适用边界之间的真实取舍。
High-Performance Networking · Topology · AI Cluster · OptimizationMeta 如何用 Host-driven、Zero-copy 与端网协同,在大规模 RoCE 网络上重新设计集合通信。
RDMA · RoCE · NCCL · Collectives从 H800、NVLink、MoE 到多平面 Fat-Tree,理解模型、通信库和网络拓扑的协同设计。
AI Infra · H800 · NVLink · MPFT从日志与网管系统到定制 CCL,分析大规模训练服务如何定位故障、性能退化与交付前风险。
AI Infra · Diagnosis · CCL · Observability