AI服务器：接口互连芯片技术
- 发布时间：2024/1/12 16:42:04
- 浏览次数：142
根据Trend Forcerr的数据，AI服务器的出货量约为13万台，约占全球服务器出货量的1%。展望2023年，Microsoft、Meta、Baidu、ByteDance等相继推出基于生成式AI的产品和服务，并积极增加订单。预计2023年AI服务器出货量年增长率将达到15.4%，并且随着ChatGPT未来对AI服务器的需求，预计2023年至2027年AI服务器复合年增长率将达到12.2%。
DGX H100于2022年推出，是NVIDIA DGX系统的最新版本，也是NVIDIA DGX SuperPOD的基础。DXG服务器配备8个H100 GPU、6400亿个晶体管，在全新FP8精度下提供比上一代提升6倍的AI性能，提供900GB/s的带宽。
DGX H100服务器内部，蓝色块为IP网卡，既可以充当网卡，也可以起到PCIe Switch扩展的作用，成为连接CPU和GPU(H100)之间的桥梁。其在内部使用PCle 5.0标准。另外，CX7被分成2张卡，以网卡芯片的形式插入服务器，每张卡由4个CX7芯片组成，输出2个800G OSFP光模块接口。
GPU(H100)之间的互连主要通过NV Switch芯片实现。DGXH100中的每个GPU向外扩展18个NVLink，每个链路的双向带宽为50 GB/s，总计18*50GB/s=900GB/s的双向带宽，分为4个板载NV Switch，因此每个NV Switch对应4-5个OSFP光模块，共18个。每个OSFP光模块采用8个光通道，每通道传输速率为100Gbps，因此总速率达到800Gbps，可实现高速数据传输。
CPU、GPU等组件互连：PCIE Switch、Retimer芯片
PCIe Switch，又称为PCIe交换机或PCIe集线器，主要用于互连PCIe设备，PCIe Switch芯片与其设备的通信协议为PCIe。由于PCIe链路通信是一种端到端的数据传输，因此Switch需要提供扩展或聚合能力，以允许更多的设备连接到一个PCle端口，解决PCIe通道数不足的问题。目前，PCIe Switch不仅在传统存储系统中得到广泛应用，而且在一些服务器平台中也逐渐普及，以提高数据传输的速度。
PCIe总线技术升级，PCIe Switch速度逐代提升。PCIe总线是PCI总线的高速串行替代品。2001年，Intel宣布推出第三代I/O技术来取代PCI总线，称为“3GIO”。2002年，该技术经PCI特别兴趣小组(PCI-SIG)审查后，正式更名为“PCI Express”，标志着PCIe的诞生。2003年，PCIe 1.0正式发布，支持每通道250MB/s的传输速率，总传输速率为2.5 GT/s。2007年，PCI-SIG宣布推出PCI Express Base 2.0规范。基于PCIe 1.0，总传输速率提高了一倍，达到5GT/s，每通道传输速率从250MB/s提升至500MB/s。2022年，PCI-SIG正式发布PCIe 6.0规范，将总带宽提升至64 GT/s。
随着PCIe越来越多地应用于服务器，PCIe Switch的市场需求也随之增加。据QYResearch统计和预测，2021年全球PCIe芯片市场销售额达到7.9亿美元，预计2028年将达到18亿美元，复合年增长率(CAGR)为11.9%。
中国是PCIe Switch最大的市场。随着服务器对海量数据存储和传输的需求增加，在大数据、云计算、人工智能等领域，需要大量的高速互连解决方案来实现海量数据传输。PCIe Switch作为一种高速互连解决方案，在中国市场有着巨大的需求。
在AI服务器中，至少需要一颗Retimer芯片来保证GPU和CPU连接时的信号质量。具体点，很多AI服务器都会配置多颗Retimer芯片，比如Astera Labs在AI加速器中配置了4个Retimer芯片。
PCIe Retimer是一个蓝海市场，拥有三大领先制造商和许多潜在竞争对手。目前，在PCIe Retimer蓝海市场上，Parade Technologies、Astera Labs和Montage Technology是三大厂商，占据主导地位。其中，Montage Technology较早部署PCIe，是中国大陆唯一一家能够量产PCIe 4.0 Retimer的供应商，其PCIe 5.0 Retimer开发进展顺利。
此外，Renesas、TI、Microchip Technology等芯片厂商也积极参与PCIe Retimer的产品开发。根据信息，Renesas可提供两款PCIe 3.0 Retimer产品，分别是89HT0816AP和89HT0832P；TI可提供16Gbps 8通道PCIe 4.0 Retimer——DS160PT801；同样，Microchip Technology于2020年11月发布了Xpress Connect系列Retimer芯片，可支持PCIe 5.0的32GT/s速率。
GPU-GPU连接：NVLink、NVSwitch
全球芯片厂商都在关注高速接口的相关技术。除了NVIDIA的NVLink之外，AMD的Infinity Fabric和Intel的CXL(Compute Express Link)也为服务器内部的高速互连提供了解决方案。
不断更新的NVlink引发了高速互连技术的一场革命。NVLink是NVIDIA开发的一项高速互连技术，旨在加快CPU与GPU、GPU与GPU之间的数据传输速度，提高系统性能。从2016年到2022年，NVLink已经迭代到第四代。2016年，NVIDIA发布了全新的高速接口芯片——NVLink，由Pascal GP100 GPU搭载。这是第一代NVLink。NVLink采用高速信号互连(NVHS)技术，主要用于GPU与GPU、GPU与CPU之间的信号传输。GPU以NRZ(不归零)编码形式传输差分阻抗电信号。第一代NVLink单链路可实现40GB/s的双向带宽，单芯片可支持4条链路，即160GB/s的总双向带宽。
NVLink技术经历了多次迭代和更新，引发了高速互连技术的创新浪潮。2017年，基于Volta架构的第二代NVLink发布，可实现每链路50GB/s的双向带宽，每芯片支持6条链路，即总双向带宽300GB/s。2020年，基于Ampere架构的第三代NVLink发布，可实现每链路50GB/s的双向带宽，每芯片支持12条链路，即总双向带宽600GB/s。2022年，基于Hopper架构的第四代NVLink发布，将传输信号改为PAM4调制电信号，并且可以实现每链路50GB/s的双向带宽，每芯片支持18个链路，即总双向带宽为900 GB/s。
2018年，NVDIA发布了第一代NVSwitch，为提高带宽、降低延迟，以及实现服务器内多个GPU之间的通信提供了解决方案。第一代NVSwitch采用台积电12nm FinFET工艺制造，拥有18个NVLink 2.0接口。一台服务器可以通过12个NVSwitch支持16个V100 GPU，实现与NVLink的最高互连速度。
目前，NVSwitch已经迭代到第三代。第三代NVSwitch采用台积电4N工艺打造，每个NVSwitch芯片有64个NVLink 4.0端口。GPU之间的通信速度可以达到900GB/s，并且这些通过NVLink Switch连接的GPU，可以用作具有深度学习能力的单个高性能加速器。
CPU和DRAM之间的高速互连，推动了对内存接口芯片的需求
服务器内存模组的主要类型是RDIMM和LRDIMM，相对于其他类型的内存模组，这两种类型对稳定性、纠错能力和低功耗有更高的要求。内存接口芯片是服务器内存模块的核心逻辑器件，是服务器CPU访问内存数据的必经路径。其主要作用是提高内存数据访问的速度和稳定性，满足服务器CPU对内存模块日益增长的高性能和大容量的需求。
内存接口芯片的速度从DDR4到DDR5不断提高。自2016年以来，DDR4已成为内存市场的主流技术。为了实现更高的传输速度，并支持更大的内存容量，JEDEC组织进一步更新和完善了DDR4内存接口芯片的技术规范。在DDR4一代中，从Gen1.0、Gen1.5、Gen2.0到Gen2plus，各子代内存接口芯片支持的最高传输速度都在不断提高。DDR4的最后一个子代产品，Gen2plus，最大支持传输速度为3200MT/s。随着JEDEC组织不断完善DDR5内存接口产品的规范定义，DDR5内存技术正在逐步取代DDR4内存技术。
目前，DDR5内存接口芯片已规划了三个子代，支持速率分别为4800MT/s、5600MT/s、6400MT/s。业界预计未来可能还会再出现1-2个子代。
内存接口芯片按功能分为两种，即寄存器缓冲器(RCD)和数据缓冲器(DB)。RCD用于缓冲来自内存控制器的地址、命令和控制信号，DB用于缓冲来自内存控制器或内存颗粒的数据信号。
DDR5内存模块的升级，为内存接口芯片和模块支持芯片带来了新的机遇。2016年全球内存接口芯片市场规模约为2.8亿美元，2018年达到约5.7亿美元，三年年化增长率达40%。DDR5的升级，将使内存接口芯片的市场规模迈上新台阶。与DDR4相比，由于DDR5更高的支持速率和更复杂的设计，第一代DDR5内存接口芯片的起售价要高于DDR4内存接口芯片。同时，随着DDR5内存在服务器和PC中的渗透率逐渐提高，DDR5相关内存接口芯片的市场规模有望实现快速增长。
内存接口芯片行业壁垒较高，已形成三足鼎立的格局。内存接口芯片属于技术密集型行业，需要经过CPU、内存、OEM厂商各方面严格验证后才能大规模使用，新玩家很难进入。随着技术难度的不断增加，内存接口芯片厂商的数量已经从DDR2代的10多家减少到DDR4代的只有3家。行业出清，三足鼎立的格局已经形成。在DDR5一代中，全球仅有3家供应商能够提供DDR5第一子代的量产产品，分别是Montage Technology、Renesas Electronics(IDT)和Rambus。