数据中心的黑科技——到底什么是NPO/CPO？

大家好，我是小枣君。

今天，在这篇文章中，我们来谈谈数据中心的两项最新黑科技——NPO/CPO。

故事还是要从头说起。

去年国家出台了算东算西战略，引起了全社会的关注。

所谓东算西算，其实就是数据中心的任务分工调整我们会把东部沿海地区的部分计算能力需求转移到西部地区的数据中心

之所以这样，是因为西部地区能源资源丰富，自然温度低，可以大大减少电费和碳排放。

众所周知，数据中心是计算能力的载体现阶段我们在搞数字化转型和数字经济，离不开计算能力和数据中心可是，数据中心的功耗也不容忽视

数据显示，2021年，全国数据中心总用电量为2166亿千瓦时，占全国总用电量的2.6%，相当于两个三峡水电站的年发电量和1.8个北京地区的总用电量。

如此可怕的电力消耗，给我们实现双碳的目标带来了巨大的压力。

因此，业界开始加紧研究如何降低数据中心的能耗。

数据中心

大家都知道，数据中心有一个重要的参数指标，那就是PUE。

PUE =数据中心总能耗/IT设备能耗数据中心的总能耗包括IT设备的能耗，以及制冷，配电等其他系统的能耗

我们可以看到，除了主要设备上用的电，很大一部分能耗是用于散热和照明。

因此，数据中心的节能减排有两种思路:

1.降低主要设备的功耗。

2.降低散热和照明的功耗。

主设备的功耗挑战

说到主设备，大家马上想到了服务器是的，服务器是数据中心最重要的设备它承载了各种业务服务，包括CPU，内存等硬件，可以输出计算能力

但实际上，主要设备还包括一类重要设备，即网络设备，即交换机，路由器，防火墙等。

目前AI/ML的加速，加上物联网的快速发展，使得数据中心的业务压力越来越大。

这种压力不仅体现在对计算能力的需求上，还体现在网络流量上数据中心的网络接入带宽标准从过去的10G，40G升级到现在的100G，200G甚至400G

为了满足流量增长的需求，网络本身需要不断迭代升级因此，更强大的交换芯片和更高速的光模块都已投入使用

我们先来看看交换芯片。

芯片是网络设备的心脏，其处理能力直接决定了设备的性能。最近几年来，交换芯片的功耗有所增加，如下图所示:

开关芯片功耗的变化趋势

值得一提的是，虽然网络设备整体功耗持续增加，但单比特功耗持续降低换句话说，能效越来越高

再看光模块。

光模块在光通信领域起着重要的作用，它直接决定了网络通信的带宽。

早在2007年，10千兆位光模块的功率只有1W左右。

从40G，100G到现在的400G，800G甚至后来的1.6T光模块，功耗提升的速度就像坐上了火箭，一路飙升到30W如您所知，一台交换机可以有多个光模块满载时，往往有几十个光模块

一般来说，光模块的功耗占总功耗的40%以上这意味着整机功耗将可能超过3000 W

拥有多台交换机的数据中心这背后的功耗想想都可怕

除了交换芯片和光模块，还有一个你可能不熟悉的网络设备耗电大户，那就是SERDES。

SerDes是英文SERializer/DESerializer的缩写在网络设备中，它是一个重要的器件，主要负责连接光模块和网络交换芯片

简单来说，就是把来自交换芯片的并行数据转换成串行数据进行传输然后，在接收端，串行数据被转换成并行数据

如前所述，网络交换芯片的能力在不断提高因此，必须提高SerDes的速度以满足数据传输的要求

SerDes速度的提高自然导致功耗的增加。

102.4Tbps时代，SerDes速率需要达到224G，SerDes芯片功耗预计达到300W。

需要注意的是，SerDes的速度和传输距离会受到PCB材料工艺的影响，不能无限提高换句话说，当SerDes速率增加，功耗增加时，PCB铜箔的能力不足，无法使信号进一步传播只有缩短传输距离，才能保证传输效果

有点像铅球比赛铅球越重，能投的距离越短

具体来说，当SerDes速率达到224G时，最多只能支持5~6英寸的传输距离。

这意味着在SerDes没有任何技术突破的情况下，必须缩短网络交换芯片和光模块之间的距离。

综上所述，交换芯片，光模块，SerDes是网络设备的三座功耗大山。

根据设备厂商的数据，12年来，数据中心的网络交换带宽增长了80倍，背后的代价是交换芯片功耗增长了8倍左右，光模块增长了26倍，SerDes增长了25倍。

在这种情况下，数据中心网络设备的功耗不断增加。

小早君详细介绍了网络设备的功耗挑战接下来，我们来看散热

其实相对于网络设备的功耗，散热的功耗才是真正的大头。

据统计，交换设备在典型数据中心总能耗中的比例仅为4%左右，不到服务器的1/10。

但是散热呢据CCID统计，2019年中国数据中心约43%的能耗用于IT设备散热，与45%的IT设备本身能耗基本持平

即使是现在，国家也对PUE提出了严格的要求按照三级能效计算，散热占近40%

传统的散热方式已经不能满足当前高密度数据中心的业务发展需求因此，我们引入了液体冷却技术

液冷是一种利用液体作为制冷剂为发热部件散热的新技术液冷的引入可以降低数据中心近90%的能耗数据中心的整体能耗可降低近36%

这个节能效果可以说是非常厉害，直接省电三分之一。

液冷除了散热更强，耗电更少之外，在噪音，选址，建设成本方面也有明显优势。

所以现在几乎所有的数据中心都在采用液冷一些液冷数据中心甚至可以将PUE干燥到1.1左右，接近极限值1

液冷，是不是整个设备都浸在液体里。

不一定。

液体冷却方案一般包括两种类型，即浸没式和冷板式。

浸入式，也叫直接式，是将主设备中发热量高的部件全部浸入冷却液中进行散热。

冷板式也叫间接式，是将主要的散热部件附着在一块金属板上，然后制冷剂液体在金属板中流动带走热量现在很多DIY组装的电脑都是冷板

服务器采用液冷是一项非常成熟的技术那么，既然要液冷，当然如果服务器和网络设备一起用就更好了否则，将需要两套系统

问题来了我们的网络设备可以液冷吗

NPO/CPO，首次亮相

当当！经过种种铺垫，我们的主角终于要登场了。

为了尽可能降低网络设备的工作功耗和散热功耗，在OIF的带领下，业内多家厂商联合推出——NPO/CPO技术。

2021年11月，国内设备厂商锐捷网络发布全球首款25.6T NPO冷板液冷开关2022年3月，他们发布了51.2T NPO冷板液冷开关

核电站冷板液冷开关

NPO，英文全称Near packaged optics，近封装光学CPO，英文全称Co—packaged optics，共同封装光学

简单来说，NPO/CPO就是包装网络交换芯片和光引擎的技术。

我们传统的连接方式叫做可插拔光引擎是可插拔的光学模块光纤来了之后，插入光模块，然后通过SerDes通道送到网络交换芯片

CPO是将交换芯片和光引擎组装在同一个插座上，形成芯片和模块的共封装。

NPO是将光引擎从交换芯片中分离出来，组装在同一个PCB基板上。

你可以看到CPO是终极形态，NPO是过渡阶段NPO更容易实现，也更开放

集成的目的很明确，就是缩短交换芯片与光引擎之间的距离，使高速电信号在两者之间高质量传输，并满足系统的BER要求。

缩短距离，保证高速信号的高质量传输。

集成后可以实现更高密度的高速端口，提高整机的带宽密度。

此外，集成使得元件更加集中，也有利于引入冷板液冷。

o在NPO开关内部，可以看到开关芯片与光引擎之间的距离大大缩短。

NPO/CPO技术的背后，其实是一种非常流行的硅光技术。

硅是以光子和电子为信息载体的硅基光电子大规模集成技术简单来说，就是在一个硅基衬底上集成多种光器件，成为一个集成的光电路这是一个微型光学系统

硅之所以如此受欢迎，根本原因是微电子技术已经逐渐逼近性能极限，传统的电子芯片在带宽，功耗，时延等方面越来越显得力不从心所以光学芯片的新赛道被改了

NPO/CPO转换的进展

NPO/CPO技术是目前各大厂商的热门研究方向尤其是NPO，因为拥有最好的开放生态，产业链更成熟，能最快获得成本和功耗的收益，所以发展更快

前面提到了锐捷网络的25.6T硅NPO冷板液冷交换机。

这款NPO交换机基于112G SerDes的25.6T交换芯片，高度为1RU前面板支持带有64个连接器的400G光纤接口它由16个1.6T NPO模块组成，支持8个ELS/RLS

在散热方面，采用不导电冷却液的冷板冷却方式。

51.2T硅光NPO冷板液冷交换机高度不变，NPO模块由1.6T升级为3.2T前面板支持64个800G连接器，每个连接器可分为两个400G端口，实现前向兼容外部光源模块的数量已经增加到16个

51.2吨NPO冷板液冷式换热器

在实际组网中，51.2T NPO交换机可以作为接入放大器应用于100G/200G接入网，设备，并实现高速互联。

值得一提的是，NPO/CPO的技术和产品研发并不是一件简单的事情，其背后是对一个企业整体R&D实力的考验。

此次锐捷网络能够在全球推出NPO/CPO产品，是他们持续投入艰苦研发和创新的结果，也体现了他们在该领域的技术领先性。

锐捷网络2019年开始关注硅光领域的技术，2020年6月正式成立R&D和产品团队作为OIF/COBO的成员，他们一直参加工作组的全球性会议，并参与有关标准的讨论和制定

OIF工作组全球会议现场

在硅光方向，锐捷网络已经走在世界前列，未来可期。

结论

好了，介绍了这么多，相信你已经明白什么是NPO/CPO了。

这两项技术无疑是数据中心网络设备的发展方向在当前的数字化浪潮中，我们对计算能力和网络通信能力的追求是无止境的在追求性能的同时，也要努力平衡功耗毕竟要走可持续发展的道路

希望以NPO/CPO为代表的硅光科技能够进一步加速落地，为绿色低碳的信息基础设施做出贡献。

未来硅光技术会带来怎样的技术创新。让我们拭目以待！

——全文完毕——