【经验】PCIe能不能使用光纤连接？

PCI-Express(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，简称PCIe，是由英特尔在2001年提出的，旨在替代旧的PCI，PCI-X和AGP总线标准。

PCIe属于高速串行点对点双通道高带宽传输，目前PCIe已经更新到第四代（即PCIe 4.0，Gen4），很快Gen5也会到来。根据总线位宽不同，一个PCIe连接可以被配置成x1，x4，x8，x16和x32的数据带宽。在大家都比较熟悉的PC机里，x1/x2，主要用来扩展低速设备，如网卡，声卡，替代PCI插槽；x4，用来扩展中速设备,如磁盘阵列卡，替代PCI-X插槽；而x8/x16，用来扩展高速设备，如显卡等。

图1 PCIe主板和显卡

PCIe在高速交换机领域也有很广泛的应用。交换机的软件通常运行在CPU芯片上，硬件运行在交换芯片或者FPGA上。上位机软件通过PCIe总线配置交换机的相关寄存器，也可以配置交换机的上行或者下行DMA读写操作，并进行CPU与交换芯片的数据交互，非常灵活。

笔者所在天津市滨海新区信息技术创新中心研发的软件定义互联交换芯片SDI3210，就是采用PCIe（Gen2 x1）作为芯片的配置、维护、管理的主要通路，同时也是协议数据的传输通道。

图2 SDI3210交换芯片

和很多的串行总线一样，PCIe采用了全双工的传输设计，即允许在同一时刻，同时进行发送和接收数据。收发均采用差分对，以提高总线的性能。

PCIe通过电信号传输数据，板内PCIe芯片可以直接通过PCB上的走线互联，而两个PCIe板卡则通过插卡式的方式连接，RC端（Root Complex）用插槽，EP端（End Point）则是金手指，例如PC机的主板和显卡。x1也就是单lane模式下插槽的接口定义如下：

表1 PCIe x1连接器的接口定义

PCIe这种板间连接的方式虽然经典，但是在某些时候的确存在着应用不便的问题。例如想要借助PCIe交换机拓展CPU的PCIe总线以便支持更多PCIe端点设备，在主机中并没有空间容纳PCIe交换机的同时还能再接入端点，所以这时只有借助于PCIe跳线，而这种跳线通常传输距离比较短，应用起来非常受限。

而且在一些PCIe相关的产品或者芯片开发和测试过程中，标准的插卡式连接方式也不方便，比如我们在研发SDI3210芯片过程中，会做PCIe组网测试验证，就是用1个处理器通过PCIe交换板连接两个SDI3210交换芯片，而无论是FPGA原型验证板还是后来用于芯片测试的测试板本身都比较大，使用插卡或者跳线都不方便。

而且我们发现FPGA开发板或者原型验证板、芯片测试板这些板卡多数都配备SFP+或者QSFP+的接口，我们能不能用这些接口通过通用的光模块和光纤连接PCIe两个设备呢，就像SRIO或者ETH一样？这样就能方便连接，传输距离也更远。

首先回到上面PCIe x1连接器的接口定义，查看协议可以了解到，电源、时钟和复位均为RC提供给EP选择使用的接口，其他如Wake、SMBus、JTAG等信号也均为可选信号，如果没有不影响核心功能。也就是说，PCIe仅使用数据收发的差分对信号是可以实现建链收发包的。

然后笔者实际用PCIe交换板和一块FPGA板卡做了实验，交换板作RC，使用Xilinx官方的PCIe IP做EP，结果并不能建链，高速线上也没有任何数据包传输，也就是说链路初始化过程没有成功，甚至都没有开始，这是为什么呢，再次查阅PCIe Spec 2.0协议后得到了答案。

PCIe总线中的链路初始化与训练（Link Initialization & Training）是一种完全由硬件实现的功能，处于PCIe体系结构中的物理层。整个过程由链路训练状态机（Link Training and Status State Machine）（简称LTSSM）自动完成，不需要链路层和事务层参与。

LTSSM有11个状态，分别是Detect、Polling、Configuration、Recovery，L0、L0s、L1、L2、Hot Reset、Loopback和Disable状态。

如下图所示：

图3 LTSSM各状态

系统进行复位操作后，会自动进入Detect状态。在这个状态中，PCIe设备会去检测有没有其他的PCIe设备与其相连接。Detect状态主要有两个子状态Detect.Quiet、Detect.Active，其子状态机框图如下图所示：

图4 Detect子状态机

当设备冷启动、复位或从Polling、L2等其他状态进入Detect状态时，首先进入Detect.Quiet状态。

在此状态下，发送器处在电气闲（Electrical Idle）状态。电气闲状态是指发送器的D+和D-保持在同一恒定电平下，主要用于节点状态和非活动状态。发送器和对端的接收器之间通过电容串联耦合，因此在电气闲状态下接收器端差分信号两端都是0V电平。

Detect.Quiet在12ms超时后会进入下一子状态Detect.Active。进入Detect.Active状态后立即进行接收器在位检测，如果所有的未配置Lane都检测到了接收器在位，则设备进入Polling状态；如果所有Lane都没有检测到接收器在位则进入Detect.Quiet状态。

Detect检测通过集成在发送器（Transmitter）中的接收器检测（Receiver Detection）电路实现，电路的功能在于检测接收器内的等效对地阻抗ZRX是否在40Ω-60Ω之间。当对端设备没有插入时其ZRX为开路，则检测电路可以据此判断出对端无设备；而板内PCIe链路的芯片在复位状态或未上电等异常状态下其阻抗成高阻态，也相当于开路。

图5 Detect原理

在位检测步骤如下：

1）发送器的输出保持在稳定的共模电平上；

2）发送器对共模输出差分对的D+和D-充电；

3）检测电路通过线路上电平变换的速率来判断接收器是否在位。

由图可知若对端设备不在位，则CTX之后的电路不存在，此时的充电时间常数为ZTX (CTX + Cpad + Cinterconnect)，其中CTX为发送器内阻，约为50Ω，Cpad为芯片引脚的寄生电容，Cinterconnect为链路的寄生电容，这两个参数都极小（pF级别）因而此时充电时间常数较低。

若对端设备在位，则充电时间常数约为ZTX (CTX + Cpad + Cinterconnect)，其中CTX为耦合电容的容值，由表1可知其取值在75nF至265nF，远大于对端设备不在位时的两个电容参数（1nF=1000pF）。因而在位时充电时间常数较大。

表2 PCIe耦合电容要求

在实际的电气信号中，充电时间常数的测量是通过发送器输出共模的脉冲信号，当对端接收器不在位时发送器可以检测到脉冲信号的幅度几乎没有衰减；而当对端接收器在位时，脉冲信号需要对链路的耦合电容充电，因而幅度会明显降低。接收器在位检测电路通过脉冲幅度来判断充电时间常数的大小，进而得出接收器是否在位的结论。

了解了原理，我们就知道，由于光纤传输过程中，信号是先由光模块把电信号转换成光信号，然后经光纤传输的，所以两端PCIe设备没有电信号连接关系，发送器中的接收器检测电路也就无法检测到 Reciever端的ZRX端接电路；而连接发送器端的光模块中的电信号接收模块并没有PCIe检测需要的ZRX电路，所以两个PCIe设备通过光纤连接后，上述Detect过程根本不会发生，整个链路初始化与训练也就无从谈起，两个设备就像没有连接一样，无法建链。

虽然不能使用通用光模块或光纤，但是我们仍然有方法通过SFP+或者QSFP+连接两个PCIe设备。一种是用SFP+或者QSFP+接口的无源DAC线缆，它就是两端做成SFP+/QSFP+接口的电缆，如下图。我们SDI3210验证过程中就是用这种方式，包括研制了一款SFP+接口的PCIe交换板。

图6 SFP+接口DAC线缆和PCIe交换板卡

如果想实现较远距离传输，可以使用特制的光模块搭配光纤，这种光模块在TX通道电-光转换之前加入了一个电阻网络用来模拟对端接收器，用来“欺骗”发送器中的接收器检测电路，检测电路探测到它的存在，就会认为对端设备已接入从而进入Polling状态，然后链路训练状态机就可以发送用于训练和初始化的序列，而这些序列是常规数字信号，可以正常经光电转换后通过光纤传输到对端设备，进而完成初始化建链。

图7 PCIe专用光模块检测欺骗电路

另外，市面上也已经有一些PCIe芯片支持关闭接收器检测功能，相当于跳过detect这一步骤，这样就不需要这些特殊的电阻网络，直接就可以用通用光模块和光纤连接。