基于XilinxIP核的PCIe总线高速数据接收卡的设计

摘 要 ：PCIe是由Intel公司在2001年发布的第三代高性能IO总线标准,单个通道的传输带宽可以达到5Gbps,且通道数可以灵活配置,是目前性能最高的一种总线.赛灵思公司的Virtex-6系列FPGA提供了对PCIe的良好协议支持,本文对如何使用Virtex-6系列FPGA进行PCIe总线的设计进行了研究,结果表明,该设计能满足实际应用对可靠性及高效性的要求.

关 键 词 ：PCIe总线 DMA 可编程门阵列 Xilinx ip核

中图分类号：TN948.55 文献标识码：A 文章编号：1007-9416（2014）02-0157-02

1.引言

系统总线是计算机系统的硬件基础,从个人计算机诞生至今,系统总线的发展可以分为三代,分别以ISA总线、PCI总线和PCIe总线为代表.其中PCI总线是目前应用最广泛的第二代IO总线,在过去十多年的时间中,PCI总线起到了非常重要的作用,但是随着技术的发展,PCI总线的并行特性使得其性能的提升空间越来越小,它也越来越不能满足人们对更高传输带宽的需求.

PCI-Express是最新的总线和接口标准,它原来的名称为“3GIO”,是由英特尔提出的,很明显英特尔的意思是它代表着下一代I/O接口标准.交由PCI-SIG（PCI特殊兴趣组织）认证发布后才改名为“PCI-Express”,简称“PCIe”.这个新标准将全面取代现行的PCI和AGP,最终实现总线标准的统一.

2.详细设计

接收卡的设计采用Xilinx公司的XC6VLX240T,它集成了PCIe硬核模块,该模块支持Gen1（2.5Gb/s）和Gen2（5Gb/s）PCIe协议,并集成了GTX收发器,最高能到6.6Gb/s,这些资源对实现高速数据接收的设计提供了非常好的条件.

上层电路主要由硬核模块,DMA引擎模块、数据选择通道、光纤入口和模拟回放几部分组成,如图1所示,用户只需对FIFO类型的逻辑接口进行操作.

2.1 PCIE_EP_CORE

PCIE_EP_CORE实现PCIe物理层和数据链路层逻辑,电路采用Virtex-6 Integrated Block for PCI Express v1.7硬核端点模块实现,它能够有效完成接口物理层和数据链路层的数据处理功能,提供给上层一个事务层数据接口,用户将其当做黑盒进行使用即可.

2.2 DMA模块

DMA模块主要由接收引擎、发送引擎、中断控制单元、寄存器模块四部分组成.

接收引擎将收到的事务层包进行解析,根据数据包的类型进行相应的处理.

发送引擎用于将所要发送的数据按照事务层包的格式进行封装后,发送到硬核端点模块.

DS_FIFO和UP_FIFO为数据输入/输出缓冲,共同构成数据通道.DS_FIFO用于保存从PCIe接口收到的数据,外部输入数据保存到UP_FIFO中后发送到PCIe接口.

2.2.1 DMA接收引擎

DMA接收引擎主要完成如下功能：（1）解封装PCIe传输层协议头,剥离出PCIe TLP数据包中的载荷信息；（2）记录DMA接收数据长度,同时将数据写入后续接收缓冲；（3）解析驱动对PCIe的寄存器操作指令,进行相应寄存器操作；（4）维护对内存进行DMA读操作的物理地址信息；（5）负责发送接收DMA完成中断.

收引擎状态机工作流程如图2所示.

2.2.2 DMA发送引擎

DMA发送引擎主要完成如下功能：

（1）将载荷数据封装成PCIe传输层TLP包格式,发送至PCIe_ EP；

（2）相应驱动寄存器查询指令,返回寄存器状态；

（3）记录DMA发送数据长度,同时读取上传缓冲中载荷数据；

（4）维护对内存进行DMA写操作的物理地址信息；

（5）发送DMA发送完成中断至PCIe_EP.

发送引擎状态机工作流程如图3所示,当有外部数据从光纤进来后,先缓存在发送FIFO中,缓存到一定数量,FIFO的空满标志以中断的方式通知PCIE_EP_CORE,并启动状态机进行送数.或者从接收模块收到送数命令后,也将启动相应的状态机进行读写操作.

2.2.3 中断控制单元

PCIe可以发出两种中断,一种是虚拟INT信号线也称为Legacy方式,一种是MSI消息机制.这里我们采用Legacy信号线形式中断.Legacy方式与PCI协议一样,都是通过拉低INT来申请中断,PC检测到INT的中断,就跳转执行INT对应的中断驱动程序,驱动程序里需要操作板卡将INT拉回去,不然会发生中断嵌套.

工作时,接收引擎和发送引擎分别控制中断控制单元向PCIE_EP_ CORE发送DMA接收/发送完成中断信号,PCIE_EP_CORE收到中断信号后执行对应的操作.

2.2.4 数据通路选择模块

数据通路选择模块,主要负责两方面工作.

（1）记录数据方向,选择FPGA内部模拟数据或者用户外部接口导入数据,送至DMA引擎的上传数据缓冲；

（2）回放数据方向,将从内存中读取的数据送至用户外部接口发送,可以当动态模拟源使用.

2.3 DMA设计

数据从板卡搬移到PC的过程中,需要经过如下几个步骤：

（1）PC申请物理地址连续的一段内存空间,然后将这段空间锁住以防止其他程序占用；

（2）FPGA内用户的数据达到一定规模后向PC发送中断,通知PC读取这些数据；

（3）PC接收并分析该中断,写BAR0空间内寄存器,包含上述物理地址的起始地址、空间大小,然后启动DMA；

（4）FPGA内的DMA引擎接收到启动DMA的命令后,主动组织PCIe Memory Write TLPs3包发送到PC,其中包的数据即用户需要发送到PC的数据.DMA引擎会自动填充TPL包逐一增加的地址等信息,直到达到用户设定的长度.在此过程完成后,FPGA向主机发送一个中断；

（5）PC接收到中断后,然后读取BAR0空间状态寄存器判断是中断类型,然后做相应的判断.将这段物理地址的数据拷贝到用户程序能够访问的空间中,然后回到步骤2.

3.结语

本设计PCIe采用了x4通道,理论最大传输速率为10Gb/s（单路2.5Gb/s）,实际有效传输速率能达到8Gbps左右,当然板卡的实际性能与PCB设计及FPGA设计的合理性都有密切关系,要想取得理论最大值,必须优化PCB布局布线设计,增强其电磁抗干扰能力,对FPGA进行相应的时序约束,提高其稳定性,降低误码率.

实际测试中发现实际传输速率随着单次DMA数据大小而变化,单次DMA数据量越大,实际传输速率也就越大,可见,提高单次DMA数据量,即提高外部缓存的数据量能够有效提高数据传输速率.