【摘要】　一种基于FPGA技术的图像处理系统，实现了图像数据的A/D采集、在SRAM以及SDRAM中的存取、在FPGA内部的DSP运算以及图像数据的D/A输出，具备图像融合处理功能。文章在阐述系统结构、总体方案和设计思想基础上，重点论述了系统各模块划分、芯片选型依据以及系统有关模块的接口设计。 
　　【关键词】　FPGA；图像融合；视频处理；方案设计 
　　【中图分类号】　TN919 【文献标识码】　A 
　　0 引言 
　　基于FPGA的图像处理系统，在构建融合拼接式大屏幕显示系统中具有关键作用。它能实现多路独立视频信号和计算机信号同时直通显示，画中画显示、高分辨力全屏显示、灵活缩放显示、大画面跨屏清晰显示，超高分辨力图像、视频、计算机、网络信号综合显示等。 
　　采用可编程逻辑器件FPGA来控制实时显示系统，具有高集成度、高速、高可靠性、灵活的编程能力、全新的开发设计思想等特点。由于FPGA器件实现的各功能块可以同时工作，从而实现从指令级到流水线级甚至是任务级的并行执行，因此大大地加快了计算速度。由FPGA实现的计算系统可以达到现有通用处理器的数百甚至上千倍。 
　　1 系统结构 
　　2 总体方案 
　　本方案选择FPGA器件作为图像处理系统的核心处理芯片，设计的系统要求FPGA通过A/D采集芯片将视频图像数据采集到FPGA内部，由于FPGA内部自带的RAM容量非常有限，采集来的大量图像数据和处理后的数据必须通过外部存储器来保存，所以在FPGA外部设计了外部存储器。对于处理后的图像数据设计了D/A输出模块用于图像输出。文献[3]提出根据图像几何校正和图像融合的主要算法，采用了双线性插值法进行图像变化，因此针对FPGA硬件DSP模块的处理特点，可在上位机利用软件计算出图像需要进行几何变化和色彩校正的一系列参数。FPGA在图像处理过程中将利用这些参数进行处理，这就需要设计一个能够使FPGA与上位机进行通信的模块。传统的通信模块通过PCI总线来完成，但是这样不够灵活，图像处理卡与PC机不能分离，使用场合很有局限性。由于FPGA技术发展很快，利用ARM嵌入式处理器外挂在FPGA芯片上，通过ARM处理器的以太网口与PC机进行通信，系统参数获得传递。系统的总体结构如图2所示。 
　　为简化系统处理器处理图像算法的复杂程度，也降低实时处理系统硬件设计的难度，可将复杂的图像处理算法（图像的几何校正算法、边缘融合算法、色彩校正算法等）留在上位机完成。上位机根据图像处理算法生成一个算法参数表，再通过ARM处理器下载到FPGA的外部存储器中。FPGA内部的图像处理模块根据计算好的参数表，只需在内部实现简单的乘累加运算就能完成图像的几何校正或色彩校正处理。 
　　要满足高分辨率图像大容量的数据处理的实时性，有必要在设计中采用先进的设计思想和技术方法。
　　一是乒乓操作方法。为了实现不间断的输出图像，需要利用“乒乓操作”设计两组控制器实现对数据的连续处理。其优点是，通过输入数据选择单元和输出数据选择单元按节奏彼此密切配合和切换，让图像数据流连续不断的通过原始图像存储模块、图像处理模块以及结果图像存储模块。本设计对原始图像存储模块和结果图像存储模块都运用了乒乓操作技术方法。 
　　二是流水线操作方法。这是使系统高速运行常用的设计方法。将一个设计的处理流程分为若干步骤，如果整个数据的流向是单向的，前一个步骤的输出是下一个步骤的输入，采用流水线设计方法提高系统的工作效率是十分有效的。 
　　3 模块划分与芯片选型 
　　对于上述高分辨率图像融合处理系统，可以按硬件设计划分为几个模块：图像A/D采集模块、图像D/A输出模块、外部存储器模块、图像处理模块和ARM处理器模块等等。 
　　1）图像A/D输入模块 
　　图像的输入端的A/D解码模块可选用Analog　Devices公司的　AD9887A，因为该芯片同时具有模拟信号输入（VGA）和数字信号输入（DVI）的接口，能满足高分辨率的采集要求，并支持高带宽数字内容保护（HDCP）。通过模拟接口，AD9887A可对RGB图像信号进行8位精度的采样，最高采样率为170MSPS，模拟带宽为330MHz，可支持UXGA模式（1600×1200　，60Hz）。并且AD9887A提供了DVI1.0规范兼容的接收器的数字接口，同样也支持UXGA模式。 
　　2）　图像D/A输出模块 
　　采用Analog　Devices公司的ADV7123来做图像的模拟信号输出端，其三通道10bit精度的视频D/A转换器，最高采样率达240MSPS，支持1600×1200、100Hz以下的分辨率；数字信号输出端采用Silicon　Image公司的SiI164作为DVI接口信号的编码器。它支持100KHz的I2C编程模式，支持带宽25-165MHz的VGA到UXGA信号，也支持DVI1.0。 
　　3）外部存储器模块 
　　设计外部存储器时，选择SRAM作为输入图像存储器，用于存放处理前的图像数据；选择SDRAM作为输出图像存储器，用于存放处理后的图像数据；设计一个单独的SDRAM用于存放图像处理的参数信息。 
　　4）图像处理模块 
　　该模块主要是由FPGA内部逻辑完成，FPGA芯片的选择直接关系着图像处理系统的设计与性能，十分重要。对于FPGA的选择，可用Xilinx公司的Virtex4系列XC4VLX40芯片，因其具有多方面优势。 
　　（1）输入/输出块（IOB），提供了封装引脚与内部可配置逻辑之间的接口，能够支持大多数流行的IO标准，且输入、输出路径都提供了一个可选的SDR和DDR寄存器。（2）B1ockRAM　提供了18kbit的双端口RAM，还可以通过级联实现更大的RAM。（3）可配置逻辑块（CLB）是Virtex4　FPGA内的基本逻辑单元，可以实现组合逻辑、时序逻辑、分布式RAM以及SRL　16移位寄存器等。（4）XtremeDSP包含了专用的18×18位的二进制补码形式的有符号乘法器、加法器和一个48位的累加器。每一个乘法器或累加器都可以独立使用。（5）通用布线矩阵（GRM）在每一个可编程部件之间提供了布线开关阵列。Virtex4　FPGA的组件连接到布线矩阵，所有组件采用相同的互连机制。具有64个XtremeDSP，能够保证图像处理的能力。拥有1728Kb的Block　RAM等非常丰富的布线资源。
　5）ARM处理器模块及其工作机理 
　　此模块主要用于完成参数的传递以及与PC机的通信，在本系统中主要选用了Samsung公司的S3C2410A芯片。 
　　FPGA图像处理模块用于对采集到的原始数据进行各种算法处理。由于已经将复杂的图像处理算法在上位机上进行了处理，并计算出了相应的参数，所以在FPGA内部的图像处理模块只需要执行简单的乘累加操作就可以完成相应的处理算法。经此简化后，在具体完成乘累加操作时，可以直接调用FPGA内部集成的XtremeDSP等硬件逻辑资源，从而快速的完成图像信息处理。 
　　4 输入输出接口设计 
　　本文简述A/D接口模块和D/A接口模块。限于篇幅，外部存储器和ARM处理器接口模块，时序逻辑、状态转换等不予赘述。 
　　1）A/D接口模块 
　　完成与采集芯片AD9887A的接口逻辑要靠A/D接口模块。其主要功能是接收从A/D输入的图像数据，并在模块内部通过双端口存储器（DPRAM）实现图像数据的时钟域转换和图像帧的选择。之后将图像数据馈送至原始图像SRAM接口模块。 
　　2）D/A接口模块 
　　由此模块完成输出图像的色彩校正以及芯片SiI164的接口逻辑。D/A接口模块的核心部件是一个用双端口存储器（DPRAM）实现的色彩查找表（RGB　Look　Up　Table）。处理后的图像数据由SDRAM中取出，在输出前首先经过这个色彩查找表。当系统需要进行色彩调整的时候，只需要通过ARM处理器将新的色彩查找表写入到DPRAM中即可完成。该模块还分别设计了数字和模拟两种格式的接口。 
　　5 结束语 
　　基于FPGA的图像处理系统的研究由于其可编程和重配置的灵活性、算法硬件实现的快速性，为图像融合处理系统带来了新的解决方案。随着大规模可编程逻辑器件技术的迅速发展，FPGA器件性能将会不断提高，图像融合处理技术方面的应用研究也将会进入更新更高的境界。 
　　参考文献 
　　[1]　吴群锋.网管监控中心拼接大屏幕选型研究[J].电视技术，2011，35（16）：40-42. 
　　[2]　刘奇峰，曾庆立，章枭枭等.基于FPGA的视频图像处理系统设计[J].信息系统工程，2010，10：29-30. 
　　[3]　王茂.基于FPGA的大场景图像融合可视化系统的研究与设计[D].成都：电子学报，2008. 
　　[4]　王婷，童维勤，马飞.基于FPGA的视频预处理系统的建模与仿真[J].计算机工程与设计，　2011，　32（1）：309—312. 
　　作者简介： 
　　张春林（1958-），男，硕士，高级工程师，主研显示系统设计。 
　　余黄河（1960-），男，学士，高级工程师，主研通信工程设计。