CN107851088A - 用于实时应用的具有同时边缘伪像去除的二维离散傅里叶变换 - Google Patents

用于实时应用的具有同时边缘伪像去除的二维离散傅里叶变换 Download PDF

Info

Publication number
CN107851088A
CN107851088A CN201680042150.6A CN201680042150A CN107851088A CN 107851088 A CN107851088 A CN 107851088A CN 201680042150 A CN201680042150 A CN 201680042150A CN 107851088 A CN107851088 A CN 107851088A
Authority
CN
China
Prior art keywords
image data
fft
dimensional
fpga
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680042150.6A
Other languages
English (en)
Other versions
CN107851088B (zh
Inventor
F·马哈茂德
M·托斯
L-G·W·奥威尔斯泰特
B·U·斯科格隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okinawa Institute of Science and Technology School Corp
Original Assignee
Okinawa Institute of Science and Technology School Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okinawa Institute of Science and Technology School Corp filed Critical Okinawa Institute of Science and Technology School Corp
Publication of CN107851088A publication Critical patent/CN107851088A/zh
Application granted granted Critical
Publication of CN107851088B publication Critical patent/CN107851088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

一种对对象图像数据执行二维离散傅立叶变换的方法，该方法要在一个或更多个数字处理器中执行，该方法包括：对对象图像数据的每一行执行一维快速傅里叶变换并对对象图像的每一列执行一维快速傅立叶变换，并且通过以下步骤对提取的边界图像执行简化快速傅立叶变换处理而非逐列执行一维快速傅立叶变换：仅对提取的边界图像数据中的第一列矢量执行一维快速傅立叶变换；利用缩放的列矢量导出提取的边界图像数据中的剩余列的快速傅立叶变换；以及对提取的边界图像数据中的每一行执行一维快速傅立叶变换。接着，根据步骤(b)和(c)的结果，导出去除了边缘伪像的对象图像数据的周期性分量的快速傅立叶变换和对象图像数据的平滑分量的快速傅立叶变换。

Description

用于实时应用的具有同时边缘伪像去除的二维离散傅里叶 变换
技术领域
本发明涉及用于配置现场可编程硬件以去除二维离散傅里叶变换(2D DFT)中的边缘效应或级数终止错误的方法和***。本申请通过引用2015年7月20日提交的美国临时申请No.62/194,689的全部内容而并入于此。
背景技术
离散傅立叶变换(DFT)是具有广泛应用的最常用和最重要的函数之一，所述应用包括但不限于数字通信***、图像处理、计算机视觉、生物医学成像以及从2D数据重建3D(例如，层析成像)密度。傅立叶图像分析通过将空域中的复卷积运算转换成频域中的简单乘法来简化计算。由于计算复杂性，DFT经常成为针对需要高吞吐量和近实时运算的应用的计算约束。1965年首次提出的Cooley-Tukey快速傅里叶变换(FFT)算法(NPL No.1)将DFT的复杂度从O(N2)降低到针对1D DFT的O(NlogN)。然而，在2D DFT的情况下，1D FFT必须以二维方式进行计算，从而将复杂度增加至O(N2logN)，由此使2D DFT成为实时机器视觉应用(NIL NO.2)的显著瓶颈。
存在2D DFT的几个资源高效、高吞吐量实现。这些实现中的很多都是基于软件的，并且已经针对通用处理器(GPP)上的高效性能进行了优化，这样的示例有：IntelMKL(NPLNo.3)、FFTW(NPL No.4)以及Spiral(NPL No.5)。关于GPP的实现可以容易地适应多种情况。然而，GPP消耗更多的功率，并且对于实时嵌入式应用不是理想的。也已经提出了几种基于专用集成电路(ASIC)的实现(NPL No.6)，但因为不容易修改，因此ASIC实现不是图像处理***快速成型的经济有效的解决方案。由于固有的并行性和重配置性，现场可编程门阵列(FPGA)是用于加速FFT计算的有吸引力的目标，因为FPGA充分利用了FFT算法本身的并行性质。在过去的几年中，已存在几个基于高吞吐量FPGA实现。这些实现中的大多数依赖于通过行和列分解(RCD)来重复调用1D FFT，并有效使用外部存储器(NPL No.2、No.7及No.8)。它们中的许多实现了实时或近实时的性能(即，对于标准512×512图像来说，大于或等于每秒23帧)。
在计算2D DFT时，假定图像是周期性的，但通常不是这种情况。图像的这种非周期性导致傅里叶变换中的伪像，这已知为边缘伪像或级数终止错误(seriesterminationerror)。这些伪像在频域中呈现为几个高幅度系数的十字，如在NPL No.9和No.10中所见。这种边缘伪像可以传递至后续处理阶段，并可能导致对生物医学应用结果的严重误解。目前的2D FFT FPGA实现都没有直接解决这个问题。这些伪像通常在预处理期间，利用镜像、窗口化、补零或后处理(例如，过滤技术)而加以去除。这些技术通常是计算密集型的，涉及图像大小的增加，并且往往也倾向于修改该变换。最常见的方法是通过在角落像素处渐变(ramp)图像来缓慢衰减边缘。渐变通常通过变迹函数来实现，诸如Tukey(锥形余弦)或Hamming窗口的，其平滑地将强度降低至零。这种方法可以通过将窗口函数存储在查寻表(LUT)中，并在计算FFT之前将其与图像流相乘，而作为预处理操作在FPGA上实现(NPLNo.10)。尽管这种方法对于小图像来说计算量不是很大，但它会不经意地从图像中去除必要信息，如果该图像与几个其它图像一起被进一步处理以重建被用于诊断或其它判定关键应用的最终图像，那么其可能会造成严重后果。另一种常见方法是将图像从N×N镜像成2N×2N。这样做会使图像变成周期性的，从而去除边缘伪像。然而，这不仅将图像大小增加了四倍，而且使变换变得对称，这产生不准确的相位分量。
大部分以前的基于RCD的2D FFT FPGA实现有两个主要的设计挑战：1)1D FFT实现需要具有合理的高吞吐量并且资源高效；和2)外部DRAM需要具有高带宽并且被有效寻址，因为图像通常很大，并且在行和列1D FFT运算之间需要中间存储。
在计算1D、2D或多维FFT的同时去除边缘伪像强加了额外的设计挑战，而不管使用什么方法。然而，这些伪像必须在其中伪像可能被传播至下一级处理的应用中去除。
引文列表
非专利文献
NPL 1:Cooley,James W.,and John W.Tukey.An algorithm for the machinecalculation of complex Fourier series.Mathematics of computation 19.90(1965):297-301.
NPL 2:Kee,H.,Bhattacharyya,S.S.,Petersen,N.,&Kornerup,J.Resource-efficient acceleration of 2-dimensional Fast Fourier Transform computationson FPGAs.Distributed Smart Cameras,2009.ICDSC 2009.Third ACM/IEEEInternational Conference on.IEEE,2009.
NPL 3:Wang,Endong,et al.Intel Math Kernel Library.High-PerformanceComputing on the Intel Xeon Phi.Springer International Publishing,2014.167-188.
NPL 4:Frigo,Matteo,and Steven G.Johnson.FFTW:An adaptive softwarearchitecture for the FFT.Acoustics,Speech and Signal Processing,1998.Proceedings of the 1998 IEEE International Conference on.Vol.3.IEEE,1998.
NPL 5:Puschel,Markus,et al.SPIRAL:Code generation for DSPtransforms.Proceedings of the IEEE 93.2(2005):232-275.
NPL 6:Lenart,Thomas,Mats Gustafsson,and Viktor Owall.A hardwareacceleration platform for digital holographic imaging.Journal of SignalProcessing Systems 52.3(2008):297-311.
NPL 7:Uzun,Isa Servan,Abbes Amira,and Ahmed Bouridane.FPGAimplementations of fast Fourier transforms for real-time signal and imageprocessing.Vision,Image and Signal Processing,IEE Proceedings-.Vol.152.No.3.IET,2005.
NPL 8:Yu,Chi-Li,et al.Multidimensional DFT IP generator for FPGAplatforms.Circuits and Systems I:Regular Papers,IEEE Transactions on 58.4(2011):755-764.
NPL 9:He,Dajun,and Qibin Sun.A practical print-scan resilientwatermarking scheme.IEEE ICIP(1).2005.
NPL 10:Bailey,Donald G.Design for embedded image processing onFPGAs.John Wiley and Sons,2011:323-324.
NPL 11:Moisan,Lionel.Periodic plus smooth image decomposition.Journalof Mathematical Imaging and Vision 39.2(2011):161-179.
NPL 12:Hast,Anders.Robust and Invariant Phase Based Local FeatureMatching.Pattern Recognition(ICPR),2014 22nd International Conferenceon.IEEE,2014.
NPL 13:Galerne,Bruno,Yann Gousseau,and Jean-Michel Morel.Random phasetextures:Theory and synthesis.Image Processing,IEEE Transactions on 20.1(2011):257-267.
NPL 14:Hovden,Robert,et al.Periodic Artifact Reduction in FourierTransforms of Full Field Atomic Resolution Images.Microscopy andMicroanalysis 21.02(2015):436-441.
NPL 15:Kehtarnavaz,Nasser,and Sidharth Mahotra.FPGA implementationmade easy for applied digital signal processing courses.Acoustics,Speech andSignal Processing (ICASSP),2011IEEE International Conference on.IEEE,2011.
NPL 16:Elliott,Chance,et al.National instruments LabVIEW:aprogramming environment for laboratory automation and measurement.Journal ofthe Association forLaboratory Automation 12.1(2007):17-24.
NPL 17:Caesar,Greg,and Mark Wetzel.PXI Express:extending backplanesto 6 Gbyte/s while maintaining backwards compatibility.Autotestcon,2005.IEEE.IEEE,2005.
NPL 18:National Instruments Technical Document[online],DeviceSpecifications NI PXIe-7976R,NI FlexRIO FPGA Module for PXI Exporess.2014,Available:http://www.ni.com/pdf/manuals/374545a.pdf(Accessed on:16th January,2015)
NPL 19:Jung,Hyunuk,and Soonhoi Ha.Hardware synthesis from coarse-grained dataflow specification for fast HW/SW cosynthesis.Proceedings of the2nd IEEE/ACM/IFIP international conference on Hardware/software codesign andsystem synthesis.ACM,2004.
NPL 20:Eonic PowerFFT ASIC[Online].Available:http://www.eonic.com/
NPL 21:Kee,Hojin,et al.Systematic generation of FPGA-based FFTimplementations.Acoustics,Speech and Signal Processing,2008.ICASSP2008.IEEEInternational Conference on.IEEE,2008.
发明内容
技术问题
如上所述，去除边缘伪像的现有技术需要大计算资源，诸如大内存使用和许多1DDFT例程调用，或者不能以方便实现的方式有效且充分地去除边缘伪像。至今，没有高效且有效的技术可用于去除用于实时应用的2D离散傅立叶变换的边缘伪像。
本发明的目的是提供一种用于实时去除2D离散傅里叶变换中的边缘伪像的高效且有效的方案和***。
本发明的另一目的是提供一种可容易在2D FFT FPGA(现场可编程门阵列)中实现的、用于实时去除2D离散傅里叶变换中的边缘伪像的高效且有效的方案。
本发明的另一目的是提供一种包括其中实现了用于实时去除2D离散傅里叶变换中的边缘伪像的高效且有效的方案的FPGA的2D FFT***。
问题的解决方案
为实现这些和其它优点并且根据本发明的目的，如具体实施和广泛描述的，在一个方面，本发明提供了一种对对象图像数据执行二维离散傅立叶变换的方法，该方法要在一个或更多个数字处理器中执行，该方法包括：步骤(a)，从所述对象图像数据提取边界图像数据；步骤(b)，通过对所述对象图像数据的每一行执行一维快速傅里叶变换并且对所述对象图像数据的每一列执行一维快速傅立叶变换，对所述对象图像数据执行二维快速傅立叶变换；步骤(c)，对所提取的边界图像数据执行简化的二维快速傅立叶变换处理，而不逐列执行一维快速傅立叶变换，以导出平滑分量的快速傅立叶变换，所述步骤(c)包括：仅对所提取的边界图像数据中的第一列矢量执行一维快速傅立叶变换；利用缩放的列矢量导出所提取的边界图像数据中的剩余列的快速傅立叶变换；以及对所提取的边界图像数据中的每一行执行一维快速傅立叶变换；以及步骤(d)，通过从由步骤(b)执行的所述对象图像数据的二维快速傅立叶变换减去在步骤(c)中导出的所述平滑分量的快速傅立叶变换，导出被去除了边缘伪像的所述对象图像数据的周期性分量的快速傅立叶变换。在该方法中，步骤(b)和步骤(c)可以并行处理。
在该方法中，所述一个或更多个处理器可以包括主计算机和连接至该主计算机的一个或更多个现场可编程门阵列(FPGA)，并且步骤(a)和步骤(d)可以由所述主计算机执行，而步骤(c)和步骤(d)可以由一个或更多个FPGA并行执行。
在另一方面，本发明提供了一种用于对对象图像数据执行二维离散傅立叶变换的***，该***包括：主计算机；以及通过总线连接至所述主计算机的一个或更多个现场可编程门阵列(FPGA)，其中，所述主计算机从所述对象图像数据提取边界图像数据，其中，所述一个或更多个FPGA(i)通过对所述对象图像数据的每一行执行一维快速傅里叶变换并且对所述对象图像数据的每一列执行一维快速傅立叶变换，对所述对象图像数据执行二维快速傅立叶变换，其中，所述一个或更多个FPGA(ii)对所提取的边界图像数据执行简化的二维快速傅立叶变换处理而不逐列执行一维快速傅立叶变换，以导出平滑分量的快速傅立叶变换，所述处理包括：仅对所提取的边界图像数据中的第一列矢量执行一维快速傅立叶变换；利用缩放的列矢量导出所提取的边界图像数据中的剩余列的快速傅立叶变换；以及对所提取的边界图像数据中的每一行执行一维快速傅立叶变换，并且其中，所述主计算机通过从所执行的所述对象图像数据的二维快速傅立叶变换减去所导出的所述平滑分量的快速傅立叶变换，导出被去除了边缘伪像的所述对象图像数据的周期性分量的快速傅立叶变换。在这个***中，所述主计算机可以被配置成控制所述一个或更多个FPGA，使得(i)和(ii)并行处理。
在另一方面，本发明提供了一种用于对N维图像数据执行N维快速傅立叶变换的方法，其中，N是大于2的整数，该方法包括：将所述N维图像数据划分成多个二维图像数据；以及对所述多个二维图像数据中的每个二维图像数据执行根据上面阐述的用于对对象图像数据执行二维离散傅立叶变换的方法；以及根据对所述多个二维图像数据中的每个二维图像数据执行上述方法的结果，导出所述N维图像数据的所述N维快速傅立叶变换。按类似方式，上述***可以被配置成，使得所述主计算机接收N维图像数据，其中，N是大于2的整数，并且将所接收的N维图像数据划分成多个二维图像数据；所述一个或更多个FPGA对所述多个二维图像数据中的每个二维图像数据执行(i)和(ii)；并且所述主计算机根据通过所述一个或更多个FPGA对所述多个二维图像数据中的每个二维图像数据执行的(i)和(ii)的结果，导出所述N维图像数据的所述N维傅立叶变换。
本发明的有利效果
根据本发明的一个或更多个方面，高效且有效地去除不然会在2D FFT中产生的边缘伪像。具体来说，在一些实施方式中，与常规技术相比，在有效去除边缘伪像的同时，针对外部存取的访问和用于2D DFT的1D DFT处理显著减少。例如，在本发明的有效示例中，所需的1D FFT调用次数减少，并且外部DRAM使用显著降低，这大大节省了计算资源。
本发明的附加或单独特征和优点在下面的描述中将加以阐述，并且根据该描述将部分地明白，或者可以通过本发明的具体实践而获知。本发明的目的和其它优点将通过在书面说明及其权利要求书以及附图中具体指出的结构认识到并获得。
要明白的是，前面的一般描述和下面的详细描述都是示例性和解释性的，并且旨在提供对如要求保护的本发明的进一步阐释。
附图说明
图1示出了处理前和处理后的图像，以及根据本发明的实施方式的相应傅里叶分量分布，其被应用于具有非周期性边界的示例性图像。1a)是具有非周期性边界的示例性图像。1b)示出了1a)的图像的2D DFT。1c)是平滑分量的DFT，即，来自1a)的图像的去除伪像。1d)是周期分量，即，被去除了边缘伪像的1a)的图像的DFT。1e)示出了根据平滑分量的重建图像。1f)示出了根据周期性分量的重建图像。
图2是分别示出根据本发明的实施方式的DRAM存取次数和要计算的DFT点数的曲线图，其中，具有用于镜像、周期性加平滑分解(PSD)及改进周期性加平滑分解(OPSD)的图像大小增加。
图3是根据本发明的实施方式的基于PXIe的多FPGA***的框图，该***具有通过PXIe机箱上的高速总线连接的主PC控制器。
图4是根据本发明的实施方式的具有ILUT的2D FFT的框图，示出了经由控制单元(CU)安排的外部存储器与本机存储器之间的数据传递。
图5是根据本发明的实施方式的基于PXIe的2D FFT实现的功能框图，其中利用改进的周期性加平滑分解进行同时边缘伪像去除。
图6示出了根据本发明的实施方式的总体硬件设计流程。DFT是利用标准VHDL模块、翻转函数以及数学函数实现的。该翻转函数和数学函数在图7和图8中进行了详细描述，显示器A和显示器B分别示出原始和改进的DFT，并且可以在单个或双显示装置上显示。
图7示出了翻转函数。图像的边缘按矢量存储，然后将其减去并对应地翻转。
图8示出了数学函数。已经利用标准CORDIC实现了余弦。
图9示出了分别针对该图像的原始图像、其DFT、所计算的去除分量(RC)以及DFT-RC。
具体实施方式
上面讨论的用于去除这些伪像的理想方法映射涉及在从图像去除最少量的信息的同时使图像周期性。为此，本公开使用基于高效周期性加平滑(“P+S”)分解(PSD)的方法。由Moisan(NPL No.11)首次提出并在NPL No.12、No.13及No.14中使用的PSD是用于去除边缘伪像的理想方法，因为其不直接干扰除边界像素以外的其它像素并且不涉及增加图像的大小。此外，其在本质上是平行性质的，这使其成为基于高吞吐量FPGA的实现的理想选择。本发明人已经显著改进了原来的P+S分解算法，使整体实现更加高效。具体来说，所需1DFFT调用次数和外部DRAM利用率均显著降低，
在本公开中，为了快速建立算法原型，本发明人使用National InstrumentsLabView FPGA 2014(NPL No.15)，这是一个鲁棒的基于数据流的图形设计环境(NPLNo.16)。LabView FPGA提供与基于National Instruments(NI)Xilinx的可重配置硬件的集成，允许与主机进行高效通信和通过PXIe总线在多个FPGA之间的高吞吐量通信(PCIeXtentions for Industry Express)(NPL No.16)。LabView FPGA还使我们能够集成外部硬件描述语言(HDL)代码，并使我们能够灵活地扩展未来处理阶段所公开的设计。本发明人使用NI PXIe7976R(NPL No.18)板，该板具有Xilinx Kintex 7FPGA和2GB高带宽外部存储器。然而，本公开中呈现的改进和设计可伸缩为任何可重配置的基于计算的***。
本公开被组织如下：下一章节I描述利用周期性加平滑分解的边缘伪像去除。然后，章节II描述了针对P+S分解的改进，根据本发明一实施方式，这导致FFT调用的数量减少和对外部存储器的更少访问。章节IIIA描述了硬件设置，而章节IIIB描述了在所使用的硬件的背景下改进的P+S分解的架构的实施方式，以及如何将其推广到进一步的处理阶段和各种应用以及实验结果。
<I.用于边缘伪像去除的周期性加平滑分解>
周期性加平滑分解(PSD：Periodic plus Smooth Decomposition)涉及将图像分解成周期性和平滑的分量；平滑分量从图像的边界计算，然后从图像中减去以得到周期性分量。在有限域Ω＝{0、1、…、n-1}×{0、1、…、m-1}上具有离散n乘m灰度级图像I。I的离散傅立叶变换(DFT)被定义为
这等同于矩阵乘法WIV，其中，
并且
V具有与W相同的结构，但是具有m维。因为wk具有周期n，这意味着wk＝wk+ln，l∈N，并因此，
因为一般来说，I不是(n,m)周期性的，所以具有存在于DFT中的、源自如图1中的b)所示图像的相对边缘之间的明显不连续性的高振幅边缘伪像。Moisan(NPL No.11)提出了将I分解成周期性分量P(其是周期性的并且捕捉具有全部高频细节的图像本质)以及平滑变化的背景S(其再造边界的不连续性)。因而，I＝P+S。周期性加平滑分解可以通过首先构造边界图像B＝R+C来计算，其中，R表示按行转换时的边界不连续性，而C表示按列进行转换时的边界不连续性。
可以看出，边界图像B的结构非常简单，仅在边缘处具有非零值，如下所示。
可以通过下面的公式发现平滑分量S的DFT。
然后，去除了边缘伪像的图像I的DFT为
图1示出了处理前和处理后的图像I，以及根据本发明一实施方式的相应傅里叶分量分布，其被应用于具有非周期性边界的示例性图像。更具体地，1a)是具有非周期性边界的图像I。1b)示出了1a)图像的2D DFT。1c)是平滑分量的DFT，即，来自1a)的图像的去除伪像。1d)是周期分量，即，1a)被去除了伪像的图像的DFT。1e)示出了根据平滑分量的重建图像。1f)示出了根据周期性分量的重建图像。
如图中所示，在重建时，显然a)的实际图像与f)的周期性重建图像之间的视觉差异可以忽略不计。下面的算法1总结了整个P+S的实现。有几种排布该算法的方法。在本公开中，其被排布成，使得周期性分量和平滑分量的DFT容易用于进一步的处理阶段。对于最佳结果来说，周期性分量和平滑分量均应经历相似的处理阶段，并且应当在显示结果之前被重新加回去。然而，根据应用，平滑分量可能被完全丢弃。
<II.针对FPGA实现的PSD改进>
本公开提供了原始P+S算法的显著改进，使得其可以在FPGA上进行有效配置。如下所述，作为本公开中提供的这种独特改进的结果，1D FFT调用的数量和外部DRAM的利用率都大大降低。上面的算法1指示需要针对每个图像帧(即，对于原始图像I和边界图像B)计算两个2D FFT。尽管这些FFT可以并行计算，但它们将需要大量的1D FFT调用和针对外部存储器的重复访问。
在检查上面的方程(6)时，本发明人已认识到，边界图像B在边界行和列上彼此代数非(algebraic negation)的意义上是对称的。B一共有n+m-1个独特的元素，相对于列和行在角之间具有以下关系。
b11＝r11+c11
b1m＝r1m+c11
bn1＝-r11+cn1
bnm＝-r1m-cn1 (8)
在计算B的FFT时，通常是先逐列进行1D FFT，然后逐行进行1D FFT，或者先逐行进行1D FFT，然后逐列进行1D FFT。长度为n的列向量v的FFT为W v，其中，W在方程(4)中给出。矩阵B的按列的FFT然后如下给出。
关于用B·1表示的第一列，这个矢量的1D FFT如下。
可以示出，列j∈{2、3、…、n-1}的1D FFT如下。
最后一列B·m的1D FFT如下。
因而，矩阵B的按列的FFT如下。
为了计算矩阵B的逐列的1D FFT，只需要计算第一个矢量的FFT，然后使用恰当缩放的矢量v来导出其余列的FFT。逐行的FFT必须正常计算。算法2给出了用于计算的捷径的总结。
算法2中提出的步骤取代了算法1的步骤13。通过减少针对边界图像的逐列1DFFT计算，这种方法可以显著减少1D FFT调用的次数，并减少针对基于FPGA的实现的DRAM访问。这可以通过将初始矢量和缩放因子b1j临时存储在块RAM/寄存器存储器中来实现，从而大幅减少DRAM存取并降低所需1D FFT调用次数。
对于N x M图像来说，上述技术可以在计算2D FFT的逐列分量的同时，将DRAM存取从4NM个点减少到3NM+N+M-1个点，并且将1D FFT调用的数量减少到1个列向量而不是M个列向量。换句话说，要计算的DFT点的数量可以从4NM减少到3NM+M。表I示出了关于DRAM存取点(读取)和DFT点对镜像、P+S分解(PSD)及改进P+S分解(OPSD)的本实施方式的比较。镜像已被用于比较目的，因为它是另选技术之一，其在保持最大幅度信息的同时去除了边缘伪像。然而，由于图像的复制，因而大部分相位信息丢失。
图2是分别示出根据本发明的实施方式的DRAM存取次数和要计算的DFT点数的曲线图，其中，具有用于镜像、周期性加平滑分解(PSD)及改进周期性加平滑分解(OPSD)的图像大小增加。如图2所示，与常规镜像和PDS相比，根据本发明的实施方式的改进PSD方法可显著减少从外部存储器读取并减少所需DFT计算总数。表I比较镜像、PSD和OPSD
<III.改进的PSD的FPGA实现>
<A.硬件设置>
因为2D DFT通常被用于在复杂图像处理和机器视觉***中简化卷积运算，所以本发明人已将该设计在可扩展用于下一级处理的***上原型化为本发明的一个工作例。图3是根据本发明的实施方式的基于PXIe的多FPGA***的框图，该***具有通过PXIe机箱上的高速总线连接的主PC控制器。根据本发明的实施方式，为了所提出的改进周期性加平滑分解算法的快速原型化，使用基于PXIe(PCI eXtentions for Industry express)的可重配置***。PXIe是具有增强总线结构的PCI***的工业扩展，其为每个连接装置提供了4GB/s的最大吞吐量的专用总线访问。这允许主PC与几个FPGA之间的高速专用链路。LabViewFPGA图形设计环境可以被用于复杂信号和图像处理***的快速原型化。其使得能够在单一平台上有效地集成外部HDL代码和LabView图形设计。在作出工作例方面，本发明人使用了FlexRIO(灵活可重配置的I/O)FPGA板，其被***PXIe机箱。PXIe FlexRIO FPGA板灵活并且可以被用于实现高吞吐量，因为它们允许多个FPGA之间以高达1.5GB/s的速率的直接数据传递。这可以显著简化通常经由主PC进行通信的多FPGA***。该特征允许我们的***扩展至进一步的处理阶段，使其适用于多种应用。图3示出了基于PXIe的多FPGA***的基本概图，其中，主PC控制器通过PXIe机箱上的高速总线连接。使用了NIPXIe-7976R FlexRIO板，其具有Kintex 7FPGA和2GB外部DRAM，数据带宽高达10GB/s。该FPGA板连同PXIe-8135Corei7PC控制器一起***PXIe-1082机箱。
<B.基本架构>
根据上面讨论的算法1和2，本实施方式的实现可以分解成四个阶段：1)计算一图像帧2D FFT；2)计算边界图像；3)计算边界图像的2D FFT并计算平滑分量；以及4)从原始图像的2D FFT中减去平滑分量以导出周期性分量。在所有步骤当中，瓶颈将在于2D FFT计算中。
FPGA上的大多数2D FFT实现使用行和列分解(RCD)与中间外部DRAM存储。基于RCD的2D FFT的加速通常取决于被用于逐列和逐行1D FFT计算的1D FFT的吞吐量。N×M图像的这个RCD需要计算N个行和M个列的1D FFT。这意味着在第一(行或列)计算之后，必须存储MN(或者如果M＝N，则为N2)个值。因为2D FFT通常针对大图像进行计算，其无法被存储在有限的嵌入式块RAM中，所以必须使用外部存储器。因此，加速还取决于外部存储器的带宽和有效寻址。对于小尺寸图像来说，与外部存储器相比，可以使用经由寄存器实现的块RAM或存储器(NPLNo.19)。寄存器存储器通常更快且更易于使用，因为不同于外部存储器，其在可用通道数和带宽方面没有限制。然而，这种方法是资源昂贵的，并且如果图像很大，则会导致消耗大量的FPGA资源。Uzun(NPL No.7)介绍了一种具有共享外部RAM的几个1D FFT处理器来进行实时2D FFT计算的架构。
对于根据本发明的实施方式的2D FFT实现来说，本发明人还使用了基于具有多核1D FFT的RCD的方法。针对1D FFT实现，本发明人使用了由Hojin首先提出的内环展开技术(ILUT)(NPL No.20)，并且还用于2D FFT设置(NPL No.2)。长度为N的1D FFT具有logN个FFT级，并且每级具有N/2个蝶形单元。ILUT涉及通过并行地执行几个蝶形单元来展开单个FFT阶段(NPL No.2)。图4示出了根据本发明的实施方式的具有ILUT的2D DFT的框图，示出了经由控制单元(CU)布置的外部存储器与本机存储器之间的数据传递。摄像头与FPGA之间的数据通过利用DMA(直接存储器存取)FIFO而经由PC控制器传递。然而，也可以通过利用摄像机链路前端将数据直接传递至FPGA。图4所示的本机存储器被用于缓冲外部存储器与1DFFT核心之间的数据。这个本机存储器被划分成读取组件和写入组件，并且利用FPGA片(slice)来实现。这节省了用于临时存储为计算边界图像的2D FFT所需的矢量的块RAM(BRAM)。控制单元(CU)组织调度在本机存储器与外部存储器之间传递数据。
边界图像的2D FFT还需要通过行和列分解来计算。然而，如以数学方式所示，可以通过计算第一(边界)矢量的1D FFT来计算初始的按行的FFT，并且可以通过恰当缩放该矢量来计算扩孔矢量(reaming vector)的FFT。在PC控制器中计算边界图像。但是该整个图像不需要传递至FPGA。需要用于第一列和最后一列的1D FFT计算的边界列向量。对于第一列与最后一列之间的每一列的1D FFT，还需要边界行矢量来进行的恰当缩放。为了最小化主机与FPGA之间的数据传递，本实施方式在经由DMA FIFO传递的每个图像帧的末尾处关联一额外行和列向量。因而，在传递N×M图像帧时，从PC控制器发送的数据点的量是NM+N+M。
边界图像的行和列矢量被存储在块RAM(BRAM)中，而图像帧被直接存储到外部DRAM中。这使得边界图像的逐列1D FFT计算能够与实际图像的FFT计算并行进行。控制单元安排外部存储器与本地存储器之间的所有读写操作。图5示出了如上所述根据本发明实施方式的具有改进PSD处理的总体2D FFT的功能框图。更具体地，示出了上述根据本发明实施方式的基于PXIe的2D FFT实现的功能框图，其中利用改进的周期性加平滑分解进行同时边缘伪像去除。在主PC上进行两个图像的相减，以最小化存储器冲突，并在每个帧变得可用时访问该帧的周期性和平滑分量。
常规的基于RCD的2D FFT硬件实现不使用周期性加平滑分解来同时去除边缘伪像。本发明的实施方式针对每个图像帧有效地执行双倍的1D FFT计算量(针对原始和边界图像)，而与不同时执行边缘伪像去除的常规实现相比，仅需要较高运行时间的一小部分。如上例证，已经通过针对原始和边界图像的2D FFT计算的并行化，并通过改进原始的周期性加平滑分解算法来减少外部DRAM存取，实现了这种加速。
如上所述，本公开提供了用于计算具有同时边缘伪像去除的高吞吐量2D DFT的改进的基于FPGA的方案。其基于周期性加平滑分解算法，其将2D图像的频域划分成具有高频十字形伪像的平滑分量，并且可以从原始图像的2D DFT中减去，以获取无伪像的周期性分量。因为这种方法涉及同时计算两个2D DFT，所以外部存储器寻址和重复的1D FFT调用可能成为一个问题。为了解决这个问题，如上所述，本公开提供了用于改进原始PSD算法的方案，该方案可以减少要计算的DFT样本和DRAM存取的数量多达24％。根据本发明实施方式的技术利用在高速PXIe总线上与主PC通信的Xilinx Kintex 7FPGA的广泛合成和基准测试来测试。所公开的***可扩展以支持在高速总线上通信的几个FPGA，并且对于大规模计算机视觉和生物医学应用来说可以是理想的。尽管将图像分解成周期性和平滑的频率分量，但与传统的基于FPGA的2D DFT实现相比，根据本发明实施方式的设计仅需要稍高的运行时间，并且可以被用于多种实时应用。
<本发明的实施方式的附加细节和其它变型例>
下面提供了本发明实施方式的一些附加细节和其它可能的变型例，其中一些已经在上面进行了描述。
本发明的一些实施方式利用LabView 2014创建并且利用LabView FPGA模块2014进行测试。所用的FPGA装置是Xilinx Vertix 5；然而，该设计可以扩展至任何FPGA模块。
图像采集是利用National Instruments(NI)视觉采集软件IMAQ Vision完成的。图像从一个文件加载，但可以潜在地从摄像机或任何图像采集装置加载，只要支持IMAQ协议即可。
Power over Camera Link(PoCL)(另选图像采集软件)也可以被用作图像采集协议。
在本发明的实施方式中使用的离散傅里叶变换(DFT)函数来自NationalInstruments，并且已经在LabView 2014中提供。然而，其可以被任何DFT IntellectualProperty(IP)块替换，以使总体设计更快。
图6示出了根据本发明的实施方式的总体硬件设计流程。DFT利用标准VHDL块、翻转函数及数学函数来实现。显示器A和显示器B分别显示原始的和改进的DFT，并且可以在单个或双显示装置上显示。
图7中示出了用于翻转函数的流程图。阵列索引、减去和替换阵列子集函数被用于直接在高速缓存存储器中翻转位置(如在NPL No.11中所提到的)，以便减少存储器交换所需的总时间。
图8所示的数学函数计算必要的数学函数(包括除法、乘法、减法以及余弦)，并需要经傅立叶变换的翻转函数的输出作为输入。
数学函数中的余弦可以利用CORDIC(坐标旋转数字计算机)算法或基于LUT(查找表)计算。
必须注意，图6中的虚线区表示并行操作。DFT与翻转函数的DFT并行计算，然后是上述数学函数。
图9示出了根据本实施方式的、分别针对该图像的原始图像、其DFT、所计算的去除分量(RC)以及DFT-RC。
本发明的这个实施方式是针对512×512的图像大小，但可以缩放至任何矩形大小。IMAQ显示被用于在屏幕上显示结果。
与3GHz的通用处理器(GPP)相比，公开的方案可以潜在地在少于1.5个时钟周期内计算改进的FFT。然而，这个数字取决于所用的FPGA的类型和所选的时钟周期。
本公开提供了一种新颖的基于FPGA的设计来计算具有同时边缘伪像去除的高吞吐量2D DFT。利用变迹函数或镜像去除这些伪像的标准方法因增加图像尺寸而涉及去除临界频率或者计算浪涌。本公开使用针对FPGA实现改进的基于周期加平滑分解的伪像去除算法，同时仍然对512×512大小的图像流实现实时(即，等于或大于每秒23帧)的性能。本文所公开的方法导致外部存储器利用率的显著降低，从而避免了内存冲突，并简化了设计。本发明的实施方式利用与主PC通信的基于PXIe的Xilinx Kintex 7FPGA***进行了例证，这为进一步扩展用于各种工业应用的所公开方案提供了优势。
对于本领域的技术人员显而易见的是，在不脱离本发明的精神或范围的情况下，可以对本发明进行各种修改和变化。因此，本发明旨在覆盖落入所附权利要求书及其等同物的范围内的修改例和变型例。具体而言，明确地设想，上述实施方式及其修改例中的任两个或更多个的任何部分或全部可以被组合并被认为处于本发明的范围内。

Claims (7)

1.一种对对象图像数据执行二维离散傅立叶变换的方法，该方法要在一个或更多个数字处理器中执行，该方法包括：
步骤(a)，从所述对象图像数据提取边界图像数据；
步骤(b)，通过对所述对象图像数据的每一行执行一维快速傅里叶变换并且对所述对象图像数据的每一列执行一维快速傅立叶变换，对所述对象图像数据执行二维快速傅立叶变换；
步骤(c)，对所提取的边界图像数据执行简化的二维快速傅立叶变换处理而不执行逐列的一维快速傅立叶变换，以导出平滑分量的快速傅立叶变换，所述步骤(c)包括：
仅对所提取的边界图像数据中的第一列矢量执行一维快速傅立叶变换；
利用缩放的列矢量导出所提取的边界图像数据中的剩余列的快速傅立叶变换；以及
对所提取的边界图像数据中的每一行执行一维快速傅立叶变换；以及
步骤(d)，通过从由步骤(b)执行的所述对象图像数据的二维快速傅立叶变换减去在步骤(c)中导出的所述平滑分量的快速傅立叶变换，导出被去除了边缘伪像的所述对象图像数据的周期性分量的快速傅立叶变换。
2.根据权利要求1所述的方法，其中，步骤(b)和步骤(c)被并行处理。
3.根据权利要求1所述的方法，
其中，所述一个或更多个处理器包括主计算机和连接至该主计算机的一个或更多个现场可编程门阵列(FPGA)，并且
其中，步骤(a)和步骤(d)由所述主计算机执行，而步骤(c)和步骤(d)由一个或更多个FPGA并行执行。
4.一种对对象图像数据执行二维离散傅立叶变换的***，该***包括：
主计算机；以及
通过总线连接至所述主计算机的一个或更多个现场可编程门阵列(FPGA)，
其中，所述主计算机从所述对象图像数据提取边界图像数据，
其中，所述一个或更多个FPGA(i)通过对所述对象图像数据的每一行执行一维快速傅里叶变换并且对所述对象图像数据的每一列执行一维快速傅立叶变换，对所述对象图像数据执行二维快速傅立叶变换，
其中，所述一个或更多个FPGA(ii)对所提取的边界图像数据执行简化的二维快速傅立叶变换处理而不执行逐列的一维快速傅立叶变换，以导出平滑分量的快速傅立叶变换，所述处理包括：
仅对所提取的边界图像数据中的第一列矢量执行一维快速傅立叶变换；
利用缩放的列矢量来导出所提取的边界图像数据中的剩余列的快速傅立叶变换；以及
对所提取的边界图像数据中的每一行执行一维快速傅立叶变换，并且
其中，所述主计算机通过从所执行的所述对象图像数据的二维快速傅立叶变换减去所导出的所述平滑分量的快速傅立叶变换，导出去除了边缘伪像的所述对象图像数据的周期性分量的快速傅立叶变换。
5.根据权利要求4所述的***，其中，所述主计算机控制所述一个或更多个FPGA，使得(i)和(ii)被并行处理。
6.一种对N维图像数据执行N维快速傅立叶变换的方法，其中，N是大于2的整数，该方法包括：
将所述N维图像数据划分成多个二维图像数据；
对所述多个二维图像数据中的每个二维图像数据执行根据权利要求1所述的用于对对象图像数据执行二维离散傅立叶变换的方法；以及
根据对所述多个二维图像数据中的每个二维图像数据执行权利要求1所述的方法的结果，导出所述N维图像数据的所述N维快速傅立叶变换。
7.根据权利要求5所述的***，
其中，所述主计算机还被配置成接收N维图像数据，其中，N是大于2的整数，并且将所接收的N维图像数据划分成多个二维图像数据，
其中，所述一个或更多个FPGA对所述多个二维图像数据中的每个二维图像数据执行(i)和(ii)，并且
其中，所述主计算机根据由所述一个或更多个FPGA对所述多个二维图像数据中的每个二维图像数据执行(i)和(ii)的结果，导出所述N维图像数据的N维傅立叶变换。
CN201680042150.6A 2015-07-20 2016-07-20 对对象图像数据执行离散傅立叶变换的方法和*** Active CN107851088B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562194689P 2015-07-20 2015-07-20
US62/194,689 2015-07-20
PCT/JP2016/003401 WO2017013877A1 (en) 2015-07-20 2016-07-20 2d discrete fourier transform with simultaneous edge artifact removal for real-time applications

Publications (2)

Publication Number Publication Date
CN107851088A true CN107851088A (zh) 2018-03-27
CN107851088B CN107851088B (zh) 2019-03-01

Family

ID=57835019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680042150.6A Active CN107851088B (zh) 2015-07-20 2016-07-20 对对象图像数据执行离散傅立叶变换的方法和***

Country Status (5)

Country Link
US (1) US10121233B2 (zh)
EP (1) EP3326082A4 (zh)
JP (1) JP6429428B2 (zh)
CN (1) CN107851088B (zh)
WO (1) WO2017013877A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792303A (zh) * 2022-03-21 2022-07-26 视微影像(河南)科技有限公司 频域或扫频光学相干断层扫描的全范围分析方法与***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211146A (zh) * 2014-11-21 2017-09-26 Vid拓展公司 一维变换模式和系数扫描顺序
CN107911576A (zh) * 2017-11-01 2018-04-13 北京小米移动软件有限公司 图像处理方法、装置和存储介质
CN111145075B (zh) * 2019-12-16 2023-05-12 深圳云天励飞技术有限公司 数据处理***
US11954819B1 (en) * 2020-02-28 2024-04-09 Unm Rainforest Innovations System and methods for fast and scalable 2D convolutions and cross-correlations for processing image databases and videos on CPUs
CN114998161A (zh) * 2022-06-02 2022-09-02 中国科学院西安光学精密机械研究所 一种基于完美傅里叶变换的傅里叶叠层显微术高精度重构图像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944235A (zh) * 2009-09-18 2011-01-12 哈尔滨工程大学 基于分数傅立叶变换的图像压缩方法
CN102722895A (zh) * 2012-05-15 2012-10-10 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法
CN103379339A (zh) * 2012-04-24 2013-10-30 特克特朗尼克公司 基于频谱功率特征的分块或块效应检测

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5089982A (en) * 1990-05-24 1992-02-18 Grumman Aerospace Corporation Two dimensional fast Fourier transform converter
US5450553A (en) * 1990-06-15 1995-09-12 Kabushiki Kaisha Toshiba Digital signal processor including address generation by execute/stop instruction designated
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
US5991788A (en) 1997-03-14 1999-11-23 Xilinx, Inc. Method for configuring an FPGA for large FFTs and other vector rotation computations
US6021423A (en) 1997-09-26 2000-02-01 Xilinx, Inc. Method for parallel-efficient configuring an FPGA for large FFTS and other vector rotation computations
EP0967763B1 (en) * 1998-06-29 2004-12-01 Alcatel Multicarrier receiver with per-carrier RLS frequency domain equalisation
US20030190056A1 (en) * 2002-04-09 2003-10-09 Eric Metois System and method for encoding and decoding data and position information using angular symbology and beacons
CA2631004C (en) * 2007-05-09 2016-07-19 Universite De Sherbrooke Image reconstruction methods based on block circulant system matrices
JP6061619B2 (ja) * 2012-10-30 2017-01-18 オリンパス株式会社 顕微鏡システム
CA2955331C (en) * 2013-03-13 2020-09-01 Okinawa Institute Of Science And Technology School Corporation Extended field iterative reconstruction technique (efirt) for correlated noise removal
US9734129B2 (en) * 2014-04-22 2017-08-15 Sandisk Technologies Llc Low complexity partial parallel architectures for Fourier transform and inverse Fourier transform over subfields of a finite field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944235A (zh) * 2009-09-18 2011-01-12 哈尔滨工程大学 基于分数傅立叶变换的图像压缩方法
CN103379339A (zh) * 2012-04-24 2013-10-30 特克特朗尼克公司 基于频谱功率特征的分块或块效应检测
CN102722895A (zh) * 2012-05-15 2012-10-10 哈尔滨工程大学 基于分数傅立叶变换的形状描述方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792303A (zh) * 2022-03-21 2022-07-26 视微影像(河南)科技有限公司 频域或扫频光学相干断层扫描的全范围分析方法与***

Also Published As

Publication number Publication date
WO2017013877A1 (en) 2017-01-26
US20180204313A1 (en) 2018-07-19
JP2018522349A (ja) 2018-08-09
JP6429428B2 (ja) 2018-11-28
CN107851088B (zh) 2019-03-01
US10121233B2 (en) 2018-11-06
EP3326082A1 (en) 2018-05-30
EP3326082A4 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
CN107851088B (zh) 对对象图像数据执行离散傅立叶变换的方法和***
JP7101776B2 (ja) 行列入力を行列プロセッサ用のベクトル化入力に変換するためのシステムおよび方法
JP6946572B2 (ja) 加速された量子化積和演算
US20200401872A1 (en) Systems and methods for vectorized fft for multi-dimensional convolution operations
Pavel et al. Algorithms for efficient computation of convolution
JP2022064892A (ja) 加速数学エンジン
EP3093757B1 (en) Multi-dimensional sliding window operation for a vector processor
Mahmood et al. 2D discrete Fourier transform with simultaneous edge artifact removal for real-time applications
Rybalkin et al. When massive GPU parallelism ain’t enough: A novel hardware architecture of 2D-LSTM neural network
Licciardo et al. Frame buffer-less stream processor for accurate real-time interest point detection
Rahman et al. Parallel implementation of a spatio-temporal visual saliency model
Adámek et al. GPU fast convolution via the overlap-and-save method in shared memory
Xia et al. Highly accurate real-time image steganalysis based on GPU
Lee et al. Implementing algorithms for signal and image reconstruction on graphical processing units
Rogan et al. Improving the fast back projection algorithm through massive parallelizations
Bhadouria et al. A novel image impulse noise removal algorithm optimized for hardware accelerators
Siéler et al. A scalable and embedded FPGA architecture for efficient computation of grey level co-occurrence matrices and Haralick textures features
Mahmood et al. Algorithm and architecture optimization for 2D discrete Fourier transforms with simultaneous edge artifact removal
CN104992425A (zh) 一种基于gpu加速的dem超分辨率方法
Baier et al. GPU-based nonlocal filtering for large scale SAR processing
Holloway et al. GPU Acceleration of the Most Apparent Distortion Image Quality Assessment Algorithm
Li et al. A research and strategy of remote sensing image denoising algorithms
Zhang et al. Coarse-grained dynamically reconfigurable processor for vision pre-processing
Fahmy et al. Real-time hardware acceleration of the trace transform
Nickel et al. High-performance AKAZE implementation including parametrizable and generic HLS modules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant