CN108829530B - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN108829530B CN108829530B CN201810621375.8A CN201810621375A CN108829530B CN 108829530 B CN108829530 B CN 108829530B CN 201810621375 A CN201810621375 A CN 201810621375A CN 108829530 B CN108829530 B CN 108829530B
- Authority
- CN
- China
- Prior art keywords
- image processing
- core
- fpga
- source data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 253
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013461 design Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000027455 binding Effects 0.000 description 6
- 238000009739 binding Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Stored Programmes (AREA)
- Microcomputers (AREA)
Abstract
本发明实施例公开了一种图像处理方法和装置,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,方法包括:将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;该FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。通过本发明的技术方案,实现了针对现场可编程门阵列FPGA与中央处理器CPU集成架构的***提高图像处理任务的速度。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种图像处理方法及装置。
背景技术
Android(一种基于Linux的自由及开放源代码的操作***)应用程序需要执行的图像处理任务是一种典型的计算密集型任务,需要耗费较长的时间,是Android应用程序性能的瓶颈问题。
现有的Android图像处理加速方案主要是采用GPU技术,但是GPU在制造完成后仅支持一些原生的指令,如果计算任务出现GPU指令不支持的操作就不得不使用CPU计算,造成计算效率的下降。
随着FPGA技术的发展,已经出现了很多将FPGA与CPU集成的硬件产品。FPGA(Field-Programmable Gate Array,现场可编程门阵列)是一种可重构器件,可以根据实际应用需要改变内部电路逻辑,同时作为一种硬件计算方式,FPGA可以进行并行计算,因此,FPGA可以达到计算速度很高。同时,图像处理任务往往适合于进行并行计算,因此,如何针对现场可编程门阵列FPGA与中央处理器CPU集成架构的***提高图像处理任务的速度是亟待解决的问题。
发明内容
本发明的主要目的在于提供一种图像处理方法和装置,针对现场可编程门阵列FPGA与中央处理器CPU集成架构的***,提高了图像处理速度。
为了解决上述技术问题,本发明提供了一种图像处理方法,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,所述方法包括:
将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;
所述FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。
进一步地,在所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核之前,上述方法还包括:
根据所述待处理的图像源数据生成比特流文件,利用所述比特流文件对所述FPGA图像处理IP核进行配置;
对所述FPGA图像处理IP核配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。
进一步地,所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,包括:
将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元;
所述FPGA图像处理IP核的驱动单元将所述图像源数据发送至所述FPGA图像处理IP核。
进一步地,所述将获得的图像处理结果数据返回至应用单元,包括:
所述FPGA图像处理IP核通过所述FPGA图像处理IP核的驱动单元将所述图像处理结果数据返回至所述中间层单元;
所述中间层单元将获得的图像处理结果数据返回至所述应用单元。
进一步地,所述将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元,包括:
所述中间层单元通过JNI方式将所述图像源数据发送至所述FPGA图像处理IP核的驱动单元。
为了解决上述问题,本发明还提供了一种图像处理装置,应用于基于FPGA与CPU集成架构的***,所述装置包括:
发送模块,用于将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;
FPGA图像处理IP核,用于对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。
进一步,所述装置还包括:
配置模块,用于根据所述待处理的图像源数据生成比特流文件,利用所述比特流文件对所述FPGA图像处理IP核进行配置;
创建模块,用于FPGA图像处理IP核对所述FPGA图像处理IP核配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。
进一步地,所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,包括:
将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元;
所述FPGA图像处理IP核的驱动单元将所述图像源数据发送至所述FPGA图像处理IP核。
进一步地,所述将获得的图像处理结果数据返回至应用单元,包括:
所述FPGA图像处理IP核通过所述FPGA图像处理IP核的驱动单元将所述图像处理结果数据返回至所述中间层单元;
所述中间层单元将获得的图像处理结果数据返回至所述应用单元。
进一步地,所述将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元,包括:
所述中间层单元通过JNI方式将所述图像源数据发送至所述FPGA图像处理IP核的驱动单元。
本发明提出了一种图像处理方法,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,方法包括:将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;所述FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。通过本发明的技术方案,实现了针对现场可编程门阵列FPGA与中央处理器CPU集成架构的***提高图像处理任务的速度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例基于FPGA与CPU集成架构的***示意图;
图2为本发明实施例图像处理方法的流程图;
图3为本发明实施例图像处理装置的示意图。
图4为本发明实施例IP核接口电路的逻辑设计示意图;
图5为本发明实施例FPGA图像处理IP核的驱动单元的处理流程图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本发明的技术方案中,关键的术语定义如下:
FPGA(Field Programmable Gate Array):现场可编程门阵列
GPU(Graphics Processing Unit):图形处理器
IP Core(Intellectual Property Core):知识产权核
DMA(Direct Memory Access):直接内存存取
JNI:Java Native Interface的缩写
MM2S(Memory To Peripheral):存储到外部设备
S2MM(Peripheral To Memory):外部设备到存储
本发明的技术方案是针对现场可编程门阵列FPGA与中央处理器CPU集成架构的***,图1为本发明实施例的FPGA与CPU集成架构的***示意图;
FPGA与CPU集成架构的***中分为硬件部分和软件部分:
硬件部分具体包括:
1)FPGA图像处理IP核。使用传统的硬件语言开发FPGA图像处理IP核,对于软件开发人员提出了较高的要求;FPGA图像处理IP核的开发还可以使用较新的高级综合工具,例如Xilinx公司的HLS工具,可以将C语言等高级语言描述的算法转为FPGA图像处理IP核。其中,HLS是Xilinx公司推出的最新一代FPGA设计工具。高级综合工具的核心是调度(Schedule)和绑定(binding)或分配(allocation)。调度用来确定操作将发生在哪个时钟周期。一方面,调度考虑控制、数据流和用户指令;另一方面,分配所约束的资源。绑定用于确定每个操作所使用的库单元。绑定考虑了元件的延迟和用户的命令。HLS主要有以下功能:
(1)从C语言到RTL级实现,关键在于综合约束。
(2)从C语言中提取出控制和数据流。
(3)从默认和用户定义的命令,实现设计。
2)IP核硬件接口电路。IP核硬件接口电路的设计开发是使FPGA图像处理IP核能和任意图像处理IP核适配的通用接口电路,也就是表明在本***中,通过IP核硬件接口电路可以实现FPGA图像处理IP核与传统的基于CPU的处理***之间交互数据。为了使FPGA图像处理IP核能与外部交互数据,需要引入第三方的用于数据传输的IP核,例如:DMA(DirectMemory Access,直接内存存取),从而可以实现内存和IP核之间进行数据传输。
软件部分具体包括:
1)FPGA图像处理IP核的驱动单元
2)中间层单元
3)应用单元,Android***中的应用程序APP(Application,应用程序)包含图像处理任务,Android应用程序对中间层单元进行调用,也就是说将图像处理的源数据发送至中间层单元,再从中间层单元获取图像处理的结果数据,最后利用结果数据得到最终图像处理结果。
图2是本发明实施例的图像处理方法的流程图,根据该流程图,本实施例的图像处理方法,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,所述方法包括:
步骤200:将待处理的图像源数据发送至FPGA图像处理IP核;
在本实施例中,基于FPGA与CPU集成架构的***,采用应用单元将待处理的图像源数据发送至FPGA图像处理IP核,FPGA图像处理IP核执行图像处理操作。
其中,FPGA(Field Programmable Gate Array,现场可编程门阵列)是一种典型的可重构器件,这种器件能够根据实际应用的需要改变内部电路逻辑,是一种自适应的逻辑器件,具有类似软件的高灵活性,开发周期短的优点。同时作为一种硬件计算方式,使用FPGA在运行时实质上进行了并行计算,相比传统的CPU的计算方式有更快速的优势。
基于FPGA与CPU集成架构的***,可选地,可采用Xilinx公司中的ZYNQ系列,ZYNQ就是把ARM CPU和FPGA在同一个芯片上进行了集成。
在本实施例的一些可选的实现方式中,在所述将待处理的图像源数据发送至FPGA图像处理IP核之前,根据待处理的图像源数据生成比特流文件,利用该比特流文件对所述FPGA图像处理IP核进行配置;对FPGA图像处理IP核配置完成后,根据相关参数创建FPGA图像处理IP核的驱动单元。
其中,根据所述将待处理的生成比特流文件中,比特流(BitTorrent)是一种内容分发协议。
在生成比特流文件后,利用该比特流文件对所述FPGA图像处理IP核单元进行配置;在可实现方式中,该配置文件的生成可以通过软件实现,可选地,可应用的软件,例如:Xilinx Vivado。
对所述FPGA图像处理IP核单元配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。该驱动单元是通过驱动程序实现的,也就是通过该驱动单元实现了对硬件部分的访问。驱动单元介于硬件和应用程序之间,承上启下。向下通过寄存器读写控制硬件,向上为用户态程序提供服务。
在本实施例的一些可选的实现方式中,所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,所述方法包括:
将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元;
所述FPGA图像处理IP核的驱动单元将所述图像源数据发送至所述FPGA图像处理IP核。
其中,中间层单元是通过中间层程序实现的。中间层单元位于应用单元和IP核驱动单元之间。具体实现方式是中间层程序是应用程序和驱动程序之间的部分。中间层程序向下将FPGA IP核驱动程序提供的功能进行封装,向上为应用程序提供使用FPGA IP核的接口。
在本实施例的一些可选的实现方式中,所述将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元,包括:
所述中间层单元通过JNI方式将所述图像源数据发送至所述FPGA图像处理IP核的驱动单元。
中间层程序既可以使用简单的JNI方式,也可以实现驱动程序对应的完整的Android硬件抽象层、***库、应用程序框架。其中,JNI是Java Native Interface的缩写,它提供了若干的API实现了Java和其他语言的通信(主要是C&C++)对,在本发明中,Linux驱动程序是采用C语言实现的,而Android应用程序是采用Java语言实现的,所以应用单元和IP核驱动单元之间的调用可以使用JNI完成。
本实施例的一个具体示例如下,使用图像处理IP核进行一次图像处理在FPGA图像处理IP核的驱动单元内的具体实现的处理流程如下所示:
在FPGA图像处理IP核的驱动单元接收到中间层传输的图像源数据后,向驱动程序写数据,分配发送数据缓冲区,写入数据缓冲区地址,写入数据缓冲区长度,轮询直到写入完成;通过轮询当写入数据完成后,分配接收数据缓冲区,写入数据缓冲区地址,写入数据缓冲区长度,轮询直到接收完成,从驱动程序读数据,结束,实现了将数据发送给FPGA图像处理IP核。
步骤201:所述FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。
在本实施例中,FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,通过一系列的处理过程,获得最终的图像处理结果,并将该图像处理结果数据返回至应用单元。通过利用FPGA,以及FPGA并行计算的特性提高图像处理的速度。
在本实施例的一些可选的实现方式中,所述将获得的图像处理结果数据返回至应用单元,包括:
FPGA图像处理IP核单元通过该FPGA图像处理IP核的驱动单元将所述图像处理结果数据返回至所述中间层单元;
所述中间层单元将获得的图像处理结果数据返回至所述应用单元。
可选地,该中间层单元将获得的图像处理结果数据返回至所述应用单元,包括:所述中间层单元通过JNI方式将获得的图像处理结果数据返回至所述应用单元。
需要说明的是,上述内容仅是本发明的具体实施例,与上述实施例相同或相似的实施例,以及上述实施例的变体都在本发明的保护范围之内。
另外,本申请提供了一种图像处理装置的一个实施例,该装置实施例与图2所示的方法实施例对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例的图像处理装置,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,所述装置包括发送模块和FPGA图像处理IP核(发送模块和FPGA图像处理IP核在附图3中未示出):
发送模块用于将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;
FPGA图像处理IP核用于对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元。。
进一步,所述装置还包括配置模块和创建模块(配置模块和创建模块在附图3中未示出):
配置模块,用于根据所述图像源数据生成比特流文件,利用所述比特流文件对所述FPGA图像处理IP核进行配置;
创建模块,用于FPGA图像处理IP核对所述FPGA图像处理IP核配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。
进一步地,发送模块将待处理的图像源数据发送至FPGA图像处理IP核,包括:
发送模块将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,包括:
发送模块将待处理的图像源数据通过中间层单元发送至FPGA图像处理IP核的驱动单元;
FPGA图像处理IP核的驱动单元将图像源数据发送至所述FPGA图像处理IP核。
进一步地,FPGA图像处理IP核将获得的图像处理结果数据返回至应用单元,包括:
FPGA图像处理IP核单元通过FPGA图像处理IP核的驱动单元将该图像处理结果数据返回至中间层单元;
中间层单元将获得的图像处理结果数据返回至应用单元。
进一步地,将该图像源数据通过中间层单元发送至FPGA图像处理IP核的驱动单元,包括:
该中间层单元通过JNI方式将该图像源数据发送至所述FPGA图像处理IP核的驱动单元。
进一步地,所述中间层单元将获得的图像处理结果数据返回至所述应用单元,包括:所述中间层单元通过JNI方式将获得的图像处理结果数据返回至所述应用单元。
本实施例的一个具体示例如下:
本申请的具体实施例是基于FPGA与CPU集成架构的***,该***中分为硬件部分和软件部分:
硬件部分具体包括如下:
1)FPGA图像处理IP核。使用传统的硬件语言开发FPGA图像处理IP核,但是对于软件开发人员提出了较高的要求;FPGA图像处理IP核的开发还可使用高级综合工具,例如Xilinx公司的HLS工具,可以将C语言等高级语言描述的算法转为FPGA图像处理IP核。其中,HLS是Xilinx公司推出的最新一代FPGA设计工具。高级综合工具的核心是调度(Schedule)和绑定(binding)或分配(allocation)。调度用来确定操作将发生在哪个时钟周期。一方面,调度考虑控制、数据流和用户指令;另一方面,分配所约束的资源。绑定用于确定每个操作所使用的库单元。绑定考虑了元件的延迟和用户的命令。HLS主要有以下功能:
(1)从C语言到RTL级实现。关键在于综合约束。
(2)从C语言中提取出控制和数据流。
(3)从默认和用户定义的命令,实现设计。
2)IP核硬件接口电路。IP核硬件接口电路的设计开发是使FPGA图像处理IP核可以与任意图像处理IP核适配的通用接口电路。为了使FPGA图像处理IP核实现与外部交互数据,需要引入第三方的用于数据传输的IP核,例如:DMA(Direct Memory Access,直接内存存取),从而可以实现内存和IP核之间进行数据传输。从而在内存和FPGA图像处理IP核之间进行数据传输。还需要引入与内存互联的第三方IP核MEM_Intercon,以及用于对外部设备发送控制信号的IP核的第三方IP核如Periph。
IP核硬件接口电路的逻辑设计如附图4所示,在附图4中,MM2S表示从内存到FPGA图像处理IP核的数据传输方向,S2MM表示从FPGA图像处理IP核到内存的数据传输方向。
硬件部分具体执行图像数据处理的流程如下:
1)待处理的图像源数据通过MEM_Intercon转发至DMA的MM2S通道;
2)DMA通过MM2S通道将待处理的图像源数据转发至FPGA图像处理IP核的输入数据端口;
3)FPGA图像处理IP核在接收到待处理的图像源数据后,开始执行图像处理;
4)FPGA图像处理IP核在处理完图像源数据后,获得处理结果数据并将处理结果数据转发至DMA的S2MM通道;
5)DMA将处理结果数据通过MEM_Intercon发送至处理***。
此外,处理***通过Perish IP核将控制信号发送至图像处理IP核和DMA IP核。
软件部分具体包括如下:
软件部分的Android应用程序APP(Application,应用程序)包含图像处理任务,Android应用单元对中间层单元进行调用,也就是将待处理的图像源数据发送至中间层单元,再从中间层单元获取图像处理的结果数据,最后利用结果数据得到最终图像处理结果。具体的应用单元能够将图像处理任务传输到FPGA图像处理IP核上执行图像处理,从而实现对Android图像处理任务的加速,软件部分对硬件部分的FPGA的配置和对FPGA中图像处理IP核的调用是通过IP核的驱动单元来完成。
FPGA图像处理IP核的驱动单元的具体功能包括两个方面:对FPGA图像处理的配置和对FPGA图像处理IP核的调用。对FPGA图像处理的配置需要FPGA自身的驱动单元,驱动单元的具体实现方式可以是通过由硬件生产厂商提供驱动程序实现;例如:如果采用Xilinx公司的ZYNQ芯片,该驱动程序由Xilinx公司提供。对FPGA图像处理IP核的调用需要使用IP核对应的驱动单元,可实现的方式可以选择采用研发人员设计的驱动程序。具体的驱动程序的实现原理是利用FPGA厂商提供的一系列对于FPGA IP核控制寄存器的读写来实现。
对所述FPGA图像处理IP核单元配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。该驱动单元是通过驱动程序实现的,也就是通过该驱动单元实现了对硬件部分的访问。驱动单元介于硬件和应用程序之间,承上启下。向下通过寄存器读写控制硬件,向上为用户态程序提供服务。
在本示例中,驱动单元的工作主要包括:对FPGA IP核的配置,从用户态程序获取图像源数据,向FPGA IP核发送图像源数据,从FPGA IP核获取图像处理结果数据,向用户态程序发送图像处理结果数据。Linux为了把内核程序和用户程序隔离,分成了两个层次,也就是用户态和内核态,用户态和内核态使用不同的内存空间。应用程序APP就属于用户态程序,驱动程序就属于内核态程序。由于驱动程序和用户程序属于使用不同的内存空间,因此,需要一个单独的步骤实现在二者之间进行传递数据。
由于Android使用Linux内核,因此,本技术方案采用的驱动单元为Linux驱动程序进行实现,驱动单元的主要模块包括如下:
初始化模块:
初始化模块中利用驱动程序的初始化工作,包括IP核对应的IO内存空间的分配,DMA的IO内存空间分配,设备号分配,class结构体创建,设备节点的创建。除了对IP核驱动程序本身的初始化,还需要对DMA初始化,包括创建DMA的发送通道和接收通道,通道缓存空间的建立。
卸载模块:
对驱动初始化过程中分配的资源进行释放,包括删除设备节点,回收class结构体,回收设备号,分别回收图像处理IP核和DMA使用的IO内存空间。
读写模块:
Linux的内存空间分为内核区和用户区,驱动程序是运行在内核区的程序,而应用程序是运行在用户区的程序,它们有各自独立的内存空间。读写模块完成内核区和用户区之间的数据交互。
IO控制模块:
IO控制模块实现驱动程序工作时具体的业务逻辑。该模块包括两个部分,初始化部分和业务逻辑部分。初始化部分使能图像处理IP核的全局中断。业务逻辑部分实现使用IP核进行图像处理时的业务逻辑,具体过程包括:分配发送数据缓冲区,向寄存器写入发送数据缓冲区地址,向寄存器写入发送数据的长度,此时开始数据传输。通过对IP核状态寄存器的空闲位和中断检测位轮询,直到发送数据完成。使能图像处理IP核相应的寄存器位,开始图像处理。分配接收数据缓冲区,向IP核控制寄存器写入接收数据缓冲区地址,向IP核控制写入接收数据长度,此时开始接收处理结果数据。轮询状态寄存器的空闲位和中断检测位,直到接收数据完成。
基于上述驱动单元的结构设计,使用图像处理IP核进行一次图像处理在FPGA图像处理IP核的驱动单元内的具体实现的处理流程如附图5所示:
在FPGA图像处理IP核的驱动单元接收到中间层传输的图像源数据后,向驱动程序写数据,分配发送数据缓冲区,写入数据缓冲区地址,写入数据缓冲区长度,轮询直到写入完成;通过轮询当写入数据完成后,分配接收数据缓冲区,写入数据缓冲区地址,写入数据缓冲区长度,轮询直到接收完成,从驱动程序读数据,结束,实现了将数据发送给FPGA图像处理IP核。
利用本发明的技术方案实现图像数据的处理流程的具体示例如下:
图像数据的处理基于FPGA与CPU集成架构的***,该***包含软件部分和硬件部分;其中,软件部分包括:FPGA的IP核驱动单元、中间层单元、Android应用单元;硬件部分包括:FPGA图像处理IP核,图像处理IP核的接口电路。
本示例的图像处理的具体执行步骤如下:
步骤1Android应用单元APP根据所述图像源数据生成比特流文件,通过FPGA驱动单元配置FPGA;
步骤2Android应用程序将待处理的图像源数据发送至中间层单元;
步骤3中间层单元将图像源数据发送至图像处理IP核驱动单元;
步骤4IP核驱动单元将图像源数据发送至FPGA图像处理IP核;
步骤5FPGA图像处理IP核执行图像处理任务,将图像处理的结果数据发送至IP核驱动单元;
步骤6IP核驱动单元将图像处理的结果数据发送至中间层单元;
步骤7中间层单元将图像处理的结果数据发送至Android应用单元;
步骤8Android应用单元接收到图像处理的结果数据并生成图像处理的结果。
本示例提出了一种合理的使用FPGA对Android图像处理任务进行加速的技术方案,提高Android图像处理的效率。
本示例是一种基于FPGA的Android图像处理优化方案,基于FPGA与CPU集成架构的***中,通过FPGA图像处理IP核来处理Android应用APP中的图像处理任务,有效的提高了Android图像处理的效率。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。任何与本发明设计思路相同或相似的方案,以及与本发明实施例相同或相似的方案和本发明实施例的变体都在本发明的保护范围之内。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种图像处理方法,其特征在于,应用于基于现场可编程门阵列FPGA与中央处理器CPU集成架构的***,所述方法包括:
将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;
所述FPGA图像处理IP核对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元;
所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,所述方法包括:
将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元;
所述FPGA图像处理IP核的驱动单元将所述图像源数据发送至所述FPGA图像处理IP核。
2.根据权利要求1所述的图像处理方法,其特征在于,在所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核之前,所述方法还包括:
根据所述待处理的图像源数据生成比特流文件,利用所述比特流文件对所述FPGA图像处理IP核进行配置;
对所述FPGA图像处理IP核配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。
3.根据权利要求1所述的图像处理方法,其特征在于,所述将获得的图像处理结果数据返回至应用单元,包括:
所述FPGA图像处理IP核通过所述FPGA图像处理IP核的驱动单元将所述图像处理结果数据返回至所述中间层单元;
所述中间层单元将获得的图像处理结果数据返回至所述应用单元。
4.根据权利要求1所述的图像处理方法,其特征在于,所述将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元,包括:
所述中间层单元通过JNI方式将所述图像源数据发送至所述FPGA图像处理IP核的驱动单元。
5.一种图像处理装置,其特征在于,应用于基于FPGA与CPU集成架构的***,所述装置包括:
发送模块,用于将待处理的图像源数据发送至FPGA图像处理知识产权核IP核;
FPGA图像处理IP核,用于对所接收到的图像源数据执行图像处理操作,并将获得的图像处理结果数据返回至应用单元;
所述将待处理的图像源数据发送至FPGA图像处理知识产权核IP核,包括:
将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元;
所述FPGA图像处理IP核的驱动单元将所述图像源数据发送至所述FPGA图像处理IP核。
6.根据权利要求5所述的图像处理装置,其特征在于,所述装置还包括:
配置模块,用于根据所述待处理的图像源数据生成比特流文件,利用所述比特流文件对所述FPGA图像处理IP核进行配置;
创建模块,用于FPGA图像处理IP核对所述FPGA图像处理IP核配置完成后,根据相关参数创建所述FPGA图像处理IP核的驱动单元。
7.根据权利要求5所述的图像处理装置,其特征在于,所述将获得的图像处理结果数据返回至应用单元,包括:
所述FPGA图像处理IP核通过所述FPGA图像处理IP核的驱动单元将所述图像处理结果数据返回至所述中间层单元;
所述中间层单元将获得的图像处理结果数据返回至所述应用单元。
8.根据权利要求5所述的图像处理装置,其特征在于,所述将所述待处理的图像源数据通过中间层单元发送至所述FPGA图像处理IP核的驱动单元,包括:
所述中间层单元通过JNI方式将所述图像源数据发送至所述FPGA图像处理IP核的驱动单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621375.8A CN108829530B (zh) | 2018-06-15 | 2018-06-15 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621375.8A CN108829530B (zh) | 2018-06-15 | 2018-06-15 | 一种图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108829530A CN108829530A (zh) | 2018-11-16 |
CN108829530B true CN108829530B (zh) | 2022-03-25 |
Family
ID=64142210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810621375.8A Active CN108829530B (zh) | 2018-06-15 | 2018-06-15 | 一种图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108829530B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569713B (zh) * | 2019-07-22 | 2022-04-08 | 北京航天自动控制研究所 | 一种利用dma控制器实现数据串并行二维传输的目标探测***及方法 |
CN110400249A (zh) * | 2019-07-23 | 2019-11-01 | 杨勇 | 一种基于cpu的图像处理方法 |
CN113472964B (zh) * | 2021-06-05 | 2024-04-16 | 山东英信计算机技术有限公司 | 一种图像处理装置和*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103412619A (zh) * | 2013-07-30 | 2013-11-27 | 中国科学院上海技术物理研究所 | 一种异构多核的红外图像处理***及方法 |
CN104142845A (zh) * | 2014-07-21 | 2014-11-12 | 中国人民解放军信息工程大学 | 基于OpenCL-To-FPGA的CT图像重建反投影加速方法 |
CN105534546A (zh) * | 2015-12-30 | 2016-05-04 | 哈尔滨工业大学 | 一种基于zynq系列fpga的超声成像方法 |
CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理***与方法 |
CN107071324A (zh) * | 2017-01-25 | 2017-08-18 | 上海电气集团股份有限公司 | 一种视觉图像处理***及其设计方法 |
CN107273331A (zh) * | 2017-06-30 | 2017-10-20 | 山东超越数控电子有限公司 | 一种基于cpu+gpu+fpga架构的异构计算***和方法 |
-
2018
- 2018-06-15 CN CN201810621375.8A patent/CN108829530B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103412619A (zh) * | 2013-07-30 | 2013-11-27 | 中国科学院上海技术物理研究所 | 一种异构多核的红外图像处理***及方法 |
CN104142845A (zh) * | 2014-07-21 | 2014-11-12 | 中国人民解放军信息工程大学 | 基于OpenCL-To-FPGA的CT图像重建反投影加速方法 |
CN105534546A (zh) * | 2015-12-30 | 2016-05-04 | 哈尔滨工业大学 | 一种基于zynq系列fpga的超声成像方法 |
CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理***与方法 |
CN107071324A (zh) * | 2017-01-25 | 2017-08-18 | 上海电气集团股份有限公司 | 一种视觉图像处理***及其设计方法 |
CN107273331A (zh) * | 2017-06-30 | 2017-10-20 | 山东超越数控电子有限公司 | 一种基于cpu+gpu+fpga架构的异构计算***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108829530A (zh) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102245247B1 (ko) | 트리거된 동작을 이용하는 gpu 원격 통신 | |
US7231638B2 (en) | Memory sharing in a distributed data processing system using modified address space to create extended address space for copying data | |
US9703595B2 (en) | Multi-core system with central transaction control | |
JP6228294B2 (ja) | マルチプロセッサ組込みシステム上でのアプリケーションの動的再構成 | |
CN108829530B (zh) | 一种图像处理方法及装置 | |
US10795840B2 (en) | Persistent kernel for graphics processing unit direct memory access network packet processing | |
CN107526620B (zh) | 一种用户态输入输出设备配置方法及装置 | |
CN110618956B (zh) | 一种bmc云平台资源池化方法与*** | |
KR20210088653A (ko) | 스트리밍 플랫폼 흐름 및 아키텍처 | |
US20220206846A1 (en) | Dynamic decomposition and thread allocation | |
US11789790B2 (en) | Mechanism to trigger early termination of cooperating processes | |
CN103324599A (zh) | 处理器间通信方法与***级芯片 | |
CN112131176A (zh) | 一种基于pcie的fpga快速局部重构方法 | |
CN111338769A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
CN114397999A (zh) | 基于非易失内存接口-远程处理消息传递的通信方法、装置及设备 | |
CN113472523A (zh) | 用户态协议栈报文处理优化方法、***、装置及存储介质 | |
CN111310638B (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
CN113407357A (zh) | 进程间数据搬移的方法及装置 | |
US20230056665A1 (en) | Mechanism to provide reliable receipt of event messages | |
CN116136790A (zh) | 任务处理方法和装置 | |
CN114911525A (zh) | 二进制指令翻译执行方法及装置 | |
US20190370074A1 (en) | Methods and apparatus for multiple asynchronous consumers | |
CN101894019B (zh) | 一种嵌入式Linux操作***网络加速运行的***及方法 | |
Bucknall et al. | Runtime abstraction for autonomous adaptive systems on reconfigurable hardware | |
WO2023142091A1 (zh) | 计算任务调度装置、计算装置、计算任务调度方法和计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |