CN107302641A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法，局部重组时间能进一步缩短。该图像处理装置具备执行前期处理的前期处理电路、和执行前期处理电路的局部重组的配置控制部(410)。配置控制部(410)将前期处理电路具备的多个运算转换电路的至少1个作为局部重组对象且不将定时确保电路作为局部重组对象。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置等，详细而言，涉及具备能局部重组的可编程逻辑电路的图像处理装置等。

背景技术

以往，已知一种可通过使用能在制造后由用户来设定电路构成的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等可编程逻辑电路，根据图像处理的用途来进行局部重组(局部重配置；Partial Reconfig)的图像处理装置。

专利文献1揭示的图像处理装置可在打印作业的处理过程中将有关下一打印作业的寄存器设定展开到闪存中，并将闪存中展开的寄存器设定读入可编程逻辑电路来开始下一打印作业。由此，能缩短打印作业间的时间。

另外，专利文献2揭示的图像处理装置能先检测读取对象物的类型并根据该类型来重组可编程逻辑电路，然后使用重组后的电路，对从摄像机获取的图像数据进行处理。由此，能缩短处理开始前的等待时间。

〔现有技术文献〕

专利文献1：日本特开2010-206704号公报(2010年9月16日公开)

专利文献2：日本特开2015-228187号公报(2015年12月17日公开)

发明内容

〔发明所要解决的问题〕

这里，对于用来对检查对象物进行检查/计测等的图像处理装置而言，若检查对象物连续流过，就要求迅速进行图像处理。

因此，若在此类图像处理装置中运用可编程逻辑电路，就需要缩短可编程逻辑电路的重组时间，以避免图像处理速度过慢。

而根据专利文献1或专利文献2中缩短打印作业间的时间的方案或缩短处理开始前的等待时间的方案，由于其重组时间取决于电路大小，因此难以进一步缩短重组时间。

本发明是鉴于上述以往的问题研发的，目的在于提供一种局部重组时间能进一步缩短的图像处理装置等。

〔用以解决问题的方案〕

为解决上述问题，本发明一个方面的图像处理装置对从外部获取的图像数据执行图像处理，该图像处理装置具备：前期处理电路，其执行所述图像处理中的前期处理；以及电路组建控制部，其执行所述前期处理电路的局部重组，所述前期处理电路具有：多个运算转换电路，其对图像数据进行运算来转换该图像数据；以及定时确保电路，其设置在按处理次序连接的所述多个运算转换电路的相互间并确保数据的切实传递，所述电路组建控制部将所述多个运算转换电路的至少1个作为局部重组对象且不将所述定时确保电路作为局部重组对象。

根据上述方案，多个运算转换电路的相互间设有定时确保电路，因此无论运算转换电路被如何局部重组，前期处理电路的动作均不会发生问题。

另外，仅对前期处理电路内至少1个运算转换电路进行局部重组，而不对其他运算转换电路和定时确保电路进行局部重组。因此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理装置。

此外，当要对图像处理的设定进行变更时，能以更短的时间来完成设定的变更。因此，能提供一种即使图像处理的对象物和场景有所变化，也能在不停止装置动作的情况下按照该变化来迅速进行图像处理的图像处理装置。

另外，为解决上述问题，本发明一个方面的图像处理装置对从外部获取的图像数据执行图像处理，该图像处理装置具备：前期处理电路，其执行所述图像处理中的前期处理；以及电路组建控制部，其执行所述前期处理电路的局部重组，所述前期处理电路具有对图像数据进行运算来转换该图像数据的至少1个运算转换电路，所述运算转换电路包含：输入部，其对输入数据进行临时存储；运算部，其对所述临时存储的数据进行运算；以及输出部，其对运算后的数据进行临时存储，所述电路组建控制部将至少1个所述运算部作为局部重组对象且不将所述输入部及所述输出部作为局部重组对象。

根据上述方案，对前期处理电路内至少1个所述运算部进行局部重组，但不对其他电路进行局部重组。由此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理装置。

另外，在前期处理电路具有多个运算转换电路的情况下，各运算转换电路中的输入部和输出部不属于局部重组对象。因此，即使不在多个运算转换电路的相互间设置定时确保部，也可确保数据的切实传递。其结果是能削减前期处理电路的资源消耗量。

优选地，在所述图像处理装置中，所述前期处理电路具有多个同一种运算转换电路，所述多个同一种运算转换电路以串联方式连接。

以往，当在具有多种运算转换电路的前期处理电路中通过同一种运算转换电路进行多个处理时，存在以下问题。即，每次处理时，均需要将运算转换电路的处理结果暂时存入前期处理电路外部的存储器，然后从该存储器读取数据并再次由运算转换电路进行处理，因此执行时间较长。但这是为了确保数据的切实传递。

与此相比，根据本发明的上述方案，当作为前期处理由同一种运算转换电路反复进行处理时，无需将处理结果存入外部存储器，就能连续进行处理。因此，相比于以往技术，能缩短前期处理的执行时间。

优选地，所述运算转换电路对图像数据进行滤波处理。

根据上述方案，将滤波处理作为前期处理来进行。滤波处理虽然是纯粹的运算处理，但由于图像处理上操作的数据量较大，因此要求高速的运算处理。即，通过采用FPGA等可编程逻辑电路来实现前期处理电路，与例如用CPU执行的方案相比，能实现高速的处理。

优选地，所述图像处理装置还具备：非易失性存储部，其存储所述前期处理电路的初始电路组建数据、和供所述运算转换电路的局部重组所用的多种局部重组数据；易失性存储部，其相比于所述非易失性存储部，数据能被更高速地读取；以及内存转送控制部，其控制所述局部重组数据从所述非易失性存储部向所述易失性存储部的转送。

根据上述方案，即使装置的电源关闭，非易失性存储部中存储的多种局部重组数据也能保持。另外，通过向易失性存储部转送局部重组数据以及从易失性存储部读取局部重组数据，电路组建控制部能高速进行局部重组。

此外，由于内存转送控制部对数据进行转送，因此在涉及从非易失性存储部向易失性存储部的转送处理时，不会消耗CPU的资源。因此，能减轻CPU的负荷。

另外，为解决上述问题，本发明一个方面的图像处理方法对从外部获取的图像数据执行图像处理，该图像处理方法具有：前期处理步骤，由前期处理电路执行所述图像处理中的前期处理；以及电路组建控制步骤，执行所述前期处理电路的局部重组，所述前期处理步骤包含：多个运算转换步骤，对图像数据进行运算来转换该图像数据；以及定时确保步骤，其设在按处理次序进行的所述多个运算转换步骤的相互间并确保数据的切实传递，在所述电路组建控制步骤中，对在所述前期处理电路中执行所述多个运算转换步骤的多个运算转换电路的至少1个执行局部重组，且对在所述前期处理电路中执行所述定时确保步骤的定时确保电路不执行局部重组。

根据上述方案，多个运算转换步骤的相互间设有定时确保步骤，因此无论运算转换电路被如何局部重组，前期处理步骤的动作均不会发生问题。

另外，所述电路组建控制步骤仅对前期处理电路内至少1个运算转换电路进行局部重组，而不对其他运算转换电路和定时确保电路进行局部重组。因此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理方法。

另外，为解决上述问题，本发明一个方面的图像处理方法对从外部获取的图像数据执行图像处理，该图像处理方法具有：前期处理步骤，由前期处理电路执行所述图像处理中的前期处理；以及电路组建控制步骤，执行所述前期处理电路的局部重组，所述前期处理步骤具有对图像数据进行运算来转换该图像数据的至少1个运算转换步骤，所述运算转换步骤包含：输入步骤，对输入数据进行临时存储；运算步骤，对所述临时存储的数据进行运算；以及输出步骤，对运算后的数据进行临时存储，在所述电路组建控制步骤中，对在所述前期处理电路中执行所述运算步骤的至少1个运算部执行局部重组，且对在所述前期处理电路中执行所述输入步骤及所述输出步骤的输入部及输出部不执行局部重组。

根据上述方案，所述电路组建控制步骤中对前期处理电路内至少1个所述运算部进行局部重组，但不对其他电路进行局部重组。因此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理方法。

优选地，所述前期处理步骤包含多个同一种运算转换步骤，所述多个同一种运算转换步骤被连续执行。

根据上述方案，当作为前期处理步骤由同一种运算转换步骤来反复进行处理时，无需将处理结果存入外部存储器，就能连续进行处理。因此，相比于以往技术，能缩短前期处理的执行时间。

〔发明的效果〕

根据本发明的一个方面，发挥可提供局部重组时间能进一步缩短的图像处理装置等的这一效果。

附图说明

图1是本发明实施方式1的图像处理装置的概略结构框图。

图2是包含所述图像处理装置的图像检查***的概要图。

图3是所述图像处理装置的前期处理电路中的前期处理执行部的局部扩大框图。

图4是所述图像处理装置的重组部中的数据处理的示意图。

图5的(a)是具备多个前期处理功能的以往图像处理装置中的前期处理电路的概略结构框图，(b)是形成有多个具备同一种前期处理功能的重组电路的本发明实施方式1的图像处理装置中的前期处理电路的概略结构框图。

图6的(a)是n次运用微分功能来强调噪音时的处理示意图，(b)是在n次运用缩小功能来去除了噪音后继而n次运用放大功能来复原回原图像尺寸时的处理示意图。

图7是在装置的电源刚接通后，图像处理装置所执行的处理的流程图。

图8是所述图像处理装置就前期处理电路中的重组部所执行的局部重组处理的流程图。

图9是当在装置启动过程中进行前期处理设定变更时，所述图像处理装置就前期处理电路中的重组部所执行的局部重组处理的流程图。

图10是本发明实施方式2的图像处理装置的前期处理电路中的前期处理执行部的局部扩大框图。

<附图标记说明>

100 图像处理装置

140 DDR(易失性存储部)

232a 输入部

232b 运算部

232c 输出部

300 存储部(非易失性存储部)

320 初始配置数据(初始电路组建数据)

331、332、333 电路重组数据(局部重组数据)

400 配置控制部(电路组建控制部)

具体实施方式

〔实施方式1〕

以下，基于图1至图9，就本发明的实施方式1进行说明。关于图中的同一部分或等同部分，赋予其同一附图标记并不再重复说明。为了使本发明一个方面的图像处理装置100容易被理解，首先结合图2来说明包含图像处理装置100的图像识别***1的概要。

(实施方式1的图像检查***的概要)

图2是包含本实施方式的图像处理装置100的图像识别***1的概要图。如图2所示，图像识别***1含有摄像机2和图像处理装置100。

图像识别***1中，通过由图像处理装置100对摄像机2拍摄的检查对象物的图像进行图像处理，来进行检查对象物的位置识别、对照、判定及分类等。

摄像机2是对图像信息进行模-数转换的数码摄像机，其具备作为光电转换用摄像元件的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器。该摄像元件可以是CCD(Charge Coupled Device：电荷耦合器件)传感器，也可以是其他传感器。

图像处理装置100包含CPU110、ROM120、RAM130、DDR140、用户设定用界面(以下记作“用户设定用I/F”)150、网络I/F160、及FPGA200，它们都与***总线101相连。

CPU110是控制图像处理装置100整体动作的中央处理器，进行主要的图像处理。ROM120是非易失性存储器，其中存放有用以启动CPU110的引导程序。此外，该ROM120中还存放有用以对后述FPGA200进行配置的数据。

RAM130是易失性存储器，其功能在于用作CPU110的工作空间。另外，DDR140也是易失性存储器，其功能在于用作FPGA200的电路重组时的工作空间。由于相比于ROM120，数据能更高速地从DDR140被读取，因此在FPGA200的电路重组时，通过将存放在ROM120中的部分数据转送给DDR140并存放在该DDR140中，就能更高速地进行电路重组处理。

用户设定用I/F150作为供用户向图像处理装置100输入动作指示及向用户显示输出信息的界面来发挥功能。用户设定用I/F150例如控制对显示器和触屏等图像显示装置、及键盘、鼠标、按键等输入装置的输入和输出。

网络I/F160是用以将图像处理装置100完成图像处理后的各种数据经由LAN及互联网等网络回线来发送给外部服务器装置(未图示)及外部存储装置(未图示)的接口。作为该网络回线，例如可采用EtherCAT(注册商标)。另外，网络I/F160还是用以从图像处理装置100的外部经由网络回线来接收各种数据的接口。

FPGA200是可编程逻辑电路的一种，其功能在于作为前期处理电路来对摄像机2拍摄的图像进行前期处理。关于该FPGA200，后文将详述。FPGA200中能够局部重组。这里，虽然本实施方式的图像处理装置100含有FPGA200，但FPGA以外的其他可编程逻辑电路也可作为前期处理电路。

上述的各个部由于通过***总线101而彼此相连，所以能高速进行数据交互。

接下来，结合图1、图3及图4，对以上概述的本实施方式的图像处理装置100进行详细说明。

(本发明一个方面的图像处理装置)

图1是本实施方式的图像处理装置100的概略结构框图。

如图1所示，图像处理装置100具备存储部300、控制部400、FPGA200。

存储部300中存放有：用以启动CPU110的CPU引导数据310、用于FPGA200初始配置的初始配置数据320、用于FPGA200局部重组的FPGA重组数据330。该存储部300对应于ROM120(参见图2)。

FPGA重组数据330是用于FPGA200中后述重组部的局部重组的数据，包含多种电路重组数据(第1电路重组数据331、第2电路重组数据332、第3电路重组数据333、……)。

控制部400具备用户设定用I/F150(参见图2)、配置控制部410、图像处理控制部420。配置控制部410及图像处理控制部420例如可以用通过CPU110(参见图2)而工作的软件来实现。

首先，配置控制部410在图像处理装置100电源接通而启动时，使用所述初始配置数据320来对FPGA200执行初始配置。之所以需要初始配置，是由于FPGA的数据在图像处理装置100电源切断后就会失去的缘故。通过该初始配置，在FPGA200中形成前期处理电路。这里，初始配置也可通过其他方法来进行，初始配置方法并未特别限定。

所述前期处理电路用以执行图像处理装置100所执行的图像处理中的前期处理。本说明书中，以下对已完成初始配置的状态(已形成了前期处理电路的状态)下的FPGA200进行说明。

另外，配置控制部410使用从存储部300中存放的FPGA重组数据330中选出的电路重组数据，来执行FPGA200的局部重组。

图像处理控制部420对在FPGA200中经过了前期处理的图像数据进行后期处理，并进行检查对象物的位置识别、对照、判定及分类等。另外，图像处理控制部420进行与图像处理装置100的图像处理相关的主要控制，例如对配置控制部410发出执行FPGA200局部重组的指示或发出使FPGA200再次进行前期处理的指示，等等。

这里，控制部400优选具备有作为内存转送控制部(未图示)的直接存储器存取控制器(DMAC)。该方案中，当要进行FPGA200的重组处理时，DMAC将FPGA重组数据330从存储部300转送至DDR140。另外，通过由DMAC基于来自CPU110的指令来进行数据转送，可降低CPU110的负担。

在上述方案中，配置控制部410通过从DDR140读取FPGA重组数据330，能大幅加快数据转送速度(例如4倍程度)。

以下，对通过执行初始配置而形成有前期处理电路的、作为可编程逻辑电路的FPGA200进行详细说明。

(可编程逻辑电路)

形成有前期处理电路的作为可编程逻辑电路的FPGA200包含图像获取部210、数据控制部220、前期处理执行部230、配置I/F240、中断控制部250。

图像获取部210获取摄像机2拍摄的图像，并将该图像转送给数据控制部220。数据控制部220对从图像获取部210转送过来的数据一边进行控制，一边转送给后述的前期处理执行部230。另外，数据控制部220也可对从图像处理控制部420转送过来的数据一边进行控制，一边转送给后述的前期处理执行部230。

前期处理执行部230对从数据控制部220转送过来的图像数据执行前期处理。这里，前期处理执行部230进行的前期处理的内容并非是固定的。通过由配置控制部410使用所述存储部300中存放的多种电路重组数据来执行FPGA200的局部重组，前期处理执行部230被进行电路重组，以执行期望的前期处理。

配置I/F240收到来自配置控制部410的指示后，对前期处理执行部230进行局部重组。中断控制部250从配置I/F240接收表示局部重组是否成功的信息，并根据该信息，向作为控制部400的CPU110产生中断请求(interrupt)。

以下，对本实施方式的前期处理执行部230进行详细说明。

(前期处理执行部)

本实施方式的前期处理执行部230包含3个共通部和3个重组部。从数据控制部220转送过来的图像数据在前期处理执行部230内按照共通部231、重组部232、共通部233、重组部234、共通部235、重组部236的这一顺序接受处理。

这里，在本实施方式中，前期处理执行部230虽然包含3个重组部，但重组部只要为2个以上，各重组部相互间设有共通部即可，重组部的数量不限定。

所述重组部是指：当变更前期处理的内容时，由配置I/F240基于来自配置控制部410指示来施以电路重组的部分。其中，对于该电路重组，会使用从FPGA重组数据330中选出的期望的电路重组数据。

这里，所谓“变更前期处理的内容时”，既可以是基于用户指示而变更时，也可以是根据程序而发生切换时，还可以是图像处理控制部420自动判断出图像场面有所变化时。即，所谓“变更前期处理的内容时”是指由于某种要因而需要变更前期处理的内容时。

重组部232、234、236各自以无论使用FPGA重组数据330中所含的任一电路重组数据都能实现电路重组的方式，在FPGA200中占有一定程度的区域。

重组部232、234、236各自中可形成对图像数据进行运算来转换该图像数据的运算转换电路。该运算转换电路是由配置I/F240使用所述电路重组数据而形成的。重组部232、234、236中形成的各运算转换电路在FPGA200中的电路大小既可以彼此相同，也可以互异。

共通部231、233、235各自是确保图像数据的切实传递的定时确保电路。

以下基于图3及图4，对这些重组部和共通部进行详细说明。

(重组部和共通部)

图3是图像处理装置100的前期处理电路中的前期处理执行部230的局部扩大框图。图3中，数据从左向右流动。

如图3所示，在重组部232与重组部234之间连有共通部233。

本实施方式的图像处理装置100的重组部中形成的运算转换电路是图像滤波器。图像滤波器对图像数据进行运算来转换该图像数据，以进行边缘检测和缩放等处理。图像处理装置100的重组部具备3个分别与彩色图像的R、G、B相对应的图像滤波器。

另外，图像处理装置100的共通部是触发器(flip-flop)电路(以下记作“FF电路”)，其作为定时确保电路来确保图像滤波器之间的数据传递。该FF电路的其他称呼例如有限幅寄存器等。

在从图像数据被重组部232的图像滤波器施以运算和转换后起至该数据被送至下一重组部234的图像滤波器为止的期间中，由该共通部233的FF电路来确保数据转送的定时。

即，通过在图像滤波器之间设置FF电路，能在重组部232的3个图像滤波器切实完成运算之后，将运算后的数据转送给下一重组部234的图像滤波器。另外，通过在图像滤波器之间设置FF电路，无论各重组部被如何局部重组，前期处理电路的动作均不会发生问题。

若例如重组部232与重组部234直接相连，就可能出现在重组部232的图像滤波器尚未完成运算的状态下就开始重组部234中的运算的这类错误动作等。

重组部232的图像滤波器包含：将输入过来的数据临时存储的输入部232a、对该临时存储的数据进行运算的运算部232b、以及将运算后的数据临时存储的输出部232c。重组部234的图像滤波器也同样包含输入部234a、运算部234b、以及输出部234c。

关于重组部232的图像滤波器中的数据处理，以下基于图4进行说明。图4是本实施方式的图像处理装置100的重组部232中的数据处理的示意图。

如图4所示，重组部232的图像滤波器包含输入部232a、运算部232b、输出部232c。

输入图像数据从上至下地流入重组部232的图像滤波器的输入部232a，例如按照第n-2行的数据、第n-1行的数据、第n行的数据的这一顺序流入。每行的数据依次从左向右地流入输入部232a。

输入部232a将流过来的数据存入设在FPGA200内的作为RAM的存储区域。本实施方式中，由于图像滤波器的运算部232b进行3×3运算处理，因此FPGA200相应地具有2个该RAM。这里，对于每一图像滤波器均设置相应的该RAM。

输入部232a将流过来的第n-2行的数据存入第1个RAM，将第n-1行的数据存入第2个RAM，但将第n行的数据直接转送给运算部232b。

运算部232b使用从第1个RAM读取的第n-2行的数据、从第2个RAM读取的第n-1行的数据、以及从输入部232a转送过来的第n行的数据来进行3×3运算处理，并将运算后的数据转送给输出部232c。

输出部232c对从运算部232b转送过来的R、B、G数据进行整理，并将它们作为处理后的数据输出。

这里，图像滤波器的运算部若进行例如5×5运算处理，则FPGA200中每一图像滤波器均拥有4个RAM。

关于在具备上述前期处理电路的图像处理装置100的动作过程中由配置控制部410对前期处理电路进行局部重组的方案，能阐述以下内容。

即，以往已知一种对仅具有1个图像滤波器的可编程逻辑电路中的该图像滤波器进行局部重组的方案。然而以往的图像处理装置中，由于是对前期处理电路进行整体重组或对执行前期处理的部分进行整体重组，因此重组处理的时间相对较长。

这里，能通过对各重组部中作为运算转换电路的图像滤波器进行电路重组来变更前期处理的内容，而另一方面，关于各共通部中作为定时确保电路的FF电路，由于其与前期处理的内容变更无关，因此可以不对其进行电路重组。

对此，本实施方式的图像处理装置100对于在装置动作过程中变更前期处理的内容的这种情况，将多个图像滤波器的至少1个作为局部重组对象，但不将FF电路作为局部重组对象。

由此，能缩减成为局部重组对象的电路。即使就所有重组部执行电路重组，也能基于共通部的区域大小来相应地缩减成为局部重组对象的电路。通过缩减成为局部重组对象的电路的大小，能缩短数据转送上花费的时间等。因此能缩短局部重组上花费的时间。

因此，根据本实施方式的图像处理装置100，能提供一种能进一步缩短FPGA等可编程逻辑电路中局部重组的时间的图像处理装置。

另外，本实施方式的图像处理装置100具有以下利点。对此，基于图5及图6进行说明。

图5的(a)是具备多个前期处理功能的以往图像处理装置中的前期处理电路900的概略结构框图。图5的(b)是形成有多个具备同一种前期处理功能的重组电路的本实施方式的图像处理装置100中的前期处理电路的概略结构框图。

首先，对在以往图像处理装置900的前期处理电路中利用同一种前期处理功能进行图像数据前期处理的情况进行说明。

如图5的(a)所示，以往的图像处理装置900中的前期处理电路在其内部包含摄像机I/F910、开关920、以及均与开关920相连的前期处理功能A电路930和前期处理功能B电路940和前期处理功能C电路950。图像处理装置900的前期处理电路与外部摄像机2及存储器960相连。

摄像机2拍摄的数据被转送给摄像机I/F910，之后被转送给开关920。这里，作为以往图像处理装置900中的前期处理，若例如由前期处理功能A电路930进行3次前期处理，则会进行如下处理。

即，数据从开关920转送至前期处理功能A电路930，前期处理功能A电路930所运算并转换的数据A1转送给存储器960并存入。这里，在前期处理功能A电路930的处理全部结束前，前期处理功能A电路930是无法进行新的处理的。

接着，数据A1从存储器960被读出，并重新被转送给前期处理功能A电路930来接受前期处理，而后，前期处理功能A电路930输出的数据A2被存入存储器960。接着，数据A2从存储器960被读出且被转送给前期处理功能A电路930来接受第3次处理。

根据以往图像处理装置900中的上述前期处理，需反复进行开关920的切换以及对外部存储器960的写入和读取，因此前期处理的所要时间相对较长。

与此相比，本实施方式的图像处理装置100中进行多个同一种前期处理的方案能完成以下处理。

如图5的(b)所示，具备同一种前期处理功能的本实施方式的图像处理装置100的前期处理电路包含摄像机I/F170、以及具有同一种前期处理功能的3个重组电路180、181、182。

摄像机I/F170对应于图像获取部210和数据控制部220(参见图1)。

本实施方式的图像处理装置100的前期处理电路与摄像机2和存储器190相连。

摄像机2拍摄的数据被转送给摄像机I/F170，而后连续地在具有同一种前期处理功能的3个重组电路180、181、182接受处理。该方案中，第1个重组电路180运算并转换后的数据能够送至下一个重组电路181。

以下，基于图6的(a)，对需要用同一种前期处理功能进行反复处理时的具体例进行说明。

图6的(a)是n次运用微分功能来强调噪音时的处理示意图。图6的(b)是在n次运用缩小功能来去除了噪音后继而n次运用放大功能来复原回原图像尺寸时的处理示意图。

如图6的(a)所示，通过对存在噪音数据的图像反复进行微分处理，能够强调噪音的边缘。通过将边缘呈阈值以上的部分视为噪音，并将该噪音部分从图像中去除，能够从图像中去除噪音。

另外，如图6的(b)所示，通过对存在噪音数据的图像反复运用图像缩小功能，能够去除噪音数据。之后，通过对去除了噪音数据的图像反复运用图像放大功能，能够复原回原图像尺寸。由此，能够从图像中去除噪音。

当使用本实施方式的图像处理装置100，在前期处理电路中对具有同一功能的多个电路进行局部重组来进行上述的反复处理时，无需将处理结果存入外部存储器就能连续进行处理。因此，相比于以往的方案，能缩短前期处理的执行时间。

关于以上说明了详细结构的图像处理装置100，接下来结合图7～图9来说明图像处理装置100所执行的处理的流程。

(本发明一个方面的图像处理装置所执行的处理)

图7是在装置的电源刚接通后，本实施方式的图像处理装置100所执行的处理的流程图。

如图7所示，在装置的电源刚接通后，图像处理装置100开始FPGA200的初始设定处理。

首先，配置控制部410从存储部300读取初始配置数据，并基于该数据来执行FPGA200的初始配置，以在FPGA200中形成前期处理电路(S10)。

配置控制部410使用FPGA重组数据330，就前期处理执行部230的重组部进行电路重组(S20)。

若前期处理执行部230的重组部的电路重组尚未全部结束(在S30为“否”)，则配置控制部410继续进行电路重组处理。

若前期处理执行部230的重组部的电路重组全部结束(在S30为“是”)，则存储部300(对应于ROM120)中存放的FPGA重组数据330被转送至DDR140并被存入DDR140(S40)。

于是，图像处理装置100结束FPGA200的初始设定处理。

以下结合图8，对图像处理装置100就前期处理执行部230的重组部所执行的局部重组处理的流程进行说明。

图8是本实施方式的图像处理装置100就前期处理电路中的重组部所执行的局部重组处理的流程图。

如图8所示，首先，配置控制部410从FPGA重组数据330所含的多种电路重组数据中选出期望的电路重组数据，并将之发送给FPGA200(S100)。

配置I/F240基于从配置控制部410发送过来的电路重组数据，进行期望的重组部的电路重组。中断控制部250当从配置I/F240收到表示电路重组成功的信息时，对作为控制部400的CPU110产生一个电路重组成功中断请求(在S110为“是”)。此时，重组部的电路重组便结束。

另外，在未发生电路重组成功中断请求的这一方面(在S110为“否”)，在中断控制部250未从配置I/F240收到表示电路重组失败的信息(在S120为“否”)的情况下，配置I/F240继续执行期望的重组部的电路重组。

若中断控制部250从配置I/F240收到了表示电路重组失败的信息，则中断控制部250对作为控制部400的CPU110产生一个电路重组失败中断请求(在S120为“是”)。

在产生了电路重组失败中断请求的情况下，若电路重组连续失败了3次(在S130为“是”)，则作为控制部400的CPU110执行表示该重组部的电路重组有异常的电路重组异常处理(S140)。

若电路重组的连续失败低于3次(在S130为“否”)，则配置控制部410重新将期望的电路重组数据发送给FPGA200，由此重复进行S100至S130的处理。

以下，结合图9，说明一下图像处理装置100在装置启动过程中因用户或程序等而发生了前期处理设定变更时所执行的前期处理电路的局部重组处理的流程。

图9是当在装置启动过程中进行了前期处理设定变更时，本实施方式的图像处理装置100就前期处理电路中的重组部所执行的局部重组处理的流程图。

如图9所示，若在装置启动过程中发生了前期处理的设定变更(在S200为“是”)，则图像处理装置100使FPGA200的重组部停止工作(S210)。

接着，配置控制部410从FPGA重组数据330所含的多种电路重组数据中选出期望的电路重组数据，并将之发送给FPGA200，由此，配置I/F240执行期望的重组部的电路重组处理(S220)。

需重组的所有重组部的电路重组若尚未结束(在S230为“否”)，则反复进行S220。需重组的所有重组部的电路重组若结束(在S230为“是”)，则图像处理装置100使FPGA200的重组部开始工作(S240)。

于是，图像处理装置100结束在装置启动过程中对前期处理电路中重组部的局部重组处理。

以上详述的图像处理装置100所执行的图像处理方法可以整理如下。即，图像处理装置100执行的图像处理方法是对从外部获取的图像数据执行图像处理的图像处理方法，其具有：由前期处理电路来执行所述图像处理中的前期处理的前期处理步骤、以及执行所述前期处理电路的局部重组的电路组建控制步骤。所述前期处理步骤具有由运算转换电路对图像数据进行运算来转换该图像数据的至少1个运算转换步骤，所述运算转换步骤包含对输入数据进行临时存储的输入步骤、对临时存储的该数据进行运算的运算步骤、以及对运算后的数据进行临时存储的输出步骤，这些步骤通过运算转换电路中的输入部、运算部以及输出部来进行。所述电路组建控制步骤中，对在所述前期处理电路中执行所述运算步骤的至少1个运算部执行局部重组，但不对在所述前期处理电路中执行所述输入步骤及输出步骤的输入部及输出部执行局部重组。

上述方案中，在多个运算转换步骤相互间设有定时确保步骤，因此无论运算转换电路被如何局部重组，前期处理步骤的动作均不会发生问题。

另外，所述电路组建控制步骤中仅对前期处理电路内至少1个运算转换电路进行局部重组，而不对其他运算转换电路和定时确保电路进行局部重组。因此，能缩减成为局部重组对象的电路。其结果是能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理方法。

这里，本说明书中出现的术语“配置”是在可编程逻辑电路分类中面向FPGA的专用术语，因此，若图像处理装置具备FPGA以外的可编程逻辑电路，可以通过换用与“配置”对应的术语来理解本说明书中的内容。

〔实施方式2〕

以下，基于图10来说明本发明的其他实施方式。这里，为确保记载简洁性，本实施方式仅对与实施方式1不同的构成进行说明。即，实施方式1中记载的构成等也能全部包含于本实施方式中。另外，实施方式1中记载的术语的定义也同样。

图10是本实施方式的图像处理装置100的前期处理电路中的前期处理执行部的局部扩大框图。

本发明实施方式2的图像处理装置100与前述的图像处理装置100的差异在于：成为局部重组对象的仅是前期处理电路的重组部中形成的运算转换电路内的运算部，而输入部及输出部为共通部，且各运算转换电路相互间未设有作为共通部的FF电路。

如图10所示，图像处理装置100的前期处理电路中的前期处理执行部包含作为运算转换电路的2个图像滤波器600、610。

图像滤波器600包含输入部601、运算部602、输出部603，图像滤波器610包含输入部611、运算部612、输出部613。

本实施方式的图像处理装置100中，配置控制部410将运算部602及运算部612作为局部重组对象，但不将输入部601、输出部603、输入部611及输出部613作为局部重组对象。即，输入部601、输出部603、输入部611及输出部613是共通部。

如上所述，在图像处理装置100中，当进行前期处理电路的局部重组时，配置控制部410对至少1个所述运算部进行局部重组，但不进行其他电路的局部重组。由此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理装置。

另外，各图像滤波器中的输入部和输出部作为共通部而不属于局部重组对象，因此图像处理装置100中即使不在图像滤波器600与图像滤波器610之间设置FF电路，也能确保数据的切实传递。因此，能削减前期处理电路的资源消耗量。

另外，以上说明的本实施方式的图像处理装置100所执行的图像处理方法可以整理如下。即，图像处理装置100执行的图像处理方法是对从外部获取的图像数据执行图像处理的图像处理方法，其具有：由前期处理电路来执行所述图像处理中的前期处理的前期处理步骤、以及执行所述前期处理电路的局部重组的电路组建控制步骤。所述前期处理步骤具有对图像数据进行运算来转换该图像数据的至少1个运算转换步骤，所述运算转换步骤包含对输入数据进行临时存储的输入步骤、对临时存储的该数据进行运算的运算步骤、以及对运算后的数据进行临时存储的输出步骤。所述电路组建控制步骤中，对在所述前期处理电路中执行所述运算步骤的至少1个运算部执行局部重组，但不对在所述前期处理电路中执行所述输入步骤及输出步骤的输入部及输出部执行局部重组。

根据上述方案，所述电路组建控制步骤中对前期处理电路内至少1个所述运算部进行局部重组，但不对其他电路进行局部重组。因此，能缩减成为局部重组对象的电路。从而能缩短局部重组上花费的时间。

因此，能提供可进一步缩短FPGA等可编程逻辑电路的局部重组上花费的时间的图像处理方法。

〔通过软件来实现的例子〕

图像处理装置100的控制模块既可通过形成在集成电路(IC芯片)等中的逻辑电路(硬件)来实现，也可以借助CPU(Central Processing Unit：中央处理器)以软件方式来实现。

若采用软件，则图像处理装置100具备：对实现各功能的软件即程序的命令予以执行的CPU、以计算机(或CPU)能读取的方式记录有上述程序及各种数据的ROM(Read OnlyMemory：只读存储器)或存储装置(将它们称为“记录介质”)、用以展开上述程序的RAM(Random Access Memory：随机存取存储器)等。通过由计算机(或CPU)将上述程序从上述记录介质读出并加以执行，能够达成本发明的目的。作为上述记录介质，例如可采用存储带、存储盘、存储卡、半导体存储器、可编程逻辑电路等“非一时性有形介质”。另外，上述程序也可以经由能传送该程序的任意传送介质(通信网络和放送波等)来提供给计算机。这里，即使上述程序的形态为通过电子化传送而体现的载置于载波中的数据信号，本发明也能得以实现。

本发明并不限于上述的各实施方式，可以在权利要求所示的范围内进行各种变更，适当地组合不同实施方式各自披露的技术方案而得到的实施方式也包含在本发明的技术范围内。

Claims (12)

1.一种图像处理装置，其对从外部获取的图像数据执行图像处理，该图像处理装置的特征在于，

具备：

前期处理电路，其执行所述图像处理中的前期处理；以及

电路组建控制部，其执行所述前期处理电路的局部重组，

所述前期处理电路具有：

多个运算转换电路，其对图像数据进行运算来转换该图像数据；以及

定时确保电路，其设置在按处理次序连接的所述多个运算转换电路的相互间并确保数据的切实传递，

所述电路组建控制部将所述多个运算转换电路的至少1个作为局部重组对象且不将所述定时确保电路作为局部重组对象。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述前期处理电路具有多个同一种运算转换电路，

所述多个同一种运算转换电路以串联方式连接。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述运算转换电路对图像数据进行滤波处理。

4.根据权利要求1～3中任一项所述的图像处理装置，其特征在于，

还具备：

非易失性存储部，其存储所述前期处理电路的初始电路组建数据、以及供所述运算转换电路的局部重组所用的多种局部重组数据；

易失性存储部，其相比于所述非易失性存储部，数据能更高速地被读取；以及

内存转送控制部，其控制所述局部重组数据从所述非易失性存储部向所述易失性存储部的转送。

5.一种图像处理装置，其对从外部获取的图像数据执行图像处理，该图像处理装置的特征在于，

具备：

前期处理电路，其执行所述图像处理中的前期处理；以及

电路组建控制部，其执行所述前期处理电路的局部重组，

所述前期处理电路具有对图像数据进行运算来转换该图像数据的至少1个运算转换电路，

所述运算转换电路包含：

输入部，其对输入数据进行临时存储；

运算部，其对所述临时存储的数据进行运算；以及

输出部，其对运算后的数据进行临时存储，

所述电路组建控制部将至少1个所述运算部作为局部重组对象且不将所述输入部及所述输出部作为局部重组对象。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述前期处理电路具有多个同一种运算转换电路，

所述多个同一种运算转换电路以串联方式连接。

7.根据权利要求5或6所述的图像处理装置，其特征在于，

所述运算转换电路对图像数据进行滤波处理。

8.根据权利要求5～7中任一项所述的图像处理装置，其特征在于，

还具备：

非易失性存储部，其存储所述前期处理电路的初始电路组建数据、以及供所述运算转换电路的局部重组所用的多种局部重组数据；

易失性存储部，其相比于所述非易失性存储部，数据能更高速地被读取；以及

内存转送控制部，其控制所述局部重组数据从所述非易失性存储部向所述易失性存储部的转送。

9.一种图像处理方法，其对从外部获取的图像数据执行图像处理，该图像处理方法的特征在于，

具有：

前期处理步骤，由前期处理电路执行所述图像处理中的前期处理；以及

电路组建控制步骤，执行所述前期处理电路的局部重组，

所述前期处理步骤包含：

多个运算转换步骤，对图像数据进行运算来转换该图像数据；以及

定时确保步骤，其设在按处理次序进行的所述多个运算转换步骤的相互间并确保数据的切实传递，

在所述电路组建控制步骤中，对在所述前期处理电路中执行所述多个运算转换步骤的多个运算转换电路的至少1个执行局部重组，且对在所述前期处理电路中执行所述定时确保步骤的定时确保电路不执行局部重组。

10.根据权利要求9所述的图像处理方法，其特征在于，

所述前期处理步骤包含多个同一种运算转换步骤，

所述多个同一种运算转换步骤被连续执行。

11.一种图像处理方法，其对从外部获取的图像数据执行图像处理，该图像处理方法的特征在于，

具有：

前期处理步骤，由前期处理电路执行所述图像处理中的前期处理；以及

电路组建控制步骤，执行所述前期处理电路的局部重组，

所述前期处理步骤具有对图像数据进行运算来转换该图像数据的至少1个运算转换步骤，

所述运算转换步骤包含：

输入步骤，对输入数据进行临时存储；

运算步骤，对所述临时存储的数据进行运算；以及

输出步骤，对运算后的数据进行临时存储，

在所述电路组建控制步骤中，对在所述前期处理电路中执行所述运算步骤的至少1个运算部执行局部重组，且对在所述前期处理电路中执行所述输入步骤及所述输出步骤的输入部及输出部不执行局部重组。

12.根据权利要求11所述的图像处理方法，其特征在于，

所述前期处理步骤包含多个同一种运算转换步骤，

所述多个同一种运算转换步骤被连续执行。