CN109600578A - 图像处理装置、图像处理***、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理***、图像处理方法、记录介质以及电子设备，其目的在于提高检体检测的正确与否判断的实用性。本发明涉及的图像处理装置(3)生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。

Description

图像处理装置、图像处理***、图像处理方法

技术领域

本发明涉及图像处理装置、图像处理***、图像处理方法、记录介质、以及电子设备。

背景技术

目前存在一种通过分析摄像机等摄像装置拍摄的影像来进行异常检测等的监视***。该***采用的方法是对比作为判断基准的基准图像和作为判断对象的检体的检测图像。例如，根据基准图像的像素值的直方图与检测图像的像素值的直方图之间的比较结果，进行正确与否的判断方法。

例如，专利文献1(JP特开2006-194869号公报)公开了一种方法，其目的在于，在通过对比检测图像与阈值来选出异物候补的自动检查装置中，即使是在使用存在缺陷像素的摄像元件的情况下，也能够实现良好的异物检测。该自动检查装置对按照灰度收集的检查图像的像素所形成的直方图的浓淡范围进行扩展，并缩小经过扩展的检查图像的图像大小来生成缩小图像，将检测图像中缩小图像的像素所对应的位置上的特定像素以及特定像素近旁的多个像素的灰度的平均值，设定为缩小图像的各像素的灰度。

基于基准图像的直方图和检测图像的直方图的比较结果进行正确与否判断时，频率值被投票的区间(bin)只要稍有偏差，原本应被判断为正常(一致)的检测图像，却可能被判断为异常(不一致)。例如，在用具有256种颜色成分所对应的256个区间的直方图进行比较时，基准图像的直方图的投票集中在第二00区间，检测图像的直方图的投票集中在第二01区间。此时，相邻两个区间之间的色调差很小，因此可以判断基准图像和检测图像的色调大致一致。上述区间之间的微小偏差产生的原因可能在于检体以外的因素，例如环境光的改变或检测区域内检体的配置等。对此，现有技术因无法充分避免这种检体以外的原因所引起的正确与否判断错误，因而无法灵活进行正确与否判断。因此，就正确与否判断的实用性而言尚有改善余地。

发明内容

鉴于上述问题，本发明提供一种图像处理装置，其目的在于提高正确与否判断的实用性。

为了解决上述问题，达到上述目的，作为本发明一种实施方式的图像处理装置，其特征在于，具备：直方图生成部，用于生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；均化部，用于进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；以及，比较部，用于生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。

本发明的效果在于能够提高检体检测的正确与否判断的实用性。

附图说明

图1是第一实施方式所涉及的图像处理***1的硬件结构的示意图。

图2是第一实施方式涉及的信息处理装置的硬件结构模块图。

图3是第一实施方式涉及的信息处理装置的功能结构模块图。

图4是第一实施方式涉及的信息处理装置执行的一例处理流程图。

图5是第一实施方式涉及的设定画面的区域设定时的一例状态的示意图。

图6是第一实施方式涉及的设定画面的基准图像设定时的一例状态的示意图。

图7是根据本发明第一实施方式涉及的设定画面的检测图像设定时的一例状态的示意图。

图8是第一实施方式涉及的直方图生成部和均化部的一例具体处理的流程图。

图9是第一实施方式涉及的一例平均化之前的直方图的示意图。

图10是第一实施方式涉及的一例均化之后的直方图的示意图。

图11是根据本发明第一实施方式涉及的设定画面的阈值设定时的一例第一状态的示意图。

图12是本发明第一实施方式涉及的设定画面的阈值设定时的一例第二状态的示意图。

图13是第一实施方式涉及的正确与否判断的一例结果的示意图。

图14是本发明第一实施方式涉及的设定画面的阈值设定时的一例第三状态的示意图。

图15是第一实施方式涉及的设定画面在设定结束时的一例状态的示意图。

图16是第二实施方式涉及的设定画面在阈值设定时的一例第一状态的示意图。

图17是第二实施方式涉及的设定画面在阈值设定时的一例第二状态的示意图。

图18是第三实施方式的信息处理装置的功能结构模块图。

图19是第三实施方式涉及的信息处理装置执行的一例处理流程图。

图20是第三实施方式的再计算部具体执行的一例处理流程图。

图21是第三实施方式涉及的S成分的下限值S0的一例示意图。

图22是第三实施方式涉及的V成分的下限值V0和上限值V1的一例示意图。

图23是第三实施方式中一例设定像素无效的状态的示意图。

图24是第三实施方式涉及的设定画面的基准图像设定时的一例状态的示意图。

图25是本发明第三实施方式涉及的设定画面在判断处理时的一例状态的示意图。

图26是第三实施方式涉及的原点移动部的一例具体处理流程图。

图27是第三实施方式涉及的一例原点移动处理执行之前的直方图的示意图。

图28是第三实施方式涉及的一例原点移动处理执行之后的直方图的示意图。

图29是第四实施方式涉及的信息处理装置的一例功能结构模块图。

图30是第四实施方式的信息处理装置执行的一例处理流程图。

图31是第四实施方式涉及的颜色设定部的一例具体处理流程图。

图32是第四实施方式涉及的设定画面的颜色设定处理时的一例状态的示意图。

图33是第四实施方式涉及的设定画面的对象颜色反映时的一例状态的示意图。

图34是第五实施方式涉及的设定画面的一例示意图。

图35是第五实施方式涉及的设定画面上显示一个指定点被指定了的一例状态的示意图。

图36是第五实施方式涉及的设定画面上显示指定两个指定点的一例状态的示意图。

图37是第五实施方式涉及的设定画面上显示指定三个指定点的一例状态的示意图。

图38是第五实施方式涉及的设定画面上显示指定四个指定点时的一例状态的示意图。

图39是第五实施方式涉及的设定画面上显示删除指定点时的一例状态的示意图。

图40是第五实施方式涉及的设定画面上显示指定点被删除之后的一例状态的示意图。

图41是在第五实施方式涉及的设定画面上调整公差许可下限值以及公差许可上限值时的一例状态的示意图。

图42是第五实施方式涉及的信息处理装置执行的一例处理流程图。

图43是第六实施方式涉及的信息处理装置的一例功能结构模块图。

图44是第六实施方式的信息处理装置执行的一例处理流程图。

图45是第六实施方式涉及的扩展部的一例具体处理流程图。

图46是第五实施方式涉及的扩展之前的一例直方图。

图47是第五实施方式涉及的扩展之后的一例直方图。

图48是第六实施方式涉及的设定画面的一例扩展之前状态的示意图。

图49是第六实施方式涉及的设定画面的一例扩张之后的状态的示意图。

具体实施方式

以下参考附图，详述本发明涉及的图像处理装置、图像处理***、图像处理方法和程序的实施方式。需要说明的是，本发明不受以下实施方式的限定，下述实施方式的构成要素中包含对本领域技术人员显而易见的技术、实质相同的技术、以及所谓均等范围的要素。允许在不脱离在以下实施方式主旨的范围内以各种方式省略、置换、改变以及组合构成要素。

<第一实施方式>

图1是第一实施方式涉及的图像处理***1的硬件结构示意图。图像处理***1包括摄像装置2a～2f、信息处理装置3(图像处理装置)、网络4和外部设备5。

摄像装置2a～2f是录像机，其将来自被摄体的受到照射的光(反射光)转换为电信号来拍摄被摄体，生成由多个帧(静止图像数据)构成的动画(例如10FPS)的影像数据。摄像装置2a～2f拍摄例如制造多个产品的生产设备、生产线等，生成用于执行制造工件(检体)异常检测的正确与否判断的影像数据。本实施方式设有多台(在本例中为6台)摄像装置2a～2f，但也可以是一台摄像装置。

信息处理装置3是PC(Personal Computer:个人计算机)或工作站等，具有基于各台摄像装置2a～2f生成的各个图像数据执行工件的正确与否判断的功能。本实施方式涉及的信息处理装置3和构成生产设备等外部设备5之间按照例如现场总线标准的通信方式连接。

网络4是用于连接摄像装置2a～2f和信息处理装置3的网络，如Ethernet(注册商标)标准之类。在这种情况下，网络4利用TCP(Transmission Control Protocol)/IP(Internet Protocol)等协议进行数据通信。此时，摄像装置2a～2f和信息处理装置3具有用于以TCP/IP协议进行通信的MAC(Media Access Control)地址、且配备个人IP地址等IP地址。关于网络4的具体结构，例如可以举出，在具有多个端口的交换式集线器上分别通过LAN(Local Area Network)线缆连接摄像装置2a～2f以及每个信息处理装置3的星形布线方式。此外，网络4不局限于基于TCP/IP协议，还有例如在信息处理装置3一方具有多个VGA(Video Graphics Array)端子或USB(Universal Serial Bus:通用串行总线)端口，多个摄像装置2a～2f通过VGA线缆或USB线缆连接信息处理装置3等方式。

图2是第一实施方式涉及的信息处理装置3的一例硬件结构模块图。信息处理装置3具备CPU(Central Processing Unit:中央处理器)11、ROM(Read Only Memory:只读存储器)12、RAM(Random Access Memory:随机存取存储器)13、外部存储装置14、显示器15、网络I/F16、键盘17、鼠标18、DVD(Digital Versatile Disc)驱动器19、外部设备I/F(接口)21以及扬声器22。

CPU 11是由执行整个信息处理装置3操作控制的运算处理的一个或多个电路所构成的装置。ROM 12是用于保存信息处理装置3的程序的非易失性存储装置。RAM 13是用来作为CPU 11工作区域的易失性存储装置。

外部存储装置14是由保存摄像装置2a～2f生成的影像数据、设定信息等各种数据的HDD(Hard Disk Drive)、SSD(Solid State Drive)等存储装置。

显示器15是显示实行光标、菜单、窗口、文字、图像、正确与否判断的应用程序的画面等的显示装置。显示器15是例如CRT(Cathode Ray Tube)显示器、液晶显示器、等离子体显示器、有机EL(Electroluminescence，电致发光)显示器等。显示器15可以通过例如VGA线缆、HDMI(注册商标)(High-Definition Multimedia Interface)线缆、以太网线缆等与信息处理装置3的主机连接。显示器15还可以包括能够进行触摸面板方式的输入操作的机构。

网络I/F 16是连接网络4进行数据通信的接口。网络I/F 16是利用例如TCP/IP协议用以进行通信的NIC(Network Interface Card)。具体而言，信息处理装置3通过网络4和网络I/F 16从摄像装置2a～2f获取影像数据。

键盘17是用于进行字母、数字、各种指示的选择、光标的移动、设定信息的设定等输入的输入装置。鼠标18是用于进行各种指示的选择(执行)、处理对象的选择、光标的移动、设定信息的设定等的输入装置。

DVD驱动器19是用于控制DVD 20之类可装卸存储介质中的数据的读取、写入及删除的装置。

外部装置I/F 21是用于与外部设备5连接进行数据通信的接口。外部装置I/F 21是能够以例如现场总线标准通信的接口卡。具体而言，信息处理装置3经由外部设备I/F 21与外部设备5进行数据通信。

扬声器22是用于按照应用程序的动作来输出声音的装置。

上述的CPU 11、ROM 12、RAM 13、外部存储装置14、显示器15、网络I/F 16、键盘17、鼠标18、DVD驱动器19、外部设备I/F部21以及扬声器22可以通过地址总线、数据总线等总线连接相互通信。显示器15在通过Ethernet线缆连接时，与网络I/F 16连接，在这种情况下，利用诸如TCP/IP之类的协议进行数据通信。

另外，图1及图2所示的硬件构成仅仅是示例，图像处理***1和信息处理装置3应该根据使用状况采用适当的硬件和软件构建。

图3是第一实施方式涉及的信息处理装置3的一例功能结构模块图。信息处理装置3包括影像接收部101(取得部)、存储部102、输入部103、区域设定部104、基准图像设定部105(图像设定部)、检测图像设定部106(图像设定部)、直方图生成部107、均化部108、比较部109、判断部110、阈值设定部111、显示控制部112、以及外部输出部113。

影像接收部101用于通过网络4与图像拾取装置2a～2f数据通信，从摄像装置2a～2f接收影像数据。影像接收部101将收到的影像数据保存到存储部102中。

存储部102用于保存影像接收部101接收的影像数据、设定信息等各种数据。

输入部103接受与信息处理装置3执行的各种处理有关的用户的输入操作。

区域设定部104用于进行在影像数据所表示的视频(摄像装置2a～2f拍摄的影像)上设定任意区域的处理。区域的设定方法没有特别限定，用户可以例如通过操作鼠标18之类的定点设备，在显示器15之类的显示设备115上显示的图像上指定任意的区域操作等来进行。

基准图像设定部105用于根据区域设定部104设定的区域，进行判断基准的基准图像(第一图像)的设定处理。

检测图像设定部106用于根据区域设定部104设定的区域，进行判断对象的检体的被拍摄的检测图像(第二图像)的设定处理。

直方图生成部107用于生成基准图像的像素值的直方图，即基准直方图(第一直方图)、以及检测图像的像素值的直方图，即检测直方图(第二直方图)。对于用来生成直方图的像素值没有特别限定，例如表示HSV(色调(Hue)·饱和度(Saturation)·亮度(Value))、HLS(表示色调(Hue)·饱和度(Saturation)·灰度(Lightness/Luminance))等颜色空间中位置的值、表示灰度图像中灰度的值(灰度值)等。在基准图像和检测图像均是彩色图像的情况下，使用表示HSV等色彩空间中位置的像素值。在采用例如HSV、HLS作为像素值的情况下，直方图中的区间(等级)被设定为对应H成分(色调)的数量(例如，256个)，对各H成分出现次数(频率值)所对应的区间进行投票。

均化部108用于对基准直方图和检测直方图实施均化处理。均化处理是指将直方图中的频率值分散到位于该频率值相对应的区间附近的一个或多个区间中的处理。频率值的分散方法无特别限定，例如将第一00区间的频率值分配给与第一00区间相邻的第99区间和第一01区间。此外，也可以分配给不直接与第一00区间邻接但位于附近的区间(例如第98区间和第一02区间等)。如此，通过均化处理，能够将集中在某个区间的频率值分配给位于该区间近旁的区间，减缓频率值被投票区间的微小偏离对判断结果产生的影响。

比较部109对比经过均化的基准直方图即均化基准直方图(第一均化直方图)，和经过均化的检测直方图即均化检测直方图(第二均化直方图)，生成表示该比较结果的比较信息。用来对比两个均化直方图的方法没有特别限制，可以适当利用公知或新的方法。比较信息的形式取决于所使用的比较方法，例如两个均化直方图的一致率、表示异常发生概率的检测率(例如一致率的倒数)等。

判断部110实行正确与否判断处理，根据比较部109的比较结果，判断基准图像和检测图像是否一致。本实施方式的正确与否判断处理通过对比比较信息和阈值来进行。例如，在比较信息为检测率(值越大差异(异常)的可能性越高)时，如果检测率超过阈值(例如20％)，则判断基准图像和检测图像不一致(检体异常)。再如，比较信息为一致率(值越小不一致的可能性较高)时，如果一致率小于阈值(例如80％)，则判断该基准图像和检测图像不一致。

阈值设定部111设定正确与否判断处理的阈值。阈值的设定方法没有特别限定，但优选例如能够通过用户在输入部103上输入规定操作来任意改变阈值。此时，优选用户能够一边在参考显示器15等的显示装置115上显示的基准图像、检测图像、直方图、比较信息(检测率等)等，一边进行该阈值的设定。由此，用户能够适当地设定阈值。例如，设定为可以忽略环境光变化引起的检测率增加(一致率下降)，或者设定为可以忽略检体的配置(检测区域内的位置、检体的方向等)差异。

显示控制部112用于在显示装置115上显示用来实现上述各功能部101～111的功能所需要的影像(包含静画和动画)的处理。本实施方式涉及的显示控制部112在显示装置115上显示各种设定画面(检测区域、基准图像、检测图像、设定阈值等的画面)、摄像装置2a～2f拍摄的当前或过去的影像、基准图像、检测图像、各种直方图(基准直方图、检测直方图、均化基准直方图、均化检测直方图等)、比较信息(检测率，一致率等)、判断结果等。

外部输出部113将上述各功能部101～111所生成的信息输出到外部设备5。外部输出部113还可以将例如比较部109所生成的比较信息或判断部110生成的判断结果输出到构成生产设备等的外部设备5。

另外，信息处理装置3并不一定需要具备上述判断部110以及阈值设定部111，也可以通过图像处理***1中存在的任何其它信息处理装置来实现。本例中上述基准图像设置部105和检测图像设定部106根据摄像装置2a～2f拍摄的影像(影像数据)来设定基准图像和检测图像，但是基准图像和检测图像的设定方法并不限定于此。基准图像和检测图像应根据图像处理***1的硬件构成、成为监控对象的检体的性质等，用适当的方法来设定。

上述各功能部101～113由例如一个以上的集成电路来实现。上述各功能部101～113也可以通过让CPU等处理器执行程序，即通过软件来实现。上述各功能部101～113还可以通过专用的IC(Integrated Circuit:集成电路)等处理器，也就是通过硬件来实现。再者，上述各功能部101～113还可以通过同时使用软件和硬件来实现。当使用多个处理器时，各个处理器既可以实现各个功能部101～113的其中之一，也可以实现各功能部101～113中两个以上功能部。

图4是第一实施方式涉及的信息处理装置3执行的一例处理流程图。步骤S101～S108是执行正确与否判断处理之前进行的设定处理。首先，区域设定部104实行检测区域设定的处理(S101)。

图5是第一实施方式涉及的设定画面151的区域设定时的一例状态的示意图。在本例的设定画面151上显示第二摄像装置2b(CAM2)拍摄的影像152，该影像152能够与第一摄像装置2a(CAM1)拍摄的影像切换。设定画面151上设有用于指定影像152被拍摄的时刻的指示器153。用户通过操纵指示器153可以指定所要的时刻，显示与该时刻相对应的影像152。本例影像152上显示检测区域155和三个检体161a～161c。检测区域155可以通过用户操作任意设定，例如，利用鼠标18等进行指定画面152上的任意区域的操作等来设定。本例的检测区域155被设定为包括三个检体161a～161c的图像。

然后，如图4所示，基准图像设置部105进行用于实行基准图像设定处理(S102)。

图6是第一实施方式涉及的设定画面151的基准图像设定时的一例状态的示意图。本例的设定画面151包含基准图像显示部171，检测图像显示部172、直方图显示部173以及阈值处理部174。在本例的基准图像显示部171上显示检测区域155内的图像。检测区域155内的图像是从以前或当前的影像152切取的图像。通过用户进行按动设置画面151上的OK按钮179的操作，基准图像显示部171上显示的图像便被作为基准图像175保存到存储部102中。

然后，如图4所示，检测图像设定部106进行检测图像设定的处理(S103)。

图7是第一实施方式涉及的设定画面151的检测图像设定时的一例状态的示意图。图7所示的检测区域155内的图像与图6所示的检测区域155，是从之前或当前的图像152切取的图像。但是，图7所示的检测区域155内的图像与图6所示的检测区域155内的图像是不同的图像。换言之，图7所示的图像152的拍摄时刻与图6所示的图像152的拍摄时刻不同。本例的检测图像显示部172上显示图7所示的检测区域155内的图像。通过用户进行设定画面151上的OK按钮179的按动操作，检测图像显示部172上显示的图像被作为检测图像176保存到存储部102中。

然后如图4所示，直方图生成部107生成基准图像175的像素值的直方图即基准直方图、以及检测图像176的像素值的直方图即检测直方图(S104)，均化部108生成用于基准直方图均化处理的均化基准直方图、以及用于检测直方图均化处理的均化检测直方图(S105)。

图8是第一实施方式涉及的直方图生成部107和均化部108的一例具体处理的流程图。在此显示一例用HSV的H(色调)成分的形成直方图的示意图。

直方图生成部107根据基准图像175的各像素的H成分的值生成基准直方图，并根据检测图像176的各像素的H成分的值生成检测直方图(S151)。然后，均化部108将直方图生成部107生成的上述两个直方图分别与经过矢量化的直方图矢量H和均化矩阵S相乘，求出均化矢量H'(S152)。即，通过对应基准直方图的直方图矢量H与均化矩阵S的乘积，生成与基准直方图对应的均化矢量H'，并通过对应检测直方图的直方图矢量H与均化矩阵S的乘积，生成与检测直方图对应的均化矢量H'。下式(1)是一例直方图矢量H，下式(2)是一例均化矩阵S，下式(3)是一例均化矢量H'。

H＝[0，2，3，0，0](式1)

H'＝[2/3，5/3，5/3，1，0] (式3)

上述式(1)～(3)的例子中直方图的区间数量为5，而直方图矢量H、均化矢量H'、以及均化矩阵S的大小随着区间数量而变化。例如，区间数量为256时，直方图矢量H和均化矢量的大小为256、均化矩阵S的大小为256×256。

然后，均化部108基于均化矢量H'，生成均化直方图(S153)。具体为，基于与基准直方图对应的均化矢量H'，生成均化基准直方图，基于与检测直方图对应的均化矢量H'，生成均化检测直方图。

图9是第一实施方式涉及的一例均化之前的直方图181的示意图。图10是第一实施方式涉及的一例均化之后的直方图182的示意图。均化之前的直方图181(基准直方图或检测直方图)与式(1)中的直方图矢量H对应。均化之后的直方图182(均衡基准直方图或均衡检测直方图)与式(3)的均化矢量H'对应。

图9所示的均化之前的直方图181中，第一区间的频率值为0，第二区间的频率值为2，第三区间的频率值为3，第四区间的频率值为0。图10所示的均化之后的直方图182中，第一区间的频率值为2/3，第二区间的频率值为5/3、第三区间的频率值为5/3、第四区间的频率值为1。也就是说，通过均化处理，均化之前的第二区间的频率值2和第三区间的频率值3被分配到位于这些区间附近的第一区间和第四区间中。

均化处理的频度值的分配方式不限于上述方式，可以根据直方图的区间数量、对象的像素值的特性等作适当调整。频率值的分配方法可以通过改变均化矩阵S的结构来调整。通过改变均化矩阵S的构造，能够改变例如频率值在其它区间中的分散范围等。均化矩阵S可以例如预存在存储部102中，也可以由用户设定，进而还可以用程序自动且动态地生成。

然后如图4所示，比较部109对比经过均化后的两个直方图(均化基准直方图和均化检测直方图)，求出检测率(S106)。

均化基准直方图和均化检测直方图的对比方法(计算检测率、一致率等的方法)没有特别的限制，可以适当利用公知或新的方法，例如有相关、卡方(χ²)、交叉、Bhattacharyya距离等计算方法(参见:http://opencv.jp/opencv-2svn/cpp/histograms.html)。下述式(4)、(5)是相关的计算式，下述式(6)为卡方计算式，下式(7)表示交叉计算式，下述(8)为Bhattacharyya距离的计算式。下述式中，H1是其中一个直方图(例如均化基准直方图201)、H2是另一个直方图(例如均化检测直方图202)，N表示的区间数量。

d(H₁,H₂)＝∑_Imin(H₁(I)-H₂(I)) (式7)

然后，显示控制部112在显示装置115上显示基准图像175，检测图像176、检测率、正确与否判断结果、均化之前与之后的直方图等(S107)。阈值设定部111按照用户的输入部103操作，进行用于正确与否判断基准的检测率阈值的设定处理(S108)。此时，如果基准图像175或检测图像176发生变化，则所显示的检测率、正确与否判断结果、均化之前与之后的直方图等也改变。由此，用户能够一边参照显示装置115上显示的基准图像175、检测图像176、检测率、正确与否判断结果、均化之前与之后的直方图等，一边适当地设定检测率阈值。关于一致率等其他比较信息的阈值也同样处理。

图11是第一实施方式涉及的设定画面151的阈值设定时的一例第一状态的示意图。在本例中，基准图像175和检测图像176双方各自包含三个检体161a～161c，基准图像175所包含的检体161a～161c的设定与检测图像176包含的3个检体161a～161c的设定不同。

直方图显示部173上显示与基准图像175对应的均化基准直方图201、以及与检测图像176对应的均化检测直方图202。两个均化直方图201、202上包含与第一检体161a的色调对应的峰值201a、202a、与第二检体161b的色相对应的峰值201b、202b、以及与第三检体161c的色相对应的峰值201c、202c。两个均化直方图201、202之间，各个峰值201a、201b、201b、202b、201c、202c互相存在某些差别，这些差别取决于检体161a～161c的设定，而与检体161a～161c的不存在无关。

如上所述，本实施方式不是通过对比基准直方图和检测直方图，而是通过对比均化基准直方图201和均化检测直方图202，来减轻类似上述检体161a～161c的配置的差异所造成的影响等。而且还能够减轻环境光的变化引起的微妙的色相变化等影响。由此，能够减少检体161a～161c异常以外的因素的影响，进行正确与否判断。

在图11所示的例子中，如阈值处理部174所示，检测率阈值被设定为2％(检测为2％以上时，判断为异常(有变化))。该阈值可以通过用户操作阈值操作部174而任意更改。设定画面151包含表示正确与否判断结果的检测率显示部191。本例中的检测率为3％，由于超过了阈值的2％，因此，在此判断为“有变化”。

图12是本发明第一实施方式涉及的设定画面151的阈值设定时的一例第二状态的示意图。本例中基准图像175包含三个检体161a～161c，检测图像176包含两个检体161a、161c。换言之，本例的检测图像176中不包含检体161b。据此，本例的均化检测直方图202包含与检体161a对应的峰值202a以及与检体161c对应的峰值202c，但不包含与检体161b对应的峰值202b。为此，本例中的检测率的值较高，为40％，正确与否判断为“有变化”。

图11所示的第一例的检测图像176与基准图像175相同，包含三个检体161a～161c，而图12所示的第二例的检测图像176只包含两个检体161a、161c。在这种情况下，判断第一例的检测图像176为正常(没有变化)，第二例的检测图像176为异常(变化)可能是合适的。在此，通过操作阈值操作部174，将检测率的阈值设定为3％～40％的范围内，判断如图11所示的第一例的检测图像176那样的状态(拍摄到所有检体161a～161c的状态)为正常(无变化)，并判断如图12所示的第二例的检测图像176那样的状态(多个检体161a～161c中有一个以上未拍摄到的状态)判断为异常(有变化)。

图13是第一实施方式涉及的正确与否判断的一例结果的示意图。通过如上述那样将检测率阈值设定为3％～40％，右上方第一例检测图像176的判断结果为“无变化”，右下方第二例检测图像176的判断结果为“有变化”。阈值的设定方法不限于上述，而是根据检体的性质、所要求的判断精度等来适当选择。

图14是第一实施方式涉及的设定画面151的阈值设定时的一例第三状态的示意图。本例所涉及的设定画面151包含检测率图表显示部177。检测率图表显示部177上显示实时变化的影像152中所设定的检测区域155内图像(检测图像176)的检测率变化图表。本例中检测率阈值被设定为20％，显示出实时变化的检测率大于阈值的时刻(从无变化转变为有变化的时刻)和检测率小于阈值的时刻(从有变化转变为无变化的时刻)。用户也可以一边参照该图表和检测区域155内的图像，一边设定检测率的阈值。

图15是第一实施方式涉及的设定画面151在设定结束时的一例状态的示意图。设定结束时，设定画面151上包含设定内容显示部166。设定内容显示部166上显示表示上述设定内容的信息，本例显示了基准图像175和检测图像176的色彩成分以及检测率阈值等信息。本例的色彩成分为“色调”，其表示需要比较的图像(基准图像175和检测图像176)是彩色图像，通过比较构成彩色图像的各像素的色调，来实行正确与否判断。

彩色成分除了“色调”以外，也可以选择“灰度”、“黑白2值”等。选择“灰度”时，灰度图像成为比较对象，用表示灰度浓淡的像素值(亮度值、浓度值等)生成均化基准直方图(基准直方图)和均化检测直方图(检测直方图)。由此，对比灰度图像时也能够进行与上述相同的处理。

如上所述的设定处理(检测区域155、基准图像175以及检测率的阈值等的设定)结束后，判断部110开始实际的正确与否判断处理(S109)。上述设定处理也可以设定为在实际的正确与否判断处理期间执行。

根据本实施方式，通过均化基准直方图201和均化检测直方图202的对比，能够减轻检体161a～161c的异常以外的因素的影响，适宜地实施正确与否判断。另外，由于能够一边确认基准图像175、检测图像176、经过均化的直方图201，202、以及正确与否判断结果等，一边设定检测率的阈值，因而有助于阈值设定，以使得正确与否判断能够适当地进行，提高正确与否判断的实用性。

以下参照附图描述其他实施方式。在以下的描述中，对具有与第一实施方式相同或类似的作用效果的部分付与相同的符号，并省略其说明。

<第二实施方式>

第二实施方式所涉及的图像处理***1(信息处理装置3)包含以灰度图像作为比较对象时适用的结构。图16是本发明第二实施方式涉及的设定画面221在阈值设定时的一例第一状态的示意图。图17是本发明第二实施方式涉及的设定画面221在阈值设定时的一例第二状态的示意图。

本实施方式的设定画面221包含差异图像显示部225。差异图像显示部225上显示将基准图像175和检测图像176重叠起来的差异图像226(第二图像)。

本实施方式所涉及的直方图生成部107用于生成基准图像175的直方图，即基准直方图，以及差异图像226的直方图，即差值直方图。此时，用来生成两个直方图的像素值是表示灰度浓淡的亮度值等。本实施方式的均化部108用于生成对基准直方图进行均化的均化基准直方图，以及对差异直方图进行均化的均化差异直方图。本实施方式涉及的比较部109用于通过对比均化基准直方图和均化差异直方图来计算检测率。

如图16所示，本实施方式涉及的直方图的显示部173上显示均化基准直方图231和均衡差异直方图232。本实施方式所涉及的检测率显示部191上显示表示均化基准直方图231与均化差异直方图232之间比较结果的检测率。

这样，在本实施方式中，当灰度图像成为比较对象的图像时，不是比较基准图像175(均化基准直方图)和检测图像176(均化检测直方图)，而是比较基准图像175(均化基准直方图)和差异图像226(均化差异直方图)。由此，即使是在使用难以用色相来区别的灰度图像的情况下，也能够可靠地进行正确与否判断。

<第三实施方式>

图18是第三实施方式的信息处理装置251的功能结构模块图。本实施方式涉及的信息处理装置251除了具备第一实施方式涉及的信息处理装置3的功能部101～113之外，还具备再计算部261(排除部)和原点移动部262。

再计算部261用于重新计算基准图像175和检测图像176的像素值，用以从直方图的对象中排除具有规定值的像素值。例如，当像素值是HSV时，设定S成分的值在规定的下限值以下(饱和度为下限值以下)，或V成分的值在规定的下限值以下(亮度为下限值以下)，再或V成分的值在规定的上限值以上(亮度值为上限值以上)的像素值为无效。

原点移动部262用于移动均化基准直方图和均化检测直方图的各原点，使得均化基准直方图和均化检测直方图中的峰值不位于各直方图中设定的端部区域内。端部区域是指直方图横轴上的原点附近的区域与终点附近的区域所构成的区域。端部区域的设定方法没有特别的限制，可以根据使用状况适当选择。例如，在256区间的直方图中，也可以将第1区间至第10区间的区域以及第二47区间至第二56区间的区域作为端部区域。

例如，在将表示色彩空间的像素值作为直方图的对象时，如果峰值位于端部区域内，则用于比较的要素集中在原点附近和终点附近，不利于正确与否判断。对此，当峰值位于端部区域之内时，将直方图的原点移动到峰值位于直方图的中间部分(例如第128区间)附近的位置。

图19是第三实施方式涉及的信息处理装置251执行的一例处理流程图。图19所示的本实施方式的流程图与图4所示的第一实施方式的流程图的不同之处主要在于，本实施方式所涉及的流程图中包含与再计算部261有关的步骤S201以及与原点移动部262有关的步骤S202。

经过步骤S101～S103，基准图像175和检测图像176的设定结束后，再计算部261重新计算基准图像175和检测图像176的H成分，用以从直方图的对象中排除具有规定值的像素值(S201)。然后，使用重新算出的像素值(H成分)，生成基准直方图和检测直方图(S104)，并基于该基准直方图和检测直方图生成均化基准直方图和均化检测直方图(S105)。

然后，原点移动部262对基于如上述地再计算求出的像素值生成的均化基准直方图和均化检测直方图，分别调整原点位置，使得峰值不位于端部区域内(S202)。比较部109对比如上所述地生成的均化基准直方图和均化检测直方图，并计算检测率(S106)。

图20是第三实施方式的再计算部261具体执行的一例处理流程图。再计算部261获取基准图像和检测图像中各像素的HSV成分(S251)，判断是否有未处理的(尚未进行再计算处理)像素(S252)。

当存在未处理的像素时(步骤S252:是)，再计算部261判断关于像素的HSV成分，S0≤S且V0≤V≤V1是否成立(S253)。S是S成分的值，S0是S成分的下限值，V是V成分的值，V0是V成分的下限值，V1表示V成分的上限值。

当S0≤S且V0≤V≤V1成立时(步骤S253:是)，再计算部261将该像素设定为有效像素(步骤S254)，并且再次执行步骤S252。此时，再计算部261也可以不改变有效像素的像素值。另一方面，在S0≤S且V0≤V≤V1不成立的情况下(步骤S253:否)，再计算部261将该像素设定为无效像素(S255)，并再次执行步骤S252。重复上述处理，在不再有未处理像素的情况下(步骤S252:否)，再计算部261将无效像素反映到图像(影像152、基准图像175、检测图像176等)中(步骤S256)。

图21是第三实施方式涉及的S成分的下限值S0的一例示意图。图22是第三实施方式涉及的V成分的下限值V0和上限值V1的一例示意图。图21和图22例示了表示HSV颜色空间的颜色空间表271。如果饱和度(S)小于下限值S0，则整个图像略呈黑色。如果亮度(V)小于下限值V0，则整个图像略呈黑色，而如果亮度(V)大于上限值V1，则整个画面略呈白色。因此，可以设定S0≤S且V0≤V≤V1不成立的像素设为无效。

图23是第三实施方式中一例设定像素无效的状态的示意图。本例中设定S0＝10，V0＝30，V1＝100。换言之，饱和度(S)的有效范围是10以上，亮度的有效范围是30以上100以下。在图23所示的例子中，3×3像素当中，具有在上述有效范围外的S成分或V成分的像素为无效。仅用有效像素(右侧的图中没有标注“×”的像素)的H成分生成直方图。

图24是第三实施方式涉及的设定画面281的基准图像设定时的一例状态的示意图。本例所涉及的设定画面281包含有更改后图像显示部285。更改后图像显示部285上显示更改后图像286，其中反映了相对于基准图像175上述无效化处理的结果。更改后图像286中检体161a～161c以外的背景部分的像素被无效，变为黑色。通过用户的OK按钮179的按动操作，更改后图像显示部285上显示的更改后图像286被作为基准图像保存。在此，对基准图像进行了说明，关于检测图像也是同样。

图25是本发明第三实施方式涉及的设定画面281在判断处理时的一例状态的示意图。本例所涉及的设定画面281的基准图像显示部171上显示经过无效化处理的更改后的基准图像288，检测图像显示部172上显示经过无效处理的更改后的检测图像289。本例的检测图像289中不包含检体161a～161c。这些基准图像288和检测图像289的检体161a～161c以外的背景部分，经过上述无效处理而变为黑色。

图26是第三实施方式涉及的原点移动部262的一例具体处理流程图。均化部108生成经过均化的直方图h(i)(步骤S281)后，原点移动部262设定i＝0(S282)。i表示直方图的区间，例如i＝0～255。h(i)表示各个区间所对应的频率值。然后，原点移动部262判断i≤256是否成立(步骤S283)。

当i≤256成立时(S283:是)，原点移动部262判断h(i-1)＜h(i)且h(i)≥h(i+1))是否成立(S284)。其中，h(-1)＝h(255)，h(256)＝h(0)。在h(i-1)＜h(i)且h(i)≥h(i+1))成立的情况下(S284:是)，原点移动部262在顶点位置的候补中追加i(S285)。换言之，在三个相邻区间中，如果中间区间h(i)大于之前的区间h(i-1)且在之后的区间h(i+1)以上的情况下，判断i可能是对应峰值位置的区间。然后，原点移动部262对i加1(S286)，并且再次执行步骤S283。另一方面，当h(i-1)＜h(i)且h(i)≥h(i+1)不成立的情况下(步骤S284:否)，不执行步骤S285、直接执行步骤S286。

重复上述处理，在i≤256不成立的情况下(S283:否)，原点移动部262计算成为顶点位置候补的一个以上的i的平均值(S287)，判断平均值所表示的顶点位置是否位于直方图端部区域内(S288)。当顶点位置在端部区域内时(S288:是)，原点移动部262移动原点位置，使得顶点位置位于直方图的中心(S289)。例如，对于具有256区间的直方图，通过让原点移动128个区间，使得峰值大致位于直方图的中心。而当顶点位置不位于端部区域内时(S288:否)，原点移动部262不移动原点位置，结束该例程。

图27是第三实施方式涉及的一例原点移动处理执行之前的直方图(均化基准直方图或均化检测直方图)的示意图。图28是第三实施方式涉及的一例原点移动处理执行之后的直方图的示意图。如图27所示，直方图的峰291位于原点附近时和用于比较的要素会集中在原点附近和终点附近。对此，如图28所示，通过移动直方图的原点，能够使得峰291位于直方图的中心。

根据本实施方式，可以设定不对检体161a～161c的正确与否判断产生影响的像素设为无效。由此能够在不损害正确与否判断精度的条件下，减轻运算负荷等。此外还能够防止用于比较的要素集中在直方图端部，提高正确与否判断的精度。

<第四实施方式>

图29是第四实施方式涉及的信息处理装置301的一例功能结构模块图。本实施方式的信息处理装置301除了具备图18所示的第三实施方式涉及的信息处理装置251的功能部101～113、261、262之外，还具备颜色设定部311。

颜色设定部311设定作为比较对象的对象色彩。比较部109针对设定的对象颜色，对比生成了的均化基准直方图和均化检测直方图。因此，仅对所设定的对象颜色进行正确与否判断。对象颜色的设定方法没有特别限定，例如用户可以在诸如显示器15等显示装置115上显示的影像152上，用鼠标18等来进行任意的颜色指定等。

图30是第四实施方式的信息处理装置301执行的一例处理流程图。图30所示的本实施方式的流程与图19所示的第三实施方式的流程的不同之处主要在于，本实施方式所涉及的流程包含与颜色设定部311有关的步骤S301。

按照步骤S101～S103结束基准图像175和检测图像176的设定后，颜色设定部311进行对象颜色的设定处理(S301)。对象颜色的设定方法没有特别限定，可以根据设定画面上所显示的影像(影像152、基准图像175、检测图像176等)来指定任意颜色等。然后进行步骤S201之后的处理。

图31是第四实施方式涉及的颜色设定部311的一例具体处理流程图。颜色设定部311首先取得基准图像175和检测图像176的HSV成分(S351)，根据设定的颜色来设定基准色调成分h1、基准饱和度成分s1以及基准亮度成分v1(S352)。基准色调成分h1、基准饱和度成分s1以及基准亮度成分v1分别相当于对象颜色的H成分、S成分、以及V成分。然后，颜色设定部311判断是否有未处理的像素(步骤S353)。

在存在未处理的像素的情况下(S353:是)，颜色设定部311判断该像素的h1-a≤H≤h1+b，且s1-c≤S≤s1+d，且v1-e≤V≤v1+f是否成立(步骤S354)。在此，a～f是常数。换言之，判断对象像素的H成分的值(H)、和S成分的值(S)以及V成分的值(V)是否分别处于基准色相成分h1、基准饱和度成分s1以及基准亮度成分v1的误差范围内。

如果h1-a≤H≤h1+b，且s1-c≤S≤s1+d，且v1-e≤V≤v1+f成立(步骤S354:是)，则颜色设定部311将该像素设定为有效像素(S355)，再次执行步骤S353。而如果h1-a≤H≤h1+b，且s1-c≤S≤s1+d，且v1-e≤V≤v1+f不成立(步骤S354:否)，则颜色设定部311将该像素设定为无效像素(S356)，再次执行步骤S353。重复上述处理，当不再有未处理像素时(S353:否)，颜色设定部311将无效像素反映到图像(影像152、基准图像175、检测图像176等)中(S357)。

图32是第四实施方式涉及的设定画面321的色彩设定处理时的一例状态的示意图。本例显示根据设定画面321上显示的影像152直接指定色彩的例子。本例构成为能够通过用鼠标18操作的指示器325来指定用户需要的色彩。本例的设定画面321包括设定色彩显示部327。设定色彩显示部327上显示指示器325指定的像素的色彩。通过用户实行OK按钮179的按动操作，设定色彩显示部327上显示的颜色被作为对象颜色保存到存储部102中。

图33是第四实施方式涉及的设定画面321的反映对象色彩时的一例状态的示意图。在本例中，在设定画面321上显示的影像152中具有上述那样设定的色彩以外的色彩的像素无效。也可以根据体现了该对象色彩的影像15来设定基准图像和检测图像，进而还可以根据基准图像和检测图像进行色指定。

根据本实施方式，可以将直方图或图像生成对象的像素缩减到只需要具有用户所要的色调的像素，从而有利于减轻处理负担等。

<第五实施方式>

第四实施方式中显示了颜色设定部311根据用户在影像152上指定的一个色彩来设定对象色彩的方法，而本实施方式涉及的颜色设定部311则根据用户在显示装置115上显示的规定影像(影像152、基准图像175、检测图像176等)上指定的一个以上的色彩，设定对象色彩的色彩范围。本实施方式显示一例使用HSL值作为表示用户指定色彩的色彩配置(像素值)，但是色彩配置的种类不限定于此，例如与第四实施方式相同地使用HSV值。

图34是第五实施方式涉及的设定画面331的一例示意图。本实施方式的设定画面331包含显示由摄像装置2a～2f中的任一台摄像装置拍摄的影像152的影像显示部332、显示基准图像175的基准图像显示部171、以及颜色范围显示部333。

颜色范围显示部333是显示对象颜色的颜色范围的部分。颜色范围是指认定为对象颜色的颜色配置(像素值:在本实施方式中为色调H、饱和度S、亮度L的各值)的宽度。本实施方式的颜色范围显示部333包括最小值显示部341、最大值显示部342、中间值显示部343、公差许可下限值设定部344、以及公差许可上限值设定部345。其中，最小值显示部341是显示用户在规定影像上指定的多个指定点各自对应的多个颜色配置(HSL值)中的最小值的部分。最大值显示部342是显示用户指定的多个指定点各自对应的多个颜色配置中的最大值的部分。中间值显示部343是显示最小值显示部341所显示的最小值和最大值显示部342所显示的最大值之间的中间值(平均)值(例如，在小数点之后的值或四舍五入、或舍去、或上进的值)的部分。色调H由于是在256灰度(0～255)中是取环状的值，因而在图34所示的例子中的最大值“18”相当于255+18＝“273”，中间值“221”是根据(168+273)/2＝220.5的四舍五入或上进的值。公差许可下限值设定部344是用于设定误差允许范围的下限值的部分，被配置为允许户输入任意的值。公差许可上限值设定部345是用于设定误差允许范围的上限值的部分，被配置为允许用户输入任意的值。

图35是第五实施方式涉及的设定画面331上显示指定了一个指定点的一例状态的示意图。当用户指定(例如用鼠标指定位置并点击)影像152上任意位置后(本例中为剪刀手柄的一部分)，该位置上被标注为第一标记M1，取得与第一标记M1相应的像素的HSL值(本例中为254，170，87)。由于此刻只指定了一个指定点，因而最小值显示部341、最大值显示部342以及中间值显示部343上均显示相同的HSL值(254，170，87)。基准图像显示部171上显示具有从公差许可下限值到公差许可上限值为止的HSL值的像素所构成的基准图像175。图35所示的例子显示，H值234～274(234～255，0～19)、S值150～190，L值67～107范围内的像素所构成的基准图像175。

图36是第五实施方式涉及的设定画面331上显示指定了两个指定点的一例状态的示意图。用户在影像152上指定第二位置后，该位置被标注为第二标记M2，取得与第二标记M2相应像素的HSL值(本例中为247，138，103)。此时，最小值显示部341上显示两个标记M1、M2的HSL值之中较小的值(本例中为H:247，S:138、L:87)，最大值显示部342上显示较大的值(本例中为H:254，S:170，L:103)、中间值显示部343上显示各个最小值和最大值之间的中间值(本例中为H:251、154、L:95)。本例中设公差许可下限值为-20，公差许可上限值为+20，对象颜色的颜色范围为，从HSL值的最小值减去20得到的值，到最大值加20得到的值。图36所示的状态下，基准图像显示部171上显示，H的值227～274(227～255，0～19)，S值118～190，L值67～123的范围内的像素所构成的基准图像175。

图37是第五实施方式涉及的设定画面331上显示指定了三个指定点的一例状态的示意图。用户在影像152上指定第三位置后，该位置被标注为第三标记M3，取得与第三标记M3相应像素的HSL值(本例中为253，183，82)。此时，最小值显示部341上显示所有标记M1～M3的HSV值中最小的值(本例中为H:247，138，L:82)、最大值显示部342上显示最大的值(本例中为H:254，S:183，L:103)、中间值显示部343上显示各个最小值和最大值之间的中间值(本例中为H:251，154，L:95)。基准图像显示部171上显示，H值227～274(227～255，0-19)，S值118～203，L值62～123的范围内的像素所构成的基准图像175。

在本实施方式中，上述三个标记M1～M3在剪刀的手柄部分，设该手柄部分的颜色被认知为是红色。以下例举以具有色调不同于红色的颜色的位置作为指定点进行说明。

图38是第五实施方式涉及的设定画面331上显示指定四个指定点时的一例状态的示意图。在此，以被认知为蓝色的位置(橡皮擦的一部分)作为四个指定点进行说明。用户在影像152上指定了第四位置后，该位置被标注为第四标记M4，取得与第4标记M4相应的像素的HSL值(本例中为168，105，72)。此时，最小值显示部341上显示所有标记M1～M4的HSL值中最小的值(本例中H:168，105，L:72)、最大值显示部342上显示最大的值(本例中H:254，S:183，L:103)、中间值显示部343上显示各个最小值和最大值之间的中间值(本例中H:211，144，L:88)。基准图像显示部171上显示，H值148～274(148～255，0-19)，S值85～203，L值52～123的范围内的像素所构成的基准图像175。在这种情况下，基准图像175中包含被认知为红色的红色区域305、被认为蓝色的蓝色区域306、以及被认为既不是红色也不是蓝色的颜色(例如灰色)的其它色区域307。这是因为通过指定与红色色调差异较大的蓝色，使得对象颜色的颜色范围大大扩展。

如上所述，同时指定色调差异相对较大(例如灰度值的差在规定值以上)的多种颜色(例如红色和蓝色等)，会让对象颜色的颜色范围含有用户意想不到的颜色(例如灰色等)。作为解决这种问题的方法之一是删除不恰当的指定点。

图39是第五实施方式涉及的设定画面331上显示删除指定点时的一例状态的示意图。图40是第五实施方式涉及的设定画面331上显示指定点被删除之后的一例状态的示意图。此处例示第四标记M4所对应的指定点被删除。如图39所示，用户在影像152上通过点击操作等重新指定后，如图40所示，第四标记M4所对应的位置被从影像152上删除，颜色范围显示部333中的显示和基准图像175返回到指定第四标记M4对应的位置之前的状态(图37所示的状态)。这样，通过让用户任意地进行指定点的删除，能够恰当且方便地调节对象颜色的颜色范围。

本实施方式还允许用户任意调节公差许可下限值和公差许可上限值。

图41是在第五实施方式涉及的设定画面331上调整公差许可下限值以及公差许可上限值时的一例状态的示意图。在本例中，将HSL各值对应的所有公差许可下限值从-20改为-4，H值对应的公差许可上限值从+20改为+7，S值对应的公差许可上限值从+20改为+8，L对应的公差许可上限值从+20改为+8。由此，对象颜色的颜色范围成为，H值:243～261(247～254，0-6)、S值:134～191、L值:78～111，基准图像显示部171上显示包含由具有该调整后HSL值的像素所构成的红色区域305'在内的基准图像171。这样，通过让用户随意调整公差许可下限值及公差许可上限值，能够更恰当且简便地调整对象颜色的颜色范围。

图42是第五实施方式涉及的信息处理装置301执行的一例处理流程图。在此描述一例上述用户在影像152上指定多个指定点，并基于与各指定点对应的HSL值设定对象颜色的颜色范围的处理。本实施方式的颜色设定部311(参见图29)，首先，从存储部102读入关于对象颜色的颜色范围的设定处理的初始值(步骤S501)。该初始值包含用户能够在影像152上指定的指定点的上限值(例如10)等。然后，颜色设定部311经由用户接口接收用户在影像152上指定任意位置的点击操作(S502)。

颜色设定部311判断用户在影像152上点击的位置上是否存在标记(S503)。如果被点击的位置上不存在标记(S503:否)，则颜色设定部311判断标记数量(点击次数或指定点数量)是否达到上限值(S504)。如果标记数尚未达到上限值(S504:否)，颜色设定部311在点击位置上添加标记(S505)，取得与添加的标记位置相对应的像素的颜色配置(HSL值)(步骤S506)，进而根据所取得的一个以上的颜色配置，如上所述地计算颜色范围(S510)。相反，如果标记数量达到上限值(S504:是)，例如在影像152上已经配置了10个标志，则在这种情况下，不添加新的标记，根据已有的多个标记所对应的各个颜色配置来计算颜色范围(S510)。

另外，如果被点击的位置上存在标记(S503:是)，颜色设定部311删除被点击的位置上存在的标记(S507)，并删除被删除了的标记所对应的颜色配置(S508)。然后，颜色设定部311判断影像152上是否有一个以上的标记(步骤S509)，如果标志不存在(S509:否)，则返回步骤S502，而如果存在一个以上的标记(S509:是)，则基于各标记对应的颜色配置计算颜色范围(S510)。

然后，颜色设定部311更新具有被求出的颜色范围所包含的颜色配置的像素构成的对象颜色图像(图34～图41所示的例子中基准图像175)(步骤S511)，判断是否有来自用户的颜色指定的请求(S512)。在没有请求的情况下(步骤S512:否)，本例程结束，而在有请求的情况下(S512:是)，返回到步骤S502。

以上给出了删除其中一方的颜色(例如蓝色)所对应的指定点来解决以色调差异较大的多种颜色(例如红色和蓝色)作为指定点时产生的问题(对象颜色的颜色范围中包含未曾预料的颜色)的例子，但实施方式并不局限于此。例如，在红色部分中指定一个以上指定点，并在蓝色部分中指定的一个以上的指定点的情况下，也可以将颜色范围分割为红色和蓝色两个区域来设定。进而还可以将颜色范围分割为三个以上的区域。

换言之，也可以根据多个指定点颜色配置的特征，将颜色范围分割成多个来进行设定。例如，在存在多个指定点的情况下，表示色调的像素值(例如H值)的浓淡值之差为规定值以上时(例如，在256个浓淡等级的H值之差为50以上等)，也可以将颜色范围分割为多个来进行设定。

以下举例说明。例如，指定第一指定点(65，34，124)、第二指定点(232，230，200)、第三指定点(45，64，98)为以HSV值为颜色配置的三个指定点，公差许可下限值为-10，公差许可上限值为+10的情况。在这种情况下，根据第一指定点(65，34，124)和第三指定点(45，64，98)，设定H值的范围为35～75，S值的范围为24～74，V值的范围为88～134的第一颜色范围，根据第二指定点(232，230，200)，设定H值的范围为222～242、S值的范围为220～240，V值的范围为190～210的第二颜色范围。用来分割颜色范围进行设定的算法并不局限于上述，可以根据使用条件等适当决定。

如上所述，根据本实施方式，可以根据用户指定的一种以上的颜色来设定对象颜色的颜色范围，从而能够更加简便地进行对象颜色的设定。

<第六实施方式>

图43是第六实施方式涉及的信息处理装置351的一例功能结构模块图。本实施方式的信息处理装置351除了具备图29所示的第四实施方式或第五实施方式涉及的信息处理装置301的功能部101～113、261、262、311之外，还具备扩展部361。扩展部361用于实行扩展均化基准直方图和均化检测直方图的峰值扩展处理。比较部109生成比较信息，该比较信息表示经过扩展的均化基准直方图，即扩展基准直方图(第一扩展直方图)与经过扩展的均化检测直方图，即扩展检测直方图(第二扩展直方图)的比较结果。扩展处理的方法没有特别限定，优选通过横轴(区间轴)方向扩展峰值宽度，或纵轴(频率值轴)方向扩展峰值高度，在横轴方向扩大峰值形状，使得峰值内不形成间隙的处理。图44是第六实施方式的信息处理装置351执行的一例处理流程图。图44所示的本实施方式的流程与图30所示的第四实施方式的流程的不同之处主要在于，本实施方式所涉及的流程包含与扩展部361有关的步骤S401、S402。在步骤S202，原点移动部252调整了直方图的原点位置后，扩展部361扩展经过均化的直方图(均化基准直方图和均化检测直方图)(S401)。之后，比较部109对比该两个直方图(均化基准直方图和均化检测直方图)，求出检测率(S402)。而后实行步骤S107之后的处理。图45是第六实施方式涉及的扩展部361的一例具体处理流程图。扩展部361取得均化矢量H′(在图8中S152生成)(S451)，生成均化矢量H′对应的直方图中的峰值所对应的扩展矩阵E(S452)。而后，扩展部361将均化矢量H′乘以扩展矩阵E，生成扩展矢量H″(S453)。下式9是均化矢量H′的第一个例子，下式10是扩展矩阵E的第一个例子，下式11是扩展矢量H″的第一个例子。

H'＝[2，3，0，0](式9)

在上式9至11的例子中，直方图的区间数量为4，在与均化矢量H′相应的经过均化的直方图的第一区间以及第二区间的部分中形成峰值。下式12是均化矢量H′的第二个例子，下式13是扩展矩阵E的第二个例子，下式14是扩展矢量H″的第二个例子。

H'＝[0，5，0，0](式12)

在上式12至14的例子中，直方图的区间数量为4，在与均化矢量H′相应的经过均化的直方图的第二区间部分形成峰。均化矢量H′、扩展矢量H"以及扩展矩阵E的大小随着区间数量的不同而变化。扩展矩阵E随着均化矢量H′的峰位置、峰宽度、峰高度等变化。扩展矩阵E既可以是用户设定，也可以用程序自动且动态设定。而后，扩展部361根据扩展矢量H"，生成经过扩展的直方图(S454)。换言之，根据与均化基准直方图对应的扩展矢量H"，生成扩展基准直方图，根据均化检测直方图所对应的均化矢量H"，生成扩展检测直方图。图46是第五实施方式涉及的扩展之前的一例直方图。图47是第五实施方式涉及的扩展之后的一例直方图。图46所示的扩展之前的直方图相当于均化基准直方图或均化检测直方图。图47所示的扩展之后的直方图相当于扩展基准直方图或扩展检测直方图。图46显示包括扩展之前的三个峰371a～371c的折线370以及扩展之前的扩展区域373。扩展区域373是被设定为包含三个峰的矩形区域。本例以连接点a(0，0)、点b(30，0)、点c(0，28000)、点d(40，28000)的线构成扩展区域373。本例的三个峰371a～371c是集中在整个区间中的一部分的区域。这种状态例如在检体161a～161c(有色调的物体)相对于检测区域155整体面积之比较小时发生。如果用来种直方图来进行比较，会导致正确与否判断精度下降。图47显示包括扩展之后的三个峰371a′～371c′的折线370′以及扩展之后的扩展区域373′。扩展之后的扩展区域373′以连接点a′(0，-450)、点b′(250，-450)、点c′(0，3400)、点d′(250，3400)的线构成。这样，在本例的扩展处理中未改变区间总数(256)。通过这样的处理，构成包括三个峰371a′～371c′的折线370′的要素被分散到整个直方图中。通过分散比较对象的要素，能够提高正确与否判断的精度。上述扩展区域373、373′的大小、形状、扩展量仅仅是一例而已，可以根据使用状况来适当选择扩展区域373、373′的设定方法。图48是第六实施方式涉及的设定画面371的一例扩展之前状态的示意图。本例的基准图像175只有背景374，而本例的检测图像176是背景374上存在一个对象161a。本例的检测图像176中，检测图像176相对于检体161a的面积所占比例非常小。

扩展之前的直方图显示部173上显示扩展之前的直方图，即基准图像175所对应的均化基准直方图375以及检测图像176所对应的均化检测直方图376。均衡基准直方图375包含与背景374的色调对应的峰值380a。均化检测直方图376包含与背景374的色调对应的峰值380b和与检体161a的色调对应的峰值381。构成所述峰值381的要素与构成均化检测直方图376所有要素之比相当小。为此，均化基准直方图375和均化检测直方图376之间的差异微小，检测率显示部191上显示的检测率的值非常小，为4.0％。

图49是第六实施方式涉及的设定画面371的一例扩张之后的状态的示意图。扩展之后直方图显示部173上显示扩展之后的直方图，即均化基准直方图375经过扩展之后的扩展基准直方图391和均化检测直方图376经过扩展之后的扩展检测直方图392。扩展基准直方图391包含与背景374的色调相应的经过扩展后的峰380a'。扩展检测直方图392包含与背景374的色调相应的经过扩展的峰值380b'和与检体161a的色调对应的经过扩展的峰值381'。如图49所示，扩展基准直方图391和扩展检测直方图392之间的差异相当大，检测率显示部191上显示的检测率的值相当大，为69.0％。

如上所述，通过对经过均化的直方图实施扩展处理，即便是在基准图像175和图像176之间差异较小时，也能够增大与基准图像175对应的直方图和与检测图像176对应的直方图之间的差异，提高正确与否判断的灵敏度。也可以通过用户调节扩展程度。例如，扩展部361在输入部103中输入了用于提高灵敏度的操作时，生成扩展矩阵E，用以加大扩展程度。这样，用户便能够一边确认设定画面371上显示的基准图像175、检测图像176、直方图375，376，391，392、检测率等，一边适当地调整检测率的阈值或扩展程度，进一步提高正确与否判断的实用性。

上述第六实施方式例示了包含计算部261、原点移动部262、以及颜色设定部311的例子，但也可以不含再计算部261、原点移动部262、颜色设定部311的全部或一部分。

在上述第一～第六实施方式中，基准图像和检测图像是根据影像数据表示的影像的任意区域而设定的，但是本发明并不限定于这些实施方式。也可以用例如数码相机等拍摄静态图像的设备所拍摄的静止图像作为基准图像和检测图像，还可以用拍摄静止图像的设备所拍摄的静止图像作为基准图像、用基于图像数据设定的图像作为检测图像，还可以反而行之。

在上述第一～第六实施方式所涉及的图像处理***1和信息处理装置3、251、301、351的各种功能中至少有一部分功能通过程序的执行来实现时，该程序被预存在ROM等中来提供。此外，该程序可以以可安装形式或可执行形式的文件保存在CD-ROM、软磁盘(FD)、CD-R、DVD等计算机可读记录介质中来提供。进而，程序该还可以构成为，存放在与互联网等网络连接的计算机中，经由网络下载提供，或者构成为经由诸如互联网等网络提供或颁布。此外，该程序可以行程为包括上述各项功能中的至少一部分的模块结构。

以上对本发明的实施方式进行了描述，但是，上述实施方式是作为例示，并非旨在限制本发明的范围。上述新实施方式可以以其他各种形态来实施，允许在不脱离本发明主旨范围的各种省略、置换、变更。在上述实施方式及其变形不仅包含在本发明的范围和主旨之中，而且还包含在权利要求书所记载的发明及其均等的范围内。

Claims (20)

1.一种图像处理装置，其中具备：

直方图生成部，用于生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；

均化部，用于进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；以及，

比较部，用于生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。

2.根据权利要求1所述的图像处理装置，其中，进一步具备，

判断部，用于执行判断处理，该判断处理根据所述比较信息和阈值，判断所述第一图像和所述第二图像是否一致；以及，

阈值设定部，用于设定所述阈值。

3.根据权利要求1或2所述的图像处理装置，其中，进一步具备排除部，用于从所述直方图的对象中排除具有规定值的所述像素值。

4.根据权利要求3所述的图像处理装置，其中，

所述像素值包含H、S、V成分，

成为所述直方图的对象的值是H成分的值，

所述排除部从所述对象中排除S成分的值在规定下限值以下，或V成分的值在规定下限值以下，或V成份值在规定上限值以上的H成分的值，

其中，H、S、V分别表示色调、饱和度、亮度。

5.根据权利要求1至4中任意一项所述的图像处理装置，其中，进一步具备原点移动部，用于移动所述第一均化直方图的原点以及所述第二均化直方图的原点，使得所述第一均化直方图中的峰值以及所述第二均化直方图中的峰值不位于规定的端部区域以内。

6.根据权利要求1至5中任意一项所述的图像处理装置，其中，

进一步具备设定部，用于设定对象颜色，

所述比较部对比用与所述对象颜色对应的所述像素值生成的所述第一均化直方图和所述第二均化直方图。

7.根据权利要求6所述的图像处理装置，其中，所述颜色设定部根据显示装置上显示的规定影像上用户指定的颜色，设定所述对象颜色。

8.根据权利要求7所述的图像处理装置，其中，所述颜色设定部根据所述用户指定的一种以上的颜色，设定所述对象颜色的颜色范围。

9.根据权利要求8所述的图像处理装置，其中，当像素值的浓淡值差为规定值以上的多种颜色受到指定时，所述颜色设定部将所述颜色范围分割为两个以上。

10.根据权利要求1至9中任意一项所述的图像处理装置，其中，所述均化部通过所述第一直方图的矢量与用于进行所述均化处理的均化矩阵的乘积，生成所述第一均化直方图的矢量，通过所述第二直方图的矢量与所述均化矩阵的乘积，生成所述第二均化直方图的矢量。

11.根据权利要求1至10中任意一项所述的图像处理装置，其中，

进一步具备扩展部，用于执行扩展处理，扩展所述第一均化直方图以及所述第二均化直方图中的峰值，

所述比较部生成所述比较信息，该比较信息表示经过扩展的所述第一均化直方图，即第一扩展直方图，和经过扩展的所述第二均化直方图，即第二扩展直方图。

12.根据权利要求11所述的图像处理装置，其中，所述扩展部通过所述第一均化直方图的矢量与用于所述扩展处理的扩展矩阵的乘积，生成第一扩展直方图的矢量，并通过所述第二均化直方图的矢量与用于所述扩展矩阵的乘积，生成第二扩展直方图的矢量。

13.根据权利要求12所述的图像处理装置，其中，所述扩展矩阵是配合所述峰值的位置动态而生成的。

14.根据权利要求1至13中任意一项所述的图像处理装置，其中，当成为比较对象的图像为灰度图像时，所述第一图像是成为比较基准的基准图像，所述第二图像是与成为所述基准图像的比较对象的检测图像重叠起来的差异图像。

15.根据权利要求1至14中任意一项所述的图像处理装置，其中，进一步具备，

取得部，用于取得影像数据；以及，

图像设定部，用于根据所述影像数据，设定所述第一图像和所述第二图像之中的任意一方。

16.一种图像处理***，其中具备，

权利要求15所述的图像处理装置；以及，

用来生成所述影像数据的摄像装置，

所述取得部从所述摄像装置取得所述影像数据。

17.根据权利要求16所述的图像处理***，其中，

包含多个所述摄像装置，

所述图像设定部从多台所述摄影装置拍摄的当前或过去的影像中设定所述第一图像或所述第二图像。

18.一种图像处理方法，其中包含，

直方图生成步骤，生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；

均化步骤，进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；以及，

比较步骤，生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。

19.一种计算机可读的记录介质，其中保存计算机程序指令，通过让处理器执行所述计算机程序指令，该处理器执行以下步骤，

直方图生成步骤，生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；

均化步骤，进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；以及，

比较步骤，生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。

20.一种电子设备，其中包括存储器以及处理器，所述存储器中保存计算机程序指令，当所述处理器执行所述计算机程序指令时，该处理器执行以下步骤，

直方图生成步骤，生成第一图像的像素值的直方图，即第一直方图，以及第二图像的像素值的直方图，即第二直方图；

均化步骤，进行均化处理，使得所述第一直方图的频率值以及所述第二直方图的频率值分散到一个以上位于该频率值所对应的区间附近的区间中；以及，

比较步骤，生成比较信息，该比较信息表示经过均化的所述第一直方图，即第一均化直方图，与经过均化的所述第二直方图，即第二均化直方图的比较结果。