CN107408305A - 摄像装置及方法、操作装置及方法、程序以及记录介质 - Google Patents

Abstract

使用通过不同的照明条件下的摄像而得到的多个摄像图像计算与各像素有关的亮度变化(dI)(21)，使用通过不同时刻的摄像而得到的多个摄像图像计算与各像素有关的纹理变化(dF)(22)，根据亮度变化(dI)和纹理变化(dF)提取被摄体区域(23)。计算与图像的各像素有关的纹理特征(F)在多个摄像图像间的变化作为纹理变化(dF)。即使存在环境光或者背景的变化，也能够高精度地提取被摄体。

Description

摄像装置及方法、操作装置及方法、程序以及记录介质

技术领域

本发明涉及从摄像图像提取被摄体区域的摄像装置及方法。本发明特别涉及使用通过不同的照明条件下的摄像而得到的2幅以上的摄像图像间的差分提取被摄体区域的技术。本发明还涉及使用由上述的摄像装置得到的数据进行对设备的操作的操作装置及方法。本发明还涉及用于使计算机执行上述摄像装置或方法或者上述操作装置或方法中的处理的程序、以及记录有该程序的计算机可读取的记录介质。

背景技术

在以监视人的状态或者动作为目的将接近摄像机的人或者其一部分(手等)作为被摄体进行拍摄的情况下，将周围的背景去除，仅提取摄入被摄体的区域，然后详细分析该区域比较有效。为了提取接近摄像机的被摄体区域，专利文献1公开有如下的显示摄像装置：使照射被摄体的照明以较短的周期闪烁，取得点亮时的摄像图像和熄灭时的摄像图像，并使用这些摄像图像的差分。

在该方法中，在背景变化的情况下或者被摄体移动的情况下，具有在差分图像上产生伪信号区域的问题。为了应对这种问题，专利文献1还公开有生成对被摄体或背景的运动进行补偿的插值图像，生成将由于被摄体的移动而产生的伪信号区域排除后的差分图像。另外，专利文献2公开有检测被摄体的移动量，将检测出的移动量用于确定被摄体区域的图像处理装置。

现有技术文献

专利文献

专利文献1：日本专利第4915367号公报

专利文献2：日本专利第4842374号公报

非专利文献

非专利文献1：Marko Heikkila,et al.,“Description of Interest Regionswith Local Binary Patterns”,30 June 2008

非专利文献1将会在后面提及。

发明内容

发明要解决的问题

但是，在使用差分图像提取被摄体区域的技术中存在如下的问题：在如行驶中的汽车内部、户外等那样环境光或者背景瞬息万变地变化的空间中，受到伪信号的影响而不能正确提取被摄体。在专利文献1中，在对被摄体的运动或者背景的变化进行补偿的情况下，需要在为了生成插值图像而使用的多个图像中摄入同一被摄体和背景物品。但是，在行驶中的汽车内部或者户外，环境光的变化或者背景的变化的速度很快，因而不能保证在多个图像中摄入同一被摄体或者同一背景，在这种情况下，不能抑制伪信号的影响。

另一方面，在检测被摄体的移动量来确定被摄体区域的情况下，通过取差分而计算的亮度变化容易受到环境光的影响，在汽车的内部或者户外很难正确地进行是否是伪信号的判定。另外，由于背景的变化而产生同样的伪信号，因而有可能将产生伪信号的区域错误地判定为被摄体区域。

本发明正是为了解决上述问题而完成的，其目的在于，即使存在环境光或者背景的变化，也能够高精度地提取被摄体。

用于解决问题的手段

本发明的摄像装置具有：

摄像照射控制部，其生成控制照明条件的照明条件控制信号和控制摄像条件的摄像条件控制信号；

照射部，其根据所述照明条件控制信号以多个彼此不同的照明条件对被摄体进行照明；

摄像部，其在由所述摄像条件控制信号控制的摄像条件下进行所述被摄体的摄像而生成摄像图像；

亮度变化计算部，其使用由所述摄像部通过所述不同的照明条件下的摄像而得到的多个摄像图像，计算所述多个摄像图像间的与各像素有关的亮度变化；

纹理变化计算部，其使用由所述摄像部通过不同时刻的摄像而得到的多个摄像图像，计算该多个摄像图像间的与各像素有关的纹理变化；以及

被摄体提取部，其根据所述亮度变化和所述纹理变化提取被摄体区域。

发明效果

根据本发明，即使存在环境光或者背景的变化，也能够高精度地提取被摄体。

附图说明

图1是示出本发明的实施方式1的摄像装置的结构的框图。

图2是示出图1的照射部的结构的框图。

图3是示出图1的亮度变化计算部的结构的框图。

图4是示出图1的纹理变化计算部的结构的框图。

图5是示出在CSLBP特征的计算中使用的像素的配置的图。

图6的(a)～(h)是示出对在不同的照明条件下拍摄到的图像计算CSLBP特征的结果以及该图像的亮度直方图的图。

图7是示出图4的纹理特徴抽出部的结构的框图。

图8是示出分割成特征提取区域的单元的分割方法的图。

图9是示出图1的被摄体提取部的结构的框图。

图10是示出照明条件的变化、背景的变化以及被摄体的移动与亮度变化以及纹理变化的关系的图。

图11的(a)～(e)是示出实施方式1的摄像装置提取被摄体区域的一例的图。

图12的(a)～(e)是示出实施方式1的摄像装置提取被摄体区域的一例的图。

图13是示出实施方式1的摄像装置的处理顺序的一例的流程图。

图14是示出图13的被摄体提取步骤的顺序的一例的流程图。

图15是示出图13的被摄体提取步骤的顺序的另一例的流程图。

图16是示出实施方式1的摄像装置的变形例的纹理变化计算部的结构的框图。

图17是示出实施方式1的摄像装置的变形例的处理顺序的流程图。

图18是示出实施方式1的摄像装置的变形例的处理顺序的流程图。

图19是示出在实施方式1的变形例中成为纹理特征计算对象的像素的配置的图。

图20是示出实施方式1的摄像装置的处理顺序的另一例的流程图。

图21是示出本发明的实施方式2的摄像装置的结构的框图。

图22是示出图21的目标值计算部的结构的框图。

图23是示出实施方式2的摄像装置的处理顺序的流程图。

图24是示出实施方式2的摄像装置的处理顺序的流程图。

图25是示出本发明的实施方式3的摄像装置的结构的框图。

图26是示出图25的亮度变化计算部的结构的框图。

图27是示出图25的纹理变化计算部的结构的框图。

图28是示出实施方式3的摄像装置的处理顺序的流程图。

图29是示出实施方式3的摄像装置的处理顺序的流程图。

图30是示出本发明的实施方式4的操作装置的结构的框图。

图31是示出图30的纹理变化计算部的结构的框图。

图32是示出图30的被摄体识别部的结构的框图。

图33是示出由图30的被摄体识别部识别的手势的类型与由操作决定部生成的操作内容的对应关系的一例的图。

图34是示出实施方式4的操作装置的处理顺序的流程图。

图35是将在利用软件实现实施方式1的摄像装置时使用的计算机与照射部和摄像部一起示出的框图。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的摄像装置的结构的框图。图示的摄像装置具有摄像照射控制部11、照射部12、摄像部13、亮度变化计算部21、纹理变化计算部22、被摄体提取部23、图像存储器14。

本实施方式的摄像装置例如将人作为被摄体。具体地讲，将人的全身或者上半身、脸部、手等身体的一部分(part)作为被摄体，用于从背景中仅提取被摄体。

摄像照射控制部11向照射部12输出控制照明条件的控制信号(照明条件控制信号)C11a，并且生成控制摄像条件的控制信号(摄像条件控制信号)C11b并输出给摄像部13。

由控制信号C11a控制的照明条件包含照明光的照射分布、照明光的发光强度、照明光的发光时机以及照明光的发光期间中的一个以上。

由控制信号C11b控制的摄像条件包含曝光时机、曝光时间、帧速、光圈以及增益中的一个以上。

摄像部13按照每帧进行摄像。照射部12对照明条件的切换是与摄像部13的摄像同步进行的。

在本实施方式中，从摄像照射控制部11提供的控制信号C11a指定按照每帧交替不同的照明条件A、B，照射部12根据控制信号C11a按照每帧交替进行照明条件A下的照明和照明条件B下的照明。将在某条件下进行照明也称作生成该照明条件。

照射部12如图2所示具有多个LED 121和发光控制部122。

LED 121使用近红外线LED或者白色LED。

在被摄体是人的上半身的情况下，光源优选使用人眼的灵敏度较小的近红外线LED。

为了改变照射部12的照明的发光强度，可以改变多个LED 121中发光的LED的数量，也可以改变各LED的发光强度，还可以并用上述2个方法。

为了改变各LED的发光强度，例如，可以改变向该LED输入的驱动电流量，也可以改变PWM(Pulse Width Modulation：脉宽调制)控制中的占空比。

为了改变照射部12的照明光的照射分布，可以改变发光的LED，或者也可以根据该LED的位置(多个LED 121在组内的位置)改变各LED的发光强度。

下面，假设通过控制PWM控制中的占空比切换发光强度来切换照明条件进行说明。

用φA表示照明条件A下的发光强度，用φB表示照明条件B下的发光强度。发光强度φA和发光强度φB分别是固定的值，假设具有φA>φB的关系。

摄像部13在照射部12生成的2个照明条件下，根据从摄像照射控制部11提供的控制信号C11b拍摄被摄体，将拍摄到的图像G蓄积到图像存储器14中。

摄像部13例如使用CMOS传感器、CCD传感器等摄像元件。

摄像部13根据控制信号C11b例如每1秒拍摄30帧，输出的图像G例如是灰色标度图像(黑白图像)、RGB图像。

以下，摄像部13例如以每1秒30帧的速率输出图像。输出的图像(输出图像)例如是8比特灰度的灰色标度图像。

输出图像的分辨率例如是依据VGA标准的分辨率，图像宽度W是640像素，高度H是480像素。

将照射部12和摄像部13设置成从照射部12照射的光(照明光)由被摄体反射，其反射光入射到摄像部13。

摄像部13按照照射部12交替地生成的照明条件A和照明条件B交替地进行摄像，交替地输出通过照明条件A下的摄像而得到的图像(照明条件A的图像)Ga和通过照明条件B下的摄像而得到的图像(照明条件B的图像)Gb。其结果是，每1秒各15帧地输出照明条件A的图像Ga和照明条件B的图像Gb。

从摄像部13输出的图像G(Ga、Gb)被依次蓄积到图像存储器14中。

假设照明条件A下的摄像中的摄像条件和照明条件B下的摄像中的摄像条件都是固定的。

亮度变化计算部21从图像存储器14读出摄像部13以2个不同的照明条件前后摄像而得到的2幅图像Ga、Gb，比较每个像素的亮度I，计算图像间的亮度变化dI并进行输出。将输出的亮度变化dI提供给被摄体提取部23。

亮度变化计算部21如图3所示具有亮度特征量计算部211、亮度特征量存储器212、照明条件判定部213、差分计算部215、亮度变化存储器216。

亮度特征量计算部211计算从图像存储器14读出的各帧图像的亮度特征量Im。亮度特征量Im例如是亮度平均值、亮度中央值或者亮度最频值。将由亮度特征量计算部211计算出的亮度特征量Im存储到亮度特征量存储器212中，在1帧期间后作为与前一帧图像有关的亮度特征量Im被照明条件判定部213读出。

照明条件判定部213读出由亮度特征量计算部211计算出的与最新的图像(最新的帧的图像)有关的亮度特征量Im、以及从亮度特征量存储器212读出的与前一帧图像有关的亮度特征量Im。这些图像是摄像时刻相邻的2幅图像即前后2个帧的图像。照明条件判定部213对与2个帧的图像有关的亮度特征量Im进行比较，根据比较的结果进行哪幅是照明条件A的图像Ga、哪幅是照明条件B的图像Gb的判定。将该判定的结果CNa提供给差分计算部215。

例如，判定亮度特征量Im较大的图像是照明条件A的图像Ga，亮度特征量Im较小的图像是照明条件B的图像Gb。

差分计算部215在照明条件A的图像Ga与照明条件B的图像Gb之间求出每个像素的亮度I的差分，将该差分作为亮度变化dI进行输出。即，差分计算部215例如对图像上的各像素的亮度值I(x、y)计算2幅图像之间的亮度差分dI(x、y)。

其中，x、y表示图像上的坐标，

x∈{0、1、…、W-1}，y∈{0、1、…、H-1}。

从照明条件A的图像Ga的各像素的亮度值减去照明条件B的图像Gb的相同位置的像素的亮度值，由此计算出亮度差分dI(x、y)。根据从照明条件判定部213输出的判定结果CNa，判断从图像存储器14读出的2幅图像中哪幅是照明条件A的图像Ga。

在相减的结果是负值的情况下，设亮度差分dI(x、y)为0。

将这样计算出的亮度差分dI(x、y)称作亮度变化。

将亮度差分dI(x、y)作为亮度变化蓄积到亮度变化存储器216中。蓄积的亮度差分dI(x、y)以后提供给被摄体提取部23。

对于与各像素有关的亮度差分dI(x、y)的集合即将各像素的亮度差分dI(x、y)排列在与该像素相同的位置而成的集合，形成亮度差分图像(亮度变化图像)。

从摄像部13取得的图像包含基于摄像元件中的暗电流的噪声或者电荷的读出噪声。亮度变化计算部21例如对于从摄像部13提供的图像，也可以利用未图示的平滑滤波器实施平滑滤波来去除噪声，然后利用差分计算部215求出差分。也可以用如下的方式替代：亮度变化计算部21对于由差分计算部215计算出的亮度差分图像，利用未图示的平滑滤波器实施平滑滤波来去除噪声，将其结果作为亮度变化进行输出。平滑滤波器例如能够使用高斯滤波器、中值滤波器等。

通过在计算亮度差分之前进行上述的平滑滤波，能够去除起因于摄像机等的噪声。如果在计算出亮度差分之后进行上述的平滑滤波，则能够去除差分较小的区域(即噪声)。也可以在计算亮度差分之前和计算出亮度差分之后双方进行上述的平滑滤波。

通过对亮度差分图像实施阈值处理，能够提取被摄体区域。但是，在仅根据亮度差分图像进行被摄体区域的提取时，发生了背景的变化或者被摄体的移动的部分将被误判定为被摄体区域。将该被误判定为被摄体区域的部分称作伪信号的区域。

在本发明中，如以下说明的那样，通过一并利用纹理变化来判别伪信号的区域和被摄体的区域，能够仅提取被摄体区域。

纹理变化计算部22依次读出图像存储器14中蓄积的多个图像，对于构成各图像的像素分别求出纹理特征F，计算通过2个不同时刻的摄像而得到的2幅图像间的纹理变化dF，将计算出的纹理变化dF提供给被摄体提取部23。

上述的“2个不同时刻”具体地讲是指前后的帧期间。因此，在本实施方式中，2个不同时刻的摄像是指2个不同的照明条件下的图像Ga、Gb。但是，在计算纹理变化dF时，照明条件不同并不重要，时刻不同才是重要的，因而有时为了强调该情况而称作“2个不同时刻”。

纹理变化计算部22如图4所示包含CSLBP特征计算部221、CSLBP特征存储器222、纹理特征计算部223、特征变化处理部225、纹理特征存储器224、纹理变化存储器226。

CSLBP特征计算部221从图像存储器14读出通过各个时刻(帧期间)的摄像而得到的图像，对于读出的图像的各像素计算CSLBP特征B，将计算出的CSLBP特征B蓄积到CSLBP特征存储器222中。

纹理特征计算部223读出与CSLBP特征存储器222中蓄积的各图像的各像素有关的CSLBP特征B，计算与该图像的各像素有关的纹理特征F，蓄积到纹理特征存储器224中。

特征变化处理部225从纹理特征存储器224读出与2幅图像的相同像素(相同位置的像素)有关的纹理特征F，计算图像间的纹理特征F的变化(纹理变化)dF，将计算出的纹理变化dF蓄积到纹理变化存储器226中。蓄积的纹理变化dF以后提供给被摄体提取部23。

由纹理特征计算部223计算出的纹理特征F是与被摄体或者背景的观察方式有关的特征，是表示对照明条件的依存度较低的表面的图案或者凹凸、反射率差异的特征。

例如，对于图像上的各像素(关注像素)，利用将以关注像素为中心的区域(特征提取区域)内的特定位置的像素的亮度值的相关关系数值化而得到的特征向量表示纹理特征F。

作为表示纹理特征F而能够使用的特征向量，优选对照明变化耐受性较强的(不易受到照明变化的影响的)特征向量，例如是由特征提取区域内的亮度梯度的直方图构成的HOG(Histogram of Gradient：梯度直方图)特征向量、或者由将特征提取区域内的亮度梯度二进制代码化而得到的LBP(Local Binary Pattern：局部二值模式)的直方图构成的特征向量。

以下，对于各像素，对以该像素为中心的正方形的特征提取区域内的像素求出将LBP扩展而得到的CSLBP(Center Symmetric LBP：中心对称局部二值模式)特征的直方图，用作纹理特征F。CSLBP的直方图仿照非专利文献1进行计算。

在计算与各像素有关的CSLBP特征B时，需要以该像素为中心的3×3像素的亮度值。

另外，在计算各像素的纹理特征时，需要与以该像素为中心的特征提取区域内的全部像素有关的CSLBP特征B。

因此，对位于图像周缘部的像素不能计算纹理特征。

以下，假设特征提取区域的纵向和横向的尺寸L都是40像素。并且，图像的尺寸如上所述是横向640像素、纵向480像素，对于通过去除从纵向的端部起20像素的部分以及从纵向的端部起20像素的部分而形成的横向600像素、纵向440像素的范围内的全部像素，分别计算纹理特征F。用M表示计算出纹理特征F的区域的横向的像素数(600)，用N表示纵向的像素数(440)。

以下，有时也将上述的横向600像素、纵向440像素的范围内的全部像素简称作图像的全部像素。

以下，说明与各像素有关的纹理特征F的计算方法的一例。

首先，参照图5说明CSLBP特征计算部221对CSLBP特征B的计算。

对图像上的全部像素计算CSLBP特征B，但与图像周缘相邻的像素(从图像周缘数起第1个像素)除外。

图5是对在与各像素Pc(x、y)有关的CSLBP特征B的计算中使用的、以该像素为中心的3×3像素的区域内的像素标注有编号的图。

与像素Pc(x、y)有关的CSLBP特征B(x、y)，是使用以该像素为中心的3×3个像素的亮度值根据式(1)计算出的。

[数式1]

B(x，y)＝s(n0-n4)×2⁰+s(n1-n5)×2¹+s(n2-n6)×2²+s(n3-n7)×2³

…(1)

在式(1)中，n0～n7分别表示图5所示的像素n0～n7的亮度值。

另外，s(a)是阈值函数，在a>T1时s(a)＝1，在除此以外的情况下s(a)＝0。

另外，由于s(a)为0或者1，因而CSLBP特征B(x、y)是整数，CSLBP特征B(x、y)可取的值的范围是

根据非专利文献1，阈值T1例如优选是亮度值可取的值的约1％，在亮度值取0～255的值的情况下，设定成T1＝3。

图6的(a)～(h)示出对以不同的照明条件拍摄到的图像计算CSLBP特征的结果、以及该图像的亮度直方图的例子。图6的(a)、(b)示出以照明条件A拍摄到的图像Ga的例子及亮度直方图，图6的(c)、(d)示出根据图6的(a)的图像计算出的CSLBP特征及CSLBP特征的直方图，图6的(e)、(f)示出以照明条件B拍摄到的图像Gb的例子及亮度直方图，图6的(g)、(h)示出根据图6的(e)的图像计算出的CSLBP特征及CSLBP特征的直方图。如图6的(c)、(d)、(g)、(h)所示，即使改变照明条件，CSLBP特征的变化也较小，对照明条件的变化耐受性较强。因此，在对2个图像计算出CSLBP特征的情况下，与摄像照射控制部11决定的照明条件无关，只要是相同的背景、被摄体，CSLBP特征就是极其接近的值。

另一方面，当在2幅图像之间背景变化的情况下或者被摄体移动的情况下，上述背景变化的区域或者被摄体移动的区域中包含的如下像素中的CSLBP特征的值变化。

Pc(xc、yc)，

xc∈{0、1、…、W-1}，yc∈{0、1、…、H-1}。

使用CSLBP特征如后所述计算出的纹理特征也具有同样的性质。

通过对图像上的各像素计算纹理特征F，能够掌握图像上的局部区域内的纹理特征。另外，通过按照每个局部区域比较纹理特征，能够确定纹理特征变化的区域。

因此，为了由亮度变化计算部21提取基于照明条件的亮度变化，需要使用照明条件不同的2幅图像，相比之下，在由纹理变化计算部22提取纹理变化dF时，不需要使用照明条件不同的2幅图像，只要是摄像时刻不同的2幅图像即可，摄像时刻不同的2幅图像也可以是相同照明条件下的图像。

然而，以下假设纹理变化计算部22使用与亮度变化计算部21使用的图像相同的图像计算纹理变化dF进行说明。即，假设使用照明条件A和照明条件B的2幅图像Ga、Gb计算纹理变化dF进行说明。

纹理特征计算部223生成与以各像素为中心的特征提取区域中包含的各个像素有关的CSLBP特征的多个直方图，生成通过将生成的多个直方图合成而得到的数值列作为特征向量。

纹理特征计算部223例如如图7所示具有区域分割部2211、第1CSLBP特征读出部2212-1～第16CSLBP特征读出部2212-16、第1直方图生成部2213-1～第16直方图生成部2213-16、连接部2214、归一化部2215、限制(clip)部2216。

区域分割部2211将以各像素为中心的特征提取区域AF如图8所示在纵向和横向上分割成4个，生成16个单元CA。在本例中，特征提取区域AF如上所述是40像素×40像素，因而各单元CA的尺寸是10像素×10像素。

将16个单元CA分别分配给第1CSLBP特征读出部2212-1～第16CSLBP特征读出部2212-16。

在各CSLBP特征读出部2212-i(i＝1～16)中，从CSLBP特征存储器222读出与位于被分配给该CSLBP特征读出部2212-i的单元内的10×10个像素中的各个像素有关的CSLBP特征。

将由各CSLBP特征读出部2212-i读出的与10×10个像素中的各个像素有关的CSLBP特征，提供给对应的直方图生成部2213-i。

在直方图生成部2213-i中，对于由对应的CSLBP特征读出部2212-i读出的CSLBP特征，求出其每个值的出现频度，由此生成直方图。CSLBP特征具有0～15的值，因而生成16针(pin)的直方图。

在连接部2214中，将由第1直方图生成部2213-1～第16直方图生成部2213-16生成的直方图连接，生成16×16＝256针的直方图，将该直方图作为256维的特征向量进行输出。

归一化部2215对从连接部2214输出的256维的特征向量进行归一化，以使向量长度为1。

在设构成特征向量的256个元素中的各个元素为v_i(i＝0～255)时，向量长度V_L由下面的式(2)给出。

[数式2]

归一化后的各元素的值v_ni由下面的式(3)给出。

[数式3]

限制部2216对归一化后的向量的各元素实施阈值处理(限制)，对于具有大于T2的值的元素，将其值设为T2。根据非专利文献1，T2例如是T2＝0.2。

另外，在上述的例子中设有16个CSLBP读出部，但也可以设置少于16个的CSLBP读出部，使各CSLBP读出部依次读出与2个以上的单元内的全部像素有关的CSLBP特征。例如，也可以使1个CSLBP读出部依次读出与16个单元内的全部像素有关的CSLBP特征。同样，也可以替代设置16个直方图生成部而设置少于16个的直方图生成部，使各直方图生成部生成与2个以上的单元有关的直方图。例如，也可以使1个直方图生成部依次生成与16个单元有关的直方图。

纹理特征计算部223将上述限制后的特征向量作为与位于特征提取区域中心的像素有关的纹理特征F进行输出。

纹理特征计算部223对各图像的各像素进行上述的处理，将计算出的纹理特征F蓄积到纹理特征存储器224中。

特征变化处理部225从纹理特征存储器224读出与2幅图像(即通过时刻t1a的摄像而得到的图像Ga和通过时刻t1b的摄像而得到的图像Gb)有关的纹理特征F，计算图像间的纹理特征F的变化(纹理变化)dF。将计算出的纹理变化dF蓄积到纹理变化存储器226中。蓄积的纹理变化dF以后提供给被摄体提取部23。

如上所述，对图像周缘部以外的各像素计算纹理特征F，计算与相同位置的像素有关的纹理特征在2幅图像间的变化作为纹理特征F的变化。

纹理特征F的变化例如是通过对2幅图像比较各像素的256维的特征向量而求出的。特征向量的变化例如利用2个特征向量间的距离进行定义。向量间距离例如使用欧几里得距离或者曼哈顿距离。

下面，对使用曼哈顿距离计算特征向量的变化的情况进行说明。时刻t1a的特征向量F(t1a)与时刻t1b的特征向量F(t1b)之间的曼哈顿距离dF(t1a、t1b)，是通过计算2个特征向量的对应元素之间的差的绝对值的总和而求出的。即，曼哈顿距离dF(t1a、t1b)由下面的式(4)给出。

[数式4]

在式(4)中，

f_aj(j＝1～J)是特征向量F(t1a)的元素，

f_bj(j＝1～J)是特征向量F(t1b)的元素，

j的值相同的元素f_aj和元素f_bj相互对应。

J是各特征向量F(t1a)或者F(t1b)的元素f_aj或者元素f_bj的总数，在本例中，J＝256。

特征变化处理部225如上所述对各像素求出特征向量间距离，作为纹理变化dF蓄积到纹理变化存储器226中。蓄积的纹理变化dF以后提供给被摄体提取部23。

纹理特征F不易由于照明变化而产生变化，因而在背景变化的情况下或者被摄体移动的情况下，纹理变化dF增大。因此，能够判断出在照明条件A的图像与照明条件B的图像之间计算出的纹理变化dF是因背景变化而引起的纹理特征的变化或者因被摄体移动而引起的纹理特征的变化。

被摄体提取部23根据从图像存储器14读出的图像G、从亮度变化计算部21提供的亮度变化dI以及从纹理变化计算部22提供的纹理变化dF，提取被摄体区域。

被摄体提取部23如图9所示具有亮度变化比较部231、纹理变化比较部232、区域判定部233、门部234。

亮度变化比较部231判定与各像素有关的亮度变化dI是否大于阈值TI。

纹理变化比较部232判定与各像素有关的纹理变化dF是否大于阈值TF。

区域判定部233根据与各像素有关的亮度变化比较部231的判定结果和纹理变化比较部232的判定结果，进行该像素是属于被摄体区域(位于该区域内)的像素、还是属于背景区域、还是属于因被摄体移动或者背景变化而引起的伪信号区域的判定。

即，在亮度变化比较部231的判定结果表示是阈值TI以下的情况下，判定该像素属于背景区域。

在亮度变化比较部231的判定结果表示大于阈值TI且纹理变化比较部232的判定结果表示在阈值TF以下的情况下，判定该像素属于被摄体区域。

在亮度变化比较部231的判定结果表示大于阈值TI且纹理变化比较部232的判定结果表示大于阈值TF的情况下，判定该像素属于伪信号区域。

门部234将构成图像G的像素中的由区域判定部233判定为属于被摄体区域的像素的亮度值，作为被摄体区域内的像素的亮度值进行输出。

由从门部234输出的像素即被判定为属于被摄体区域的像素的集合构成被摄体区域。

通过这样的处理，门部234将从图像存储器14读出的图像G中的与被摄体区域一致的部分，作为被摄体区域H的提取结果进行输出。被摄体区域H的提取结果表示被摄体区域H的图像。

对通过以上的处理进行被摄体区域的提取是适当的理由进行说明。

首先，说明照明条件的变化、背景的变化以及被摄体的移动与基于这些因素的图像上的亮度变化以及纹理变化的关系。如图10所示，在使照明条件变化时，产生被摄体区域的亮度变化。

另一方面，当存在背景的变化或者被摄体的移动时，在具有变化或者移动的区域(例如边缘的位置因移动而变化的部分)中产生亮度变化。因此，如果将具有亮度变化的部分全部判定为被摄体区域，则将导致存在背景的变化或者被摄体的移动的区域也被误检测为被摄体区域。因此，在本发明中还进行基于纹理变化的判定，进行被摄体区域和亮度因背景的变化或者被摄体的移动而变化的区域的判别。

即，如参照图6的(c)、(d)、(g)、(h)说明的那样，在被摄体区域中，不产生伴随照明条件变化的纹理变化(图10)。另一方面，在背景变化或者被摄体移动时，在变化或者移动的部分产生纹理的变化(图10)。根据该差异，能够进行被摄体区域和亮度因背景的变化或者被摄体的移动而变化的区域的区分。

由此，在产生了亮度变化的区域中，未产生纹理变化的区域是由于照明变化而产生了亮度变化的区域，因此，能够判定为是构成被摄体的部分。另一方面，能够判定为与亮度变化一起产生了纹理变化的区域是因背景的变化或者被摄体的移动而产生了亮度变化的区域即伪信号区域。

使用上述的判定方法，被摄体提取部23根据亮度变化dI和纹理变化dF提取被摄体区域。

例如，对亮度变化dI的大小设定阈值TI，在亮度变化比较部231中，将被判断为亮度变化dI大于阈值TI的像素判断为是产生了“产生了亮度变化的像素”的像素。同样，例如对纹理变化dF的大小设定阈值TF，在纹理变化比较部232中，将被判断为纹理dF大于阈值TF的像素判断为“产生了纹理变化的像素”。

另外，在区域判定部233中，将由亮度变化比较部231判定为产生了亮度变化且由纹理变化比较部232判定为未产生纹理变化的像素，判定为是属于被摄体区域的像素。

在这种情况下，区域判定部233中的判定是按照以下的基准进行的。

(a)产生了亮度变化且产生了纹理变化的像素是属于伪信号区域的像素。

(b)产生了亮度变化且未产生纹理变化的像素是属于被摄体区域的像素。

(c)除了(a)、(b)以外的像素即未产生亮度变化的像素是属于背景区域的像素。

但是，由于目的是提取被摄体区域，因而能够仅进行基于上述(b)的判定，省略基于上述(a)、(c)的判定。

门部234从图像存储器14读出在亮度计算中使用的图像中的任意一方，将读出的图像中的由区域判定部233判定为属于被摄体区域的像素的亮度值，作为被摄体区域H的提取结果进行输出。

在以上的例子中，由区域判定部233对与各像素有关的亮度变化比较部231的判定结果和纹理变化比较部232的判定结果进行组合，由此进行该像素是否属于被摄体区域的判定。即，按照每个像素进行亮度变化比较部231、纹理变化比较部232以及区域判定部233的判定。

也可以用如下的方式替代：按照每个图像(按照每帧)进行亮度变化比较部231、纹理变化比较部232以及区域判定部233的判定。即，也可以是，在亮度变化比较部231中提取与图像整体有关的产生了亮度变化的像素的集合作为亮度变化区域，在纹理变化比较部232中提取与图像整体有关的产生了纹理变化的像素的集合作为纹理变化区域，在区域判定部233中将由属于亮度变化区域且不属于纹理变化区域的像素构成的区域判定为被摄体区域H。

在这种情况下，区域判定部233中的判定是按照以下的基准进行的。

(a)产生了亮度变化且产生了纹理变化的区域是伪信号区域。

(b)产生了亮度变化且未产生纹理变化的区域是被摄体区域。

(c)除了(a)、(b)以外的区域即未产生亮度变化的区域是背景区域。

但是，由于目的是提取被摄体区域，因而能够仅进行基于上述(b)的判定，省略基于上述(a)、(c)的判定。

门部234从图像存储器14读出在亮度计算中使用的图像中的任意一方，将读出的图像中的属于由区域判定部233判定为被摄体区域H的区域的像素的亮度值，作为被摄体区域H的图像的亮度值进行输出。

另外，在亮度变化比较部231中使用的阈值TI和在纹理变化比较部232中使用的阈值TF可以不是固定的值，例如也可以利用公知的技术自适应地进行修正。例如，也可以使用百分位数法、模式法、判别分析法等对亮度变化dI或者纹理变化dF的集合设定阈值。

如前所述，有时从摄像部13取得的图像包含大量因摄像元件的暗电流而引起的噪声或者电荷的读出噪声，从亮度变化计算部21提供的亮度变化和从纹理变化计算部22提供的纹理变化包含噪声。

因此，被摄体提取部23例如也可以使用未图示的平滑滤波器对亮度变化dI实施平滑滤波，然后进行亮度变化比较部231的阈值处理。另外，当由亮度变化比较部231进行了每个图像的处理的情况下，也可以在进行了亮度变化比较部231的阈值处理后实施平滑滤波。

同样，例如也可以使用未图示的平滑滤波器对纹理变化dF实施平滑滤波，然后进行纹理变化比较部232的阈值处理。另外，当由纹理变化比较部232进行了每个图像的处理的情况下，也可以在进行了纹理变化比较部232的阈值处理后实施平滑滤波。

此外，当由区域判定部233进行了每个图像的处理的情况下，也可以对区域判定部233的判定结果实施平滑滤波。

平滑滤波器例如能够使用高斯滤波器或者中值滤波器。

下面，参照图11的(a)～(e)和图12的(a)～(e)说明被摄体提取部23提取被摄体区域的动作的例子。在此，假设被摄体是人手的情况。

首先，参照图11的(a)～(e)说明被摄体不移动且背景因背景元素的消失而变化时的被摄体区域的提取动作。图11的(a)～(e)是示出背景由于在时刻t1a与时刻t1b之间构成背景的元素B1消失而变化时的摄像图像、亮度变化量、纹理变化量以及提取出的被摄体区域的图。

图11的(a)、(b)分别是示出在时刻t1a、t1b的摄像图像并且用曲线(横轴为图像坐标系的x轴方向、纵轴为亮度)示出沿着线BL的部分的亮度的图。图11的(c)是用白色示出在时刻t1a与时刻t1b之间亮度变化的区域并且用曲线(横轴为图像坐标系的x轴方向、纵轴为亮度变化量)示出沿着线BL的部分的亮度变化量的图。图11的(d)是用白色示出在时刻t1a与时刻t1b之间纹理变化的区域并且用曲线(横轴为图像坐标系的x轴方向、纵轴为纹理变化量)示出沿着线BL的部分的纹理度变化量的图。图11的(e)是用白色示出提取出的被摄体区域的图。

图11的(a)所示的时刻t1a的图像是以照明条件A拍摄到的图像Ga，图11的(b)所示的时刻t1b的图像是以照明条件B拍摄到的图像Gb。

被摄体H从时刻t1a到时刻t1b静止。背景中的背景元素B1在时刻t1a存在，但在时刻t1b不存在。例如，相当于背景元素B1是太阳，在时刻t1a处于能看到的状态，在时刻t1b被楼宇影子遮挡的情况。

背景元素B1非常亮，因而不会受到照射部12发出的光的影响。背景中的除了背景元素B1以外的部分(背景部分)B2与照射部12和摄像部13充分地分开距离，因而不会受到照射部12发出的光的影响。

参照图11的(a)、(b)的摄像图像、图11的(c)的亮度变化、图11的(d)的纹理变化，说明被摄体H、背景元素B1和背景元素B1以外的部分B2的亮度变化以及纹理变化。

照明条件A与照明条件B相比，照射部12发出的光的强度大，因而时刻t1a的被摄体H的亮度大于时刻t1b的被摄体的亮度。因此，被摄体H被作为如图11的(c)所示产生了亮度变化的区域而提取出来。另一方面，在被摄体H中不产生因照明条件的变化而引起的纹理特征的变化。因此，被摄体H不被作为产生了纹理变化的区域而提取出来(图11的(d))。

背景元素B1的明亮度和纹理特征与背景部分B2不同，在背景元素B1中，背景元素B1从时刻t1a到时刻t1b消失的区域被作为产生了亮度变化的区域而提取出来(图11的(c))，并且被作为产生了纹理变化的区域而提取出来(图11的(d))。

背景部分B2(严格地讲，是指时刻t1b的背景中的除了在时刻t1a存在背景元素B1的区域以外的区域)从时刻t1a到时刻t1b亮度和纹理都不变，因此，既不被作为亮度变化区域而提取出来，也不被作为纹理变化区域而提取出来(图11的(c)和图11的(d))。

在将产生了亮度变化且未产生纹理变化的区域判定为被摄体区域，将产生了亮度变化且产生了纹理变化的区域判定为伪信号区域时，能够将被摄体区域从背景元素B1消失的区域中区分出来，如图11的(e)所示，能够仅提取被摄体区域H。

下面，参照图12的(a)～(e)说明被摄体移动时的被摄体区域的提取动作。图12的(a)～(e)是示出被摄体H在时刻t1a与时刻t1b之间移动，与此同时背景由于构成背景的元素B1移动而变化时的摄像图像、亮度变化量、纹理变化量以及提取出的被摄体区域的图。

图12的(a)、(b)分别是示出时刻t1a、t1b的摄像图像并且用曲线(横轴为图像坐标系的x轴方向、纵轴为亮度值的大小)示出沿着线BL的部分的亮度的图。图12的(c)是用白色示出亮度在时刻t1a与时刻t1b之间变化的区域并且用曲线(横轴为图像坐标系的x轴方向、纵轴为亮度变化量)示出沿着线BL的部分的亮度变化量的图。图12的(d)是用白色示出纹理在时刻t1a与时刻t1b之间变化的区域并且用曲线(横轴为图像坐标系的x轴方向、纵轴为纹理变化量)示出沿着线BL的部分的纹理度变化量的图。图12的(e)用白色示出提取出的被摄体区域。

图12的(a)所示的时刻t1a的图像是以照明条件A拍摄到的图像Ga，图12的(b)所示的时刻t1b的图像是以照明条件B拍摄到的图像Gb。

被摄体H从时刻t1a到时刻t1b向右移动。

背景中的背景元素B1与被摄体H同样地从时刻t1a到时刻t1b向右移动。

背景元素B1非常亮，因而不会受到照射部12发出的光的影响。背景中的除了背景元素B1以外的部分B2与照射部12和摄像部13充分地分开距离，因而不会受到照射部12发出的照明光的影响。

参照图12的(a)、(b)的摄像图像、图12的(c)的亮度变化、图12的(d)的纹理变化，说明被摄体H、背景元素B1和背景元素B1以外的部分B2的亮度变化以及纹理变化。

照明条件A与照明条件B相比，照射部12照射的光的强度大，因而时刻t1a的被摄体H的亮度大于时刻t1b的被摄体的亮度。因此，在图12的(c)所示的亮度变化结果中，被作为产生了亮度变化的区域而提取出来。另外，由于被摄体H正在移动，因而被摄体区域左右的边界部分(由于移动而从被摄体变成背景的部分以及从背景变成被摄体的部分)被作为产生了亮度变化的区域而提取出来(图12的(c))。即，在被摄体区域左侧的边界部分(从背景变成被摄体的部分)中，由于照明条件B的被摄体的明亮度与背景部分B2的明亮度的差异，检测出亮度变化，在被摄体区域右侧的边界部分(从被摄体变成背景的部分)中，由于照明条件A的被摄体的明亮度与背景部分B2的明亮度的差异，检测出亮度变化。

另外，由于被摄体H正在移动，因而根据背景部分B2与被摄体H的纹理特征的差异，被摄体H左右的边界部分(从背景变成被摄体的部分以及从被摄体变成背景的部分)被作为纹理变化区域而提取出来(图12的(d))。

背景元素B1的明亮度和纹理特征与背景部分B2不同，背景元素B1从时刻t1a到时刻t1b移动，因而背景元素B1左右的边界部分被作为亮度变化区域而提取出来(图12的(c))，并且被作为纹理变化区域而提取出来(图12的(d))。

背景部分B2(严格地讲，是指在时刻t1a和时刻t1b都不是背景元素B1的一部分的区域)从时刻t1a到时刻t1b亮度和纹理都不变，因此，既不被作为亮度变化区域而提取出来，也不被作为纹理变化区域而提取出来(图12的(c)、图12的(d))。

在将产生了亮度变化且未产生纹理变化的区域判定为被摄体区域，将产生了亮度变化且产生了纹理变化的区域判定为伪信号区域时，能够将被摄体的区域从被摄体H的边界部分(亮度变化的部分)和背景元素B1的边界部分(亮度变化的部分)中区分出来，如图12的(e)所示能够仅提取被摄体区域H。

如上所述，在本发明中，能够根据亮度变化和纹理变化将被摄体区域不仅从背景区域区分出来，而且从伪信号区域区分出来，能够高精度地提取被摄体区域。

另外，被摄体或者背景元素(构成背景的物体等)的表面具有图案或者凹凸、反射率的差异，在亮度不均的情况下，由于被摄体或者背景元素的移动，不仅在区域边界附近，而且在被摄体区域或者背景的区域内部，纹理特征也变化。但是，在本实施方式中，在计算纹理特征时，对各像素设置有特征提取区域并计算纹理特征。不是根据各像素及与其相邻的像素进行判定，而是根据更广范围的像素进行判定，因而被摄体或者背景元素的移动对被摄体区域或者背景区域内的纹理特征的变化产生的影响较小。另一方面，区域边界的纹理特征的变化大于区域内部的变化，除非被摄体和背景元素的纹理相似。因此，通过对纹理变化设定阈值处理，能够区分区域内部的纹理变化，仅提取区域边界的纹理变化。

下面，参照图13说明实施方式1的摄像装置的处理顺序。

图13所示的处理是每隔1帧期间进行的，即每1帧期间进行1次。

首先，在各帧期间的摄像之前，在步骤ST1中，摄像照射控制部11生成控制信号C11a、C11b并输出给照射部12和摄像部13。

摄像照射控制部11对照射部12进行控制以按照每帧交替地进行照明条件A的照射和照明条件B的照射。例如，进行控制以在奇数帧以照明条件A进行照射，在偶数帧以照明条件B进行照射。这样的照明条件的控制能够视作如下的控制：将2帧期间作为1个循环，在各个循环的第1个帧以照明条件A进行照明，在第2个帧以照明条件B进行照明。

然后，在步骤ST2中，照射部12根据来自摄像照射控制部11的控制信号C11a进行照射。通过该照射，生成与控制信号C11a对应的照明条件。

然后，在步骤ST3中，执行在步骤ST2中生成的照明条件下进行的摄像，取得摄像图像并存储到图像存储器14中。

然后，在步骤ST4中，亮度变化计算部21的亮度特征量计算部211从图像存储器14读出最新的图像，求出已读出的图像的亮度特征量Im。将计算出的亮度特征量Im存储到亮度特征量存储器212中。

与步骤ST4的处理并行地，在步骤ST5中，纹理变化计算部22的CSLBP特征计算部221从图像存储器14读出最新的图像，计算已读出的图像的各像素的CSLBP特征B。并且，将计算出的CSLBP特征B存储到CSLBP特征存储器222中。

然后，在步骤ST6中，纹理变化计算部22的纹理特征计算部223从CSLBP特征存储器222读出与最新的图像的各像素有关的CSLBP特征B，根据已读出的CSLBP特征B计算与相同图像内的各像素有关的纹理特征F。并且，将计算出的纹理特征F存储到纹理特征存储器224中。

然后，在步骤ST7中，亮度变化计算部21的照明条件判定部213从亮度特征量存储器212读出最新的图像的亮度特征量Im和1帧前的图像的亮度特征量Im并进行比较，判定哪幅图像的亮度特征量Im更高，根据判定的结果判定哪幅是照明条件A的图像Ga，哪幅是照明条件B的图像Gb。将该判定的结果CNa提供给差分计算部215。

在步骤ST7之后，进入步骤ST8、ST9。

在步骤ST8中，亮度变化计算部21的差分计算部215从图像存储器14读出最新的图像(当前帧图像)和1帧前的图像，计算各像素的亮度差分。将计算出的亮度差分作为亮度变化dI存储到亮度变化存储器216中，以后提供给被摄体提取部23。

在计算差分时，根据在步骤ST7的判定结果，从照明条件A的图像(在步骤ST7中被判定为亮度特征量Im更高的图像)Ga的各像素的亮度值，减去照明条件B的图像(在步骤ST7中被判定为亮度特征量Im更低的图像)Gb的相同位置的像素的亮度值。在相减的结果为负的情况下，设亮度变化为0。

将计算出的各像素的亮度变化dI存储到亮度变化存储器216中。

在步骤ST9中，纹理变化计算部22的特征变化处理部225计算最新的图像与1帧前的图像之间的各像素的纹理变化dF。将计算出的各像素的纹理变化dF存储到纹理变化存储器226中。

在步骤ST8和步骤ST9之后，进入步骤ST10。

在步骤ST10中，被摄体提取部23根据亮度变化dI和纹理变化dF提取被摄体区域。

在提取被摄体区域时，既可以按照每个像素判定各像素是否属于被摄体区域，也可以按照每个图像判定各像素是否属于被摄体区域。以下，首先参照图14说明按照每个像素进行判定时的顺序，然后参照图15说明按照每个图像进行判定时的顺序。

在图14所示的顺序中，首先，在步骤ST11中选择图像中应该作为处理对象的1个像素。在此，是指图像中应该作为处理对象的像素即图像的周缘部以外的像素。以下也是同样的。另外，有时将位于周缘部以外的位置的全部像素也简称作“图像的全部像素”。

例如按照从图像的左上到右下的顺序进行选择。

然后，在步骤ST12中，从亮度变化存储器216读出与选择出的像素(关注像素)有关的亮度变化dI，然后，在步骤ST13中，判定已读出的亮度变化dI是否大于阈值TI(即“有亮度变化”或“无亮度变化”)。

如果不大于阈值TI(如果“无亮度变化”)，则判定为关注像素属于背景区域(ST14)。

如果大于阈值TI，则进入步骤ST15。在步骤ST15中，从纹理变化存储器226读出与关注像素有关的纹理变化dF。

然后，在步骤ST16中，判定已读出的纹理变化dF是否大于阈值TF(“有纹理变化”或“无纹理变化”)。

在判断为不大于阈值TF时(判断为“无纹理变化”时)，判断为关注像素属于被摄体区域(ST17)。

在判断为大于阈值TF时(判断为“有纹理变化”时)，判断为关注像素是被摄体移动的部分或者背景变化的部分即伪信号区域(ST18)。其中，被摄体移动的部分是指在前1帧还是被摄体的一部分的部分在最新的帧中成为背景的一部分的部分、或者在前1帧还是背景的一部分的部分在最新的帧中成为被摄体的一部分的部分。这些部分在本发明中不被视为被摄体的一部分。

然后，在步骤ST19中，进行图像中应该作为处理对象的像素是否已全部被选择的判定，即是否已对全部像素进行了步骤ST12～ST18的处理的判定。如果还有尚未被选择的像素，则返回到步骤ST11。

如果像素已全部被选择，则进入步骤ST20。

在步骤ST20中，将在步骤ST17中被判断为属于被摄体区域的像素的集合作为被摄体区域H的提取结果进行输出。

另外，目的是提取被摄体区域，因而也可以省略步骤ST14、ST18的处理。在这种情况下，当步骤ST13为否的情况下以及步骤ST16为是的情况下，立即进入到步骤ST19。

在图15所示的顺序中，首先，在步骤ST21中依次选择图像中的像素，从亮度变化存储器216读出选择出的像素的亮度变化dI，进行已读出的亮度变化dI是否大于阈值TI(即“有亮度变化”或“无亮度变化”)的判定。并且，提取被判定为“有亮度变化”的像素的集合作为亮度变化区域。

然后，在步骤ST22中依次选择图像中的像素，从纹理变化存储器226读出选择出的像素的纹理变化dF，进行已读出的纹理变化dF是否大于阈值TF(即“有纹理变化”或“无纹理变化”)的判定。并且，提取被判定为“有纹理变化”的像素的集合作为纹理变化区域。

然后，在步骤ST23中，提取属于“亮度变化区域”且不属于“纹理变化区域”的像素的集合，作为“被摄体区域”。

然后，在步骤ST20中，将被判断为属于在步骤ST23中提取出的被摄体区域的像素的集合，作为被摄体区域H的提取结果进行输出。

在上述的例子中，对图像的全部像素计算纹理特征F并存储到纹理特征存储器224中，然后读出与2个图像的相同像素有关的纹理特征F计算纹理变化dF。也可以用如下的方式替代：在计算出与各图像的各像素有关的纹理特征F后，对于与相同像素有关的1帧前的图像中的相同位置的像素，根据在此以前计算出的纹理特征F(例如存储在纹理特征存储器224中)和刚刚计算出的纹理特征F，计算与该像素有关的纹理变化dF。这样，能够缩短从摄像到计算纹理变化dF为止的时间。

在按照这样的顺序进行处理的情况下，使用图16所示的纹理变化计算部22a以替代图4所示的纹理变化计算部22。图16所示的纹理变化计算部22a包含CSLBP特征计算部221、CSLBP特征存储器222、纹理特征计算部223a、纹理特征存储器224、特征变化处理部225a、纹理变化存储器226。

图16中的CSLBP特征计算部221、CSLBP特征存储器222、纹理特征存储器224以及纹理变化存储器226与图4所示的相同。

纹理特征计算部223a依次计算与从图像存储器14读出的各图像的各像素有关的纹理特征F，蓄积到纹理特征存储器224中并且提供给特征变化处理部225a。

特征变化处理部225a对于在最新的图像中选择出的像素(关注像素)，接收由纹理特征计算部223a计算出的纹理特征F，并且接收纹理特征存储器224中存储的前一帧图像中的与相同位置的像素有关的纹理特征F，计算两者间的变化，将计算结果作为纹理变化dF存储到纹理变化存储器226中。存储的纹理变化dF以后提供给被摄体提取部23。

该情况下的处理顺序在图17和图18中示出。

在图17和图18中，与图13相同的标号表示相同或者同样的处理。

即，在图17中，步骤ST1～ST4、ST5、ST7的处理与图13相同。

在步骤ST7之后，进入步骤ST11a。

在步骤ST11a中，选择图像中应该作为处理对象的1个像素。

在步骤ST11a之后，进入步骤ST8a和步骤ST6a。

在步骤ST8a中，对选择出的像素(关注像素)，亮度变化计算部21的差分计算部215读出图像存储器14中存储的最新的图像和1帧前的图像的与关注像素相同位置的像素的亮度值，计算亮度差分，将计算出的亮度差分作为亮度变化dI存储到亮度变化存储器216中。存储的亮度变化dI以后提供给被摄体提取部23。

在步骤ST6a中，纹理特征计算部223a对选择出的像素(关注像素)计算纹理特征F，将计算出的纹理特征F存储到纹理特征存储器224中，并且提供给特征变化处理部225a。

在步骤ST9a中，特征变化处理部225a根据从纹理特征计算部223a提供的与关注像素有关的纹理特征F(在步骤ST6a中计算出的)和纹理特征存储器224中存储的与前一帧图像的相同位置的像素有关的纹理特征F，计算与关注像素有关的纹理变化dF，将计算出的纹理变化dF存储到纹理变化存储器226中。存储的纹理变化dF以后提供给被摄体提取部23。

另外，图13的步骤ST6、ST8、ST9是与构成图像的全部像素有关的处理，相比之下，图17的步骤ST6a、ST8a、ST9a是与选择出的像素有关的处理，这一点不同。

在步骤ST8a、ST9a之后进入步骤ST13。

在步骤ST13中，进行在步骤ST8a中计算出的亮度变化dI是否大于阈值TI(即“有亮度变化”或“无亮度变化”)的判定。

如果不大于阈值dI(如果“无亮度变化”)，则判定为关注像素属于背景区域(ST14)。

如果大于阈值dI，则进入步骤ST16。

在步骤ST16中，进行在步骤ST9a中计算出的纹理变化dF是否大于阈值TF(即“有纹理变化”或“无纹理变化”)的判定。

在判断为不大于阈值TF时(判断为“无纹理变化”时)，判断为关注像素属于被摄体区域(ST17)。

在判断为大于阈值TF时(判断为“有纹理变化”时)，判断为关注像素属于伪信号区域(ST18)。

然后，在步骤ST19中，进行图像中应该作为处理对像的像素是否已全部被选择的判定，即是否已对全部像素进行了步骤ST6a、ST8a、ST9a、ST13、ST14、ST16～ST18的处理的判定。如果还有尚未选择的像素，则返回到步骤ST11a。

如果像素已全部被选择，则进入步骤ST20。

在步骤ST20中，将在步骤ST17中被判断为属于被摄体区域的像素的集合作为被摄体区域H的提取结果进行输出。

另外，与在图13中叙述的情况同样地，也可以省略步骤ST14、ST18的处理。在这种情况下，当步骤ST13为否的情况下以及步骤ST16为是的情况下，立即进入到步骤ST19。

另外，在图17和图18的顺序中，是在步骤ST13之前进行步骤ST6a、ST9a的处理，但也可以用如下的方式替代：当在步骤ST13中作出是的判断后进行步骤ST6a、ST9a的处理，然后进入步骤ST16。

如以上说明的那样，在本实施方式的摄像装置中，摄像照射控制部11输出控制照明条件的控制信号C11a和控制摄像条件的控制信号C11b，照射部12根据控制信号C11a生成2个不同的照明条件，

摄像部13在2个不同的照明条件下拍摄被摄体，亮度变化计算部21计算在不同的照明条件下拍摄到的2幅图像间的亮度变化dI，纹理变化计算部22计算在不同的时刻拍摄到的2幅图像间的纹理变化dF，被摄体提取部23根据亮度变化dI和纹理变化dF判别因照明变化而在被摄体产生的亮度变化和因背景的变化或者被摄体的移动而产生的亮度变化。

因此，能够高精度地进行被摄体区域的提取。

在本实施方式的摄像装置中，存在背景变化或者被摄体移动的区域产生亮度变化和纹理变化，另一方面，在不存在背景变化和被摄体移动的条件下，仅产生因照明变化而引起的亮度变化，通过关注上述特征，将亮度变化较大且纹理变化较小的区域作为被摄体区域，能够排除背景变化和被摄体移动带来的影响，高精度地提取被摄体区域。

另外，采用以第1发光强度发出光的第1照明条件和以比第1发光强度小的第2发光强度发出光的第2照明条件这2种照明条件，因而，能够通过简洁的结构和处理提取利用亮度变化和纹理变化的被摄体区域。

另外，通过使为了亮度变化计算部21计算亮度变化而使用的图像的照明条件和为了纹理变化计算部22计算纹理变化而使用的图像的照明条件一致，能够判别产生亮度变化的原因是基于照明变化还是基于背景变化和被摄体移动，能够更高精度地提取被摄体区域。

在本实施方式的摄像装置中，能够将对想要提取的被摄体适当照射照明光的照射分布作为照明条件的一种，这样能够根据被摄体的位置和尺寸取得适合于计算亮度变化和纹理变化的图像。

另外，能够将根据想要提取的被摄体的反射率照射适当光量的照明光的光强度作为照明条件的一种，这样能够取得适合于计算亮度变化和纹理变化的图像。

另外，能够将上述2个条件双方作为照明条件，这样能够根据被摄体的位置、尺寸以及反射率取得适合于计算亮度变化和纹理变化的图像。

另外，在本实施方式中，是使用对发出的光的强度附加条件而成的2个照明条件(照明条件A和照明条件B)提取被摄体区域，但也可以准备考虑到照明光向被摄体的照射分布的2个照明条件。例如，在摄像图像中的被摄***置已在某种程度上确定的情况下，设定照明条件以对被摄***置适当地配置照明光。另外，也可以根据局部的环境光的变化设定照射分布。照射分布例如可以改变LED的照射角度进行调整，也可以通过选择多个LED中的发光的LED进行调整。

另外，在上述的实施方式中，是在2幅图像间进行亮度变化和纹理变化的计算。但是，本发明不限于此，也可以在3幅以上的图像间进行亮度变化和纹理变化的计算。总之，只要是在多幅图像间进行亮度变化和纹理变化的计算即可。当在3幅以上的图像间进行亮度变化的情况下，作为各个图像采用通过彼此不同的照明条件下的摄像而得到的图像，当在3幅以上的图像间进行纹理变化的情况下，作为各个图像采用通过彼此不同的时刻的摄像而得到的图像。通过彼此不同的时刻的摄像而得到的图像也可以是通过彼此不同的照明条件下的摄像而得到的图像。因此，可以是与在亮度变化的计算中使用的图像相同的图像。

但是，当在亮度变化和纹理变化的计算中使用的图像的数量增加时，存储量或者处理量增加。即，硬件资源增加，处理时间变长。因此，需要考虑这些因素决定在亮度变化和纹理变化的计算中使用的图像的数量。

另外，在本实施方式中，在生成差分图像时，是从照明条件A的图像Ga的亮度值减去照明条件B的图像Gb的亮度值，但不限于此。例如，也可以使用亮度差分的绝对值。

另外，在本实施方式中，是使用与在亮度变化计算中使用的图像相同的图像计算纹理变化，但不限于此。如果是在不同时刻拍摄到的2幅图像，则与照明条件无关，能够通过计算纹理变化而捕捉到背景变化或者被摄体移动。

然而，需要使用在与在亮度变化计算中使用的图像足够近的时机拍摄到的图像。

另外，在本实施方式中，是对图像中的全部像素计算纹理变化dF，但也可以是，根据计算出的亮度变化dI，仅对产生了亮度变化的区域(亮度变化dI大于阈值TI的区域)内的像素计算纹理变化dF。在这种情况下，纹理变化dF的处理量削减。

在上述的实施方式中，是在计算纹理特征时使用以关注像素为中心的正方形的特征提取区域，但特征提取区域的形状不限于此。即，特征提取区域形状也可以是圆形，还可以是四边形以外的多边形。但是，无论何种情况下，都期望是以关注像素为中心的形状。另外，特征提取区域的尺寸也不限于上述的例子。

在上述的实施方式中，是对位于图像周缘部的像素以外的全部像素中的各个像素，进行纹理特征的计算和纹理变化的计算。

但是，本发明不限于此。例如，也可以是，在图像周缘部以外的部分，仅对位于每隔预先设定的间隔的位置处的像素进行纹理特征的计算和纹理变化的计算。例如，也可以在图像中如图19所示描画网格图案，仅对位于其网格点的像素进行纹理特征的计算和纹理变化的计算。

在图19所示的例子中，网格是正方形网格，网格点之间的纵向的间隔和横向的间隔用标号D示出。

如图19所示，在仅对位于网格点的像素进行纹理特征的计算和纹理变化的计算时，对位于网格点以外的位置处的像素，可以使用对位于最近的网格点的像素计算出的纹理特征和纹理变化，作为与位于该网格点以外的位置处的像素有关的纹理特征和纹理变化。

另外，在上述的实施方式中说明的对全部像素进行纹理特征的计算和纹理变化的计算的例子，与图19中D为1个像素的情况相当。

另外，作为纹理特征和纹理变化的计算对象的像素，不限于图像中位于网格点的像素。

另外，作为纹理特征和纹理变化的计算对象的像素彼此的间隔即这样的像素的密度，在图像整体中也可以是不均匀的。例如，如果预先得知在图像中存在被摄体的位置，则可以使作为纹理特征和纹理变化的计算对象的像素密度在该区域附近增大，使作为纹理特征和纹理变化的计算对象的像素密度在除此以外的区域减小。

在上述的实施方式中，在计算纹理特征时，是将特征提取区域分割成4×4个单元。但是，单元的个数不限于此。例如，通过增多单元的数量而进一步减小各个单元，增加特征提取区域内的单元的数量，能够得到更加详细的纹理特征，然而特征向量的维数增加，因而处理负荷增加。考虑这些因素和适用本发明的装置的特性，决定单元的数量和尺寸即可。

在上述的实施方式中，是根据图像的亮度特征量(例如亮度平均值)判定从图像存储器14读出的图像的照明条件，但本发明不限于此。

例如，也可以与提供给照射部12的控制信号C11a同样地，向摄像部13提供表示照明条件(例如发光强度)的信号，摄像部13根据上述信号判定照明条件，在向图像存储器14存储摄像图像时附加表示照明条件的信息(附加信息)，亮度变化计算部21在从图像存储器14读出图像时，根据上述的附加信息判定图像的照明条件。

在上述的实施方式中，是从图像存储器14读出在亮度计算中使用的图像中的任意一方，将读出的图像中的与由被摄体提取部23提取出的被摄体区域一致的部分作为提取结果(被摄体画像)。但是，本发明不限于此。

例如，也可以将由亮度变化计算部21计算出的亮度变化构成的图像(将全部像素的亮度变化与各个像素同样地排列而成的图像)，即亮度差分图像中的与由被摄体提取部23提取出的被摄体区域一致的部分，作为提取结果(被摄体画像)。亮度差分图像被去除环境光的影响，因而只要将从亮度差分图像提取出的图像作为被摄体画像，则在这一点上是有利的。

另外，在上述的实施方式中，是亮度变化计算部21从图像存储器14读出最新的图像和1帧前的图像，在2幅图像之间计算各像素的亮度变化。其结果是，在照明条件A的图像Ga与其之后的照明条件B的图像Gb之间计算亮度变化，并且在上述照明条件B的图像Gb与其之后的照明条件A的图像Ga之间也计算亮度变化。这对于纹理变化也是同样的。

也可以构成如下的亮度变化计算部21来替代上述的方式，该亮度变化计算部21在照明条件A的图像Ga与其紧后的帧的照明条件B的图像Gb之间计算亮度变化，在照明条件A的图像Ga与其紧前的帧的照明条件B的图像Gb之间不计算亮度变化。换言之，只要最新的图像是照明条件B的图像B，其紧前的图像是照明条件A的图像Ga，就可以进行亮度变化的计算。同样，纹理变化计算部22也可以构成为，只要最新的图像是照明条件B的图像Gb，其紧前的图像是照明条件A的图像Ga，就进行纹理变化的计算。

在这种情况下，使用图20所示的顺序以替代图13所示的顺序。在图20中，进行步骤ST7a以替代图13的步骤ST7。在步骤ST7a中，进行最新的图像是否是照明条件B的图像Gb的判定，如果判定结果为否，则结束该帧的处理，如果判定结果为是，则进行从步骤ST8、ST9起的处理。

另外，反之也可以是，只要最新的图像是照明条件A的图像Ga，其紧前的图像是照明条件B的图像Gb，就进行亮度变化和纹理变化的计算。

实施方式2

图21是示出本发明的实施方式2的摄像装置的结构的框图。图21所示的摄像装置与图1所示的摄像装置大致相同，不同之处在于，追加目标值计算部24，具有摄像照射控制部11b以替代摄像照射控制部11。与图1相同的标号表示相同或者相当的部分，因而省略说明。

在图1所示的摄像装置中，照明条件和摄像条件是固定的，而在本实施方式的摄像装置中，目标值计算部24根据纹理变化、被摄体区域的提取结果和摄像图像的亮度特征量，调整照明条件和摄像条件中的至少任意一方，由此相对于环境光或者背景的变化提高被摄体区域的提取精度。

调整与照明条件或者摄像条件相关的目标值，进行控制以使与照明条件或者摄像条件相关的实际值与目标值一致，由此，进行照明条件或者摄像条件的调整。

摄像照射控制部11b被从目标值计算部24提供与照明条件和摄像条件相关的目标值信号Q，根据目标值信号Q生成控制信号C11a并输出给照射部12，并且生成控制信号C11b并输出给摄像部13。

目标值计算部24从图像存储器14读出在2个照明条件下拍摄到的图像，并且从纹理变化计算部22提供纹理变化dF，进而从被摄体提取部23提供被摄体区域的提取结果，根据这些输入计算照明条件和摄像条件中的至少任意一方的目标值，将表示计算出的目标值的目标值信号Q输出给摄像照射控制部11b。

目标值计算部24输出给摄像照射控制部11b的目标值信号Q，用于在摄像照射控制部11b中生成控制信号C11a、C11b。目标值信号Q例如表示照明光的照射分布的形状、照明光的发光强度、照明光的发光期间、摄像部的曝光时间、光圈以及增益中的至少任意一方的目标值。但是，目标值信号Q不限于表示直接示出照明光的照射分布的形状、照明光的发光强度、照明光的发光期间、摄像部的曝光时间、光圈以及增益的数值(绝对值)的目标值的信号，也可以表示相对值的目标值，还可以将绝对值或者相对值代码化。以下，假设目标值信号Q表示照明光的发光强度的目标值进行说明。

目标值计算部24计算上述的目标值，使得摄像部13能够取得适合于亮度变化计算部21计算亮度变化dI以及纹理变化计算部22计算纹理变化dF的图像。

目标值计算部24计算出的目标值被蓄积在内部的目标值存储器244(后述)中。

在摄像照射控制部11b进行照明条件或者摄像条件的控制时，目标值计算部24读出目标值存储器244中蓄积的目标值，将表示已读出的目标值的目标值信号Q提供给摄像照射控制部11b。

目标值计算部24如图22所示具有被摄体内变化区域提取部241、面积判定部242、目标值调整部243、目标值存储器244。

被摄体内变化区域提取部241提取位于从被摄体提取部23输出的被摄体区域H内部的、纹理变化dF较大的区域RLH。

在此，根据从纹理变化计算部22输出的纹理变化dF，判定纹理变化是否较大。

例如，将上述的纹理变化dF大于阈值TFa的区域判定为纹理变化区域RLH，将除此以外的区域判定为无变化区域RLL。

为了与在被摄体提取部23中判定为纹理变化dF大于阈值TF的区域(纹理变化区域)区分，将在被摄体内变化区域提取部241中判定为纹理变化dF大于阈值TFa的区域称作被摄体内变化区域。

另外，将阈值TFa设定成例如满足TFa<TF。通过这样设定阈值TFa，在被摄体提取部23中使用阈值TF提取出的被摄体区域(被判定为亮度变化dI为阈值TI以上且纹理变化dF为阈值TF以下的区域)中，能够提取纹理变化dF大于另一个阈值TFa的区域(被摄体内变化区域)RLH。

面积判定部242进行由被摄体内变化区域提取部241提取出的被摄体内变化区域RLH的面积(例如该区域RLH中包含的像素的数量)是否为阈值TAa以上的判定，并输出判定结果。

被摄体区域内的纹理变化dF表示照明条件变化的图像间的纹理变化，能够判断为被摄体内变化区域RLH是纹理特征由于照明条件的变化而变化的区域。

纹理特征通常因照明条件的变化而引起的变化较小，但是尽管如此，在纹理特征由于照明条件的变化而变化达某种程度以上的情况下，即在被摄体内变化区域RLH的面积为阈值TAa以上的情况下，判断为需要调整(变更)照明条件或者摄像条件。

在面积判定部242判定为被摄体内变化区域RLH的面积为阈值TAa以上时，目标值调整部243根据其判定结果计算新的目标值。

将新的目标值设定成发光强度之差在2个照明条件A、B下减小。例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像计算纹理变化dF，则分别按照式(5)和式(6)所示调整照明条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)、以及照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)。通过这样调整目标值，减小2个照明条件A、B的发光强度的目标值之差。

φA(t2a)＝φA(t1a)-Δφa…(5)

φB(t2b)＝φB(t1b)+Δφa…(6)

在式(5)和式(6)中，Δφa表示调整量。

通过调整发光强度的目标值并将调整后的目标值提供给照射部12，在照射部12中进行控制以使发光强度的实际值与目标值一致。

在上述调整之后调整目标值，使得在为了计算亮度变化dI而使用的图像Ga、Gb中，在按照发光强度较小的条件B拍摄到的图像Gb中的与被摄体内变化区域RLH一致的区域的亮度特征量Ih为阈值TLa以下的情况下，上述的照明条件B(发光强度较小的照明条件B)的发光强度增大。即，增大上述的照明条件B的发光强度的目标值φB。

在此所述的亮度特征量Ih例如是亮度值的最大值、平均值或者中央值。以下，假设使用亮度值的平均值作为亮度特征量Ih进行说明。

例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像Ga和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像Gb计算亮度变化dI，则按照式(7)所示调整照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)，使之增大。

φB(t2b)＝φB(t1b)+Δφb…(7)

在同时进行式(6)的处理和式(7)的处理的情况下，调整后的发光强度的目标值φB(t2b)如下述的式(8)所示。

φB(t2b)＝φB(t1b)+Δφa+Δφb…(8)

另外，调整目标值φA，使得在为了计算亮度变化dI而使用的图像Ga、Gb中，在按照发光强度较大的条件A拍摄到的图像Ga中的与被摄体内变化区域RLH一致的区域的亮度特征量Ih大于阈值TLb的情况下，上述的照明条件A(发光强度较大的照明条件A)的发光强度减小。即，减小上述的照明条件A的发光强度的目标值φA。

例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像Ga和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像Gb计算亮度变化dI，则按照式(9)所示调整摄像条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)，使之减小。

φA(t2a)＝φA(t1a)-Δφc…(9)

在同时进行式(5)的处理和式(9)的处理的情况下，调整后的发光强度的目标值φA(t2a)如下述的式(10)所示。

φA(t2a)＝φA(t1a)-Δφa-Δφc…(10)

另一方面，在不存在被摄体内变化区域RLH的情况下，分别按照式(11)和式(12)所示调整照明条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)、以及照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)。通过这样进行调整，增大2个照明条件A、B的发光强度之差，由此在被摄体中产生较大的亮度变化dI。

φA(t2a)＝φA(t1a)+Δφd…(11)

φB(t2b)＝φB(t1b)-Δφd…(12)

通过如上所述改变发光强度，能够在被摄体区域中产生足够大的亮度变化dI。

在按照式(5)～式(12)所示的更新规则调整目标值时，假设调整量Δφa～Δφd与发光强度φA、φB相比足够小。在调整量Δφa～Δφd过大的情况下，导致发光强度φA、φB振荡，因而不期望如此。另外，为了使发光强度φA、φB稳定，直到更新为止的时间延迟比较重要，考虑这些因素设定调整量Δφa～Δφd的大小。

目标值调整部243将如上所述更新后的目标值写入目标值存储器244中，并且将表示目标值的目标值信号Q提供给摄像照射控制部11b。

以下，使用图23和图24的流程图说明实施方式2的摄像装置的处理顺序。图23和图24所示的处理顺序与图13所示的方法大致相同，不同之处在于，包含步骤ST1b以替代步骤ST1且增加有步骤ST31～ST34。在图23和图24中，与图13相同的标号表示相同或者相当的步骤。

在步骤ST1b中，摄像照射控制部11b被从目标值计算部24提供表示照明条件和摄像条件的目标值的目标值信号Q，按照目标值信号Q输出控制信号C11a和控制信号C11b。

与图13的步骤ST1同样地将照明条件控制成将2帧期间作为1个循环进行变化。

在步骤ST31中，被摄体内变化区域提取部241根据在步骤ST10中检测出的被摄体区域H和在步骤ST9中计算出的纹理变化dF，提取被摄体内变化区域RLH。

然后，在步骤ST32中，面积判定部242判定在步骤ST31中提取出的被摄体内变化区域RLH的面积是否为阈值TAa以上。

如果被摄体内变化区域RLH的面积小于阈值TAa，则结束该帧的处理。

如果被摄体内变化区域RLH的面积为阈值TAa以上，则进入步骤ST33。

在步骤ST33中，目标值调整部243读出目标值存储器244中存储的目标值，根据在步骤ST31中提取出的被摄体内变化区域RLH、在步骤ST9中计算出的纹理变化dF、图像存储器14中存储的图像数据(最新的图像数据)，计算新的目标值，将计算出的新的目标值写入目标值存储器244中(例如对旧的目标值进行改写)，并且将表示新的目标值的目标值信号Q提供给摄像照射控制部11b。

能够如参照式(5)～式(12)说明的那样，计算新的目标值。

然后，在步骤ST34中，摄像照射控制部11b根据从目标值计算部24提供的目标值信号Q，进行控制信号C11a、C11b的生成(其内容的更新)。

根据控制信号C11a、C11b，更新由2帧期间构成的各循环中的各顺位的帧(第1帧、第2帧)的照明条件。当在更新之后进行各帧的摄像的情况下，按照与该顺位的帧有关的更新后的照明条件进行摄像。

在上述的实施方式中，是目标值计算部24计算照明光的发光强度的目标值作为照明条件的目标值，但也可以通过计算照明光的照射分布的目标值来替代，还可以通过计算照明光的发光强度的目标值和照明光的照射分布的目标值双方来替代。

在上述的实施方式中，是根据为了计算亮度变化dI而使用的图像Ga、Gb中的与被摄体内变化区域RLH一致的区域的亮度特征量，进行照明条件的调整(新的目标值的决定)。但是，本发明不限于此。例如，也可以根据为了计算亮度变化dI而使用的图像Ga、Gb的被摄体区域整体的亮度特征量，进行照明条件的调整(新的目标值的决定)。

如上所述，在本实施方式的摄像装置中，在作为被摄体区域而提取出的区域内，根据亮度特征量Ih和纹理变化dF中的至少任意一方，计算照明条件和摄像条件中的至少任意一方的目标值，根据表示计算出的目标值的目标值信号Q，摄像照射控制部11b输出控制信号C11a、C11b，由此能够针对环境光的变化取得适合于提取被摄体区域的图像，能够提高被摄体区域的提取精度。

另外，如果计算照明光的照射分布和照明光的发光强度中的至少任意一方的目标值作为照明条件的目标值，则能够针对局部的环境光的变化取得适合于提取被摄体区域的图像，能够提高被摄体区域的提取精度。

另外，在本实施方式的摄像装置中，在提取出的被摄体区域中，在使用不同的照明条件下的图像计算的纹理变化dF大于阈值TFa的区域(被摄体内变化区域RLH)的面积为阈值(TAa)以上时，计算照明条件和摄像条件中的至少任意一方的目标值，使得不同的照明条件下的图像间的纹理变化dF减小。另外，在提取出的被摄体区域中，当不存在使用不同的照明条件下的图像计算出的纹理变化dF大于阈值TFa的区域(被摄体内变化区域RLH)时，计算照明条件和摄像条件中的至少任意一方的目标值，使得不同的照明条件下的图像间的纹理变化dF增大。由此，能够针对环境光的变化取得适合于提取被摄体区域的图像，能够提高被摄体区域的提取精度。

另外，在本实施方式的摄像装置中，在提取出的被摄体区域中，在使用不同的照明条件下的图像计算出的纹理变化dF大于阈值TFa的区域(被摄体内变化区域RLH)的面积为阈值(TAa)以上、且在亮度变化dI的计算中使用的图像中发光强度较小的照明条件下的图像中的上述被摄体区域的亮度特征量例如被摄体内变化区域RLH内的亮度特征量Ih为阈值以下时，计算照明条件的目标值，使得上述照明条件(发光强度较小的照明条件)的发光强度增大(即增大发光强度的目标值)。另外，在提取出的被摄体区域中，在使用不同的照明条件下的图像计算出的纹理变化dF大于阈值TFa的区域(被摄体内变化区域RLH)的面积为阈值(TAa)以上、且在亮度变化dI的计算中使用的图像中发光强度较大的照明条件下的图像中的上述被摄体区域的亮度特征量例如被摄体内变化区域RLH内的亮度特征量Ih大于阈值时，计算照明条件的目标值，使得上述照明条件(发光强度较大的照明条件)的发光强度减小(即减小发光强度的目标值)。由此，能够针对环境光的变化取得适合于提取被摄体区域的图像，能够提高被摄体区域的提取精度。

实施方式3

图25是示出本发明的实施方式3的摄像装置的结构的框图。图25所示的摄像装置与图21所示的摄像装置大致相同，不同之处在于，具有摄像照射控制部11c、亮度变化计算部21c、纹理变化计算部22c、被摄体提取部23c以及目标值计算部24c，以替代图21的摄像照射控制部11b、亮度变化计算部21、纹理变化计算部22、被摄体提取部23以及目标值计算部24。与图21相同的标号表示相同或者相当的部分，因而省略说明。

在实施方式2中，纹理变化计算部22根据在不同时刻的不同的照明条件下拍摄到的2幅图像计算一个纹理变化dF。与此相对，在实施方式3中，纹理变化计算部22c根据在不同时刻的相同的照明条件下拍摄到的2幅图像计算第1纹理变化dF1，并且根据在不同时刻的不同的照明条件下拍摄到的2幅图像计算第2纹理变化dF2。

为了能够如上所述计算2个纹理变化dF1、dF2，图25的摄像照射控制部11c将3帧期间作为周期(1个循环)进行照明条件的变更，在各周期中，在生成1帧期间的照明条件A后，连续生成2帧照明条件B。即，在各循环的第1帧，按照第1照明条件A进行摄像，在第2帧和第3帧按照第2照明条件B进行摄像。这样的结果是，第1帧和第2帧的照明条件不同，第2帧和第3帧的照明条件相同。

另外，根据第1帧的图像Ga和第2帧的图像Gb1计算亮度变化dI和第2纹理变化dF2，根据第2帧的图像Gb1和第3帧的图像Gb2计算第1纹理变化dF1。

并且，从如上所述计算出的亮度变化dI和第1纹理变化dF1提取被摄体区域。并且，从这样提取出的被摄体区域和第2纹理变化dF2，提取被摄体内变化区域RLH。

亮度变化计算部21c如图26所示具有亮度特征量计算部211、亮度特征量存储器212、照明条件判定部213c、差分计算部215、亮度变化存储器216。

亮度特征量计算部211计算从图像存储器14读出的各帧图像的亮度特征量Im，将计算出的亮度特征量Im存储到亮度特征量存储器212中。

照明条件判定部213c对由亮度特征量计算部211计算出的最新的图像(最新帧的图像)的亮度特征量Im、与亮度特征量存储器212中存储的1帧前的图像的亮度特征量Im和2帧前的图像的亮度特征量Im进行比较。这些图像是相互连续的3个帧的图像。照明条件判定部213c对这3个帧的图像的亮度特征量Im进行比较，根据比较的结果进行哪幅图像是照明条件A的图像Ga、哪幅图像是照明条件B的图像Gb1、Gb2的判定。另外，进行各图像是照明条件变化的各循环中的第几个图像的判定。将该判定的结果CNb提供给差分计算部215和纹理变化计算部22c。

差分计算部215从照明条件判定部213c接收上述的判定结果CNb，由此识别最新的图像是照明条件变化的各循环中的第几个图像。并且，从照明条件变化的各循环中的第1个图像(照明条件A的图像)Ga的各像素的亮度值减去照明条件变化的各循环中的第2个图像(照明条件B的图像)Gb1的相同位置的像素的亮度值，由此求出亮度差分并作为亮度变化dI进行输出。

与在实施方式1中叙述的情况相同地，在相减的结果为负值的情况下，亮度差分为0。

纹理变化计算部22c将第1纹理变化dF1输出给被摄体提取部23c，将第2纹理变化dF2输出给目标值计算部24c。

纹理变化计算部22c如图27所示具有CSLBP特征计算部221、CSLBP特征存储器222、纹理特征计算部223、纹理特征存储器224、特征变化处理部225c、纹理变化存储器226。

图27中的CSLBP特征计算部221、CSLBP特征存储器222以及纹理特征计算部223与图4所示的相同。

特征变化处理部225c从亮度变化计算部21c内的照明条件判定部213c接收上述的判定结果CNb，由此识别最新的图像是照明条件变化的各循环中的第几个图像。并且，计算各循环中的第1个图像Ga与第2个图像Gb1的纹理变化，作为第2纹理变化dF2。而且，计算各循环中的第2个图像Gb1和第3个图像Gb2的纹理变化，作为第1纹理变化dF1。

计算出的第1纹理变化dF1和第2纹理变化dF2被蓄积到纹理变化存储器226中。蓄积的第1纹理变化dF1以后提供给被摄体提取部23c。蓄积的第2纹理变化dF2以后提供给目标值计算部24c。

被摄体提取部23c与在实施方式1中说明的被摄体提取部23相同。但是，使用第1纹理变化DF1作为纹理变化。

即，被摄体提取部23c根据由亮度变化计算部21c计算出的亮度变化dI和由纹理变化计算部22c计算出的第1纹理变化dF1，提取被摄体区域，将提取结果H输出给目标值计算部24c。

被摄体提取部23c根据亮度变化dI和纹理变化dF1提取被摄体区域的处理，与在实施方式1中被摄体提取部23根据亮度变化dI和纹理变化dF提取被摄体区域的处理相同。

目标值计算部24c从图像存储器14读出在2个照明条件下拍摄到的图像，从纹理变化计算部22c提供第2纹理变化dF2，从被摄体提取部23c提供被摄体区域H的提取结果，根据这些输入计算与照明条件和摄像条件中的至少任意一方有关的目标值，将表示计算出的目标值的目标值信号Q输出给摄像照射控制部11c。

目标值计算部24c与实施方式2的目标值计算部24相同，目标值计算部24c提供给摄像照射控制部11c的目标值信号Q与在实施方式2中说明的相同。但是，提供第2纹理DF2作为纹理变化。

下面，对目标值的调整方法进行详细说明。

目标值计算部24c的被摄体内变化区域提取部241提取位于从被摄体提取部23c输出的被摄体区域H内部的、纹理变化较大的区域RLH。

在此，根据从纹理变化计算部22c输出的纹理变化dF2判定纹理变化是否较大。

例如，将上述的纹理变化dF2大于阈值TFa的区域判定为被摄体内变化区域RLH，将除此以外的区域判定为无变化区域RLL。

另外，关于阈值TFa，在实施方式2中叙述了优选TFa<TF，但在实施方式3中没有这样的制约。

通过进行这种处理，在由被摄体提取部23c判定为第1纹理dF1为阈值TF以下的被摄体区域内，能够提取第2纹理dF2大于阈值TFa(与阈值TF不同)的区域(被摄体内变化区域)RLH。

面积判定部242进行由被摄体内变化区域提取部241提取出的被摄体内变化区域RLH的面积例如该区域RLH中包含的像素的数量是否为阈值TAa以上的判定，并输出判定结果。

在面积判定部242判定为被摄体内变化区域RLH的面积为阈值TAa以上时，目标值调整部243根据其判定结果计算新的目标值。

将新的目标值设定成发光强度之差在2个照明条件A、B下减小。例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像计算第2纹理变化dF2，则分别按照式(13)和式(14)所示调整照明条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)、以及照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)。通过这样调整目标值，减小2个照明条件A、B的发光强度之差。

φA(t2a)＝φA(t1a)-Δφa…(13)

φB(t2b)＝φB(t1b)+Δφa…(14)

在式(13)和式(14)中，Δφa表示调整量。

通过调整发光强度的目标值并将调整后的目标值提供给照射部12，在照射部12中进行控制以使发光强度的实际值与目标值一致。

在上述调整之后调整目标值，使得在为了计算亮度变化dI而使用的图像Ga、Gb1中，在按照发光强度较小的条件B拍摄到的图像Gb1中的与被摄体内变化区域RLH一致的区域的亮度特征量Ih为阈值TLa以下的情况下，上述的照明条件B(发光强度较小的照明条件B)的发光强度增大。即，增大上述的照明条件B的发光强度的目标值φB。

在此所述的亮度特征量Ih例如是亮度值的最大值、平均值以及中央值。以下，假设使用亮度值的平均值作为亮度特征量Ih进行说明。

例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像Ga和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像Gb1计算亮度变化dI，则按照式(15)所示调整照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)，使之增大。

φB(t2b)＝φB(t1b)+Δφb…(15)

在同时进行式(14)的处理和式(15)的处理的情况下，调整后的发光强度的目标值φB(t2b)如下述的式(16)所示。

φB(t2b)＝φB(t1b)+Δφa+Δφb…(16)

另外，调整目标值φA，使得在为了计算亮度变化dI而使用的图像Ga、Gb1中，在按照发光强度较大的条件(A)拍摄到的图像Ga中的与被摄体内变化区域RLH一致的区域的亮度特征量Ih大于阈值TLb的情况下，上述的照明条件A(发光强度较大的条件A)的发光强度减小。即，减小上述的照明条件A的发光强度的目标值φA。

例如，如果使用在时刻t1a以照明条件A(发光强度φA(t1a))拍摄到的图像Ga和在时刻t1b以照明条件B(发光强度φB(t1b))拍摄到的图像Gb1计算亮度变化dI，则按照式(17)所示调整摄像条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)，使之减小。

φA(t2a)＝φA(t1a)-Δφc…(17)

在同时进行式(13)的处理和式(17)的处理的情况下，调整后的发光强度的目标值φA(t2a)如下述的式(18)所示。

φA(t2a)＝φA(t1a)-Δφa-Δφc…(18)

另一方面，在不存在被摄体内变化区域RLH的情况下，分别按照式(19)和式(20)所示调整照明条件A的下一个摄像时刻t2a的发光强度的目标值φA(t2a)、以及照明条件B的下一个摄像时刻t2b的发光强度的目标值φB(t2b)。通过这样进行调整，增大2个照明条件A、B的发光强度之差，由此在被摄体中产生较大的亮度变化dI。

φA(t2a)＝φA(t1a)+Δφd…(19)

φB(t2b)＝φB(t1b)-Δφd…(20)

通过如上所述改变发光强度，能够在被摄体区域中产生足够大的亮度变化dI。

在按照式(13)～式(20)所示的更新规则调整目标值时，假设调整量Δφa～Δφd与发光强度φA、φB相比足够小。在调整量Δφa～Δφd过大的情况下，导致发光强度φA、φB振荡，因而不期望如此。另外，为了使发光强度φA、φB稳定，直到更新为止的时间延迟比较重要，考虑这些因素设定调整量Δφa～Δφd的大小。

目标值调整部243将如上所述更新后的目标值写入目标值存储器244中，并且将表示目标值的目标值信号Q提供给摄像照射控制部11c。

下面，使用图28和图29的流程图说明实施方式3的摄像装置的处理顺序。图28和图29所示的顺序与图23和图24所示的顺序大致相同，不同之处在于，包含步骤ST1c、ST7c、ST8c、ST9c、ST10d、ST31d以替代步骤ST1b、ST7、ST8、ST9、ST10、ST31。在图28和图29中，与图23和图24相同的标号表示相同或者相当的步骤。

在步骤ST1c中，摄像照射控制部11c被从目标值计算部24c提供表示照明条件和摄像条件的目标值的目标值信号Q，按照目标值信号Q输出控制信号C11a和控制信号C11b。

步骤ST1c与图23的步骤ST1b相同，但在图28的步骤ST1c中，不同之处在于，照明条件以3帧期间为1个循环而变化。

在步骤ST7c中，对于最新的图像和1帧前的图像的组合进行图像的照明条件的判定。在该判定中，判定最新的图像和1帧前的图像的组合是3帧周期中的第1帧的图像与第2帧的图像的组合(AB)、还是第2帧的图像与第3帧的图像的组合(BB)、还是第3帧的图像与(下一个3帧周期的)第1帧的图像的组合(BA)。该判定是通过存储并比较与在实施方式1中说明的情况前后提供的帧的图像的明亮度的变化来进行的。

另外，也可以是，从摄像照射控制部11c得到控制信号C11a、C11b，根据该控制信号进行该判定。

在步骤ST7c中判定为是第1帧与第2帧图像的组合(AB)时，进入步骤ST8c和步骤ST9c。

步骤ST8c和步骤ST9c的处理与实施方式1中的步骤ST8和ST9的处理相同。

即，在步骤ST8c中，亮度变化计算部21c的差分计算部215计算最新帧的图像(第2帧图像)和1帧前的图像(第1帧图像)的各像素的亮度变化dI。并且，将计算出的各像素的亮度变化dI存储到亮度变化存储器216中。

在步骤ST9c中，纹理变化计算部22c计算最新帧的图像(第2帧图像)和1帧前的图像(第1帧图像)的各像素的纹理变化，将计算出的的纹理作为第2纹理dF2进行输出，并且存储到纹理变化存储器226中。

在步骤ST8c和步骤ST9c之后，结束该帧期间的处理。

在步骤ST8c中被存储到亮度变化存储器216中的亮度变化dI以及在步骤ST9c中被存储到纹理变化存储器226中的第2纹理变化dF2用于下一个帧期间。

在步骤ST7c中判定为是第2帧图像与第3帧图像的组合(BB)时，进入步骤ST9d。

在步骤ST9d中，纹理变化计算部22c计算最新帧的图像(第3帧图像)和1帧前的图像(第2帧图像)的各像素的纹理变化，作为第1纹理dF1进行输出，并且存储到纹理变化存储器226中。

在步骤ST9d之后的步骤ST10d中，提取被摄体区域。该处理与图13的步骤ST10相同。但是，在图13的步骤ST10中使用纹理变化dF，在图29的步骤ST10d中使用在步骤ST9d中计算出的第1纹理变化dF1。另外，亮度变化dI使用在1帧期间前在步骤ST8c中计算出的变化。

在步骤ST10d之后进入步骤ST31d。

步骤ST31d的处理与图24的步骤ST31的处理相同，但是使用在步骤ST9c中计算出的第2纹理变化dF2以检测被摄体内变化区域RLH。

即，在步骤ST31d中，被摄体内变化区域提取部241根据在步骤ST10d中检测出的被摄体区域H和在步骤ST9c中计算出的第2纹理变化dF2，提取被摄体内变化区域RLH。

在步骤ST31d之后，进行步骤ST32、ST33、ST34的处理。这些步骤的处理与图24的步骤ST32、ST33、ST34相同。

即，在步骤ST32中，面积判定部242判定在步骤ST31d中提取出的被摄体内变化区域RLH的面积是否为阈值TAa以上。

如果被摄体内变化区域RLH的面积小于阈值TAa，则结束该帧的处理。

如果被摄体内变化区域RLH的面积为阈值TAa以上，则进入步骤ST33。

在步骤ST33中，目标值调整部243读出目标值存储器244中存储的目标值，根据在步骤ST31d中提取出的被摄体内变化区域RLH、(前一个帧期间的)在步骤ST9c中计算出的第2纹理变化dF2、以及图像存储器14中蓄积的图像数据(最新帧的图像数据)，计算新的目标值，将计算出的新的目标值写入目标值存储器244中(例如对旧的目标值进行改写)，并且将表示新的目标值的目标值信号Q提供给摄像照射控制部11c。

能够如参照式(13)～式(20)说明的那样进行新的目标值的计算。

然后，在步骤ST34中，摄像照射控制部11c根据从目标值计算部24c提供的目标值信号Q，进行控制信号C11a、C11b的生成(其内容的更新)。

根据控制信号C11a、C11b，更新由3帧期间构成的各循环中的各顺位的帧(第1帧、第2帧、第3帧)的照明条件。当在更新之后进行各顺位的帧的摄像的情况下，按照与该顺位的帧有关的更新后的照明条件进行摄像。

在实施方式3中，使用第2纹理变化dF2进行在实施方式2中使用纹理变化dF进行的目标值的更新处理。

第2纹理变化dF2是指在不同的时间通过不同的照明条件下的摄像而得到的图像之间的纹理变化，因而与实施方式2中的“纹理变化”相同。因此，实施方式3也能够得到与实施方式2相同的效果。

在实施方式2、3中，目标值计算部24或者24c调整的目标值是指照明光的发光强度的目标值。但是，本发明不限于此，上述的目标值只要是照明光的照射分布的形状、照明光的发光期间、摄像部13的曝光时间、光圈以及增益中的至少任意一个以上的目标值即可。例如，当在图像中局部地存在被摄体内变化区域RLH或者无变化区域RLL的情况下，也可以通过调整照射分布来调整局部的发光强度。另外，在被摄体内变化区域RLH中的亮度特征量Ih为阈值TLa’以下的情况下或者大于阈值TLb’的情况下，例如也可以通过调整曝光时间来调整亮度特征量Ih。在这种情况下使用的阈值TLa’、TLb’可以与在上述的发光强度的调整判断中使用的阈值TLa、TLb相同，也可以不同。

另外，在实施方式2、3中，在2幅图像之间进行亮度变化和纹理变化的计算，但也可以在3幅以上的图像之间进行亮度变化和纹理变化的计算。总之，只要在多幅图像之间进行亮度变化和纹理变化的计算即可。当在3幅以上的图像之间进行亮度变化的情况下，各个图像使用通过彼此不同的照明条件下的摄像而得到的图像，当在3幅以上的图像之间进行纹理变化的情况下，各个图像使用通过彼此不同的时刻的摄像而得到的图像。通过彼此不同的时刻的摄像而得到的图像也可以是通过彼此不同的照明条件下的摄像而得到的图像。因此，可以是与在亮度变化的计算中使用的图像相同的图像。

在根据使用3幅以上的图像计算出的亮度变化和纹理变化调整照明条件或者摄像条件的目标值的情况下，上述说明中的使用“发光强度较小的照明条件下的图像”的处理，可以进行使用“发光强度最小的照明条件下的图像”的处理，使用“发光强度较大的照明条件下的图像”的处理，可以进行使用“发光强度最大的照明条件下的图像”的处理，针对“较小的发光强度”的处理(目标值的调整)，可以进行针对“最小的发光强度”的处理，针对“较大的发光强度”的处理(目标值的调整)，可以进行针对“最大的发光强度”的处理。

另外，在实施方式2、3中，针对被摄体内变化区域RLH的面积的阈值TAa的大小是固定的值，但也可以自适应地变化。例如，也可以根据提取出的被摄体区域H的面积修正阈值TAa的大小。在这种情况下，如果提取出的被摄体区域的面积较大，则较大地修正阈值TAa的值，如果被摄体区域H的面积较小，则较小地修正阈值TAa的值。

另外，在实施方式2、3中，调整量Δφa～Δφd的大小是固定的值，但也可以自适应地变化。例如，也可以根据被摄体区域中的被摄体内变化区域RLH与无变化区域RLL的面积比率，修正调整量Δφa～Δφd的大小。

另外，不需要如式(5)～式(20)所示对全部照明条件使用相同大小的调整量Δφa～Δφd，也可以使用不同大小的调整量Δφa～Δφd。

另外，在上述的例子中，纹理变化计算部22c是由亮度变化计算部21c通知从图像存储器14读出的3幅图像中的各个图像是照明条件变化的各循环中的第几个图像，但也可以是纹理变化计算部22c独自进行判定。在这种情况下，也可以与亮度变化计算部21c同样地根据图像的亮度特征量Im进行判定。

实施方式4

图30是示出本发明的实施方式4的操作装置的结构的框图。图30所示的操作装置是将与图21所示的摄像装置相同的摄像装置与被摄体识别部25和操作决定部26组合而成的。但是，具有纹理变化计算部22d以替代图21的纹理变化计算部22。与图21相同的标号表示相同或者相当的部分，因而省略说明。

另外，在本实施方式中，假设被摄体是人手的情况。

纹理变化计算部22d依次读出图像存储器14中蓄积的多个图像，对构成各图像的像素分别求出纹理特征F，计算通过2个不同时刻的摄像而得到的2幅图像间的纹理变化dF，将计算出的纹理变化dF提供给被摄体提取部23、目标值计算部24以及被摄体识别部25，并且将纹理特征F提供给被摄体识别部25。

纹理变化计算部22d如图31所示具有CSLBP特征计算部221、CSLBP特征存储器222、纹理特征计算部223、纹理特征存储器224d、特征变化处理部225、纹理变化存储器226。

在图31中，CSLBP特征计算部221、CSLBP特征存储器222、纹理特征计算部223以及特征变化处理部225与图4所示的相同。

纹理特征存储器224d具有与图4的纹理特征存储器224相同的功能，但与图4的纹理特征存储器224的不同之处在于，除了能够从特征变化处理部225读出以外，尤其还能够从被摄体识别部25读出。

被摄体识别部25以从被摄体提取部23提供的被摄体区域H的提取结果H、从纹理变化计算部22d提供的纹理变化dF和纹理特征F以及从图像存储器14读出的图像G为输入，根据这些输入识别被摄体的形状和运动的至少任意一方，将识别结果输出给操作决定部26。

被摄体识别部25例如识别人的手势。手势例如包含基于手的形状(石头、剪子、布等)的形状手势和基于手的运动(手的左右摆手、上下摆手、转手动作)的运动手势。

被摄体识别部25如图32所示具有形状识别部251、运动识别部252、基准数据存储器253。

关于形状手势，预先在基准数据存储器253中登记有表示预先设定的形状的特征量的基准数据Ss，形状识别部251将由摄像部13拍摄到的被摄体的形状与基准数据Ss进行对照，由此识别形状手势。

基准数据Ss表示为了认定手的形状表达特定手势而应满足的条件，是否满足条件的判定例如包含针对手的形状的特征量的阈值处理(判定手的形状的特征量相对于阈值是否具有预先设定的关系)。

例如，取得表示表达特定手势的手的形状的数据，在根据与该数据的差异是否在预先设定的阈值以下进行判定的情况下，由上述取得的数据和表示上述阈值的数据构成基准数据Ss。

也能够通过学习来修正基准数据Ss。作为学习的方法，例如已知有Adaboost方法、Support Vector Machine方法。

作为手的形状的特征量，除了能够利用手与背景的边界线(手的外缘)的特征量以外，还能够利用手的区域(被摄体区域)中的纹理特征。

作为手与背景的边界线，能够利用表示由被摄体提取部23提取出的被摄体区域H的轮廓的数据。在这种情况下，形状识别部251根据表示来自被摄体提取部23的被摄体区域H的提取结果的数据确定手的形状。

也能够使用纹理特征F提取手与背景的边界线。

例如，能够通过分析手与背景的边界线，判定手的形状例如是将手攥起的状态(石头)还是将手展开的状态(布)。在提取手与背景的边界线时，能够利用手和背景的图案和凹凸、与反射率的差异对应的纹理特征的差异。在这种情况下，形状识别部251根据纹理特征存储器224d中蓄积的纹理特征F确定手的形状。

在手区域的内部，根据手指的形状等，有时出现表面凹凸的差异。例如，在将手攥起(石头的状态)且手掌被手指隐藏的情况下和将手展开(布的状态)且手掌露出的情况下，产生表面凹凸的差异。能够根据纹理特征判别这种差异。因此，能够通过使用纹理特征，提取表示特定的手的形状(石头或布等)的特征。在这种情况下，形状识别部251根据纹理特征存储器224d中蓄积的纹理特征F中的与由被摄体提取部23提取出的被摄体区域H内的像素有关的纹理特征F，确定手的形状。

关于运动手势，预先在基准数据存储器253中登记有表示预先设定的动作的特征量的基准数据Sm，运动识别部252将由摄像部13拍摄到的被摄体的运动与基准数据Sm进行对照，由此识别运动手势。

基准数据Sm表示为了认定手的运动表达特定手势而应满足的条件，是否满足条件的判定例如包含针对手的运动的特征量的阈值处理(判定手的运动的特征量相对于阈值是否具有预先设定的关系)。

例如，取得表示表达特定手势的手的运动的数据，在根据与该数据的差异是否在预先设定的阈值以下进行判定的情况下，由上述取得的数据和表示上述阈值的数据构成基准数据Sm。

与对基于手的形状的手势叙述的情况相同，对于基于手的运动的手势，也能够通过学习来修正基准数据Sm。

作为动作的特征量，除了例如被摄体中心的位置的变化、速度以及加速度以外，还能够使用纹理特征dF。

关于手的左右摆手、上下摆手等，能够通过跟踪被摄体的中心位置，观测位置的变化、速度、加速度等，能够使用这些元素作为特征量。为了确定中心位置，需要确定手的形状特别是与背景的边界线。

为了确定手的形状，能够利用表示来自被摄体提取部23的被摄体区域H的提取结果的数据。在这种情况下，运动识别部252根据纹理特征存储器224d中蓄积的纹理特征F确定手的形状。

为了确定手的形状，如对形状识别部251叙述的那样，能够利用纹理特征存储器224d中蓄积的纹理特征F。在这种情况下，运动识别部252根据纹理特征存储器224d中蓄积的纹理特征F确定手的形状。

关于手与背景的边界线的变化较小的手的转手动作等，能够利用从纹理变化计算部22d输出的纹理变化dF或者纹理特征F的时间序列作为特征量。在这种情况下，运动识别部252根据纹理变化存储器226中蓄积的纹理变化dF中的与由被摄体提取部23提取出的被摄体区域H内的像素有关的纹理变化dF、或者纹理特征存储器224d中蓄积的纹理特征F中的与由被摄体提取部23提取出的被摄体区域H内的像素有关的纹理特征F，确定手的运动。

还能够将由亮度变化计算部21计算出的亮度变化dI用于运动的特征量的计算。例如，能够通过将被摄体区域H中的亮度变化dI的平均值的时间序列作为运动的特征量，确定手相对于摄像机方向的前后运动。例如，在被摄体区域H中的亮度变化dI的平均值随着时间经过而增大的情况下，能够确定是手接近摄像机的动作。另一方面，在被摄体区域H中的亮度变化dI的平均值减小的情况下，能够确定是手远离摄像机的动作。

通过使用由目标值计算部24计算出的目标值调整照明条件，取得适合于计算纹理特征F的图像，因而能够相对于环境光稳定地计算纹理特征F，将纹理特征F用于形状或者运动特征量的计算，因此，能够以较高的精度进行手势的识别。

操作决定部26根据从被摄体识别部25的形状识别部251输出的识别结果Rs和从运动识别部252输出的识别结果Rm，生成并输出用于操作设备的命令。例如，根据被摄体识别部25识别的手势的类型，预先设定设备操作命令，根据识别结果生成并输出命令。

图33示出假设***作设备是车载设备的情况，手势的类型与车载设备操作的操作命令的对应关系的例子。例如，在识别出石头的手势时，生成并输出命令以将显示画面切换成地图引导画面。在识别出剪子的手势时，生成并输出命令以将显示画面切换成音频画面。在识别出布的手势时，生成并输出命令以将显示画面切换成空调调节画面。

实施方式4的操作装置的被摄体提取部23进行的被摄体提取处理与在图23和图24等示出的相同。

实施方式4的操作装置利用图23的步骤ST6的纹理特征F的计算结果和图24的步骤ST10的被摄体提取结果，进行手势的判定以及基于判定结果的设备操作处理。

以下，参照图34说明手势的判定以及基于判定结果的设备操作处理。

在步骤ST41中，被摄体识别部25以从被摄体提取部23提供的被摄体区域提取结果、从纹理变化计算部22d提供的纹理变化dF和纹理特征F以及从图像存储器14读出的图像G为输入，计算被摄体的形状和运动的至少任意一方的特征量，并与预先登记在基准数据存储器253中的基准数据(表示被摄体的标准形状或者标准运动的特征量)进行对照，将被摄体的形状和运动的至少任意一方作为识别结果输出给操作决定部26。

在步骤ST42中，根据从被摄体识别部25输出的识别结果，生成并输出用于操作设备的命令。

如以上说明的那样，在本实施方式的操作装置中，能够通过使用相对于环境光的变化稳定的被摄体区域提取结果，得到相对于环境光稳定的被摄体识别结果。

另外，根据在被摄体区域的提取中使用的纹理特征进行被摄体的形状识别，由此能够得到相对于环境光稳定的被摄体识别结果。

另外，根据在被摄体区域的提取中使用的纹理特征进行被摄体的运动识别，由此能够得到相对于环境光稳定的被摄体识别结果。

另外，通过使用相对于环境光的变化稳定的被摄体识别结果，即使在环境光变化中，也能够使用被摄体的形状和运动的至少任意一方进行设备操作。

另外，在本实施方式中，作为操作决定部的设备操作的例子，说明了***作设备是车载设备的情况，但本发明不限于此。例如，在操作电视机或者标识***等视频设备，或者眼镜型、手镯型、戒指型、衣服型等可穿戴式设备的情况下，也能够适用本发明。

另外，在本实施方式中，说明了识别被摄体的手势并根据识别结果进行操作的情况，但本发明不限于此。即，在识别除了手势以外的人的动作或者状态并根据识别结果进行操作的情况下，也能够适用本发明。例如，在进行脸部的朝向、眼睛或嘴的开闭，或者随着这些动作的环顾状态、打盹状态、人会话中的状态的识别，催促睡眠的状态、疲劳的状态或者注意力下降的状态的识别，以及基于识别结果的操作的情况下，也能够适用本发明。作为基于识别结果的操作，有切换设备动作的处理、对汽车施加制动的操作、警报声音的产生等。

以上对具有实施方式2的摄像装置的操作装置进行了说明，但同样还能够构成具有实施方式1的摄像装置或者实施方式3的摄像装置以替代实施方式2的摄像装置的操作装置。

以上将本发明设为摄像装置和操作装置进行了说明，但使用上述摄像装置实施的摄像方法以及使用上述操作装置实施的操作方法，也构成本发明的一部分。

能够使具有处理器的计算机执行在上述摄像装置或操作装置中进行的处理的一部分、或者在上述摄像方法或操作方法中进行的处理的一部分。因此，用于使计算机执行在上述摄像装置或操作装置中进行的处理、在上述摄像方法或操作方法中进行的处理的程序，以及记录有该程序的计算机可读取的记录介质，也构成本发明的一部分。

图35与照射部12和摄像部13一起示出上述计算机的一例。照射部12和摄像部13例如具有与图1的照射部12和摄像部13相同的功能。

图35的计算机具有处理器51、程序存储器52、数据存储器53、数据输入接口54、控制输出接口55、数据输出接口56，它们通过数据总线57连接。

处理器51按照程序存储器52中存储的程序进行动作，进行与图1的摄像照射控制部11、亮度变化计算部21、纹理变化计算部22以及被摄体提取部23相同的处理。

控制输出接口55与照射部12和摄像部13连接，将来自处理器51的控制信号C11a提供给照射部12，将控制信号C11b提供给摄像部13。

数据输入接口54与摄像部13连接，被输入从摄像部13输出的摄像图像。

处理器51对经由数据输入接口54输入的摄像图像，进行例如与实施方式1的亮度变化计算部21、纹理变化计算部22以及被摄体提取部23相同的处理，并从数据输出接口56输出被摄体提取结果。

数据存储器53具有与图1的图像存储器14相同的作用。

数据存储器53还可以具有图1的亮度变化计算部21内的亮度特征量存储器212和亮度变化存储器216(图3)以及纹理变化计算部22内的纹理特征存储器224和纹理变化存储器226(图4)的作用。

处理器51的处理顺序与关于实施方式1参照图13和图14说明的相同。

另外，也可以设置多台图35所示的计算机，使各计算机进行摄像装置的各部的处理。在使计算机执行摄像方法的处理时也是同样的。

以上对使计算机执行实施方式1的摄像装置的处理的情况进行了说明，在使计算机执行实施方式2或3的摄像装置的处理或在该摄像装置中实施的摄像方法的处理、或者实施方式3的操作装置的处理或在该操作装置中实施的操作方法时也是同样的。

标号说明

11、11b、11c摄像照射控制部；12照射部；13摄像部；14图像存储器；21、21c亮度变化计算部；22、22c、22d纹理变化计算部；23、23c被摄体提取部；24、24c目标值计算部；25被摄体识别部；26操作决定部；51处理器；52程序存储器；53数据存储器；54数据输入接口；55控制输出接口；56数据输出接口；121LED；122发光控制部；211亮度特征量计算部；212亮度特征量存储器；213、213c照明条件判定部；215差分计算部；216亮度变化存储器；221CSLBP特征计算部；222CSLBP特征存储器；223、223a纹理特征计算部；224、224d纹理特征存储器；225、225a、225c特征变化处理部；226纹理变化存储器；231亮度变化比较部；232纹理变化比较部；233区域判定部；234门部；241被摄体内变化区域提取部；242面积判定部；243目标值调整部；244目标值存储器；251形状识别部；252运动识别部；253基准数据存储器；2211区域分割部；2212-1～2212-16CSLBP特征读出部；2213-1～2213-16直方图生成部；2214连接部；2215归一化部；2216限制部；H被摄体；B1背景元素；B2背景部分。

Claims (18)

1.一种摄像装置，其特征在于，该摄像装置具有：

摄像照射控制部，其生成控制照明条件的照明条件控制信号和控制摄像条件的摄像条件控制信号；

照射部，其根据所述照明条件控制信号以多个彼此不同的照明条件对被摄体进行照明；

摄像部，其在由所述摄像条件控制信号控制的摄像条件下进行所述被摄体的摄像而生成摄像图像；

亮度变化计算部，其使用由所述摄像部通过所述不同的照明条件下的摄像而得到的多个摄像图像，计算所述多个摄像图像间的与各像素有关的亮度变化；

纹理变化计算部，其使用由所述摄像部通过不同时刻的摄像而得到的多个摄像图像，计算该多个摄像图像间的与各像素有关的纹理变化；以及

被摄体提取部，其根据所述亮度变化和所述纹理变化提取被摄体区域。

2.根据权利要求1所述的摄像装置，其特征在于，

所述纹理变化计算部使用通过在所述不同时刻、彼此相同的照明条件下进行的摄像而得到的多个摄像图像计算第1纹理变化，并且使用在所述亮度变化的计算中使用的多个摄像图像计算第2纹理变化，作为所述纹理变化。

3.根据权利要求1或2所述的摄像装置，其特征在于，

所述纹理变化计算部对所述多个摄像图像分别计算纹理特征，计算所述多个摄像图像间的所述纹理特征的变化作为所述纹理变化。

4.根据权利要求1～3中的任意一项所述的摄像装置，其特征在于，

所述被摄体提取部提取在所述亮度变化的计算和所述纹理变化的计算的至少任意一方中使用的摄像图像或者由与各像素有关的所述亮度变化构成的亮度差分图像中的、所述亮度变化大于第1阈值且所述纹理变化为第2阈值以下的区域，作为所述被摄体区域。

5.根据权利要求1～4中的任意一项所述的摄像装置，其特征在于，

所述多个照明条件中的照明光的照射分布和照明光的发光强度的至少任意一方彼此不同。

6.根据权利要求1～5中的任意一项所述的摄像装置，其特征在于，

所述多个照明条件包含以第1发光强度照射照明光的第1照明条件、和以小于所述第1发光强度的第2发光强度照射照明光的第2照明条件。

7.根据权利要求1～6中的任意一项所述的摄像装置，其特征在于，

所述摄像装置还具有目标值计算部，该目标值计算部根据所述提取出的被摄体区域中的所述摄像图像的亮度特征量和所述纹理变化的至少任意一方，决定所述摄像条件的目标值，

所述摄像照射控制部根据所述摄像条件的目标值生成所述摄像条件控制信号。

8.根据权利要求1～6中的任意一项所述的摄像装置，其特征在于，

所述摄像装置还具有目标值计算部，该目标值计算部根据所述提取出的被摄体区域中的所述摄像图像的亮度特征量和所述纹理变化的至少任意一方，决定所述照明条件的目标值，

所述摄像照射控制部根据所述照明条件的目标值生成所述照明条件控制信号。

9.根据权利要求8所述的摄像装置，其特征在于，

所述照明条件的目标值是所述照射部的照明光的照射分布和照明光的发光强度的至少一方的目标值。

10.根据权利要求8或9所述的摄像装置，其特征在于，

所述纹理变化计算部使用通过在不同时刻、彼此相同的照明条件下的摄像而得到的多个摄像图像计算第1纹理变化，并且使用通过在不同时刻、彼此不同的照明条件下的摄像而得到的多个摄像图像计算第2纹理变化，作为所述纹理变化，

所述被摄体提取部根据所述亮度变化和所述第1纹理变化进行所述被摄体区域的提取，

在所述提取出的被摄体区域中的所述第2纹理变化大于第3阈值的部分的面积为第4阈值以上的情况下，所述目标值计算部调整所述照明条件的目标值，以减小所述多个照明条件中的发光强度之差，

当在所述提取出的被摄体区域整体中所述第2纹理变化为所述第3阈值以下的情况下，所述目标值计算部调整所述照明条件的目标值，以增大所述多个照明条件中的发光强度之差。

11.根据权利要求8～10中的任意一项所述的摄像装置，其特征在于，

当在所述亮度变化的计算中使用的所述多个摄像图像中，通过发光强度最小的照明条件下的摄像而得到的摄像图像中的、所述提取出的被摄体区域的亮度特征量为第5阈值以下的情况下，所述目标值计算部增大在发光强度最小的照明条件中使用的发光强度的目标值，

当在所述亮度变化的计算中使用的所述多个摄像图像中，通过发光强度最大的照明条件下的摄像而得到的摄像图像中的、所述提取出的被摄体区域的亮度特征量大于第6阈值的情况下，所述目标值计算部减小在发光强度最大的照明条件中使用的发光强度的目标值。

12.一种操作装置，其特征在于，该操作装置具有：

权利要求1～11中的任意一项所述的摄像装置；以及

被摄体识别部，其根据所述被摄体提取部提取所述被摄体区域的结果，计算所述被摄体的形状和运动的特征量的至少任意一方，并与表示预先设定的形状和运动的特征量的基准数据进行对照，由此识别所述被摄体的形状或者运动。

13.根据权利要求12所述的操作装置，其特征在于，

所述被摄体识别部根据所述亮度变化和所述纹理变化的至少任意一方计算所述运动的特征量。

14.一种操作装置，其特征在于，该操作装置具有：

权利要求3所述的摄像装置；以及

被摄体识别部，其根据所述被摄体提取部提取所述被摄体区域的结果，计算所述被摄体的形状和运动的特征量的至少任意一方，并与表示预先设定的形状和运动的特征量的基准数据进行对照，由此识别所述被摄体的形状或者运动，

所述被摄体识别部根据由所述纹理变化计算部计算出的所述纹理特征计算所述形状的特征量。

15.根据权利要求12～14中的任意一项所述的操作装置，其特征在于，

所述操作装置还具有操作决定部，该操作决定部根据所述被摄体的形状或者运动的识别结果决定操作内容，生成并输出表示所决定的操作内容的命令。

16.一种摄像方法，其特征在于，该摄像方法包含：

摄像照射控制步骤，生成控制照明条件的照明条件控制信号和控制摄像条件的摄像条件控制信号；

照射步骤，根据所述照明条件控制信号以多个彼此不同的照明条件对被摄体进行照明；

摄像步骤，在由所述摄像条件控制信号控制的摄像条件下进行所述被摄体的摄像而生成摄像图像；

亮度变化计算步骤，使用在所述摄像步骤中通过所述不同的照明条件下的摄像而得到的多个摄像图像，计算所述多个摄像图像间的与各像素有关的亮度变化；

纹理变化计算步骤，使用在所述摄像步骤中通过不同时刻的摄像而得到的多个摄像图像，计算该多个摄像图像间的与各像素有关的纹理变化；以及

被摄体提取步骤，根据所述亮度变化和所述纹理变化提取被摄体区域。

17.一种程序，该程序用于使计算机执行权利要求16的各步骤的处理。

18.一种计算机可读取的记录介质，该记录介质记录有权利要求17所述的程序。