CN107533761A - 图像处理装置和图像处理*** - Google Patents

Abstract

一种图像处理装置包括：深度获取电路，使用对应于图像数据的视差电子地生成图像的深度图；以及目标检测电路，使用距离信息和深度图通过识别图像数据中的特定像素电子地检测图像中的特定目标。深度图包括涉及距图像中的每个像素的参考位置的距离的信息。

Description

图像处理装置和图像处理***

技术领域

本技术涉及图像处理装置和图像处理***。更具体地，本技术涉及图像处理装置和图像处理***。

背景技术

近年来，可以穿戴和携带的信息终端(所谓的可穿戴终端)受到关注，并且已经对其进行开发和销售。例如，已经提出了设置有照相机和透射式显示器的眼镜型可穿戴终端(例如，参考PTL 1)。这个可穿戴终端执行诸如检测通过照相机拍摄的图像中的人物的过程的图像处理并且在没有安置人物的显示器上的区域中显示字幕等。

参考文献

专利文献

PTL 1：JP 2012-108793A

发明内容

技术问题

然而，在上述相关技术中，因为通过照相机拍摄的图像具有更高的分辨率，并且因为它的帧速率更高，所以存在的问题是诸如人物检测的图像处理的处理量增加。可以设想，降低分辨率或者帧速率减少图像处理量；然而，当量降低时，检测人物的精确性劣化。因此，难以减少图像处理量。

考虑上述情况产生了本技术，并且期望的是减少执行图像处理的装置的图像处理量。

问题的解决方案

图像处理装置包括：深度获取电路，使用对应于图像数据的视差电子地生成图像的深度图；以及目标检测电路，使用距离信息和深度图通过识别图像数据中的特定像素电子地检测图像中的特定目标。深度图包括涉及从图像中的每个像素的参考位置的距离的信息。

发明的有益效果

根据本技术的实施方式，可以呈现减少执行图像处理的装置的图像处理量的优良效果。应注意，本文中描述的效果不必是限制性的，并且可以呈现本公开内容中描述的任何效果。

附图说明

[图1]图1是根据第一实施方式的眼镜型可穿戴终端的立体图的实例。

[图2]图2是示出了根据第一实施方式的主照相机、右侧照相机和左侧照相机的成像范围的实例的示图。

[图3]图3是示出了根据第一实施方式的眼镜型可穿戴终端的配置实例的框图。

[图4]图4是示出了根据第一实施方式的照相机单元和信号处理单元的配置实例的框图。

[图5]图5是示出了根据第一实施方式的主照相机的配置实例的框图。

[图6]图6是示出了根据第一实施方式的图像处理单元和显示单元的配置实例的框图。

[图7]图7是示出了根据第一实施方式的校正单元的配置实例的框图。

[图8]图8是示出了根据第一实施方式的眼镜型可穿戴终端的操作的实例的流程图。

[图9]图9是示出了根据第一实施方式的校正设置过程的流程图。

[图10]图10是示出了根据第一实施方式的目标检测过程的流程图。

[图11]图11是示出了根据第一实施方式的主图像数据和显示数据的实例的示图。

[图12]图12是示出了根据第一实施方式的第一变形例的测试单和主图像数据的实例的示图。

[图13]图13是示出了根据第一实施方式的第一变形例的坐标变换单元的配置实例的框图。

[图14]图14是用于描述根据第一实施方式的第一变形例的校正法的示图。

[图15]图15是示出了根据第一实施方式的第二变形例的眼镜型可穿戴终端的配置实例的框图。

[图16]图16是示出了根据第一实施方式的第三变形例的眼镜型可穿戴终端的配置实例的框图。

[图17]图17是示出了根据第一实施方式的第三变形例的照相机单元的实例的框图。

[图18]图18示出了根据第一实施方式的第三变形例的垂直同步信号的实例的时序图。

[图19]图19是示出了根据第一实施方式的第四变形例的照相机单元和信号处理单元的配置实例的框图。

[图20]图20是示出了根据第二实施方式的图像处理单元的配置实例的框图。

[图21]图21是示出了根据第二实施方式的眼镜型可穿戴终端的操作的实例的流程图。

[图22]图22是示出了根据第二实施方式的距离测量过程的流程图。

[图23]图23是示出了根据第二实施方式的主图像数据和显示数据的实例的示图。

[图24]图24是根据第三实施方式的眼镜型可穿戴终端的立体图的实例。

[图25]图25是根据第三实施方式的眼镜型可穿戴终端的顶视图的实例。

[图26]图26是示出了根据第三实施方式的眼镜型可穿戴终端的配置实例的框图。

[图27]图27是示出了根据第三实施方式的照相机单元和信号处理单元的配置实例的框图。

[图28]图28是示出了根据第三实施方式的图像处理单元的配置实例的框图。

[图29]图29是示出了根据第三实施方式的校正单元的配置实例的框图。

[图30]图30是示出了根据第三实施方式的右眼图像数据和左眼图像数据的实例的示图。

[图31]图31是用于描述根据第三实施方式的用于设置检测范围的方法的示图。

[图32]图32是示出了根据第三实施方式的目标检测过程的流程图。

[图33]图33是示出了根据第三实施方式的第一变形例的图像处理单元的配置实例的框图。

[图34]图34是示出了根据第三实施方式的第一变形例的用于每段虹膜模式信息(iris pattern information)的主眼信息的实例的表。

[图35]图35是示出了根据第三实施方式的第一变形例的目标检测过程的流程图。

[图36]图36是示出了根据第三实施方式的第一变形例的视线检测过程的流程图。

[图37]图37是示出了根据第三实施方式的第二变形例的图像处理单元的配置实例的框图。

[图38]图38是示出了根据第三实施方式的第二变形例的立体图像的显示位置的实例的示图。

[图39]图39是示出了根据第三实施方式的第三变形例的眼镜型可穿戴终端的配置实例的框图。

[图40]图40是示出了根据第三实施方式的第三变形例的眼镜型可穿戴终端的操作的实例的时序图。

[图41]图41是示出了根据第三实施方式的第四变形例的眼镜型可穿戴终端的操作的实例的时序图。

[图42]图42是示出了车辆控制***的示意性配置实例的框图。

[图43]图43是成像单元和外部信息检测单元的位置的实例。

具体实施方式

将描述用于实现本技术的实施方式(在下文中，称为实施例)。将按照以下顺序提供描述。

1.第一实施方式(其中在预定范围中的深度的区域中检测目标的实例)

2.第二实施方式(其中在获得已经检测到的目标的区域的深度中或者在预定范围中的深度的区域中检测目标的实例)

3.第三实施方式(其中检测视线方向并且在预定范围中的深度的区域中检测目标的实例)

<1.第一实施方式>

“眼镜型可穿戴终端的配置实例”

图1是根据第一实施方式的眼镜型可穿戴终端100的立体图的实例。这个眼镜型可穿戴终端100设置有边框101和102、主照相机111、右侧照相机115、左侧照相机116、右侧透射式显示器151和左侧透射式显示器152。

眼镜型可穿戴终端100的总体形状类似于眼镜，并且该终端设置有右侧透射式显示器151和右侧透射式显示器152，而不是眼镜的透镜。右侧透射式显示器151安装在面向用户穿戴眼镜型可穿戴终端100的右眼的位置处，并且左侧透射式显示器152安装在面向用户的左眼的位置处。

边框101是安装右侧透射式显示器151的构件，并且边框102是安装左侧透射式显示器152的构件。主照相机111和右侧照相机115被设置在边框101中，并且左侧照相机116被设置在边框102中。此外，假设用户的脸部面向的方向是前方(箭头的方向)，则主照相机111、右侧照相机115和左侧照相机116被安装在面向前方的边框101和102的表面上。

应注意，尽管主照相机111被配置为设置在边框101中，但是主照相机可设置在除了边框101之外的任何位置中，诸如，边框102，其中，它的成像范围的至少一部分与右侧照相机115和左侧照相机116的那些重叠。

图2是示出了根据第一实施方式的主照相机111、右侧照相机115和左侧照相机116的成像范围的实例的示图。在附图中，当用户的头部的顶部方向被设置为上侧时，由实线围绕的区域表示从上侧观看的主照相机111的成像范围。此外，由实线和虚线围绕的区域表示从上侧观看时的右侧照相机115的成像范围，并且由虚线围绕的区域表示从上侧观看的左侧照相机116的成像范围。因为所有的主照相机111、右侧照相机115和左侧照相机116被安装在眼镜型可穿戴终端100的前表面中，照相机的成像范围的至少一部分相互重叠。附图中的阴影部分是成像范围的重叠部分。

图3是示出了根据第一实施方式的眼镜型可穿戴终端100的配置实例的框图。这个眼镜型可穿戴终端100设置有照相机单元110、信号处理单元130、图像处理单元200、参考信号生成单元120、曝光控制单元140和显示单元150。应注意，眼镜型可穿戴终端100是成像装置和图像处理装置的实例。

参考信号生成单元120生成垂直同步信号VSYNC作为表示执行成像的时间的参考信号。这个参考信号生成单元120将垂直同步信号VSYNC经由信号线129供应至照相机单元110。

照相机单元110拍摄与垂直同步信号VSYNC同步的图像数据。这个照相机单元110将所拍摄的图像数据经由信号线119供应至信号处理单元130。

信号处理单元130在图像数据上执行各种类型的信号处理，诸如，白平衡过程和噪声消除过程。信号处理单元130将所处理的图像数据经由信号线139供应至曝光控制单元140和图像处理单元200。此外，信号处理单元130从图像数据测量光的量并且将所测量的光的量经由信号线138供应至曝光控制单元140。

图像处理单元200在图像数据上执行预定的图像处理。这个图像处理包括检测特定目标(诸如，面部，人物等)的处理。图像处理单元200生成表示目标检测的结果的显示数据，并且将该结果经由信号线209供应至显示单元150。例如，用于显示所检测的目标的位置、形状或者姓名的数据生成为显示数据。

曝光控制单元140基于所测量的光的量控制照相机单元110的曝光量。曝光控制单元140将用于控制光圈或者曝光时间的曝光控制信号经由信号线149供应至照相机单元110。显示单元150显示该显示数据。

应注意，眼镜型可穿戴终端100进一步设置有执行与外部装置通信的外部接口，并且因此，可将主图像数据或者显示数据传输到外部。此外，照相机单元110、信号处理单元130、图像处理单元200、参考信号生成单元120、曝光控制单元140和显示单元150被配置为设置在相同装置中；然而，可在不同设备和装置中分配组成元件。例如，可将它配置为将照相机单元110、信号处理单元130、曝光控制单元140和显示单元150设置在眼镜型可穿戴终端100中，并且将图像处理单元200设置在外部服务器中等。此外，尽管照相机单元110等被配置为设置在眼镜型可穿戴终端100中，但是组成元件可设置在除了眼镜型可穿戴终端之外的设备或者装置中，诸如，平板电脑终端或者智能电话。

“照相机单元和信号处理单元的配置实例”

图4是示出了根据第一实施方式的照相机单元110和信号处理单元130的配置实例的框图。照相机单元110设置有主照相机111、右侧照相机115和左侧照相机116。信号处理单元130设置有信号处理电路131、132和133。

主照相机111拍摄穿戴眼镜型可穿戴终端100的用户的视场。这个主照相机111将所拍摄的图像数据作为主图像数据供应至信号处理电路131。应注意，主照相机111是主图像获取单元的实例。

右侧照相机115和左侧照相机116拍摄与主照相机111至少部分重叠的成像范围。右侧照相机115和左侧照相机116根据这些照相机的安装位置之间的距离拍摄视差的一对视差图像数据段。该对视差图像数据段具有相同的分辨率。右侧照相机115将一段视差图像数据作为右侧图像数据供应至信号处理电路132，并且左侧照相机116将另一段视差图像数据作为左侧图像数据供应至信号处理电路133。应注意，包括右侧照相机115和左侧照相机116的模块是视差图像拍摄单元的实例。

在此，理想的是该对视差图像数据段的分辨率低于主图像数据的分辨率。通过降低视差图像数据的分辨率，可以减少以下将描述的测量距离的算术运算的量并可以减少电力消耗。此外，理想的是该对视差图像数据段中的像素数据不包括彩色信息并且主图像数据中的像素数据包括彩色信息。使视差图像作为单色图像有利于比当视差图像作为彩色图像时更能增加图像传感器的灵敏性并且有效利用图像传感器中的像素的数量。另一方面，使主图像数据作为彩色图像可以使得比当它作为单色图像时更能提高目标检测精确性。

此外，理想的是右侧照相机115和左侧照相机116的光学***相同。当这种光学***平衡时，难以执行造成光学畸变等的校准。

应注意，尽管主照相机111、右侧照相机115和左侧照相机116被设置在相同装置(眼镜型可穿戴终端100)中，但是它的布置不限于该配置。只要照相机能够拍摄至少部分相互重叠的成像范围，照相机就可分布在不同的装置中。然而，当照相机分布在多个装置中时，必须执行用于将当装置中的一个移动时的主图像的坐标与视差图像的坐标相关联的校准。从减少这种校准的频率的视角，理想的是，主照相机111、右侧照相机115和左侧照相机116被设置在相同装置中。

此外，理想的是，曝光控制单元140通过在拍摄主图像和视差图像时控制曝光开始时间和曝光结束时间使曝光周期平衡。通过使曝光周期平衡，可以消除用于校正成像条件的差异的算术运算并且提高检测距离测量目标的精确性。

信号处理电路131在主图像数据上执行预定的信号处理。信号处理电路132在右侧图像数据上执行预定的信号处理。此外，信号处理电路133在左侧图像数据上执行预定的信号处理。信号处理电路131、132和133将处理过的图像数据供应至图像处理单元200。进一步地，信号处理电路131、132和133测量来自对应图像数据的光的量并且将所测量的光的量供应至曝光控制单元140。

“主照相机的配置实例”

图5是示出了根据第一实施方式的主照相机111的配置实例的框图。这个主照相机111设置有成像透镜112、光圈113和图像传感器114。应注意，右侧照相机115和左侧照相机116的配置与主照相机111的配置相同。然而，理想的是，主照相机111是变焦照相机并且右侧照相机115和左侧照相机116是定焦照相机。此外，理想的是调整右侧照相机115和左侧照相机116的分辨率以致峰值处于相同焦距。当右侧照相机115和左侧照相机116是定焦照相机时，可以容易地提高距离测量中的精确性。

成像透镜112聚集来自主体的光并且将光引导至图像传感器114。光圈113根据曝光控制信号调整穿透光的量。图像传感器114将光变换为电信号并且从而生成与垂直同步信号VSYNC同步的主图像数据。此外，图像传感器114通过根据曝光控制信号控制图像传感器114中的像素内的晶体管来改变曝光时间。以该方式通过控制像素内的晶体管变化曝光时间的方法称为电子快门法。

应注意，尽管主照相机111根据电子快门法改变曝光时间，照相机可进一步设置有机械快门并且通过控制机械快门改变曝光时间。同样适用于右侧照相机115和左侧照相机116。

此外，尽管右侧照相机115和左侧照相机116是定焦照相机，但是照相机可以是变焦照相机。在这种情况下，理想的是控制照相机的焦距相同。此外，尽管主照相机111是变焦照相机，但是照相机可以是定焦照相机。

“图像处理单元和显示单元的配置实例”

图6是示出了根据第一实施方式的图像处理单元200和显示单元150的配置实例的框图。这个图像处理单元200设置有校正单元210、目标检测单元240和深度获取单元250。此外，显示单元150设置有右侧透射式显示器151和左侧透射式显示器152。

在此，图像处理单元200接收表示目标检测模式或者校正设置模式的模拟信号的输入。这个目标检测模式是用于检测特定目标。校正设置模式是用于设置用于校正图像数据的坐标转换的校正数据。校正数据包括例如其中校正图像数据的坐标转换、所有像素的校正和未校正的坐标等。

校正单元210校对照相机的安装位置的位置转换、或者从由成像透镜112的光学畸变所引起的预定的参考坐标的每个像素的坐标转换。在目标检测模式中，校正单元210校正由主照相机111的位置转换中的至少一个和主图像数据中的光学畸变所引起的坐标转换，并且将该结果供应至目标检测单元240。此外，校正单元210同样校正由用于右侧图像数据的右侧照相机115的位置转换等所引起的坐标转换，并且将该结果供应至深度获取单元250。此外，校正单元210同样校正由用于左侧图像数据的左侧照相机116的位置转换等所引起的坐标转换并且将该结果供应至深度获取单元250。

另一方面，在校正设置模式中，校正单元210设置用于校正主图像数据、右侧图像数据和左侧图像数据的坐标转换的校正数据。例如，校正单元210检测图像数据的特征点并且使特征点的坐标标准化为其中没有出现坐标转换的虚拟集成坐标***的坐标。然后，校正单元210与标准化的特征点的坐标匹配并且从而校正坐标转换。通过处理以此方式的标准化坐标，可以没有转换的理想的坐标***执行算术运算，并且可以剧烈减少处理，诸如匹配。此外，通过执行特征点的匹配，可以利用比当在整个图像上执行匹配时更高的精确度执行有效校正。

应注意，尽管眼镜型可穿戴终端100被配置为独自生成并且设置校正数据，但是眼镜型可穿戴终端100的外部装置可被配置为生成并设置用于眼镜型可穿戴终端100的校正数据。

深度获取单元250从右侧图像数据和左侧图像数据的视差获取主图像数据中的像素的深度。在此，深度表示从参考位置(图像数据的成像平面的位置等)成像透镜112的光轴方向上的主体的距离。因为主图像数据、右侧图像数据和左侧图像数据的成像范围如上所述相互部分重叠，所以仅为包括在重叠范围中的像素执行深度的获取。深度获取单元250将显示像素深度的深度图供应至目标检测单元240。

目标检测单元240执行检测主图像数据中的特定目标的目标检测过程。这个目标检测单元240使用深度图在预定的设置范围中获得通过对应于光轴方向中的深度的像素组成的主图像数据的区域作为检测区域。目标检测单元240假设保持深度图中的像素的坐标于提前包括在主图像数据中的像素的坐标的对应。此外，设置光轴方向上的设置范围中，例如，从主图像的成像平面的距离Dn至Df的范围。至于Dn至Df，预先设置提高用于检测特定目标的充分精确度的值。例如，Dn至Df的单位是米。当人物等被检测为目标并且例如如果在约2至15米的范围中获得充分的检测精确度时，2被设置为用于Dn并且15被设置为用于Df。然后，目标检测单元240在设置范围中获得深度的主图像数据的检测区域中执行目标检测过程。目标检测单元240生成表示检测结果的显示数据并且将数据供应至显示单元150。

右侧透射式显示器151和左侧透射式显示器152在检测目标的位置处显示来自图像处理单元200的数据。

“校正单元的配置实例”

图7是示出了根据第一个实施方式的校正单元210的配置实例的框图。这个校正单元210设置有坐标转换计算单元211和坐标变换单元220、212和213。

坐标转换计算单元211在校正设置模式中计算主图像数据、右侧图像数据和左侧图像数据的坐标转换。坐标转换计算单元211生成用于校正所计算的坐标转换的校正数据并且将该数据供应至坐标变换单元220、212和213。

坐标变换单元220使用校正数据将未校正的主图像数据的坐标变换为校正过的坐标。这个坐标变换单元220保持在校正设置模式中生成的校正数据。此外，坐标变换单元220使用目标检测模式中的校正数据变换未校正的坐标，并且将所变换的主图像数据供应至目标检测单元240。

坐标变换单元212使用校正数据将未校正的右侧图像数据的坐标变换为校正过的坐标。坐标变换单元213使用校正数据将未校正的左侧图像数据的坐标变换为校正过的坐标。

图8是示出了根据第一实施方式的眼镜型可穿戴终端100的操作的实例的流程图。例如，当输入电源时或者当执行预定应用时，这个操作开始。

眼镜型可穿戴终端100确定是否设置目标检测模式(步骤S901)。当设置校正设置模式时(在步骤S901中为否)，眼镜型可穿戴终端100执行用于设置校正数据的校正设置过程(步骤S910)。另一方面，当设置目标检测模式时(在步骤S901中为是)，眼镜型可穿戴终端100执行检测特定目标的目标检测过程(步骤S920)。在步骤S910或者步骤S920之后，眼镜型可穿戴终端100确定校正设置过程或者目标检测过程是否完成(步骤S902)。当未完成过程时(在步骤S902中为否)，眼镜型可穿戴终端100重复步骤S901和连续步骤。另一方面，当完成过程时(在步骤S902中为是)，眼镜型可穿戴终端100完成操作。

图9是示出了根据第一实施方式的校正设置过程的流程图。眼镜型可穿戴终端100拍摄主图像数据(步骤S911)并且拍摄一对视差图像数据段(步骤S912)。然后，眼镜型可穿戴终端100比较数据的图像并且计算坐标转换(步骤S913)，并且设置校正数据(步骤S914)。在步骤S914之后，眼镜型可穿戴终端100完成校正设置过程。

图10是示出了根据第一实施方式的目标检测过程的流程图。眼镜型可穿戴终端100拍摄主图像数据(步骤S921)，并且拍摄一对视差图像数据段(步骤S922)。然后，眼镜型可穿戴终端100校正图像数据的坐标转换(步骤S923)，并且从该对视差图像数据段生成深度图(步骤S924)。此外，眼镜型可穿戴终端100检测预定范围中的检测区域中的特定目标(步骤S925)，并且显示检测结果(步骤S926)。在步骤S926之后，眼镜型可穿戴终端100完成目标检测过程。

图11是示出了根据第一实施方式的主图像数据和显示数据的实例的示图。图11中的项“a”示出了主图像数据500的实例，并且图11中的项“b”示出了显示数据510的实例。

主图像数据500包括主体，诸如人物501和502等。这个人物501站立在充分远离眼镜型可穿戴终端100的距离d1处的位置处，并且因此她的全身被拍摄到。由于这个原因，眼镜型可穿戴终端100可以精确地检测距离d1处的人物。同时，人物502站立在非常靠近终端的距离d2处的位置处，并且因此只要他的面部的一部分被拍摄到。在距离d2处，担心的是由于非常近的距离导致眼镜型可穿戴终端100不能够精确地检测人物。

在这种情况下，如果包括d1但不包括d2的范围被设置为检测范围，则眼镜型可穿戴终端100仅在d1的区域中执行目标检测过程，并且因此可以有效地检测人物。因为不在终端不能够检测人物的d2区域中执行目标检测过程，所以目标检测过程的处理量可以减少。通过处理量的减少，眼镜型可穿戴终端100可以利用较少的电力消耗有效地检测目标。

此外，显示数据510包括表示所检测的人物501的轮廊的检测结果511。应注意，尽管眼镜型可穿戴终端100显示目标的轮廊，但是终端不限于该配置。例如，眼镜型可穿戴终端100可显示除了轮廊之外的检测结果，诸如围绕目标的矩形框架或者椭圆形框架。此外，眼镜型可穿戴终端100可在目标覆盖在所检测的实际目标上的位置处显示虚拟目标。用于在实际目标上重叠虚拟目标并且显示的技术被称为增强现实(AR)技术。

根据本技术的上述第一实施方式，因为眼镜型可穿戴终端100仅在由对应于预定范围中的深度的像素组成的检测区域503中执行目标检测过程，所以可以减少除了预定范围之外的关于深度区域的处理量。因此，可以减少眼镜型可穿戴终端100的电力消耗。

“第一变形例”

在上述第一实施方式中，眼镜型可穿戴终端100使用校正和未校正的坐标关联的表校正所有像素的坐标转换。然而，当图像数据的分辨率增加并且表的大小增加时，担心保持表的存储器的容量变得不足。第一实施方式的第一变形例的眼镜型可穿戴终端100与第一实施方式的不同在于保持校正的和未校正的坐标的表的尺寸减小。

图12是示出了根据第一实施方式的第一变形例的测试单和主图像数据的实例的示图。图12中的项“a”是测试单515的实例。图12中的项“b”示出了当主照相机111拍摄测试单515时获得的主图像数据516的实例。

利用其中多个黑色圆以预定间隙排列成二维网格形状的图像印刷的表用作测试单515。这些黑色圆用作代表点。

在工厂装运、维修等的时候，工人为眼镜型可穿戴终端100设置校正设置模式并且以预定位置布置测试单515。然后，工人操作眼镜型可穿戴终端100拍摄测试单515。眼镜型可穿戴终端100的主照相机111拍摄测试单515并且生成主图像数据516。

在此，当在主照相机111的成像透镜112中存在光学畸变时，主图像数据516的代表点的坐标从基准坐标转换。在此，基准坐标是根据主图像数据516的设计对应于测试单515的代表点。此外，当主照相机111的安装位置由于制造中的不平整转换时，主图像数据516的代表点的坐标从基准坐标转换。例如，测试单515的左上区域的畸变可归因于光学畸变。此外，与主图像数据516相比测试单515的代表点的总体转换至右侧可归因于安装位置的位置偏差。

眼镜型可穿戴终端100计算主图像数据516的代表点的坐标转换，并且创建校正的和未校正的坐标与代表点相关联的表。还在右侧图像数据和左侧图像数据上执行相同过程。

图13是示出了根据第一实施方式的第一变形例的坐标变换单元220的配置实例的框图。这个坐标变换单元220设置有校正范围存储单元221、读地址计数器222、写地址计数器223、读地址解码器224、写地址解码器225和畸变校正表226。此外，坐标变换单元220设置有畸变校正地址生成单元227、延迟调节单元228、畸变校正地址解码器229、书写控制单元230、读控制单元231、图像存储器232和插值处理单元233。应注意，第一变形例的坐标变换单元212和213的配置与坐标变换单元220的配置相同。

校正范围存储单元221存储其中坐标转换被校正的校正范围。例如，不包括无用像素的有效像素的水平坐标和垂直坐标的范围被设置为校正范围。此外，通过坐标转换计算单元211设置校正范围。

写地址计数器223计算与诸如垂直同步频率和水平同步频率的时间信号同步的值。写地址计数器223在垂直坐标的校正范围中执行与垂直同步信号同步的计算，并且在水平坐标的校正范围中执行与水平同步信号同步的计算。在与垂直同步信号同步计算的值表示垂直写地址，并且在与水平同步信号同步计算的值表示水平写地址。写地址计数器223将由垂直写地址和水平写地址构成的写地址供应至写地址解码器225和读地址计数器222。此外，写地址计数器223将对应于校正范围的垂直写地址和水平写地址的范围供应至写地址解码器225和读地址计数器222作为写范围。

读地址计数器222计算与写地址的输出时间同步的值。这个读地址计数器222计算与垂直写地址的输出时间同步的写范围中的值并且生成垂直读地址。此外，读地址计数器222计算与水平写地址的输出时间同步的写范围中的值并且生成水平读地址。读地址计数器222将由垂直读地址和水平读地址构成的读地址R供应至读地址解码器224。此外，读地址计数器222将对应于写范围的垂直读地址和水平读地址的范围供应至读地址解码器224作为读范围。

畸变校正表226存储未校正的表地址和校正的表地址的关联。在此，未校正的表地址是未校正的代表点的地址，并且校正的表地址是通过校正对应的未校正的地址的坐标转换获得的地址。通过坐标转换计算单元211设置这些地址。

读地址解码器224计算没有对应于代表点的读地址R的插值系数。首先，读地址解码器224确定读地址R是不是参考畸变校正表226的未校正的表地址(即，代表点的地址)。当读地址R是代表点的地址时，读地址解码器224在没有改变的情况下将读地址R供应至畸变校正地址生成单元227。

另一方面，当读地址R不是代表点的地址时，读地址解码器224从畸变校正表226读取地址周边中的4个未校正的表地址A、B、C和D以从这些地址获得插值系数。在此，假设未校正的表地址A、B、C和D的坐标是(HA，VA)，(HB，VB)，(HC，VC)，(HD，VD)并且HB>HA，VC>VA，VD>VB和HD>HC的关系成立。在这种情况下，读地址解码器224执行通过A和C的直线AC与通过B和C的直线BD之间的线性插值并且获得通过读地址R的直线作为插值直线。例如，直线AC的斜率和截距被设置为(a1，b1)，直线BD的斜率和截距被设置为(a2，b2)，并且读地址R被设置为(HR，VR)，并且从而使用以下公式计算插值直线的斜率和截距(a0，b0)。

(a0？a1)/(a2？a1)＝(b0？b1)/(b2？b1)…公式1

VR＝a0？HR+b0…公式2

读地址解码器224计算所计算的插值直线和连接A和B的直线AB的交点M的坐标(HM，VM)，并且计算所计算的插值直线和连接C和D的直线CD的交点N的坐标(HN，VN)。读地址解码器224例如使用以下公式获得连接M和N的片段MN内部地除以读地址R的内分比例m。

(HM？HR):(HR？HN)＝m:(1？m)…公式3

此外，读地址解码器224执行直线AB与直线CD之间的线性插值以获得通过读地址R的插值直线。例如，AB的斜率和截距被设置为(a1，b1)，并且CD的斜率和截距被设置为(a2，b2)，并且使用公式1和2计算插值直线的斜率和截距(a0，b0)。

读地址解码器224计算所计算的插值直线和直线AC的交点O的坐标(Ho，Vo)，并且计算插值直线和直线BD的交点P的坐标(HP，VP)。畸变校正地址生成单元227例如使用以下公式获得片段OP内部地除以读地址R的内分比例n。

(HO？HR):(HR？HP)＝n:(1？n)…公式4

然后，读地址解码器224将所计算的插值系数m和n、读地址R、以及未校正的表地址A、B、C和D供应至畸变校正地址生成单元227。读地址解码器224将插值系数m和n以及读地址R供应至插值处理单元233。

畸变校正地址生成单元227生成已经从读地址R校正畸变的畸变校正地址R’。当这个畸变校正地址生成单元227仅从读地址解码器224接收读地址R时，该单元从畸变校正表226读取对应于读地址R的校正的表地址。然后，畸变校正地址生成单元227将读地址供应至畸变校正地址解码器229作为畸变校正地址R’。

同时，一旦接收插值系数等以及读地址R，畸变校正地址生成单元227就从畸变校正表226读取对应于未校正的表地址A、B、C和D的校正的表地址A’、B’、C’和D’。此外，畸变校正地址生成单元227将插值系数m和n变换为在畸变校正之后的插值系数m’和n’。在此，畸变校正之后的插值系数m’和n’是最接近预定系数群中的插值系数m和n的系数。这个系数群由根据连接A’和B’的片段中的像素的数据的系数构成。例如，当从A’至B’的片段A’B’中的像素的数量是4时，这个片段被内部划分的间隔划分比例是值0、1/4、2/4、3/4和1。在这种情况下，在由0、1/4、2/4、3/4和1组成的系数群中，最接近插值系数m和n的系数被选定为畸变校正m和n之后的插值系数m’和n’。

畸变校正地址生成单元227从所校正的表地址A’、B’、C’和D’获得对应于读地址R的畸变校正地址R’以及畸变校正之后的插值系数m’和n’。例如，A’、B’、C’和D’的坐标是(HA’，VA’)、(HB’，VB’)、(HC’，VC’)和(HD’，VD’)，并且R’的坐标(HR’，VR’)使用以下公式计算。

(HB’？HR’):(HR’？HA’)＝m’:(1？m’)…公式5

(VD’？VR’):(VR’？VA’)＝n’:(1？n’)…公式6

畸变校正地址生成单元227将使用上述公式获得的畸变校正地址R’供应至畸变校正地址解码器229。此外，畸变校正地址生成单元227将畸变校正之后的插值系数供应至插值处理单元233。应注意，畸变校正地址生成单元227是插值单元的实例。

畸变校正地址解码器229将畸变校正地址R’变换为图像存储器232上的地址。畸变校正地址解码器229将所变换的地址供应至读控制单元231作为读存储器地址。

写地址解码器225将写地址变换为图像存储器232上的地址。写地址解码器225将所变换的地址供应至写控制单元230作为写存储器地址。

延迟调节单元228将主图像数据中的每段像素数据延迟预定时间段并且顺序地将该数据供应至写控制单元230。

写控制单元230发布指定写存储器地址的写命令并且将该命令供应至图像存储器232，并且将像素数据写到写存储器地址中。图像存储器232存储主图像数据。读控制单元231发布指定读存储器地址的读命令并且将该命令供应至图像存储器232，并且读取像素数据。这个读控制单元231将读像素数据供应至插值处理单元233。

插值处理单元233为从图像存储器232读取的主图像数据中的不足像素执行插值。例如，当由未校正的A、B、C和D围绕的区域中的像素的数量是15并且由校正的A’、B’、C’和D’围绕的区域中的像素的数量是16时，必须***一个像素。插值处理单元233基于插值系数、畸变校正之后的插值系数、读地址R以及从图像存储器读取的像素数据利用必要的像素数据执行插值。插值处理单元233将所***的图像数据供应至目标检测单元240作为已经校正畸变的主图像数据。

图14是用于描述根据第一实施方式的第一变形例的校正法的示图。图14中的项“a”表示未校正的表地址A、B、C和D以及读地址R。图14中的项“b”表示校正的表地址A’、B’、C’和D’以及畸变校正地址R’。

当读地址R不是代表点的地址时，读地址解码器224从畸变校正表226读取R的周边中的四个代表点的地址，即，所读取的未调整的地址A、B、C和D。

读地址解码器224在直线AC与直线BD之间执行线性插值以使用公式1和2获得通过读地址R的直线作为插值直线。畸变校正地址生成单元227计算插值直线和直线AB的交点M的坐标，并且计算插值直线与直线CD之间的交点N的坐标。然后，读地址解码器224获得片段MN被内部除以读地址R的内分比例m。

此外，读地址解码器224执行直线AB与直线CD之间的线性插值以获得通过读地址R的直线作为插值直线。畸变校正地址生成单元227计算插值直线和直线AC的交点O的坐标，并且计算插值直线与直线BD之间的交点P的坐标。然后，读地址解码器224获得片段OP被内部除以读地址R的内分比例n。

畸变校正地址生成单元227读取对应于未校正的表地址A、B、C和D的校正的表地址A’、B’、C’和D’。此外，畸变校正地址生成单元227从校正系数m和n获得畸变校正之后的校正系数m’和n’。然后，作为图14中的项“b”中的实例，畸变校正地址生成单元227使用公式5和6从所获得的m’和n’以及校正的数据地址A’、B’、C’和D’获得对应于读地址R的畸变校正地址R’。

如上所述，畸变校正地址生成单元227从四个代表点的坐标***不对应于代表点的点的坐标，并且因此畸变校正表226仅可保持代表点的校正的和未校正的坐标。因此，与保持所有像素的校正的和未校正的坐标的配置相比，可以减小畸变校正表226的尺寸。

根据本技术的上述第一实施方式的第一变形例，眼镜型可穿戴终端100使用代表点的坐标***除了代表点的坐标之外的坐标，并且因此可以减小畸变校正表226的尺寸。

“第二变形例”

即使当用户移动他的或者她的头部时，上述第一实施方式的眼镜型可穿戴终端100也可以相同帧速率执行成像。然而，因为当存在头部运动时图像数据的目标的位置也显著改变，所以担心的是不能精确地检测到目标。根据第一实施方式的第二变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于控制主照相机111等使得即使当存在头部运动时也可以精确地检测到目标。

图15是示出了根据第一实施方式的第二变形例的眼镜型可穿戴终端100的配置实例的框图。根据第一实施方式的第二变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于该终端进一步设置有加速度传感器160。

加速度传感器160以固定的采样率检测眼镜型可穿戴终端100的加速度。加速度传感器160将检测到的加速度值供应至参考信号生成单元120和曝光控制单元140。此外，理想的是加速度传感器160检测加速度的采样率高于视差图像数据的帧速率。因为加速度传感器通常比图像传感器消耗更少的电力，所以与图像传感器相比更容易增加加速度传感器的采样率。

因为加速度增加，所以第二变形例的参考信号生成单元120增加垂直同步信号VSYNC的频率。因此，诸如主图像数据的图像数据的帧速率也增加。此外，因为加速度增加，所以第二变形例的曝光控制单元140减少曝光时间。

根据本技术的上述第一实施方式的第二变形例，因为加速度增加，所以眼镜型可穿戴终端100以更高的帧速率拍摄图像数据，并且因此即使当用户移动他的或者她的头部时也可以精确地检测到目标。

“第三变形例”

上述第一实施方式的眼镜型可穿戴终端100以相同帧速率执行关于主图像数据和一对视差图像数据段(右侧图像数据和左侧图像数据)的成像。然而，在这个配置中，不可以与距离测量的间隔不同的间隔执行主图像数据的成像并且使用视差图像数据执行目标检测。第一实施方式的第三变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于以与距离测量和目标检测的间隔不同的间隔执行成像。

图16是示出了根据第一实施方式的第三变形例的眼镜型可穿戴终端100的配置实例的框图。根据第一实施方式的第三变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于前者设置有参考信号生成单元121而不是参考信号生成单元120，并且进一步设置有记录单元165。

记录单元165记录主图像数据。此外，参考信号生成单元121生成具有不同频率的垂直同步信号VSYNC1和VSYNC2。参考信号生成单元121将这些垂直同步信号经由信号线128和129供应至照相机单元110。

在此，VSYNC1和VSYNC2的频率的比例优选地是整数比例。当它被设置为整数比例时，深度计算的时间和目标检测的时间可以一致。这是因为，当VSYNC1和VSYNC2的频率的比例不是整数比例时，必须在主图像数据和视差图像数据中的一个上执行***。

图17是示出了根据第一实施方式的第三变形例的照相机单元110的实例的框图。垂直同步信号VSYNC1被供应至主照相机111，并且垂直同步信号VSYNC2被供应至右侧照相机115和左侧照相机116。因此，主图像数据和视差图像数据被以不同的帧速率拍摄。

此外，第三变形例的目标检测单元240与对应于右侧照相机115和左侧照相机116的VSYNC2同步，而不是与对应于主照相机111的VSYNC1同步检测目标。

图18示出了根据第一实施方式的第三变形例的垂直同步信号的实例的时序图。图18中的项“a”是当垂直同步信号VSYNC1的频率被设置为是垂直同步信号VSYNC2的频率的三倍时的时序图。因此，以高于视差图像数据的帧速率的三倍的帧速率拍摄主图像数据。距离测量和目标检测与具有低频率的垂直同步信号VSYNC2同步执行，诸如，在时间点T1、T2等处。

图18中的项“b”是当垂直同步信号VSYNC1的频率被设置为是垂直同步信号VSYNC2的频率的1/3时的时序图。因此，以视差图像数据的帧速率的1/3的帧速率拍摄主图像数据。距离测量和目标检测与具有低频率的垂直同步信号VSYNC1同步执行，诸如，在时间点T1、T2等处。

通过将主图像数据和视差图像数据的帧速率的比例设置为整数比例，如图18所示，目标检测的时间点和距离测量的时间点可以容易地匹配。此外，通过将主图像数据和视差图像数据的帧速率设置为不同值，可以单独调整图像数据的成像间隔以及距离测量和目标检测的间隔。

因为根据本技术上述的第一实施方式的第三变形例，眼镜型可穿戴终端100以不同帧速率拍摄主图像数据和视差图像数据，所有可以与距离测量和目标检测的间隔不同的间隔执行成像。

“第四变形例”

在上述第一实施方式中，使用包括主照相机111、右侧照相机115和左侧照相机116的三个照相机检测目标。在假设使用三个照相机的配置中，仅设置有两个照相机的眼镜型可穿戴终端不能够检测目标。根据第一实施方式的第四变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于仅设置有两个照相机的眼镜型可穿戴终端检测目标。

图19是示出了根据第一实施方式的第四变形例的照相机单元110和信号处理单元130的配置实例的框图。第一实施方式的第四变形例的照相机单元110与第一实施方式的照相机单元的不同在于没有设置主照相机111。此外，第一实施方式的第四变形例的信号处理单元130与第一实施方式的信号处理单元的不同在于没有设置信号处理电路131。

此外，第四变形例的目标检测单元240接收作为主图像数据的右侧图像数据和左侧图像数据中的至少一个的输入。可替换地，右侧图像数据和左侧图像数据被输入至目标检测单元240，并且目标检测单元240生成通过结合作为主图像数据的数据而获得的图像。如在第一实施方式中，目标检测单元240检测主图像数据中的目标。如在第一实施方式中，第四变形例的深度获取单元250接收右侧图像数据和左侧图像数据的输入。

因为根据如上所述的本技术的第一实施方式的第四变形例的眼镜型可穿戴终端100使用右侧照相机115和左侧照相机116检测目标，所以不必设置主照相机111和信号处理电路131。因此，可以减少部件的数量和电力消耗。

<2.第二实施方式>

上述第一实施方式的眼镜型可穿戴终端100生成深度图；然而，因为视差图像数据的分辨率或者帧速率增加，所以生成深度图的过程的处理量增加。第二实施方式的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于使用目标检测的结果减少深度图生成的处理量。

图20是示出了根据第二实施方式的图像处理单元200的配置实例的框图。根据第二实施方式的图像处理单元200与第一实施方式的图像处理单元的不同在于代替目标检测单元240和深度获取单元250设置目标检测单元241和深度获取单元251。

此外，在第二实施方式中，除了校正设置模式和目标检测模式之外通过用户的操作进一步设置距离测量模式。这个距离测量模式用于测量与特定目标的距离并且用于使显示单元150显示该距离。

当设置距离测量模式时，目标检测单元241关于对应于主图像数据的视差图像的整个区域执行目标检测过程并且将该结果供应至深度获取单元251。然后，深度获取单元251仅在基于检测结果检测特定目标的区域中获取深度，生成深度图，并且将深度图供应至显示单元150。显示单元150显示通过深度图表示的距离。

同时，当设置校正设置模式或者目标检测模式时，目标检测单元241和深度获取单元251执行与在第一实施方式中相同的过程。

图21是示出了根据第二实施方式的眼镜型可穿戴终端100的操作的实例的流程图。根据第二实施方式的眼镜型可穿戴终端100的操作与第一实施方式的操作的不同在于进一步执行步骤S903和步骤S950。

当该模式不是目标检测模式(在步骤S901中为否)时，眼镜型可穿戴终端100确定是不是距离测量模式(步骤S903)。当它是距离测量模式(在步骤S903中为是)时，眼镜型可穿戴终端100仅在检测特定目标的区域中执行获取深度(即，距离)的距离测量过程(步骤S950)。另一方面，当它是校正设置模式(在步骤S903中为否)时，眼镜型可穿戴终端100执行校正设置过程(步骤S910)。在步骤S910、S920或者S950之后，眼镜型可穿戴终端100执行步骤S902。

图22是示出了根据第二实施方式的距离测量过程的流程图。眼镜型可穿戴终端100拍摄主图像数据(步骤S951)，并且拍摄一对视差图像(步骤S952)。眼镜型可穿戴终端100校正每个图像数据的坐标转换(步骤S953)，并且检测主图像数据中的特定目标(步骤S954)。然后，眼镜型可穿戴终端100仅为使用该对视差图像检测目标的区域生成深度图(步骤S955)，并且基于该深度图显示距离(步骤S956)。在步骤S956之后，眼镜型可穿戴终端100完成距离测量过程。

图23是示出了根据第二实施方式的主图像数据和显示数据的实例的示图。图23中的项“a”示出了主图像数据520的实例，并且图23中的项“b”示出了显示数据530的实例。

在主图像数据520中拍摄诸如人物521、522等的主体。然而，人物522没有被完全拍摄，并且因此他在目标检测过程中没有作为人物被检测。当设置距离测量模式时，眼镜型可穿戴终端100检测主图像数据520中的人物521。然后，眼镜型可穿戴终端100仅为检测到的人物521的区域生成深度图。

显示数据530包括人物的检测结果531和距离信息532。这个距离信息532表示至所检测到的人物521的距离。

因为本技术的第二实施方式的眼镜型可穿戴终端100仅为如上所述检测到特定目标的主图像数据的区域获取深度，所以可以减少获取深度的过程的处理量。

<3.第三实施方式>

上述第一实施方式的眼镜型可穿戴终端100从包括主照相机111、右侧照相机115和左侧照相机116的三个照相机使用图像数据检测目标。然而，当在主图像数据中拍摄多个目标时，因为目标的数量增加，所以目标检测的处理量增加。第三实施方式的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于当拍摄多个目标时目标检测的处理量减少。

图24是根据第三实施方式的眼镜型可穿戴终端100的立体图的实例。第三实施方式的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于进一步设置右侧红外照相机117、左侧红外照相机118、右侧红外投影仪181和左侧红外投影仪182。当用户的面部面向的方向被假定为前方时，右侧红外照相机117和右侧红外投影仪181被安装在边框101的后表面上。此外，左侧红外照相机118和左侧红外投影仪182被安装在边框102的后表面上。

右侧红外投影仪181在假设存在用户的右眼的位置处辐射红外光。左侧红外投影仪181在假设存在用户的左眼的位置处辐射红外光。

右侧红外照相机117通过将红外光变换为电信号拍摄用户的右眼，并且左侧红外照相机118通过将红外光变换为电信号拍摄用户的左眼。

图25是根据第三实施方式的眼镜型可穿戴终端100的顶视图的实例。主照相机111、右侧照相机115和左侧照相机116被设置在边框101和102的前表面上，并且将可见光变换为电信号。同时，右侧红外投影仪181和左侧红外投影仪182被设置在边框101和102的后表面上。右侧红外投影仪181和左侧红外投影仪182将红外光辐射到用户的眼睛。此外，右侧红外照相机117和左侧红外照相机118被设置在边框101和102的后表面上，并且将反射在用户的眼睛上的红外光变换为电信号并且从而拍摄眼睛的图像。如上所述，通过将红外照相机设置在来自红外投影仪的反射光被容易地接收的位置处，可以使诸如具有强烈的红外光的阳光的外界光的影响最小化。

图26是示出了根据第三实施方式的眼镜型可穿戴终端100的配置实例的框图。第三实施方式的眼镜型可穿戴终端100进一步设置有光发射控制单元170、以及右侧红外投影仪181和左侧红外投影仪182。

第三实施方式的参考信号生成单元120将垂直同步信号VSYNC不仅供应至照相机单元110而且供应至光发射控制单元170。

光发射控制单元170控制右侧红外投影仪181和左侧红外投影仪182发光。光发射控制单元170使右侧红外投影仪181和左侧红外投影仪182贯穿垂直同步信号VSYNC从参考信号生成单元120供应的时期连续发光。此外，必要时光发射控制单元170基于成像环境的亮度等调整右侧红外投影仪181和左侧红外投影仪182的光发射的强度。

图27是示出了根据第三实施方式的照相机单元110和信号处理单元130的配置实例的框图。第三实施方式的照相机单元110进一步设置有右侧红外照相机117和左侧红外照相机118。第三实施方式的信号处理单元130进一步设置有信号处理电路134和135。

右侧红外照相机117拍摄用户的右眼并且将右眼图像数据供应至信号处理电路134。左侧红外照相机118拍摄用户的左眼并且将左眼图像数据供应至信号处理电路135。应注意，包括右侧红外照相机117和左侧红外照相机118的模块是眼睛图像拍摄单元的实例。

信号处理电路134在右眼图像数据上执行信号处理，并且信号处理电路135在左眼图像数据上执行信号处理。

第三实施方式的曝光控制单元140进一步控制右侧红外照相机117和左侧红外照相机118的曝光量。通过另外控制红外照相机的曝光度，可以减轻当外界光突然入射在红外照相机上时造成的影响。当基于所测量的光量终端被假定为在直接阳光下时，例如，曝光控制单元140减少右侧红外照相机117和左侧红外照相机118的曝光量，并且因此可以使反射在用户的面部上的外界光的影响最小化。此外，第三实施方式的参考信号生成单元120进一步将垂直同步信号VSYNC供应至右侧红外照相机117和左侧红外照相机118。

应注意，尽管参考信号生成单元120将相同的垂直同步信号供应至主照相机111和红外照相机(117和118)，但是可供应具有不同频率的垂直同步信号。还在这种情况下，理想的是如在第一实施方式的第三变形例中，垂直同步信号的频率的比例是整数比例。

图28是示出了根据第三实施方式的图像处理单元200的配置实例的框图。第三实施方式的图像处理单元200进一步设置有视线方向检测单元260。

第三实施方式的校正单元210进一步校正右眼图像数据和左眼图像数据，并且将校正的图像数据供应至视线方向检测单元260。

此外，视线方向检测单元260从右眼图像数据和左眼图像数据检测用户的右眼和左眼的视线方向。视线方向检测单元260将视线方向供应至目标检测单元242。

目标检测单元242计算到达放置在视线方向上的直线上的主体的距离，并且将由包括该距离的给定范围内的深度处的像素组成的区域设置为检测区域。然后，目标检测单元242在检测区域中执行目标检测过程。例如，从光轴方向上的参考位置至右眼和左眼的视线方向相交的注视点的距离被计算为从视线方向上的直线上的主体的距离。

应注意，当使用具有不同频率的两个垂直同步信号以不同帧速率拍摄主图像数据、右眼图像数据和左眼图像数据时，目标检测单元242和视线方向检测单元260在相同时间执行这些过程。例如，当VSYNC1被供应至主照相机111并且具有比VSYNC1更低的频率的VSYNC2被供应至红外照相机时，目标检测单元242和视线方向检测单元260执行与VSYNC2同步的过程。例如，当VSYNC1被供应至主照相机111并且具有比VSYNC1更高的频率的VSYNC2被供应至红外照相机时，目标检测单元242和视线方向检测单元260执行与VSYNC1同步的过程。然而，VSYNC1和VSYNC2的频率的比例被假定为整数比例。

图29是示出了根据第三实施方式的校正单元210的配置实例的框图。第三实施方式的校正单元210进一步设置有坐标变换单元214和215。

坐标变换单元214将未校正的右眼图像数据的坐标变换为校正的坐标，并且坐标变换单元215将未校正的左眼图像数据的坐标变换为校正的坐标。此外，在第三实施方式中，校正数据被设置用于坐标变换单元214和215。

图30是示出了根据第三实施方式的右眼图像数据540和左眼图像数据550的实例的示图。图30中的项“a”是右眼图像数据540的实例并且图30中的项“b”是左眼图像数据550的实例。

在右眼图像数据540中，用户的右眼的瞳孔541和反射在角膜上的红外光542被拍摄。此外，在左眼图像数据550中，用户的左眼的瞳孔551和反射在角膜上的红外光552被拍摄。视线方向检测单元260关于角膜上的反射的位置基于瞳孔的位置检测右眼和左眼的视线方向。这个使用角膜上的反射获得视线方向的方法被称为瞳孔角膜反射法。这个瞳孔角膜反射法的详情在由Takehiko Ohno以及日本信息处理学会的研究论文2001-HI-93中两个作者著作的“基于眼球模型的眼睛跟踪***-用于目光输入装置”中进行了描述。

应注意，视线方向检测单元260可使用除了瞳孔角膜反射法之外的方法检测视线方向。例如，可设置光电变换可见光的照相机而不是红外照相机，并且可基于眼睛的内角与通过照相机拍摄的眼睛的图像中的眼睛虹膜之间的位置关系检测视线方向。在这种情况下，尽管检测视线方向的精确性降低，但是红外照相机和红外投影仪是不必要的。

图31是用于描述根据第三实施方式的用于设置检测范围的方法的示图。这个附图示出了从用户的头部的顶部观看的成像范围。在附图中，粗实线表示主图像的成像平面并且虚线表示视线。

在此，人物600和601在成像范围中，并且用户在注视人物600。此外，从成像平面到人物600的距离是d1，并且从主图像的成像平面到人物601的距离是d2。在这种情况下，眼镜型可穿戴终端100检测右眼和左眼的视线方向，并且计算从视线方向与成像平面相交的注视点的距离d1。参考深度图，眼镜型可穿戴终端100在获得包括所计算的d1的给定范围(例如，d1的±1米的范围)的深度的检测区域中执行目标检测过程。当d2被从包括d1的给定范围排除时，眼镜型可穿戴终端100仅可以检测用户注视的人物600。此外，因为眼镜型可穿戴终端100不能在人物601的区域中执行目标检测过程，所以可以减少处理量。

应注意，尽管眼镜型可穿戴终端100检测右眼和左眼这两者的视线方向，但是该终端仅可检测一个视线方向。在这种情况下，尽管检测的精确性降低，但是红外照相机、红外投影仪、信号处理电路和坐标变换单元组中的一组是不必要的。

此外，尽管眼镜型可穿戴终端100使用视线方向的检测结果和深度图设置了检测范围，但是仅可使用视线方向的检测结果设置检测范围。当不使用深度图时，目标检测单元242在主图像数据例如执行边缘检测并且获得由边缘围绕的每个区域作为候选区域，并且在候选区域中，设置包括注视点的区域作为检测区域。在这种情况下，尽管检测目标的精确性降低，但是右侧照相机115、左侧照相机116、信号处理电路132和133、以及深度获取单元250是不必要的。

图32是示出了根据第三实施方式的目标检测过程的流程图。第三实施方式的目标检测过程与第一实施方式的目标检测过程的不同在于进一步执行步骤S928、S929和S930。

眼镜型可穿戴终端100拍摄主图像数据和一对视差图像数据段(步骤S921和S922)，并且拍摄左眼和右眼图像数据(步骤S928)。然后，眼镜型可穿戴终端100校正图像数据的坐标转换(步骤S923)，并且生成深度图(步骤S924)。然后，眼镜型可穿戴终端100检测视线方向(步骤S929)，并且使用视线方向和深度图检测用户注视的目标(步骤S930)。眼镜型可穿戴终端100显示目标的检测结果(步骤S926)，然后完成目标检测过程。

如上所述，根据本技术的第三实施方式，眼镜型可穿戴终端100在包括到达视线方向上的直线上的主体的距离的给定范围内的深度的区域中执行目标检测过程，并且因此仅可以检测用户注视的目标。如上所述，通过仅将检测对象缩小为用户注视的目标，可以减少当拍摄多个目标时的目标检测的处理量。

“第一变形例”

尽管上述第三实施方式的眼镜型可穿戴终端100从左眼和右眼这两者的视线方向获得关注点，但是左眼和右眼的移动量不必相同。通常，使右眼和左眼中的一个的眼球比另一个更广泛的移动，并且该眼睛被称为主眼。尽管主眼的视线与用户的实际视线良好地一致，但是不是主眼的眼睛的视线也不与主眼的视线一致。由于这个原因，担心的是由于不是主眼的眼睛的视线方向的影响导致劣化检测关注点的精确性。根据第三实施方式的第一变形例的眼镜型可穿戴终端100与第一实施方式的眼镜型可穿戴终端的不同在于检测不是主眼的眼睛的视线方向的精确性劣化被抑制。

图33是示出了根据第三实施方式的第一变形例的图像处理单元200的配置实例的框图。第三实施方式的第一变形例的图像处理单元200包括视线方向检测单元261而不是视线方向检测单元260，并且进一步包括虹膜模式检测单元270、主眼选择单元280和虹膜模式存储单元290。

虹膜模式检测单元270检测右眼图像数据和左眼图像数据中的至少一个中(例如，仅在右眼图像数据中)的虹膜模式(iris pattern)。这个虹膜模式检测单元270将检测到的虹膜模式供应至主眼选择单元280。

虹膜模式存储单元290存储表示双眼中的哪个眼是主眼的每个虹膜模式的主眼信息。

主眼选择单元280从右眼图像数据和左眼图像数据选择双眼中的一个作为主眼。当虹膜模式被检测时，这个主眼选择单元280确定该虹膜模式是否在虹膜模式存储单元290中登记。当虹膜模式登记时，主眼选择单元280从虹膜模式存储单元290读取对应于检测到的虹膜模式的主眼信息，并且将主眼信息供应至视线方向检测单元261。

另一方面，当虹膜模式未登记时，主眼选择单元280分析由右眼图像数据组成的动态图像以及由左眼图像数据组成的动态图像，并且选择具有广泛运动的一个作为主眼。主眼选择单元280生成表示所选择主眼的主眼信息，并且在虹膜模式存储单元290中注册与检测到的虹膜模式相关的信息。此外，主眼选择单元280将所生成的主眼信息供应至视线方向检测单元261。如上所述，因为主眼选择单元280自动选择主眼，对于用户来说执行输入主眼的操作是不必要的。

当通过主眼选择单元280选择主眼时，视线方向检测单元261检测优先用于主眼的视线方向。视线方向检测单元261例如仅检测双眼中的主眼的视线方向。可替换地，与不是主眼的眼睛的图像数据段相比，视线方向检测单元261获取更多的主眼的图像数据段，检测图像数据的视线方向，并且计算检测结果的统计量。

另一方面，当通过主眼选择单元280的动态图像的分析没有完成并且因此没有选择主眼时，如在第三实施方式中视线方向检测单元261检测双眼的视线方向。

应注意，尽管虹膜模式检测单元270仅执行虹膜模式的检测，该单元可进一步执行虹膜验证确定其中检测到的虹膜模式是否与登记的虹膜模式一致。此外，尽管眼镜型可穿戴终端100从双眼的图像数据自动选择主眼，但是还可以是用户手动输入主眼的配置。在那种情况下，主眼选择单元280是不必要的。

图34是示出了根据第三实施方式的第一变形例的关于每段虹膜模式信息的主眼信息的实例的表。虹膜模式存储单元290存储关于每个识别信息段的虹膜模式信息和主眼信息。识别信息是用于识别虹膜模式。例如，当利用模式A将右眼检测为人物的主眼时，虹膜模式存储单元290存储表示与“模式A”相关联的“右眼”的主眼信息。

图35是示出了根据第三实施方式的第一变形例的目标检测过程的流程图。根据第三实施方式的第一变形例的目标检测过程与第三实施方式的目标检测过程的不同在于在生成深度图(步骤S924)之后，进一步执行用于检测视线方向的视线检测过程(步骤S940)。

图36是示出了根据第三实施方式的第一变形例的视线检测过程的流程图。眼镜型可穿戴终端100检测虹膜模式(步骤S941)，并且确定是否登记虹膜模式(步骤S942)。当虹膜模式被登记(步骤S942中为是)时，眼镜型可穿戴终端100读取对应于检测到的虹膜模式的主眼信息(步骤S943)。另一方面，当虹膜模式未被登记(在步骤S942中为否)时，眼镜型可穿戴终端100选择主眼(步骤S944)，并且登记与虹膜模式相关联的主眼信息(步骤S945)。

在步骤S943或者S945之后，眼镜型可穿戴终端100检测优先用于主眼的视线方向(步骤S946)。在步骤S946之后，眼镜型可穿戴终端100完成视线检测过程。

根据本技术的上述第三实施方式的第一变形例，眼镜型可穿戴终端100选择双眼中的一个作为主眼并且检测优先用于主眼的视线方向，并且因此可以提高检测视线方向的精确性。

“第二变形例”

上述第三实施方式的眼镜型可穿戴终端100二维显示目标的检测结果；然而，因为即使实际目标是通过透射式显示器三维观看的，检测结果也是二维显示，担心的是缺乏真实性的意义。根据第三实施方式的第二变形例的眼镜型可穿戴终端100与第三实施方式的眼镜型可穿戴终端的不同在于提高真实性的意义。

图37是示出了根据第三实施方式的第二变形例的图像处理单元200的配置实例的框图。根据第三实施方式的第二变形例的图像处理单元200与第三实施方式的图像处理单元的不同在于进一步设置立体图像生成单元300。

第三实施方式的第二变形例的目标检测单元240将表示目标检测结果的显示数据和表示到达检测到的目标的深度的距离信息供应至立体图像生成单元300。

立体图像生成单元300根据来自显示数据的距离信息生成关于视差的右侧显示数据和左侧显示数据。立体图像生成单元300将右侧显示数据供应至右侧透射式显示器151并且将左侧显示数据供应至左侧透射式显示器152。这些显示器在用户注视的光轴方向上的目标的位置处三维显示检测结果。

图38是示出了根据第三实施方式的第二变形例的立体图像的显示位置的实例的示图。右侧显示数据的水平坐标(例如，中央的水平坐标)被设置为UR，并且左侧显示数据的水平坐标被设置为UL。因为从用户移动至左侧，水平坐标被假定为具有更小的值。在这种情况下，例如，通过从UR减去UL获得的值用作视差DIF。

在此，左眼与右眼之间的距离被假定为基础距离B，从观察者到显示单元150的距离被假定为Dm，并且三维显现的深度方向上的立体图像的显示位置被假定为Dp。在这种情况下，由右眼、左眼和立体图像的中央形成的三角形与由UR、UL和立体图像的中心形成的三角形相似，并且满足以下公式7。

DIF:Dm＝B:Dp…公式7

利用以上公式7，视差DIF由表示距离信息的Dp、B和Dm的设计值计算得出，并且因此利用视差DIF生成一对显示数据段。

根据本技术的上述第三实施方式的第二变形例，眼镜型可穿戴终端100根据检测到目标的深度利用视差生成一对显示数据段，并且因此可以在检测到目标的位置处显示立体图像。通过以此方式显示立体图像，可以提高真实性的意义。

“第三变形例”

尽管上述第三实施方式的眼镜型可穿戴终端100导致右侧红外投影仪181和左侧红外投影仪182连续发光，但是存在的问题是这种发光导致眼镜型可穿戴终端100的电力消耗增加。根据第三实施方式的第三变形例的眼镜型可穿戴终端100与第三实施方式的眼镜型可穿戴终端的不同在于可归因于右侧红外投影仪181和左侧红外投影仪182的发光的电力消耗减少。

图39是示出了根据第三实施方式的第三变形例的眼镜型可穿戴终端100的配置实例的框图。根据第三实施方式的第三变形例的眼镜型可穿戴终端100与第三实施方式的眼镜型可穿戴终端的不同在于代替光发射控制单元170设置了光发射控制单元171。

光发射控制单元171不仅接收垂直同步信号VSYNC而且接收表示曝光时间的曝光控制信号。此外，光发射控制单元171导致右侧红外投影仪181和左侧红外投影仪182与垂直同步信号VSYNC同步断续发光。

在此，右侧红外照相机117和左侧红外照相机118以其中图像的多个视线被顺序曝光的滚动快门法执行拍摄。在这种情况下，期望的是执行通过包括从第一视线的曝光开始至最后一个视线的曝光结束的曝光周期的给定发光周期执行连续发光。这是因为，当红外投影仪通过在曝光时间切换控制导致断续发光时，在红外接收视线时间中存在差异，并且因此，担心的是未获得精确的右眼图像和精确的左眼图像。例如，光发射控制单元171导致发光与垂直同步信号VSYNC同步在早于曝光开始的时间执行并且在曝光结束之后的时间完成。

图40是示出了根据第三实施方式的第三变形例的眼镜型可穿戴终端100的操作的实例的时序图。

参考信号生成单元120在是具有给定间隔的诸如时间点T1、T2和T3的时间生成垂直同步信号VSYNC。此外，右侧红外照相机117和左侧红外照相机118与垂直同步信号VSYNC同步开始或者完成曝光。例如，在已经从时间点T1过去的给定周期的时间点T11时，右侧红外照相机117和左侧红外照相机118开始第一视线的曝光。在时间点T11过去之后，第二视线和后续视线的曝光顺序开始。然后，在已经从时间点T2过去的给定周期的时间点T21时，右侧红外照相机117和左侧红外照相机118完成最后一个视线的曝光。此外，红外照相机在已经从时间点T2过去给定周期的时间点T22时开始第一视线的曝光，并且在已经从时间点T3过去给定周期的时间点T31时完成最后一个视线的曝光。

另一方面，光发射控制单元171导致发光与垂直同步信号VSYNC同步在早于第一视线曝光开始的时间执行并且在最后一个视线曝光结束之后的时间完成。例如，光发射控制单元171导致右侧红外投影仪181和左侧红外投影仪182贯穿从紧邻时间点T11之前的时间至紧邻时间点T21之后的时间的周期发光。此外，光发射控制单元171导致在从紧邻时间点T21之后的时间至紧邻时间点T22之前的时间的周期停止发光。然后，光发射控制单元171导致右侧红外投影仪181和左侧红外投影仪182贯穿从紧邻时间点T22之前的时间至紧邻时间点T31之后的时间的周期发光。

根据本技术的上述第三实施方式的第三变形例，光发射控制单元171导致红外投影仪仅在包括曝光周期的给定周期中发光，并且因此比在连续执行发光时更可以减少电力消耗。

“第四变形例”

在上述第三实施方式的第三变形例中右侧红外照相机117和左侧红外照相机118以滚动快门法执行曝光。然而，在滚动快门法中，曝光开始和曝光结束的时间根据视线而不同，并且因此出现当拍摄移动目标时图像畸变的现象(这是所谓的滚动快门畸变)并且当拍摄荧光时出现闪光。第三实施方式的第四变形例的眼镜型可穿戴终端100与第三变形例的眼镜型可穿戴终端的不同在于滚动快门畸变和闪光被抑制。

在此，在第三变形例的滚动快门法中，当红外投影仪在曝光周期中断续发光时在红外接收视线的时间存在差异，并且因此光发射控制单元171导致发光贯穿包括曝光周期的发光周期被连续执行。在第四变形例的滚动快门法中，然而，即使当红外投影仪在曝光时间断续发光时，在红外接收视线的时间中也不存在差异。因此，第四变形例的光发射控制单元171导致红外光在曝光时间断续发出，并且因此可以进一步减少电力消耗。

图41是示出了根据第三实施方式的第四变形例的眼镜型可穿戴终端100的操作的实例的时序图。右侧红外照相机117和左侧红外照相机118同时开始所有视线的曝光。例如，右侧红外照相机117和左侧红外照相机118在时间点T11开始所有视线的曝光，并且在时间点T21完成所有视线的曝光。

另一方面，光发射控制单元171在所有视线曝光开始的时间开始以给定占空比间歇性发光，并且与垂直同步信号VSYNC同步在所有视线曝光结束的时间完成间歇性发光。例如，光发射控制单元171导致右侧红外投影仪181和左侧红外投影仪182贯穿从时间点T11至时间点T21的周期间歇性发光。此外，光发射控制单元171导致在从时间点T21至时间点T22的周期中停止发光。光发射控制单元171导致右侧红外投影仪181和左侧红外投影仪182贯穿从时间点T22至时间点T31的周期间歇性发光。

此外，光发射控制单元171可以通过控制导致右侧红外投影仪181和左侧红外投影仪182发光的光发射控制信号的占空比调整发光强度。改变脉冲宽度(即，占空比)的这种控制被称为脉宽调制(PWM)控制。

应注意，尽管光发射控制单元171导致仅在曝光时间执行间歇性发光，但是该单元可导致贯穿包括曝光时间的成像周期执行间歇性发光。此外，如在第三变形例中，光发射控制单元171可使发光贯穿长于曝光时间的给定发光周期连续执行。

根据本技术的上述第三实施方式的第四变形例，以其中光发射控制单元171同时开始所有视线的曝光的全域快门法执行成像，并且因此可以抑制滚动快门畸变和闪光。

上述实施方式示出了用于实现本技术的实例，并且指定权利要求的范围中的内容的实施方式和技术的内容分别具有对应关系。类似地，指定权利要求的范围中的内容的技术和附属有相同名称的本技术的实施方式中的内容分别具有对应关系。然而，本技术并不局限于各种实施方式，并且在不背离本技术的精神的情况下，可以通过不同地修改实施方式来实现本技术。

在上述实施方式中描述的处理程序可识别为具有一系列程序的方法，或者可识别为用于使计算机执行一系列程序或者具有记录在其上的程序的非易失性计算机可读记录介质。作为记录介质，例如，可使用光盘(CD)、小型磁盘(MD)、数字通用光盘(DVD)、存储卡和蓝光(注册商标)圆盘等。

<应用实施例>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可实现为配备有任一种类的移动主体的装置，诸如，汽车、电动汽车、混合式电动汽车、摩托车、自行车、个人活动性、飞机、无人机、船舶和机器人。

图42是示出了可应用的根据本公开内容的移动控制***技术的实例的车辆控制***2000的示意性配置实例的框图。车辆控制***2000包括通过通信网络2010连接的多个电子控制单元。在图42中示出的实例中，车辆控制***2000包括驱动***控制单元2100、主体***控制单元2200、电池控制单元2300、外部信息检测子***2400、车载信息检测单元2500和集成控制单元2600。用于连接多个控制单元的通信网络2010可以是依照诸如CAN(控制器区域网)、LIN(本地互联网)、LAN(局域网)或者FlexRay(注册商标)的任何标准的车载通信网络。

每个控制单元包括根据各种程序执行算术运算处理的微型计算机、用于存储程序中使用的参数等或者通过微型计算机执行的各种操作的存储单元、用于驱动配备有各种控制目标的装置的驱动电路。控制单元包括：网络I/F，用于经由通信网络2010执行与其他控制单元的通信；以及通信I/F，通过汽车或者传感器的内部和外部的装置之间的有线或者无线通信进行通信。

外部信息检测子***2400检测具有车辆控制***2000的车辆的外部信息。例如，外部信息检测子***2400与成像单元2410和外部信息检测单元2420中的至少一个连接。图像拾取单元2410包括ToF(飞行时间)照相机、立体照相机、单目照相机、红外照相机和其他照相机中的至少一个。例如，外部信息检测单元2420包括用于检测当前天气或者天气的环境传感器和用于检测周围其他车辆、障碍物或者步行者的周围信息检测传感器中的至少一个。

例如，环境传感器可包括用于检测雨水的雨滴传感器、用于检测大雾的大雾传感器、用于检测阳光程度的阳光传感器、以及用于检测雪花的雪花传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达装置和LIDAR(光探测和测距、激光图像探测和测距)中的至少一个。成像单元2410和外部信息检测单元2420可设置为独立传感器或者装置，或者设置为多个传感器或者装置作为集成装置。

在此，图43示出了成像单元2410和外部信息检测单元2420的位置的实例。例如，成像单元2910、2912、2914、2916和2918设置有前鼻、侧视镜、后挡、后门以及车辆2900的内部的前玻璃的上部中的至少一个。设置在前鼻中的成像单元2910和设置在车辆内部的前玻璃的上部中的成像单元2918主要获取车辆2900前面的图像。设置有侧视镜的成像单元2912和2914主要获取车辆2900侧面的图像。设置有后挡或者后门的成像单元2916主要获取车辆2900后面的图像。设置有车辆内部的前玻璃的上部的成像单元2918用于检测前面车辆、步行者、障碍物、交通信号和行车道。

在图43中，示出了成像单元2910、2912、2914和2916的成像范围的实例。成像范围“a”示出了设置在前鼻中的成像单元2910的成像范围，成像范围“b”和“c”分别是设置在后视镜中的成像单元2912和2914的成像范围，并且成像范围“d”示出了设置在后挡或者后门中的成像单元2916的成像范围。例如，通过叠加由成像单元2910、2912、2914和2916拍摄的图像数据获得从上从上观看车辆2900的俯瞰图像。

例如，设置有前玻璃的前部、后部、侧面、转角和上部的外部信息检测单元2920、2922、2924、2926、2928和2930分别可以是超声波传感器或者雷达装置。设置有前鼻、后挡、后门和车辆2900的内部的前玻璃的上部的外部信息检测单元2920、2926和2930例如可以是LIDAR装置。外部信息检测单元从2920至2930主要用于前面车辆、步行者或者障碍物的检测。

返回参考图42，外部信息检测子***2400指示成像单元2410拍摄车辆外部的图像并且接收所拍摄的图像数据。进一步地，外部信息检测子***2400从连接的外部信息检测单元2420接收检测信息。如果外部信息检测单元2420是超声波传感器、雷达装置或者LIDAR***，则外部信息检测子***2400传输超声波或者电磁波等，并且接收所接收的反射波的信息。外部信息检测子***2400可基于所接收的信息为路面上的人类、车辆、障碍物、交通信号或者字符执行目标检测处理或者距离检测处理。外部信息检测子***2400可基于所接收的信息执行用于检测雨水、大雾或者路面条件的环境检测处理。外部信息检测子***2400可基于所接收的信息计算到达外部目标的距离。

进一步地，外部信息检测子***2400基于所接收的图像数据可执行用于识别人类、车辆、障碍物、交通信号或者路面上的字母等的图像识别处理或者距离检测处理。外部信息检测子***2400可关于所接收的图像数据执行畸变校正处理和排列处理，合成通过不同成像单元2410拍摄的图像数据，并且生成俯瞰图像或者全景图像。外部信息检测子***2400使用通过不同的成像单元2410拍摄的图像数据可执行视点变换处理。

进一步地，通过外部信息检测单元2400执行的处理可通过接收通过成像单元2400拍摄的图像数据的集成控制单元2600来执行。

集成控制单元2600根据各种程序控制车辆控制***2000的总体操作。集成控制单元2600包括输入单元2800。输入单元2800可通过驾驶员可操作的装置实现，诸如，触摸板、按钮、麦克风、开关或者把手等。集成控制单元2600可接收在语音识别处理之后获得的数据作为输入。例如，输入单元2800可以是使用红外线或者其他无线电波的遥控装置、或者诸如对应于车辆控制***2000的操作的移动电话或者PDA(个人数字助理)的外接装置。例如，输入单元2800可以是照相机，在这种情况下，用户可以通过手势输入信息。可替换地，该数据通过检测用户安装的可穿戴装置的运动输入。进一步地，例如，输入单元2800可包括输入控制电路以基于用户输入的信息产生输入信号并且将它们输出至集成控制单元2600。用户通过操作输入单元2800输入各种数据并且为车辆控制***2000指示处理操作。

音频和视频输出单元2670将音频和视频数据的输出信号中的至少一个传输至可以像用户或者外部车辆直观地或者听觉上通知信息的输出装置。在图42的实例中，音频扬声器2710、显示单元2720和仪表面板2730示出为输出装置。例如，显示单元2720可包括车载显示器和平视显示器中的至少一个。显示单元2720可具有AR(增强现实)显示功能。输出装置可以是其他装置，诸如，头戴耳机、投影仪、灯泡或者可穿戴装置，例如，用于驾驶员的眼镜型可穿戴显示器。当输出装置是显示装置时，它以诸如文本、图像、图表、曲线等各种类型直观显示通过微型计算机2610的各种处理获得的结果或者从其他控制单元接收的信息。当输出装置是音频输出装置时，它将包括再现音频数据或者声音数据的音频信号转换为模拟信号，并且在听觉上输出它们。

在图42中示出的实例中，经由通信网络2010连接的至少两个控制单元可集成为单一控制单元。可替换地，每个控制单元可以通过多个控制单元进行配置。进一步地，车辆控制***2000可设置有未示出的单独的控制单元。进一步地，在以上描述中，可在其他控制单元中执行控制单元中的任一个的一部分或者所有功能。即，如果通过通信网络2010执行信息的传输和接收，则可利用控制单元中的任一个执行预定的操作处理。类似地，尽管连接至控制单元中的任一个的传感器或装置连接至其他控制单元，但是多个控制单元经由通信网络2010彼此传输和接收检测信息。

此外，实现参考图42描述的根据本实施方式的眼镜型可穿戴终端100的每个功能的计算机程序可安装在车辆控制***2000中的控制单元中的任一个中。此外，可提供其中存储这种计算机程序的计算机可读存储介质。例如，计算机可读存储介质可以是磁盘、光盘、磁光盘或者闪速存储器。此外，可经由网络而不是计算机可读存储介质分布计算机程序。

上述车辆控制***2000、参考图3描述的根据本实施方式的眼镜型可穿戴终端100可应用于用于图42中示出的应用实施例的车辆控制***2000。例如，眼镜型可穿戴终端100的照相机单元110和显示单元150对应于车辆控制***2000的成像部2410和显示单元2720。眼镜型可穿戴终端100的信号处理单元130和图像处理单元200对应于车辆控制***2000的外部信息检测子***2400和微型计算机2610。

参考图3描述的眼镜型可穿戴终端100的至少一些组件可通过用于图42中示出的车辆控制***2000的模块(例如，由一个模具形成的集成电路模块)实施。可替换地，参考图3描述的眼镜型可穿戴终端100可通过图42中示出的车辆控制***2000中的多个控制单元执行。

本说明中描述的效果仅是实例，该效果不受限制，并且可存在其他效果。

此外，还可以如下配置本技术。

(1)一种图像处理装置，包括：

深度获取单元，被配置为获取形成与主图像中的每一个像素相关联的主图像的透镜的光轴方向上的深度；以及

目标检测单元，被配置为在由对应于预定范围内的光轴方向上的深度的像素组成的检测区域中执行检测特定目标的目标检测过程。

(2)根据(1)所述图像处理装置，其中，深度获取单元从其成像范围至少部分地与主图像的成像范围重叠的一对视差图像的视差获取深度。

(3)根据(1)或者(2)所述的图像处理装置，

其中，当指示检测特定目标时，深度获取单元获取与主图像中的每一个像素相关联的深度，并且目标检测单元在检测区域中执行目标检测过程，并且

其中，当指示获取深度时，目标检测单元在整个主图像上执行目标检测过程，并且深度获取单元获取与其中检测到特定目标的主图像的区域中的每一个像素相关联的深度。

(4)根据(1)至(3)中的任一项所述的图像处理装置，进一步包括：

视线方向检测单元，被配置为基于通过拍摄左眼和右眼中的至少一个获得的眼睛图像检测左眼和右眼中的至少一个的视线方向，

其中，目标检测单元在作为预定范围的包括到达放置在视线方向上的直线上的主体的距离的给定范围中执行目标检测过程。

(5)根据(4)所述的图像处理装置，进一步包括：

主眼选择单元，被配置为基于眼睛图像选择左眼和右眼中的一个作为主眼，

其中，视线方向检测单元检测优先用于主眼的视线方向。

(6)根据(5)所述的图像处理装置，进一步包括：

虹膜模式检测单元，被配置为基于眼睛图像检测左眼和右眼中的至少一个的虹膜模式；以及

虹膜模式存储单元，被配置为利用检测到的虹膜模式对应的虹膜模式存储为人物选择的主眼，

其中，主眼选择单元从虹膜模式存储单元读取对应于检测到的虹膜模式的主眼。

(7)根据(1)至(6)中的任一项所述的图像处理装置，进一步包括：

校正单元被配置为从预定的参考坐标校正主图像中的每一个像素的坐标的转换并且将该结果供应至目标检测单元。

(8)根据(7)所述的图像处理装置，

其中，校正单元包括：

畸变校正表，在坐标的转换被校正之前的未校正的坐标以及转换被校正之后的校正坐标保持与像素的一些代表点相关联，以及

插值单元，被配置为在没有对应于代表点作为坐标的转换被校正的坐标的像素的周边中获得从对应于四个未校正的坐标中的每一个的校正坐标***的坐标。

(9)一种成像装置，包括：

主图像拍摄单元，被配置为使用形成主图像的透镜拍摄主图像；

深度获取单元，被配置为获取与主图像中的每一个像素相关联的光轴方向上的深度；以及

目标检测单元，被配置为在由对应于预定范围内的光轴方向上的深度的像素组成的检测区域中执行检测特定目标的目标检测过程。

(10)根据(9)所述的成像装置，进一步包括：

视差图像拍摄单元，被配置为拍摄其成像范围至少部分地与主图像的成像范围重叠的一对视差图像，

其中，深度获取单元从该对视差图像的视差获取深度。

(11)根据(10)所述的成像装置，

其中，主图像拍摄单元以第一频率拍摄与第一同步信号同步的主图像，

其中，视差图像拍摄单元以第二频率拍摄与第二同步信号同步的该对视差图像，并且

其中，第一频率和第二频率的比例是整数比。

(12)根据(10)或(11)所述的成像装置，进一步包括：

曝光控制单元，被配置为控制主图像拍摄单元和视差图像拍摄单元的曝光周期具有相同值。

(13)根据(9)至(12)中的任一项所述的成像装置，进一步包括：

眼睛图像拍摄单元，被配置为拍摄左眼和右眼中的至少一个的图像作为眼睛图像；以及

视线方向检测单元，被配置为基于眼睛图像检测左眼和右眼中的至少一个的视线方向，

其中，目标检测单元在作为预定范围的包括到达放置在视线方向上的直线上的主体的距离的给定范围中执行目标检测过程。

(14)根据(13)所述的成像装置，进一步包括：

红外投影仪，被配置为发射红外光；以及

光发射控制单元，被配置为控制红外投影仪发射红外光，

其中，眼睛图像拍摄单元通过光电变换红外光拍摄眼睛图像。

(15)根据(9)至(14)中的任一项所述的成像装置，进一步包括：

加速度传感器，被配置为检测成像装置的加速度，

其中，因为加速度增加，主图像拍摄单元以更高频率拍摄与同步信号同步的主图像。

(16)根据(9)至(15)中的任一项所述的成像装置，进一步包括：

立体图像生成单元，被配置为根据至特定目标的深度生成具有视差的一对显示数据段；以及

显示单元，被配置为显示该对显示数据段。

(17)一种图像处理方法，包括：

深度获取程序，其中深度获取单元获取形成与主图像的每一个像素相关联的主图像的透镜的光轴方向上的深度；以及

目标检测程序，其中目标检测单元在由对应于预定范围内的光轴方向上的深度的像素组成的检测区域中执行检测特定目标的目标检测过程。

(18)一种程序，使计算机执行下列步骤：

深度获取过程，其中深度获取单元获取形成与主图像的每一个像素相关联的主图像的透镜的光轴方向上的深度；以及

目标检测过程，其中目标检测单元在由对应于预定范围内的光轴方向上的深度的像素组成的检测区域中执行检测特定目标。

(19)一种图像处理装置，包括：

目标检测单元，被配置为在主图像中执行检测特定目标的目标检测过程；以及深度获取单元，被配置为从其成像范围至少部分地与检测到特定目标的区域中的每一个像素相关联的主图像的成像范围重叠的一对视差图像的视差获取形成主图像的透镜的光轴方向上的深度。

(20)一种图像处理装置，包括：

视线方向检测单元，被配置为基于通过拍摄左眼和右眼中的至少一个获得的眼睛图像检测左眼和右眼中的至少一个的视线方向；以及

目标检测单元，被配置为在其中放置在视线方向上的直线上的主体被拍摄的主图像的检测区域中执行检测特定目标的目标检测过程。

(21)一种图像处理装置，包括：

深度获取电路，被配置为使用对应于图像数据的视差电子地生成图像的深度图，该深度图包括涉及与图像中的每个像素的参考位置的距离的信息；以及

目标检测电路，被配置为通过识别图像数据中的特定像素使用距离信息和深度图电子地检测图像中的特定目标。

(22)根据权利要求(21)所述的图像处理装置，其中，距离信息是第一距离与第二距离之间的距离范围。

(23)根据权利要求(21)所述的图像处理装置，其中，距离信息是一个值。

(24)根据权利要求(21)所述的图像处理装置，其中，目标检测电路被配置为使用距离信息和深度图识别图像的检测区域。

(25)根据权利要求(24)所述的图像处理装置，其中，检测区域包括具有深度信息的像素。

(26)根据权利要求(21)所述的图像处理装置，其中，图像数据的成像范围与第一图像数据的图像范围和第二图像数据的成像范围重叠。

(27)根据权利要求(26)所述的图像处理装置，其中，第一图像数据的分辨率低于图像数据的分辨率。

(28)根据权利要求(27)所述的图像处理装置，其中，第一图像数据和第二图像数据具有相同的分辨率。

(29)根据权利要求(21)所述的图像处理装置，其中，视差的分辨率低于图像数据的分辨率。

(30)根据权利要求(21)所述的图像处理装置，其中，视差是单色图像数据。

(31)根据权利要求(21)所述的图像处理装置，进一步包括：

校正电路，被配置为校正已经从预定参考坐标转换的图像数据中的任何像素的坐标。

(32)一种图像处理***，包括：

深度获取电路，被配置为使用对应于图像数据的视差电子地生成图像的深度图，该深度图包括涉及与图像中的每个像素的参考位置的距离的信息；

目标检测电路，被配置为使用距离信息和深度图通过识别图像数据中的特定像素电子地检测图像中的特定目标；以及

照相机装置，被配置为拍摄图像作为视场并且将视场变换为图像数据。

(33)根据权利要求(32)所述的图像处理***，进一步包括：

第一照相机装置，被配置为拍摄第一图像；以及

第二照相机装置，被配置为拍摄第二图像，

其中，从第一图像数据和第二图像数据生成视差，该第一图像数据对应于第一图像并且第二图像数据对应于第二图像。

(34)根据权利要求(33)所述的图像处理***，其中，目标检测电路被配置为生产待显示的特定目标的显示数据。

(35)根据权利要求(34)所述的图像处理***，进一步包括：

显示电路，被配置为输出显示数据作为可视图像。

(36)根据权利要求(33)所述的图像处理***，其中，图像数据的成像范围与第一图像数据的图像范围和第二图像数据的成像范围重叠。

(37)根据权利要求(36)所述的图像处理***，其中，第一图像数据的分辨率低于图像数据的分辨率。

(38)根据权利要求(37)所述的图像处理***，其中，第一图像数据和第二图像数据具有相同的分辨率。

(39)根据权利要求(33)所述的图像处理***，其中，视差的分辨率低于图像数据的分辨率。

(40)根据权利要求(33)所述的图像处理***，其中，视差是单色图像数据。

(41)根据权利要求(32)所述的图像处理***，其中，照相机装置被安装至一副眼镜。

参考符号列表

100 眼镜型可穿戴终端

101、102 边框

110 照相机单元

111 主照相机

112 成像透镜

113 光圈

114 成像传感器

115 右侧照相机

116 左侧照相机

117 右侧红外照相机

118 左侧红外照相机

120、121 参考信号生成单元

130 信号处理单元

131、132、133、134、135 信号处理电路

140 曝光控制单元

150 显示单元

151 右侧透射式显示器

152 左侧透射式显示器

160 加速度传感器

165 记录单元

170、171 光发射控制单元

181 右侧红外投影仪

182 左侧红外投影仪

200 图像处理单元

210 校正单元

211 坐标转换计算单元

212、213、214、215、220 坐标变换单元

221 校正范围存储单元

222 读地址计数器

223 写地址计数器

224 读地址解码器

225 写地址解码器

226 畸变校正表

227 畸变校正地址生成单元

228 延迟调整单元

229 畸变校正地址解码器

230 写控制单元

231 读控制单元

232 图像存储器

233 插值处理单元

240、241、242 目标检测单元

250、251 深度获取单元

260、261 视线检测单元

270 虹膜模式检测单元

280 主眼选择单元

290 虹膜模式存储单元

300 立体图像生成单元

Claims (21)

1.一种图像处理装置，包括：

深度获取电路，被配置为使用与图像数据相对应的视差电子地生成图像的深度图，所述深度图包括涉及距所述图像中的每个像素的参考位置的距离的信息；以及

目标检测电路，被配置为使用距离信息和所述深度图通过识别所述图像数据中的特定像素电子地检测所述图像中的特定目标。

2.根据权利要求1所述的图像处理装置，其中，所述距离信息是第一距离与第二距离之间的距离的范围。

3.根据权利要求1所述的图像处理装置，其中，所述距离信息是一个值。

4.根据权利要求1所述的图像处理装置，其中，所述目标检测电路被配置为使用所述距离信息和所述深度图识别所述图像的检测区域。

5.根据权利要求4所述的图像处理装置，其中，所述检测区域包括具有深度信息的像素。

6.根据权利要求1所述的图像处理装置，其中，所述图像数据的成像范围与第一图像数据的图像范围和第二图像数据的成像范围重叠。

7.根据权利要求6所述的图像处理装置，其中，所述第一图像数据的分辨率低于所述图像数据的分辨率。

8.根据权利要求7所述的图像处理装置，其中，所述第一图像数据和所述第二图像数据具有相同的分辨率。

9.根据权利要求1所述的图像处理装置，其中，所述视差的分辨率低于所述图像数据的分辨率。

10.根据权利要求1所述的图像处理装置，其中，所述视差是单色图像数据。

11.根据权利要求1所述的图像处理装置，进一步包括：

校正电路，被配置为校正已经从预定参考坐标转换的所述图像数据中的任何像素的坐标。

12.一种图像处理***，包括：

深度获取电路，被配置为使用对应于图像数据的视差电子地生成图像的深度图，所述深度图包括涉及距所述图像中的每个像素的参考位置的距离的信息；

目标检测电路，被配置为使用距离信息和所述深度图通过识别所述图像数据中的特定像素电子地检测所述图像中的特定目标；以及

照相机装置，被配置为拍摄所述图像作为视场并且将所述视场变换为所述图像数据。

13.根据权利要求12所述的图像处理***，进一步包括：

第一照相机装置，被配置为拍摄第一图像；以及

第二照相机装置，被配置为拍摄第二图像，

其中，从第一图像数据和第二图像数据生成所述视差，所述第一图像数据对应于所述第一图像并且所述第二图像数据对应于所述第二图像。

14.根据权利要求13所述的图像处理***，其中，所述目标检测电路被配置为产生待显示的所述特定目标的显示数据。

15.根据权利要求14所述的图像处理***，进一步包括：

显示电路，被配置为输出所述显示数据作为可视图像。

16.根据权利要求13所述的图像处理***，其中，所述图像数据的成像范围与所述第一图像数据的图像范围和所述第二图像数据的成像范围重叠。

17.根据权利要求16所述的图像处理***，其中，所述第一图像数据的分辨率低于所述图像数据的分辨率。

18.根据权利要求17所述的图像处理***，其中，所述第一图像数据和所述第二图像数据具有相同的分辨率。

19.根据权利要求13所述的图像处理***，其中，所述视差的分辨率低于所述图像数据的分辨率。

20.根据权利要求13所述的图像处理***，其中，所述视差是单色图像数据。

21.根据权利要求12所述的图像处理***，其中，所述照相机装置被安装至一副眼镜。