CN104885125B - 信息处理设备、信息处理***和信息处理方法 - Google Patents

信息处理设备、信息处理***和信息处理方法 Download PDF

Info

Publication number
CN104885125B
CN104885125B CN201380067337.8A CN201380067337A CN104885125B CN 104885125 B CN104885125 B CN 104885125B CN 201380067337 A CN201380067337 A CN 201380067337A CN 104885125 B CN104885125 B CN 104885125B
Authority
CN
China
Prior art keywords
image
pixel value
camera
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380067337.8A
Other languages
English (en)
Other versions
CN104885125A (zh
Inventor
大场章男
势川博之
稻田彻悟
小笠原英彦
冈本宽史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104885125A publication Critical patent/CN104885125A/zh
Application granted granted Critical
Publication of CN104885125B publication Critical patent/CN104885125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

根据本发明，成像设备(12)包括第一相机(28)和第二相机(30)，并且在不同拍摄条件之下拍摄相同被摄体。图像分析单元(34)的拍摄图像数据获取单元(118)获取由成像设备(12)同时拍摄的两个图像的数据。校正单元(124)通过对于两个图像中的任一个进行校正安排两个图像的亮度值的分布。校正表管理单元(120)根据由信息处理设备(14)实现的功能切换和生成要使用的校正表。校正表存储单元(122)存储示出校正之前和之后的亮度值之间的对应关系的校正表。深度图像生成单元(126)使用两个图像执行立体匹配以生成深度图像。

Description

信息处理设备、信息处理***和信息处理方法
技术领域
本发明涉及一种基于拍摄图像生成输出图像的信息处理设备、信息处理***和在所述设备和所述***中的信息处理方法。
背景技术
近年来，使用相机装配个人计算机、游戏机等，并且拍摄用户的形象来以各种形式使用拍摄图像已经变得常见。例如，例如视频电话和视频聊天的经由网络照原样将用户的图像传送至另一侧的***，以及通过图像分析识别用户的运动并且使用识别的运动作为游戏或信息处理的输入信息的***已经实际使用(参考例如PLT 1)。
[引用列表]
[专利文献]
[PLT 1]
WO 2007/050885 A2
发明内容
[技术问题]
为了实现具有高响应和高精度的通过使用拍摄图像的各种类型的处理，需要拍摄条件匹配处理的内容。然而，在当前情况下，难以通过仅简单地在制造成本、图像的传输带宽、从拍摄到输出的响应等方面增强相机的性能和图像质量来增强信息处理设备的功能。
鉴于这样的问题做出本发明，并且本发明的目的在于提供一种可以廉价和高效地增强使用拍摄图像的信息处理设备的功能的技术。
[问题的解决方案]
本发明的某一方面涉及信息处理设备。该信息处理设备是获取通过拍摄被摄体而获得的图像数据并且生成输出图像的数据的信息处理设备。该信息处理设备包括图像分析器和输出图像生成器，图像分析器根据用于近似两个图像的像素值的分布的校正规则，校正从连接的相机获取的两个图像的数据的至少任一图像的像素值，并且随后基于两个图像之间的比较，获取关于被摄体的信息，输出图像生成器基于由图像分析器获取的关于被摄体的信息生成和输出输出图像的数据。
在此，“被摄体”不限于明确定位为拍摄对象的人等，并且包括落在相机的视场内的房间、人、物体、动物等。因此，“与被摄体有关的单独的信息”不限于与相同的单独的物质有关的单独的信息。其可以是与在被摄体中包括的多个单独的物质中的任何一个有关的信息，或可以是与另一单独的物质有关的单独的信息。
本发明的另一方面涉及信息处理***。该信息处理***是是拍摄被摄体并且通过使用被摄体的图像数据生成输出图像的数据的信息处理***。该信息处理***包括拍摄被摄体的相机和信息处理设备，信息处理设备包括图像分析器和输出图像生成器，图像分析器根据用于近似两个图像的像素值的分布的校正规则，校正从相机获取的两个图像的数据的至少任一图像的像素值，并且随后基于两个图像之间的比较，获取关于被摄体的信息，输出图像生成器基于由图像分析器获取的信息生成和输出输出图像的数据。
本发明的再一方面涉及一种信息处理方法。该信息处理方法是其中信息处理设备获取通过拍摄被摄体而获得的图像数据并且生成输出图像的数据的信息处理设备。该信息处理方法包括从连接的相机获取拍摄的两个图像的数据的步骤，根据用于近似两个图像的像素值的分布的校正规则，校正两个图像的数据的至少任一图像的像素值，并且随后基于两个图像之间的比较，获取关于被摄体的信息的步骤，以及基于关于被摄体的信息生成输出图像的数据，并且输出输出图像的数据的步骤。
通过转变在方法、设备、***、计算机程序等中的本发明的上述组成元素和表示的任意组合而获得的事物作为本发明的方面也是有效的。
[本发明的有利效果]
根据本发明，可以廉价地实现使用拍摄图像的各种功能。
附图说明
图1是示出可以应用本实施例的信息处理***的配置示例的图。
图2是详细示出本实施例的成像设备和信息处理设备的配置的图。
图3是用于解释在本实施例中假设的拍摄情况示例的图。
图4是示出在其中使得视角的大小和分辨率不同的模式中，通过成像设备拍摄的图像和通过使用该图像获得的输出图像的示例的图。
图5是示出在其中使得曝光时间/光圈值不同的模式中，通过成像设备拍摄的图像和通过使用该图像获得的输出图像的示例的图。
图6是用于解释从曝光时间不同的两个图像中提取对应特征点的问题的图。
图7是详细示出本实施例中具有获取三维空间中的被摄体的位置信息的功能的信息处理设备的成像设备和图像分析器的配置的图。
图8是示出通过本实施例中的校正部件校正亮度值的改变的示例的图。
图9是用于解释其中本实施例中的校正表管理部件分析一对图像以生成校正表的方法的图。
图10是主要示出在其中信息处理设备从拍摄图像生成输出图像的多种类型的处理中用于精确地生成深度图的处理的过程的流程图。
具体实施方式
图1示出可以应用本实施例的信息处理信息的配置示例。信息处理***10包括使用两个相机装配以拍摄例如用户1a和1b的被摄体的成像设备12、基于拍摄图像根据用户请求执行信息处理的信息处理设备14以及输出作为信息处理设备14的处理结果而获得的图像数据的显示设备16。此外，使得信息处理设备14可以连接到例如因特网的网络18。
信息处理设备14、成像设备12、显示设备16和网络18可以通过有线电缆连接或可以通过无线LAN(局域网)等无线地连接。成像设备12、信息处理设备14和显示设备16中的任何两个或全部可以组合以整体安装。此外，成像设备12不一定需要被设置在显示设备16上。此外，用户1a和1b不一定是人并且其数目也不被限制。
成像设备12通过一对相机拍摄在相同空间中存在的被摄体。作为成像设备12，可以使用已经被投入实际使用以便获取被摄体的深度信息的立体相机。也就是说，成像设备12可以是通过被彼此并排放置并且各个具有镜头而可以获得基本上相同视场的一对相机。同时，只要相机的间隔已知，两个相机的间隔和相对位置就不被限制，并且通过校正视差可以推导视场的部分的至少对应关系。
两个相机中的至少一个可以具备电子缩放功能和电子摇摄/倾斜器，使得视场可以在信息处理设备14的控制之下独立地改变。此外，使得例如白平衡、帧速率、曝光时间和光圈值的拍摄条件中的至少任何一个可以彼此独立地通过两个相机中的信息处理设备14来控制。
成像设备12在由信息处理设备14指定的拍摄条件之下获取包括用户1a和1b等的图像的数据作为移动图像或静止图像。获取的图像数据被输入到信息处理设备14。信息处理设备14根据由用户指定的功能执行信息处理，并且基于从成像设备12获取的图像数据生成要输出的图像数据。生成的图像数据被输出到显示设备16或被传送到经由网络18连接的另一信息处理设备。显示设备16可以是具有输出图像的显示器和输出声音的扬声器的电视。
图2详细示出成像设备12和信息处理设备14的配置。信息处理设备14包括从用户接受指令输入的输入信息获取器22、使得在基于用户的指令或拍摄图像的分析结果决定的拍摄条件之下开始拍摄的拍摄条件控制器24、以及存储其中计划功能与拍摄条件相关联的拍摄条件表的拍摄条件存储器26.信息处理设备14进一步包括获取通过安装在成像设备12中的第一相机28和第二相机30拍摄的图像并且执行必要的图像分析的图像分析器34以及生成作为处理的结果的要输出的图像的数据。
在硬件方面，稍后将描述的图2和图7中被描述为执行各种类型的处理的功能块的相应的元件可以由CPU、存储器和其他LSI形成。在软件方面，它们通过程序实现以执行通信处理等。因此，本领域技术人员应理解这些功能块可以仅通过硬件、或仅通过软件或它们的组合以各种形式实现，并且这些功能块不限于任何形式。
输入信息获取器22是接受用户对信息处理设备14进行的指令输入并且可以通过例如指点设备、鼠标、键盘、触摸面板、游戏控制器和按钮的通用输入设备实现的接口。输入信息获取器22可以是具有与信息处理设备14的被摄体分开的外壳并且以无线或有线方式连接的设备。
由用户输入的指令包括选择可以由信息处理设备14执行的任何功能的输入，以及移动和选择在显示设备16上显示的光标和帧的输入。将由输入信息获取器22获取的信息适当通知给拍摄条件控制器24、图像分析器34和输出图像生成器38。将稍后描述可以由信息处理设备14执行的功能的示例。
拍摄条件控制器24根据用户对输入信息获取器22进行的指令输入决定成像设备12中的第一相机28和第二相机30中的拍摄条件，并且通过向两个相机中的至少任一个传送拍摄请求信号来使得拍摄在决定的条件之下开始。通过基于用户指定的功能参考存储在拍摄条件存储器26中的拍摄条件表来获得拍摄条件的初始值。此外，拍摄条件控制器24可以基于分析通过第一相机28和第二相机30中的至少任一个拍摄的图像的结果来进一步决定拍摄条件，并且使得至少任一个相机在这些条件之下开始。
图像分析器34获取通过第一相机28和第二相机30拍摄的图像，并且根据由用户选择的功能执行图像分析。然而，还存在其中取决于由用户选择的功能图像分析不必要的情况。在该情况下，图像分析器34可以直接向输出图像生成器38发送出图像数据。为此，图像分析器34从输入信息获取器22获取关于由用户选择的功能的信息，并且随后基于其执行处理。图像分析器34的分析结果与必要的图像数据一起被传送到输出图像生成器38。该分析结果可以被传送到拍摄条件控制器24并且用于进一步决定拍摄条件。
输出图像生成器38通过使用分析结果和从图像分析器34传送的必要的图像数据生成输出图像的数据，并且将其输出到显示设备16或网络18。要生成的什么类型的输出图像取决于由用户选择的功能而不同。因此，输出图像生成器38从输入信息获取器22获取关于由用户选择的功能的信息，并且随后基于其执行处理。
然后，将描述由信息处理***10实现的功能的具体示例。图3是用于解释在本实施例中假设的拍摄情况示例的图。在该图的示例中，其中用户1a和1b坐在桌边并且具有会话等的情况被第一相机28和第二相机30拍摄。拍摄目标不限于例如用户1a和1b的人，并且可以是例如由用户拿着的翻盖板2的物体。拍摄图像经由网络18被依序传送到另一信息处理***，以便例如被显示在该另一信息处理***的显示设备上。
这使得观看用户1a和1b在远程位置处如何进行会话成为可能。此外，通过由两个信息处理***10的类似处理的相互执行，可以实现视频聊天或视频电话的功能。对于用于建立用于运用这种功能的网络和数据传输的过程等可以采用通用技术，并且在此省略其描述。此外，不仅可以采用经由网络的图像数据的传输，还可以采用其中在由作为拍摄目标的用户1a和1b观看的显示设备16上显示作为处理结果的图像，从而用户1a和1b享受游戏的模式。
在这种情况下，在本实施例中的信息处理***10在不同条件下通过两个相机拍摄相同空间，从而对拍摄图像给出额外的值并且形成输出信息。在图3的示例中，第一相机以广角度拍摄整个空间的区域40，并且第二相机30以窄角度仅拍摄用户1b的面部的区域42。此时，由第二相机30拍摄的图像被设置为具有与由第一相机28拍摄的图像相同的像素尺寸。
作为结果，由第二相机30拍摄的图像具有比由第一相机28拍摄的图像更高的分辨率。这允许获取具有不同属性的图像，即由第一相机28拍摄的正常分辨率的、广角度图像和由第二相机30拍摄的高分辨率的、窄角度图像。在本实施例中，以该方式在不同条件下同时拍摄相同被摄体和空间，并且整合由相应的拍摄图像拥有的信息以使能各种类型的处理。
下面将具体描述由信息处理***10实现的功能的示例。这些功能是示例性的，并且其足以使得信息处理***10能够实现这些功能中的任何一个或任何两个或多个的组合。下列描述不意图使得信息处理***10具有全部功能。
(1)其中使得视角和分辨率的大小不同的模式
在本模式中，如图3中所述使得两个相机执行拍摄的视角不同。在该情况下，如上所述，当两个相机执行具有相同像素大小的拍摄时，更小的视角提供更高的分辨率。此外，通过合成这些图像和输出得到的图像，可以显示其中仅例如人的面部的值得注意的区域被详细表示的图像。
图4示出在本模式中由第一相机28和第二相机30拍摄的图像以及通过使用它们获得的输出图像的示例。在该图中，由第一相机28拍摄的图像是图3中的区域40的广角度图像。由第二相机30拍摄的图像是图3中的区域42的窄角度图像46。
如果窄角度图像46的区域面积垂直地和水平地是广角度图像44的区域面积的三分之一，则当像素大小相等时，窄角度图像46的分辨率垂直地和水平地是广角度图像44的分辨率的三倍。图像的像素大小和宽高比不必要如上被设置为完全相等。可允许的范围可以首先考虑到处理能力等而关于图像数据的大小被定义，并且在该范围中视角和分辨率之间的关系可以被适当决定。
为了决定窄角度图像46的视场，首先第一相机28拍摄广角度图像44，并且图像分析器34执行面部识别处理以检测可以成为窄角度的拍摄的目标的区域，然后，输出图像生成器38在广角度图像44上生成表示目标候选的区域的图像，并且使得显示设备16显示它们。然后，输入信息获取器22接受由用户的区域选择。此时，存储在广角度图像44中选择的目标的区域的位置。
响应于此，拍摄条件控制器24使得第二相机30拍摄选择的目标的区域。从而，开始通过第一相机28和第二相机30的广角度图像和窄角度图像的同时拍摄。然后，输出图像生成器38获取由相应的相机拍摄的图像的数据，并且合成在广角度图像44上的对应区域处的窄角度图像46以输出得到的图像。作为结果，可以仅在广角度图像44中由用户选择的目标的区域50中显示其中分辨率为高的合成图像48。
因为此时具有高分辨率的区域是整个图像的部分，可以满足详细观看希望要观看的区域的需求，而不由于图像数据的大小增加而加重传输带宽的负担。此外，因为其足以使得相机本身具有一般性能，因此制造成本并未增加。
由用户拿着的翻转板可以作为窄角度图像被拍摄，并且其放大的图像可以使用广角度图像44合成。在该情况下，例如预先在翻转板四个角中对角线上的其两个角处给定翻转板具有预定颜色和形状的标记。此外，图像分析器34通过模式识别等检测标记，从而检测作为目标候选的翻转板的区域。在放大翻转板的情况下，在合成之后示出的翻转板的面积大于在广角度图像中的原始翻转板区域。然而，这可以使得更容易观看在翻转板上描述的字符等。
此外，例如用户1a的面部和用户1b的面部的目标的区域的窄角度图像可以由第一相机28和第二相机30两者拍摄，并且这些窄角度图像可以被合成在窄角度图像的拍摄之前拍摄的广角度图像的静止图像上。在该情况下，可以显示其中仅合成图像中的两个目标的区域具有高分辨率和运动而其他区域是静止图像的图像。如果这被采用，则在其中希望详细观看的区域有限并且其他区域的运动不是非常重要的情况下，目标的数目可以增加到相机的数目。
作为合成图像，仅两个窄角度图像可以根据显示设备16的屏幕的大小被放大，并且被彼此并排显示。此外，在其中目标很大程度上移动的情况下，可以使得第一相机28拍摄广角度图像，并且图像分析器34可以通过现有技术执行目标的跟踪。在该情况下，拍摄条件控制器24可以通过使用电子摇摄/倾斜器调整每一个相机的视场，以使得目标总是被包括在窄角度图像中。
(2)其中使得曝光时间/光圈值不同的模式
在本模式中，使得在拍摄时的曝光时间和光圈值中的任一个或两者在两个相机之间不同。近年来，提出一种其中使得用户拿着例如发光器的标记或者将其穿戴在身上，并且对其进行拍摄以检测用户的运动，并且使用该运动作为游戏等的输入信息的技术。该技术基于具有具体大小、颜色、形状、亮度等的标记可以总是从作为图像捕捉的房间、人、物体等检测到的前提而成立。然而，不同于人类的视觉识别，取决于例如环境明亮度、物体存在/不存在和环境颜色的拍摄环境以及例如曝光时间和对焦深度的拍摄条件，标记在图像中如何出现极大地改变。
在拍摄包括用户和房间的广角度图像的情况下，取决于拍摄环境自动调整例如白平衡和曝光时间的一般拍摄条件，从而获取整体良好平衡的图像。然而，在检测图像中的标记的情况下，根据如上的环境改变拍摄条件改变标记如何出现，即图像的颜色、大小、形状、亮度等，其可能引起检测处理中的问题。
例如，在使用发光的标记的情况下，如果根据房间的明亮度决定的曝光时间太长，则标记的发光部分的RGB值将可能饱和和闪白，将获得轮廓模糊的图像，而不论发光器的颜色为何。此外，当标记以相对高速度移动时，其图像将可能模糊。因此，在某些情况下变得难以识别标记的颜色或变得不可能检测标记。
因此，在本模式中，一个相机使用标准曝光时间和光圈值拍摄整个图像，并且另一相机使用对于标记设置为最优值的曝光时间和光圈值中的任一个或两者执行拍摄。这使得在任何拍摄环境中可以使用高精度进行标记检测，同时确保具有足够质量的良好平衡的图像作为用于最终显示的图像而被观看。
用于显示的用途的标准曝光时间和光圈值以及适用于标记检测的曝光时间和光圈值的组合仅是一个示例，并且不意图限制由相应的相机拍摄的图像的用途。例如，一个相机的拍摄条件可以被设置为适用于用于获得必要信息的图像分析的曝光时间和光圈值，例如面部识别、运动检测或边缘检测，而非被设置为适用于标记检测的条件。如果用于显示的用途的拍摄图像是不必要的，则可以使得两个相机的曝光时间与标准值不同。
图5示出在本模式中由第一相机28和第二相机30拍摄的图像以及通过使用它们获得的输出图像的示例。在该图中，由第一相机28拍摄的图像是通过使用整个图像的最优曝光时间和光圈值拍摄拿着其中在尖端的球状体发光的标记92的用户而获得的一般图像90。在该图像中，还存在如上所述标记92的发光器出现为白色而不论实际颜色为何的可能性。标记的形状不限于该图中所示的形状，并且可以采用任何标记，只要其颜色、形状、大小、亮度等已知，并且其可以用作检测目标。此外，标记不一定是发光器。
另一方面，由第二相机30拍摄的图像是使用对于标记92的发光器最优的曝光时间和光圈值拍摄的拍摄条件调整后的图像94。该图像是例如与一般图像90相比，使用较短曝光时间和对焦到标记92上(即使用较浅的对焦深度(较小的光圈值))拍摄的图像。将快门速度设置为较高速度提供较短的曝光时间。
通过这样的调整，作为其中虽然明亮度整体较低并且其他物体模糊，但是颜色、形状、大小和亮度接近关于标记92的发光器部分的实际颜色、形状、大小和亮度的图像，而获得拍摄条件调整后的图像94。拍摄条件调整后的图像94可以是通过仅拍摄标记部分而获得的窄角度图像。在该情况下，取决于标记检测需要的精度和信息处理设备的处理能力等，可以与模式(1)组合进行标记92的位置检测和跟踪。
每一个相机的拍摄条件从拍摄条件存储器26读出并且在用户选择该功能时由拍摄条件控制器24指定。第一相机28的拍摄条件可以根据通过正常校准方法拍摄的环境设置。此外，在采用窄角度图像作为第二相机30的图像的情况下，可以与模式(1)类似地通过检测广角度图像的标记的近似位置来检测窄角度图像的视场。
图像分析器34通过使用拍摄条件调整的图像94获取标记的位置，并且识别用户的运动。然后，输出图像生成器38使得一般图像90经历根据该运动的处理，从而生成输出图像98。在图5的示例中，图像分析器34识别出用户使得标记92摆动向下，并且响应于此，进行在输出图像中的虚拟世界中由用户拿着的剑100的长度延长的显示。
在迄今描述的模式(1)和(2)两者中，两个相机的拍摄条件不同，因此虽然同时拍摄被摄体，但是相同被摄体的图像属性将不同。具体地，在模式(2)中，在曝光时间中有意设置差异，其自然导致像素值的分布范围的较大差异。此外，即使在其中视角改变的模式(1)中，在进行对适用于相应的视角的拍摄条件的自动调整的情况下，存在单独调整曝光时间和光圈值的可能性，从而像素值的分布范围不同。
另一方面，虽然拍摄条件不同，但是这些图像时由具有已知视差的两个相机同时拍摄的图像。因此，在本实施例中，使用该特性，并且通过在两个图像之间执行立体匹配，进一步识别在三维空间中被摄体的位置。这可以进一步将信息添加到在模式(1)和(2)中获得的信息，其可以增加可以由信息处理设备14执行的各种类型的功能并且提高处理的精度。
例如，在图5中的输出图像98中，可以进一步识别与标记独立地移动的用户的头部等的位置。这允许实现根据该位置在头部上放上另一项目，并且使得该项目与头部的运动相关联地反应的功能。可以生成其中标记的运动和头部的运动组合以进行某种反应的输出图像。可替换地，为了获得图4中的窄角度图像46，取决于深度方向中被摄体的位置可以缩窄目标候选，并且可以适当设置视角。
总地，为了从相机获得被摄体的距离，提取由立体相机拍摄的立体图像中对应特征点。基于图像上这些特征点的位置的偏差在三角测量的原则上获得距离。在该处理中，从立体图像精确地提取对应特征点是尤其重要的。然而，如果如上所述立体图像的属性彼此不同，则可能该提取精度将不被保持，因此不能获得精确的位置信息。
图6是用于解释从曝光时间不同的两个图像中提取对应特征点的问题的图。在该图中，图像150和152是分别由成像设备12中的第一相机28和第二相机30拍摄的图像的示例，并且从成像设备12被传送到信息处理设备14。在该示例中，进行第二相机30的曝光时间的缩短等。因此，与图像150相比，图像152的亮度整体较低，并且动态范围较小。
将考虑通过信息处理设备14的图像分析器34获取这种图像的数据，并且提取边缘作为特征点以执行立体匹配。边缘是其中图像中例如亮度的像素值极大改变的位置，并且一般边缘提取过滤器可以用于提取处理。在该图中，在两个图像150和152中的水平线154的位置处的相应的亮度分布是在较低行上的亮度分布156和158。
原则上，例如关于图像150的箭头A和B的位置和关于图像152的箭头A’和B’的位置被作为边缘提取。然后，如果通过边缘图像的匹配处理获得箭头A和A’之间的对应关系，则例如在三维空间中的图像中捕捉的人的头部的位置可以根据图像上的两个边缘的位置的偏差计算。这也适用于箭头B和B’之间的对应关系，其允许计算例如人的手部的位置。
然而，如果亮度的分布范围在图像150和图像152之间不同，则可能即使相同被摄体的边缘在它们在边缘图像中如何表示方面也不同，并且不可能保持匹配精度。例如，在具有较小动态范围的图像152的亮度分布158中，存在与图像150相比，提取的边缘较少的可能性，因为亮度的峰值并不尖锐并且噪声影响提取。此外，具有较长曝光时间的图像150的亮度饱和。在该情况下，存在提取的边缘在明亮部分较少的可能性。
因此，如果通过使用从成像设备12传送的图像数据本身进行边缘提取和匹配处理，则当两个相机的拍摄条件较大程度上不同时，尤其当曝光时间较大程度上不同时，不能获得正确位置信息的可能性较高。因此，通过人工创建图像就像在相同条件之下拍摄的图像的状态，保持匹配精度。基本上，在进行对准亮度的分布范围的校正之后执行立体匹配。例如，在具有较小分布范围的图像152上校正亮度值，以便将其分布范围对准图像150的分布范围。此时，在最简单的想法中，将想到获得图像150的亮度的最大值和图像152的亮度的最大值之比，并且将图像152的全部亮度值与该比相乘。
在其中在成像设备12中未进行伽马校正的情况下或在其中进行将全部像素值与常数相乘的情况下，该处理是有效的。伽马校正是用于使得通过相机的成像元件获取的像素值在显示器上提供良好显示平衡的校正，并且通常在相机内部进行。当校正之前的像素值被定义为Pin并且校正之后的像素值被定义为Pout时，基于下列校正表达式执行伽马校正。
[数学式1]
在此，γ是基于假设的显示器等的属性决定的值。在图6的最低行上，该校正表达式通过图160a和160b中的曲线示出。自然，两者都是相同的曲线。在此，假设像素值是亮度值，通过使用通过成像元件获取的亮度值Pin获得的校正之后的亮度值是提供信息处理设备14获取的图像150和152的亮度值。在此，在每一个图中表示的阴影区域示出用于生成对应图像的校正表达式的范围。
在图像150的情况下，校正之前的亮度值Pin的范围Ra和校正之后的亮度值Pout的范围R’a两者都较广。另一方面，在图像152的情况下，校正之前的亮度值Pin的范围Rb和校正之后的亮度值Pout的范围R’b两者都小于图像150的对应范围。然而，与校正之前的亮度值Pin的范围Ra的比Rb/Ra相比，校正之后的亮度值Pout的范围的比R’b/R’a较大。这是因为校正表达式是非线性的，因此校正的改变速率取决于原始亮度值Pin的范围不同。这也适用于范围中的单独亮度值。
因此，当如上所述将图像152的全部像素的亮度值乘以相同比时，图像152不会变为等价于图像150的图像。具体地，如下列表达式所示，如果在图像152的原始像素值Pin与图像150的相同动态范围对准之后进行伽马校正，则获得不同于原始获得的亮度P’out的亮度P”out。
[数学式2]
P′out≠P″out
在此，ka是用于将图像152的原始亮度Pin的动态范围与图像150的伽马校正之前的图像对准的系数。kb是用于将从成像设备12输入的伽马校正之后的图像152的亮度Pout的动态范围与图像150对准的系数。在上述示例中，kb是图像150和152的亮度的最大值之比。如果如图6中图像150的亮度饱和，则亮度的最大值不同于原始值，因此此外系数kb也难以精确计算。
因此，图像分析器34预先描述校正之前的亮度和校正之后的亮度之间的对应关系，并且单独地校正亮度Pout，使得作为成像设备12的输出值的上述表达式中的亮度Pout可以被校正为近似应被原始地获得的亮度P’out。这不仅允许对准亮度的分布范围，还允许对准两个图像之间的分布本身。虽然这也适用于当由像素值表示的颜色空间是基于除了亮度之外的RGB值等时，但是在下文中将基于颜色空间具体地是基于亮度的假设进行描述。
图7详细示出具有获取三维空间中被摄体的位置信息的功能的信息处理设备14的成像设备12和图像分析器34的配置。如上所述，成像设备12包括第一相机28和第二相机30。第一相机28和第二相机30包括包含多个成像元件的成像单元112a和112b、对于作为通过成像元件获取的像素值的排列的图像进行伽马校正的伽马校正器114a和114b、以及输出伽马校正之后的图像的数据的输出部件116a和116b。
成像设备12或每一个相机可以进一步包括提取和内插颜色分量作为像素值的功能，以及向信息处理设备14的图像分析器34传送图像数据的功能等。然而，它们足以包括通用功能，因此仅与实施例有关的功能块被示出在图7中。
图像分析器34包括从成像设备12获取拍摄图像的数据的拍摄图像数据获取器118、对于通过第一相机28和第二相机30同时拍摄的图像中的至少任一个进行上述校正的校正部件124、以及存储示出校正之前和之后的亮度之间的对应关系的校正表的校正表存储器122。图像分析器34进一步包括根据由信息处理设备14实现的功能切换和生成要使用的校正表的校正表管理部件120，以及通过使用两个图像执行立体匹配并且生成的深度图像的深度图像生成器126。深度图像是其中通过立体匹配获得的被摄体离相机的距离被表示为图像平面上的像素值的图像，并且是表示三维空间中被摄体的位置的数据。
在图7中所示的图像分析器34中，仅示出与用于创建具有高精度的深度图像的处理有关的功能块。然而，其中可以进一步包括用于实现上述模式(1)和(2)的各种类型的功能。拍摄图像数据获取器118获取在生成深度图像时的时刻通过第一相机28和第二相机30同时拍摄的一对图像的数据。该时刻可以与显示图像的生成处理或例如跟踪的另一图像分析的处理同步，或可以具有较长的周期。此外，获取的图像数据也可以用作用于显示图像的生成处理或另一图像分析的图像数据。
校正表管理部件120根据通过信息处理设备14实现的功能和基于其决定的拍摄条件选择有利于深度图像的生成的校正表。此外，校正表管理部件120根据需要创建这样的校正表。在校正表的创建开始时，校正表管理部件120对作为校正目标的图像本身进行图像分析。只要可以基于校正之前的像素值唯一地决定校正之后的像素值，校正表的格式就不被限制。校正表可以是其中校正之前的亮度值的离散值与校正之后的亮度值相关联的查找表，或可以是校正表达式。
校正表管理部件120创建例如两个图像的亮度的直方图。然后，校正表管理部件120采用基于动态编程的DP匹配以获得当直方图的形状在最高程度上匹配时亮度的改变量，同时关于多个离散亮度值扩大和缩小亮度的轴。这概念上对应于用于对于单独的亮度值中的每一个将上述表达式中的亮度值P”out转变为应被原始地获得的亮度值P’out的系数kb。然而，在此，更直接地，校正表管理部件120生成其中当直方图的形状匹配时原始亮度的离散值与每一个亮度的目的地相关联的查找表。这使得校正之前的亮度值Pout近似与应被原始地获得的亮度值P’out相关联。在校正表存储器122中存储生成的表作为校正表。
在校正表存储器122中，通过校正表管理部件120以上述方式直接分析目标图像创建的校正表可以被存储或者任何估计表达式可以被预先存储。例如，如果根据用于成像设备12中的伽马校正的γ和曝光时间之比估计上述表达式中的ka，则可以根据获取的图像的亮度Pout估计希望获得的亮度值P’out。因此，可以预先存储表示其的表达式或查找表。
此外，对于条件中的每一个，例如对于可以通过信息处理设备14实现的功能中的每一个，以及对于每一个相机的拍摄条件中的每一个，可以在校正表存储器122中存储不同校正表。例如，校正表存储器122存储用于如在上述描述中仅校正一个图像以将其与其他图像的亮度的分布对准的情况的校正表，以及用于将两个图像与分开准备的标准图像的亮度的分布对准的情况的校正表。从而，即使当使用非标准曝光时间拍摄两个图像，图像可以与其中可以容易地获得边缘图像并且可以保持深度图像的精度的图像对准。
在该情况下，在校正表管理部件120中执行的处理对于条件中的每一个也不同，因此校正表的选择规则和创建规则与也在校正表管理部件120内部的相应条件相关联地设置。校正部件124从校正表存储器122读出由校正表管理部件120指定的校正表，并且通过将它们应用于作为校正目标的图像而进行校正。这可以生成器亮度分布对准的一对图像。
深度图像生成器126通过校正部件124对于包括校正之后的图像的一对图像执行立体匹配，并且生成深度图像。现有技术可以应用于立体匹配。例如，可以如上所述提取例如边缘的特征点，并且可以执行这些特征点之间的匹配，或者图像可以被划分为区域，并且可以执行区域之间的匹配。在任何方法中，通过精确地对准亮度的分布，即使使用拍摄条件不同的图像，也可以保持匹配精度。
生成的深度图像的数据作为三维空间中被摄体的位置信息被提供到输出图像生成器38，从而用于根据该信息生成输出图像。可替换地，该数据被提供到拍摄条件控制器24，从而控制成像设备12的相机，使得可以使用适合于被摄体的视场和对焦执行拍摄。此外，该数据可以被提供到图像分析器34中未示出的并且用于例如面部检测、面部识别或跟踪的处理的另一功能块。
图8示出通过校正部件124的校正的亮度的改变的示例。图像150及其亮度分布156以及图像152及其亮度分布与图6中所示的示例相同，并且是在图像分析器34的校正之前的数据。同时，用于相应图像的校正表162和164被存储在校正表存储器122中。校正表管理部件120通过如上所述分析图像150和152可以当场创建相应校正表，或者可以预先估计和设置校正表。例如，通过使用在相同拍摄条件之下拍摄的测试图像可以预先创建校正表。
校正部件124通过从校正表存储器122读出相应校正表162和164来决定全部像素的亮度值的校正之后的值，并且将它们分别应用于图像150和152。在该图中，通过其中校正之前的亮度值被定义为pin并且其中校正之后的亮度值被定义为pout的图示出校正表162和164。然而，它们如上所述实际上可以是查找表。校正之前的亮度值pin对应于相机中的伽马校正之后的亮度值pout。此外，在使用查找表的情况下，所述亮度值是离散值，因此它们之间的中间值被适当内插以获得校正之后的亮度值。
在图8的情况下，目的在于将其中亮度整体为低的图像152的亮度的分布与标准图像150对准。因此，图像150不需要校正。然而，通过准备其中设置pin＝pout的校正表162，最终图像可以通过相同处理获得，而不论是否需要校正。在校正表162和164之上，示出使用相应校正表的校正的含义。在图165和166的每一个中，左图表示相机中的伽马校正之后的亮度值pout相对于通过相机的成像元件获取的亮度值pin的关系。右图表示信息处理设备14的校正之后的亮度值pout相对于通过成像元件获取的亮度值pin的关系。
在使用校正表162的情况下，因为如上所述设置pin＝pout，信息处理设备14的校正之后的亮度值pout相对于原始亮度值pin的关系与相机的伽马校正之后的亮度值pout的关系相同。另一方面，在使用校正表164的情况下，相机的伽马校正之后的亮度值pout的分布范围被扩大为图像150的亮度值的分布范围(图中的箭头)。此外，如从校正表164的非线性清楚看出的，亮度值的改变的速率取决于亮度值。这允许获得等价于在伽马校正之前的亮度值(上述表达式中的亮度值kapin)的分布范围预先对准之后进行伽马校正时的校正关系的校正关系。
作为结果，关于图像150，获得与校正之前的亮度分布相同的亮度分布156，从而获得相同图像150。关于图像152，获得具有与图像150的范围等价的范围的亮度分布168，从而获得与图像150等价的图像170。深度图像生成器126使用校正之后的图像150和170执行通过边缘提取等的立体匹配，从而可以生成具有高精度的深度图像172。
图9是用于解释其中校正表管理部件120分析一对图像以生成校正表的方法的图。与迄今为止的示例一样，将考虑进行校正以将具有低亮度的图像152与具有标准亮度的图像150对准的情况。在该情况下，校正表管理部件120生成每一个图像的亮度直方图。
在图150的亮度直方图180中，亮度的范围较宽。亮度可能溢出亮度灰阶的最大值。另一方面，在图像152的亮度直方图182中，亮度值的范围较小，并且向较小的值偏置。然而，因为两者是通过同时拍摄相同空间获得的图像，相对于相对亮度范围的直方图的形状应近似相同。然而，因为如上所述进行伽马校正，通过仅简单地以相同比例放大亮度的轴(横坐标)，直方图的形状不会变为相同形状。因此，对这些直方图执行基于动态编程的匹配(DP匹配)。DP匹配本身是在各种领域中使用的现有技术。
首先，多个亮度值被直接设置为亮度直方图182的亮度范围中的采样值。然后，在扩大和缩小亮度直方图182中的亮度的轴的情况下，相对于亮度直方图180的形状检查亮度直方图182的形状，并且对于亮度的每一个采样值获取当形状最大程度上匹配时亮度的改变量。对于每一个采样值非线性地进行亮度的轴的扩大/缩小比例。因此，通过DP匹配扩大图像152的亮度直方图182可以获得具有与图像150的亮度直方图180相同形状的亮度直方图184。可以通过将此时原始亮度的采样值和通过将改变量与采样值相加而获得的扩大之后的亮度值之间的对应关系描述为表来生成校正表164。
如果如上所述图像150的亮度溢出并且图像150的数据拥有的亮度的最大值不反映实际拍摄的亮度的最大值，则与其中亮度不溢出的图像152的亮度的最大值的关联变为不可能。在该情况下，存在即是当尝试将图像152的亮度与相同放大因子(上述表达式中的kb)相乘时，也存在不能精确地决定该放大因子本身的可能性。通过使用基于关于整个图像的信息的亮度直方图来获得校正表，可以适当地改变中间范围中的亮度。此外，如图8中所示，在校正之后的图像170中，关于应发生溢出的像素与图像150类似地引起溢出。
图9是其中图像152与图像150对准的示例。然而，通过使用分开准备的参考图像的直方图，图像150和152两者都可以与参考图像对准。在该情况下，关于图像150和152中的每一个执行与参考图像的直方图的DP匹配，从而对于每一个图像生成校正表。
然后，将描述通过迄今为止描述的配置实现的信息处理设备的操作。图10是主要示出在其中信息处理设备从拍摄图像生成输出图像的多种类型的处理中用于精确地生成深度图的处理的过程的流程图。首先，当用户进行选择由信息处理设备14执行的任何功能，例如游戏，各种类型的信息处理和通信，的输入时(S10)，拍摄条件控制器24从拍摄条件存储器26读出与选择的功能对应的拍摄条件，并且基于它们设置用于成像设备12的拍摄条件。
响应于此，成像设备12的第一相机28和第二相机30在相应拍摄条件之下开始拍摄。于是，图像分析器34的拍摄图像数据获取器118获取在相同时刻拍摄的两个图像的数据(S14)。对于该数据已经进行了伽马校正。同时，图像分析器34的校正表管理部件120根据在S10中由用户选择的功能选择校正表(S16)。此时，如上所述，决定亮度分布要对准的参考图像并且根据其选择应用于相应图像的校正表。参考图像可以是S14中获取的图像或可以是预先准备的图像中的任一个。此外，如果存在关于其希望获得具有高精度的深度图像的具体区域，例如面部区域或手部区域，则可以采用其中从每一个图像剪切该区域的设置。
在以该方式执行剪切的情况下，取决于由用户选择的功能，可以执行在下列情况之间的切换：仅对于剪切的区域进行校正和仅关于该区域生成深度图像的情况以及对剪切区域中的亮度直方图执行DP匹配以创建校正表并且对于整个图像执行校正处理本身的情况。对于要剪切的区域，可以使用由图像分析器34分开执行的面部检测处理、跟踪处理或匹配处理等的结果。如果一个拍摄图像本身是窄角度图像，则使用与窄角度图像相同的区域剪切广角度图像。
然后，校正表管理部件120检查决定的校正表是否被存储在校正表存储器122中(S18)。如果校正表并未存储并且需要新创建(S18为是)，则通过图9描述的方法创建校正表，并且将其存储在校正表存储器122中(S20)。一旦创建校正表，就可以通过在相同拍摄条件之下执行拍摄的情况下使用相同校正表进行校正(S18为否)。可替换地，如上所述，在没有当场创建校正表的情况下，适当的校正表或校正表达式可以预先估计并且存储在校正表存储器122中。
校正表管理部件120向校正部件124通知在S16中选择的应用于相应图像的校正表的标识信息。校正表管理部件120还根据需要向其通知关于区域剪切的信息。校正部件124从校正表存储器122读出指定的校正表，并且通过使用每一个校正表校正从拍摄图像数据获取器118获取的一对图像(S22)。在仅生成指定区域的深度图像的情况下，在校正之前预先剪切该区域。然后，深度图像生成器126通过在校正之后对一对图像执行立体匹配来生成深度图像(S24)。
同时，图像分析器34从具有较短曝光时间的图像检测由用户拿着的标记，并且例如获取其位置(S26)。然后，基于从深度图像获得的用户的位置和从标记检测的结果获得的标记的位置，输出图像生成器38通过对使用标准曝光时间拍摄的图像渲染图形或处理部分区域而生成输出图像的数据，并将其输出到显示设备16等(S28)。
从用于生成深度图像的处理分开地到在S26中执行的处理可以被如上述模式(1)和(2)中模式的各种类型的处理代替。因此，在S28中生成输出图像的处理不限于上述示例。在拍摄移动图像的情况下，以预定速率重复从S12到S28的处理。在S12中设置的拍摄条件可以相同，或者可以根据深度图像、面部检测或跟踪等的结果执行改变视场和对焦等。此外，可以彼此独立地决定S22中校正图像的处理的速率以及随后S24中生成深度图像的速率，S26中标记检测的速率，以及S28中输出图像的生成和输出的速率。
根据上述本实施例，通过在不同条件之下使用两个相机拍摄相同空间，以相互互补的方式获取关于相应相机指定的信息，并且通过对相机的图像执行立体匹配还获取三维空间中被摄体的位置。这可以极大地增加可以通过使用一对图像获取的信息量并且利用取决于组合的各种功能。
对于拍摄条件不同的图像，在执行立体匹配之前进行像素值的校正，使得防止由于图像属性的差异引起的匹配精度劣化。具体地，进行将像素值的分布对准的校正。此时，创建其中校正之前的像素值与校正之后的像素值相关联的表，使得可以获得考虑到在相机内部进行的伽马校正决定的校正量。通过执行相应图像的像素值的直方图的DP匹配创建该表。由于此，即使当在相机侧上的伽马校正中使用的伽马值未知或变化时，也可以进行基于实际图像的精确校正。因此，可以保持立体匹配的精度。
根据用户需要的功能和要获得的信息的用途等切换校正条件，例如通过校正校正目标的分布的像素值要与什么分布对准以及是否要校正整个图像或仅校正具体区域。从而，可以在关于拍摄条件和用途和要最终输出的图像的精度的最优条件之下进行校正，并且可以增强信息。具体地，通过将校正与例如面部检测处理或跟踪的检测具体目标对象的处理组合，并且创建校正表或仅关于区域对准分布，可以消除容易被噪声影响的暗区域的影响、其中像素值容易饱和的明亮背景以及窗口的区域等。作为结果，可以进一步改进具体目标对象的位置的检测的精度。
上文基于实施例描述了本发明。上述实施例是示例性的，并且本领域技术人员应理解关于相应组成元素和相应处理过程的组合各种修改示例都是可能的，并且这种修改示例也落在本发明范围内。
例如，在本实施例中，通过两个相机同时拍摄的立体图像的像素值的分布范围对准。然而，对准的目标不限于立体图像并且可以是在不同时刻拍摄的图像，例如构成一个移动图像的多个帧。例如，在为了跟踪目标对象等执行特征点的匹配或获取帧之间的改变量的情况下，如果例如曝光时间的拍摄条件出于任何原因在某一时刻改变，则与图6描述的问题类似的问题在改变之前或之后拍摄的帧之间发生。
通常，作为匹配目标的帧之间的拍摄时刻的差异很小。因此，其组成几乎没有差别。因此，如果通过创建校正表和进行与本实施例类似的校正来对准像素值的分布范围，则在两个帧中等价地进行特征点的提取，并且改进匹配精度。作为结果，可以以高精度跟踪目标对象的运动和形状改变。
[参考标号列表]
10信息处理***，12成像设备，14信息处理设备，16显示设备，18网络，22输入信息获取器，24拍摄条件控制器，26拍摄条件存储器，28第一相机，30第二相机，34图像分析器，38输出图像生成器，118拍摄图像数据获取器，120校正表管理部件，122校正表存储器，124校正部件，126深度图像生成器
[工业应用性]
如上所述，本发明可以应用于信息处理设备，例如计算机、游戏机、信息终端、图像处理设备以及图像显示设备。

Claims (9)

1.一种信息处理设备，其获取通过拍摄被摄体获得的图像数据，并且生成输出图像的数据，所述信息处理设备包括：
图像分析器，其根据用于近似两个图像的像素值的分布的校正规则，校正从连接的相机获取的两个图像的数据中的至少任一图像的像素值，并且随后基于两个图像之间的比较获取关于被摄体的信息；以及
输出图像生成器，其基于通过所述图像分析器获取的关于所述被摄体的信息，生成和输出所述输出图像的数据，
其中，所述图像分析器生成两个图像的像素值的直方图，并且当在关于离散像素值非线性地扩大和缩小像素值的轴的同时，两个直方图的形状匹配时，通过使用动态编程获得像素值的改变量，并且所述图像分析器创建其中改变之前和之后的像素值相关联的表作为所述校正规则。
2.如权利要求1所述的信息处理设备，其中
所述图像分析器从由第一相机和第二相机构成的一对相机，获取在其中设置每一个拍摄条件以便获得关于相同被摄体的单独的信息的不同拍摄条件之下同时拍摄的两个图像的数据，并且从两个图像的数据获取单独的信息，并且所述图像分析器通过对其中根据校正规则已经校正了至少任一图像的像素值的两个图像执行立体匹配，获取三维空间中被摄体的位置信息，以及
所述输出图像生成器基于单独的信息和通过所述图像分析器获取的位置信息生成所述输出图像的数据。
3.如权利要求2所述的信息处理设备，进一步包括：
拍摄条件控制器，其根据由用户选择的所述信息处理设备的功能决定相机中的每一个的拍摄条件，并且控制所述一对相机在所述拍摄条件之下执行拍摄，
其中
所述图像分析器根据由用户选择的所述信息处理设备的功能切换校正规则。
4.如权利要求1所述的信息处理设备，其中
所述图像分析器使用校正之前的像素值和校正之后的像素值之间的关系是非线性的校正规则来校正像素值。
5.如权利要求1到4中的任一项所述的信息处理设备，其中
所述图像分析器当在关于离散像素值非线性地扩大和缩小像素值的轴的同时，生成的两个直方图中的每一个的形状匹配预先准备的参考图像的直方图时，通过使用动态编程获得像素值的改变量，以便创建其中改变之前和之后的像素值相关联的表作为用于两个图像中的每一个的校正规则。
6.根据权利要求2或3所述的信息处理设备，其中
由所述第二相机拍摄的图像的拍摄的曝光时间短于由所述第一相机拍摄的图像的拍摄的曝光时间，以便检测被包括在被摄体中的目标装配的标记的位置，
所述图像分析器从由所述第二相机拍摄的图像检测标记的位置，并且通过立体匹配获取不同于所述标记的目标的位置信息，以及
所述输出图像生成器生成通过使得由所述第一相机拍摄的图像经历对应于标记的位置和目标的位置设置的处理获得的图像的数据，作为输出图像的数据。
7.根据权利要求3所述的信息处理设备，其中
所述拍摄条件控制器基于通过所述图像分析器通过立体匹配获取的位置信息，改变所述一对相机的至少任一相机的拍摄条件。
8.一种信息处理***，其拍摄被摄体，并且通过使用被摄体的图像数据生成输出图像的数据，所述信息处理***包括：
相机，其拍摄被摄体；以及
信息处理设备，其包括
图像分析器，其根据用于近似两个图像的像素值的分布的校正规则，校正从相机获取的两个图像的数据中的至少任一图像的像素值，并且随后基于两个图像之间的比较获取关于被摄体的信息；以及
输出图像生成器，其基于通过所述图像分析器获取的信息生成和输出所述输出图像的数据，
其中，所述图像分析器生成两个图像的像素值的直方图，并且当在关于离散像素值非线性地扩大和缩小像素值的轴的同时，两个直方图的形状匹配时，通过使用动态编程获得像素值的改变量，并且所述图像分析器创建其中改变之前和之后的像素值相关联的表作为所述校正规则。
9.一种信息处理方法，其中信息处理设备获取通过拍摄被摄体而获得的图像数据并且生成输出图像的数据，所述信息处理方法包括：
从连接的相机获取拍摄的两个图像的数据的步骤；
根据用于近似两个图像的像素值的分布的校正规则，校正两个图像的数据的至少任一图像的像素值，并且随后基于两个图像之间的比较，获取关于被摄体的信息的步骤；以及
基于关于被摄体的信息生成输出图像的数据，并且输出所述输出图像的数据到显示设备的步骤，
其中，生成两个图像的像素值的直方图，并且当在关于离散像素值非线性地扩大和缩小像素值的轴的同时，两个直方图的形状匹配时，通过使用动态编程获得像素值的改变量，并且创建其中改变之前和之后的像素值相关联的表作为所述校正规则。
CN201380067337.8A 2012-12-27 2013-07-22 信息处理设备、信息处理***和信息处理方法 Active CN104885125B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-285597 2012-12-27
JP2012285597A JP5843751B2 (ja) 2012-12-27 2012-12-27 情報処理装置、情報処理システム、および情報処理方法
PCT/JP2013/004436 WO2014103094A1 (ja) 2012-12-27 2013-07-22 情報処理装置、情報処理システム、および情報処理方法

Publications (2)

Publication Number Publication Date
CN104885125A CN104885125A (zh) 2015-09-02
CN104885125B true CN104885125B (zh) 2017-05-31

Family

ID=51020237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067337.8A Active CN104885125B (zh) 2012-12-27 2013-07-22 信息处理设备、信息处理***和信息处理方法

Country Status (5)

Country Link
US (1) US9619868B2 (zh)
EP (1) EP2940658B1 (zh)
JP (1) JP5843751B2 (zh)
CN (1) CN104885125B (zh)
WO (1) WO2014103094A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
GB2528044B (en) 2014-07-04 2018-08-22 Arc Devices Ni Ltd Non-touch optical detection of vital signs
US10397543B2 (en) * 2014-09-03 2019-08-27 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content
CN105530502B (zh) * 2014-09-28 2018-05-22 株式会社理光 根据立体相机拍摄的图像帧生成视差图的方法和装置
US9854973B2 (en) 2014-10-25 2018-01-02 ARC Devices, Ltd Hand-held medical-data capture-device interoperation with electronic medical record systems
US10187623B2 (en) * 2014-12-26 2019-01-22 Korea Electronics Technology Institute Stereo vision SoC and processing method thereof
KR20170026705A (ko) * 2015-08-26 2017-03-09 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN105207896B (zh) * 2015-09-23 2019-05-03 腾讯科技（深圳）有限公司 网络通话方法和装置
JP6596309B2 (ja) * 2015-11-11 2019-10-23 株式会社東芝 分析装置および分析方法
TWI595444B (zh) * 2015-11-30 2017-08-11 聚晶半導體股份有限公司 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
CN105718887A (zh) * 2016-01-21 2016-06-29 惠州Tcl移动通信有限公司 基于移动终端摄像头实现动态捕捉人脸摄像的方法及***
CN109155867A (zh) * 2016-03-31 2019-01-04 索尼公司 图像处理装置及方法
KR102649782B1 (ko) * 2016-04-13 2024-03-21 소니그룹주식회사 신호 처리 장치 및 촬상 장치
WO2017208991A1 (ja) * 2016-06-01 2017-12-07 シャープ株式会社 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
US10957029B2 (en) * 2016-11-17 2021-03-23 Sony Corporation Image processing device and image processing method
JP6805858B2 (ja) * 2017-02-07 2020-12-23 富士通株式会社 送信制御プログラム、送信制御方法および送信制御装置
US10506926B2 (en) 2017-02-18 2019-12-17 Arc Devices Limited Multi-vital sign detector in an electronic medical records system
US10492684B2 (en) 2017-02-21 2019-12-03 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
US11176657B2 (en) 2017-03-29 2021-11-16 Fuji Corporation Information processing device, mounting device, and information processing method
CN109715528B (zh) * 2017-04-06 2021-04-09 日铁***集成株式会社 信息处理装置、信息处理方法、以及记录介质
KR102328539B1 (ko) 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
US10602987B2 (en) 2017-08-10 2020-03-31 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
KR102318013B1 (ko) 2017-10-13 2021-10-27 삼성전자 주식회사 복수의 이미지들을 합성하는 전자장치 및 방법
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
CN108447456B (zh) * 2018-02-28 2019-11-05 北京德为智慧科技有限公司 一种影像显示校正方法及装置
US10485431B1 (en) 2018-05-21 2019-11-26 ARC Devices Ltd. Glucose multi-vital-sign system in an electronic medical records system
CN109064415A (zh) * 2018-07-09 2018-12-21 奇酷互联网络科技（深圳）有限公司 图像处理方法、***、可读存储介质及终端
JP7180566B2 (ja) * 2019-07-25 2022-11-30 株式会社島津製作所 Ｘ線イメージング装置およびｘ線イメージング方法
CN110493526B (zh) * 2019-09-10 2020-11-20 北京小米移动软件有限公司 基于多摄像模块的图像处理方法、装置、设备及介质
JP7259732B2 (ja) * 2019-12-23 2023-04-18 横河電機株式会社 配信サーバ、方法およびプログラム
WO2021247300A1 (en) 2020-06-01 2021-12-09 Arc Devices Limited Apparatus and methods for measuring blood pressure and other vital signs via a finger
CN112911264B (zh) * 2021-01-27 2022-11-29 广东未来科技有限公司 3d拍摄方法、装置、存储介质及移动终端
JP7464851B2 (ja) 2021-03-26 2024-04-10 株式会社デンソーウェーブ コード読取装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003448A (ja) * 1998-06-16 2000-01-07 Sony Corp 輝度値補正回路及び方法並びに距離画像生成装置
CN1788486A (zh) * 2004-05-17 2006-06-14 精工爱普生株式会社 图像处理方法、图像处理装置和程序
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
CN102236785A (zh) * 2011-06-29 2011-11-09 中山大学 一种非重叠摄像机视点之间的行人匹配方法
JP2011229054A (ja) * 2010-04-22 2011-11-10 Konica Minolta Opto Inc 画像処理装置およびプログラム
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
CN102387371A (zh) * 2010-08-31 2012-03-21 索尼公司 图像调整

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258654A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
JP4018273B2 (ja) * 1998-12-10 2007-12-05 キヤノン株式会社 映像処理装置及びその制御方法及び記憶媒体
US6704042B2 (en) 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
US7162074B2 (en) * 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
JP3983573B2 (ja) * 2002-03-06 2007-09-26 富士重工業株式会社 ステレオ画像特性検査システム
EP1967942A1 (en) 2005-10-26 2008-09-10 Sony Computer Entertainment America, Inc. System and method for interfacing and computer program
DE102006050379A1 (de) * 2006-10-25 2008-05-08 Norbert Prof. Dr. Link Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren
US8328653B2 (en) * 2007-09-21 2012-12-11 Playdata, Llc Object location and movement detection system and method
TWI426779B (zh) * 2010-08-13 2014-02-11 Inst Information Industry Object color correction method, system and its computer program products
JP5875382B2 (ja) * 2011-02-15 2016-03-02 キヤノン株式会社 力覚センサ、ロボット装置、ロボットハンド及び検出装置
US9113145B2 (en) * 2011-03-25 2015-08-18 Semiconductor Components Industries, Llc Contrast matching for stereo image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003448A (ja) * 1998-06-16 2000-01-07 Sony Corp 輝度値補正回路及び方法並びに距離画像生成装置
CN1788486A (zh) * 2004-05-17 2006-06-14 精工爱普生株式会社 图像处理方法、图像处理装置和程序
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
JP2011229054A (ja) * 2010-04-22 2011-11-10 Konica Minolta Opto Inc 画像処理装置およびプログラム
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
CN102387371A (zh) * 2010-08-31 2012-03-21 索尼公司 图像调整
CN102236785A (zh) * 2011-06-29 2011-11-09 中山大学 一种非重叠摄像机视点之间的行人匹配方法

Also Published As

Publication number Publication date
EP2940658B1 (en) 2018-06-06
JP5843751B2 (ja) 2016-01-13
EP2940658A4 (en) 2016-08-03
CN104885125A (zh) 2015-09-02
EP2940658A1 (en) 2015-11-04
WO2014103094A1 (ja) 2014-07-03
US9619868B2 (en) 2017-04-11
JP2014127151A (ja) 2014-07-07
US20150339805A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
CN104885125B (zh) 信息处理设备、信息处理***和信息处理方法
US10674069B2 (en) Method and apparatus for blurring preview picture and storage medium
US9357203B2 (en) Information processing system using captured image, information processing device, and information processing method
US8498446B2 (en) Method of improving orientation and color balance of digital images using face detection information
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10559063B2 (en) Image generating apparatus and method for generation of 3D panorama image
US20110150280A1 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
CN105141841B (zh) 摄像设备及其方法
CN113643342B (zh) 一种图像处理方法、装置、电子设备及存储介质
JP4461739B2 (ja) 撮像装置
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN109190533A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP7301683B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102118937B1 (ko) 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체
JP2016123517A (ja) プログラム及びコンピュータシステム
JPWO2018189880A1 (ja) 情報処理装置、情報処理システム、および画像処理方法
JP7110378B2 (ja) 深度データを用いた拡張現実画像提供方法及びプログラム
CN104104935B (zh) 图像处理装置、图像处理方法和电子装置
CN111277752B (zh) 提示方法、装置、存储介质及电子设备
CN114339029B (zh) 拍摄方法、装置及电子设备
JP6930011B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
DE102022118932A1 (de) Bildaufnahmegerät, Steuerungsverfahren und Programm
CN115187634A (zh) 定位方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant