CN102739958A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102739958A
CN102739958A CN2012100960793A CN201210096079A CN102739958A CN 102739958 A CN102739958 A CN 102739958A CN 2012100960793 A CN2012100960793 A CN 2012100960793A CN 201210096079 A CN201210096079 A CN 201210096079A CN 102739958 A CN102739958 A CN 102739958A
Authority
CN
China
Prior art keywords
taken
photograph
input picture
image
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100960793A
Other languages
English (en)
Other versions
CN102739958B (zh
Inventor
铃木纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102739958A publication Critical patent/CN102739958A/zh
Application granted granted Critical
Publication of CN102739958B publication Critical patent/CN102739958B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理装置、图像处理方法和程序，该图像处理装置包括：被摄体检测器，其检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及合成器，其将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及图像处理装置、图像处理方法和程序。
背景技术
作为已知的图像处理装置，存在拍摄人物、风景和其它被摄体图像的照相机、视频摄录机和其它成像装置。上述一些成像装置拍摄被摄体图像，并且以立体方式(三维方式)在显示部分上显示所拍摄的被摄体图像。用户在看着所显示图像时具有深度感。
另外，成像装置使用的一种已知技术是检测人(特定被摄体)的面部并且在显示部分上显示对应于所检测面部的面部框(参见JP-A-2009-290255)。以二维方式在显示部分上显示面部框。
发明内容
当以立体方式在显示部分上显示图像时，有时还要求显示面部框(被摄体框)。然而，根据JP-1-2009-290255中所述的技术，因为在三维图像上显示二维面部框，所以将具有深度的图像与没有深度的面部框混合，使用户感觉到好像所显示的图像有点问题。
因此，希望提供以立体方式在显示部分上显示图像并且使用户能自然地识别出与图像中的特定被摄体对应的被摄体框的显示图像处理装置、图像处理方法和程序。
本公开的实施例涉及一种图像处理装置，其包括：被摄体检测器，其检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及合成器，其将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
本公开的另一个实施例涉及一种图像处理方法，其包括：检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
本公开的又一个实施例涉及一种指示计算机执行如下处理的程序：检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
根据上述本公开的实施例，当以立体方式在显示部分上显示图像时，用户能够自然地地识别出与图像中的特定被摄体对应的被摄体框。
附图说明
图1是示出成像装置的构造的框图；
图2是执行第一面部框合成处理的成像装置的功能框图；
图3是用于说明第一面部框合成处理的示意图；
图4是用于说明立体图像的图解视图；
图5是执行第二面部框合成处理的成像装置的功能框图；
图6是用于说明第二面部框合成处理的示意图；
图7是执行第三面部框合成处理的成像装置的功能框图；
图8是用于说明对面部框合成处理的选择的流程图。
具体实施方式
以下，将参照附图详细说明本公开的优选实施例。在本说明书和附图中，实际具有相同功能的组件具有相同的附图标记，并且将不再对其进行冗余说明。
将按照以下次序进行说明。
1.图像处理装置的构造
2.面部框合成处理
3.对面部框合成处理的选择
4.总结
<1.图像处理装置的构造>
在本实施例中，举出成像装置作为图像处理装置的例子，并且将参照图1说明成像装置100的构造。图1是示出成像装置100的构造的框图。
例如，成像装置100是能够拍摄视频图像的视频摄录机或者能够拍摄静止图像的数码相机。
如图1所示，成像装置100包括对焦镜头101、变焦镜头102、成像组件103、模拟信号处理器104、A/D转换器105、定时发生器106、垂直驱动器107、数字信号处理器108、控制器110、电机驱动器112、记录装置115、显示部分116、操作部分118、EEPROM 119、ROM 120、RAM121和检测器130。
对焦镜头101在光轴方向上来回移动使得被摄体被聚焦。变焦镜头102在光轴方向上来回移动使得所拍摄的被摄体图像缩放到所需大小。例如，成像组件103是CCD组件或CMOS组件，并且将透过对焦镜头101和变焦镜头102入射的光转换成电信号。
模拟信号处理器104去除从成像组件103输出的电信号中的噪声，并且对电信号执行其它类型的处理。A/D转换器105将成像组件103产生的信号转换成数字信号，以产生原始图像数据。
定时发生器106产生控制信号，所述控制信号控制成像组件103和模拟信号处理器104执行处理的处理定时。垂直驱动器107驱动成像组件103。数字信号处理器108对所产生的原始图像数据执行图像处理，如，光量增益校正和白平衡调节。
控制器110包括CPU，并且运行ROM 120或任何其它存储装置中存储的程序，以控制成像装置100所执行的各种处理。电机驱动器112驱动与对焦镜头101关联地设置的对焦镜头驱动电机113和与变焦镜头102关联地设置的变焦镜头驱动电机114。
记录装置115存储已经历数字信号处理器108所执行的图像处理的图像数据。显示部分116显示即时显示(live-view)图像和已经过图像处理的图像数据。操作部分118包括释放开关、变焦按钮和操作按钮，用户通过操作按钮输入各种与操作相关的信息。
EEPROM 119是非易失性存储器并存储图像数据、各种辅助信息和程序。ROM 120例如存储控制器110使用的程序和计算参数。RAM 121存储控制器110中使用的任一程序和当执行程序时适当变化的参数。
检测器130包括传感器并且分析通过镜头输入的图像数据。例如，检测器130用作深度检测器，检测图像数据中包含的深度。检测器130还用作面部检测器，检测图像数据中人的面部。控制聚焦位置的控制器110判断检测器130检测到的面部位置是否与聚焦位置一致。
成像装置100可以在显示部分116上以立体方式显示所拍摄的图像(视频图像或静止图像)(下文中也被称作3D显示)。具体来讲，成像装置100拍摄之间存在视差的左眼图像和右眼图像，并且在显示部分116上显示所拍摄的左眼图像(为了便于说明，称作左图像)和所拍摄的右眼图像(为了便于说明，称作右图像)，以便进行立体显示。用户因而将显示部分116上显示的图像识别为具有深度信息的图像。
虽然在图1中为了便于说明分开绘制了对焦镜头101、变焦镜头102和成像组件103(这三个组件统称为成像器)，但是能够进行立体显示的成像装置100实际上包括用于拍摄左图像的成像器和用于拍摄右图像的成像器。该两个成像器拍摄之间存在视差的图像。
<2.面部框合成处理>
当在显示部分116上以立体方式显示图像时，有时还要求显示面部框。为了满足上述要求，以立体方式显示图像的显示部分116需要使用户能自然地识别面部框。为了满足需要，根据本实施例的成像设备100执行面部框合成处理，以使用户识别的被摄体(例如，面部)的深度与被摄体框(例如，面部框)的深度彼此一致。
在本实施例中，作为面部框合成处理，成像装置100首先检测之间存在视差的第一输入图像(例如，左图像)和第二输入图像(例如，右图像)中的至少一个中的预定被摄体(例如，面部)。然后，成像装置100将与所检测面部对应的面部框与以立体方式显示在显示部分116上的左图像和右图像分别合成，使得与左图像和右图像合成的面部框也提供深度感。根据面部框合成处理，因为用户识别的面部的深度和面部框的深度彼此一致，所以所得的显示图像被用户自然地识别出。
以下，将参照第一面部框合成处理、第二面部框合成处理和第三面部框合成处理详细说明面部框合成处理。在本实施例中，第一面部框合成处理对应于第一处理，并且第二或第三面部框合成处理对应于第二处理。
(第一面部框合成处理)
首先，将说明第一面部框合成处理。第一面部框合成处理包括分别地对形成立体图像的左图像和右图像检测人面部，基于对左图像执行的面部检测将面部框与左图像合成，并且基于对右图像执行的面部检测将面部框与右图像合成。
将参照图2和图3说明第一面部框合成处理。图2是执行第一面部框合成处理的成像装置100的功能框图。图3是用于说明第一面部框合成处理的示意图。
如图2中所示，成像装置100包括图像处理器212、面部检测器214、面部框合成器216、图像处理器222、面部检测器224、面部框合成器226和图像合成器232。用图1所示的数字信号处理器108实现图像处理器212和222、面部框合成器216和226以及图像合成器232，并且用图1所示的检测器130实现面部检测器214和224。
在形成立体图像的左图像和右图像之中，用于拍摄左图像的成像器将关于左图像的数据输入到图像处理器212。图像处理器212对所输入的左图像执行各种类型的图像处理，并且向面部检测器214和面部框合成器216输出已经过图像处理的图3所示的左图像A1。
面部检测器214检测从图像处理器212输入的左图像A1中的人面部(对应于面部的区域)。当在左图像中存在多个人面部时，面部检测器214检测多个面部。面部检测器214还检测面部的位置。面部检测器214向面部框合成器216输出面部检测的结果。
基于面部检测器214的检测结果，面部框合成器216将面部框F1与从图像处理器212输入的左图像A1合成。也就是说，面部框合成器216将与人面部对应的面部框F1与左图像A1合成，产生图3所示的左图像A2。面部框合成器216向图像合成器232输出与面部框F1合成的左图像A2。
用于拍摄右图像的成像器将关于形成立体图像的右图像的数据输入到图像处理器222。图像处理器222对所输入的右图像执行各种类型的图像处理，并且向面部检测器224和面部框合成器226输出已经过图像处理的图3所示的右图像B1。在由不同成像器拍摄的右图像B1和左图像A之间存在视差。
面部检测器224检测从图像处理器222输入的右图像B1中的人面部(对应于面部的区域)。当在右图像中存在多个人面部时，面部检测器224检测多个面部。面部检测器224向面部框合成器226输出面部检测的结果。
基于面部检测器224的检测结果，面部框合成器226将面部框F2与从图像处理器222输入的右图像B1合成。也就是说，面部框合成器226将与人面部对应的面部框F2与右图像B1合成，产生图3所示的右图像B2。面部框合成器226向图像合成器232输出与面部框F2合成的右图像B2。
图像合成器232将从面部框合成器216输入的左图像A2与从面部框合成器226输入的右图像B2合成为单个帧C1，这单个帧C1具有如图3所示并排排列的两个图像(所谓的“并排法”(side-by-sidemethod))。在并排法中，通过压缩左图像A2使得其水平宽度减半来得到帧C1中的左图像，并且通过压缩右图像B2使得其水平宽度减半来得到帧C1中的右图像。图像合成器232向显示部分116(图1)输出合成的帧C1。
显示部分116扩展所输入帧C1中的左图像和右图像中每个的水平宽度并将其顺序显示。在顺序显示左图像和右图像的时间段内，用户例如通过快门眼镜(shuttering glasses)用右眼在视觉上识别到右图像并且用左眼在视觉上识别到左图像。可供选择地，成像装置100可以通过使用所谓的偏光法来显示图像，并且使用户能在视觉上识别到右图像和左图像。因为包含面部框的右图像和左图像之间存在视差，所以如图4中所示，用户识别被摄人物的深度以及面部框的深度，图4是用于说明立体图像的图解视图。
根据第一面部框合成处理，因为左图像和右图像之间具有视差，所以与左图像合成的面部框F1和与右图像合成的面部框F2之间也具有视差。因为面部框F1和面部框F2之间的视差等于左图像和右图像之间的视差，所以用户识别的人面部的深度和面部框的深度彼此一致。结果，用户能够自然地识别在显示部分116上以立体方式显示的图像中的面部框。
(第二面部框合成处理)
接着，将说明第二面部框合成处理。在第二面部框合成处理中，首先，对左图像或右图像(在以下说明中是左图像)执行面部检测和深度检测。然后，基于对左图像执行的面部检测的结果，将面部框与左图像合成，并且基于左图像中的面部框和对左图像执行的深度检测的结果，将面部框与右图像合成。
将参照图5和图6说明第二面部框合成处理。图5是执行第二面部框合成处理的成像装置100的功能框图。图6是用于说明第二面部框合成处理的示意图。
如图5中所示，成像装置100包括图像处理器212、面部检测器214、深度检测器218、图像处理器222、图像合成器232。用图1所示的数字信号处理器108实现图像处理器212和222以及图像合成器232，并且用图1所示的检测器130实现面部检测器214和深度检测器218。
在形成立体图像的左图像和右图像之中，将关于左图像的数据输入到图像处理器212。图像处理器212对所输入的左图像执行各种类型的图像处理，并且向面部检测器214、深度检测器218和图像合成器232输出已经过图像处理的图6所示的左图像A1。
面部检测器214检测从图像处理器212输入的左图像A1中的人物的面部(对应于面部的区域)。面部检测器214向图像合成器232输出面部检测的结果。
深度检测器218检测左图像A1中被摄体(如，面部)的深度。例如，深度检测器218通过获取图像中关于被摄体亮度对比度的信息来检测被摄体的深度。深度检测器218向图像合成器232输出深度检测的结果。
将关于形成立体图像的右图像的数据输入到图像处理器222。图像处理器222对所输入的右图像执行各种类型的图像处理，并且向面部合成器232输出已经过图像处理的图6所示的右图像B1。
图像合成器232基于面部检测器214的检测结果产生与左图像A1中检测到的面部对应的面部框F1，并且将所产生的面部框F1与左图像A1合成。图像合成器232还基于与左图像A1中检测到的面部对应的面部框F1和深度检测器218检测到的深度，产生与右图像B1对应的面部框F2。具体来讲，图像合成器232基于检测到的深度获取视差，并且通过将面部框F1移动对应于所获取视差的距离，产生面部框F2。然后，图像合成器232将所产生的面部框F2与右图像B1合成(参见图6)。
因为基于第二面部框合成处理中深度检测器218检测到的深度来确定视差，所以与第一面部框合成处理中不同，在第二面部框合成处理中，对右图像没有执行面部检测。
图像合成器232将与面部框F1合成的左图像和与面部框F2合成的右图像合成为单个帧C1，这单个帧C1具有如图6所示并排排列的两个图像(上述的“并排法”)。图像合成器232向显示部分116输出合成的帧C1。
显示部分116扩展所输入帧C1中的左图像和右图像中每个的水平宽度并将其顺序显示。在顺序显示左图像和右图像的时间段内，用户例如通过快门眼镜用右眼在视觉上识别到右图像并且用左眼在视觉上识别到左图像。因为包含面部框的右图像和左图像之间存在视差，所以如上述图4中一样，用户识别被摄人物的深度以及面部框的深度。
根据第二面部框合成处理，如在第一面部框合成处理中一样，与左图像合成的面部框F1和与右图像合成的面部框F2之间也具有视差。因为面部框F1和面部框F2之间的视差等于左图像和右图像之间的视差，所以用户识别的人面部的深度和面部框的深度彼此一致。结果，用户能够自然地识别以立体方式显示在显示部分116上的图像中的面部框。
因为如上所述在第二面部框合成处理中不需要对右图像执行面部检测，所以与第一面部框合成处理相比，能够减少处理量并且因此能够缩短处理时间段。
(第三面部框合成处理)
接着，将说明第三面部框合成处理。在第三面部框合成处理中，首先对左图像或右图像(以下说明中为左图像)执行面部检测，并且对左图像和右图像都执行深度检测。然后，基于对左图像执行的面部检测的结果将面部框与左图像合成，并且基于左图像中的面部框以及对左图像和右图像执行的深度检测的结果，将面部框与右图像合成。
将参照图7说明第三面部框合成处理。图7是执行第三面部框合成处理的成像装置100的功能框图。
如图7中所示，成像装置100包括图像处理器212、面部检测器214、深度检测器218、图像处理器222和图像合成器232。图7中的图像处理器212、面部检测器214和图像处理器222与图5中的图像处理器212、面部检测器214和图像处理器222具有相同的功能，因此将不再对其进行说明。
与只基于左图像A1检测深度的第二面部框合成处理不同的是，深度检测器218基于左图像A1和右图像B1检测诸如面部的被摄体的深度。例如，深度检测器218通过从左图像A1中提取特定部分并且从右图像B1中提取对应的特定部分进行块匹配，来检测被摄体的深度。深度检测器218向图像合成器232输出深度检测的结果。
图像合成器232基于面部检测器214的检测结果产生与左图像A1中检测到的面部对应的面部框F1，并且将所产生的面部框F1与左图像A1合成。图像合成器232还基于与左图像A1中检测到的面部对应的面部框F1和深度检测器218检测到的深度，产生与右图像B1对应的面部框F2。然后，图像合成器232将所产生的面部框F2与右图像B1合成(参见图6)。通过在考虑到深度检测器218检测到深度的情况下产生面部框F2，面部框F2相对于面部框F1存在视差。
图像合成器232将与面部框F1合成的左图像和与面部框F2合成的右图像合成为单个帧C1，这单个帧C1具有如图6所示并排排列的两个图像，并且向显示部分116输出合成的帧C1。显示部分116顺序显示与面部框F1合成的左图像和与面部框F2合成的右图像，使得不仅被摄人物而且面部框将伴随深度信息显示，如上述图4中一样。
根据第三面部框合成处理，如在第二面部框合成处理中一样，与左图像合成的面部框F1和与右图像合成的面部框F2之间也存在视差。因为面部框F1和面部框F2之间的视差等于左图像和右图像之间的视差，所以用户识别到的人面部的深度和面部框的深度彼此一致。结果，用户能够自然地识别到以立体方式显示在显示部分116上的图像中的面部框。
另外，根据第三面部框合成处理，因为基于左图像和右图像检测到深度，所以与仅基于左图像和右图像中的一个检测深度的情况相比，能够以更高精度检测深度。
以上已说明了三种类型的面部框合成处理，但是成像装置100可以执行的面部框合成处理不限于此。将参照上述图5说明另一个面部框合成处理。
在另一个面部框合成处理中，深度检测器218通过使用连续的两个左图像来检测深度。因为是在不同的时间点拍摄连续的两个图像，所以这两个图像互不相同。依据这一事实，深度检测器218通过使用在不同时间点拍摄的两个左图像来检测深度。例如，深度检测器218通过从两个左图像之一中提取特定部分并且从另一个左图像提取对应的特定部分并且执行块匹配来检测深度。图像合成器232基于检测到的深度和对左图像执行面部检测的结果来产生右图像的面部框。由此在右图像中产生的面部框相对于左图像中的面部框存在视差，如在上述第三面部框合成处理中一样。
<3.对面部框合成处理的选择>
以上已说明了成像装置100可以执行的多个面部框合成处理。成像装置100中的控制器110根据如何拍摄被摄体图像从多个面部框合成处理中选择一个面部框合成处理，并且执行所选择的这个处理。以此方式，当以立体方式实时显示图像时，可以在考虑到例如深度检测的检测精度和执行面部框合成处理所需时间的情况下，执行多个面部框合成处理中最佳的面部框合成处理。
例如，控制器110根据同一平面内检测到的面部位置与聚焦位置(例如，取景器中的中心位置)是否一致，选择并执行多个面部框合成处理中的一个面部框合成处理。具体来讲，当同一平面内检测到的面部位置与聚焦位置一致时，控制器110选择并执行第二面部框合成处理。另一方面，当同一平面内检测到的面部位置与聚焦位置不一致时，控制器110选择并执行第一或第三面部框合成处理。
与当在同一平面内检测到的面部位置与聚焦位置不一致时相比，当同一平面内检测到的面部位置与聚焦位置一致时，检测深度的精度更高。依据这一事实，当面部位置与聚焦位置一致时，基于左图像或右图像检测深度(第二面部框合成处理)的精度仍然足够高，并且能够缩短处理时间段。另一方面，当面部位置与聚焦位置不一致时，同时基于左图像和右图像检测深度(第一或第三面部框合成处理)防止深度检测的精度降低。
另外，例如，控制器110根据面部检测器214(面部检测器224)检测到的面部数量选择并执行三个面部框合成处理中的一个面部框合成处理。具体来讲，当检测到的面部数量大于预定数量时，控制器110选择并执行第三面部框合成处理，而当检测到的面部数量小于预定数量时，控制器110选择并执行第一面部框合成处理。如下地确定预定数量：依据深度检测器218在固定时间段内检测深度而面部检测器214在与面部数量成比例的时间段内检测面部这一事实，预定数量是使检测面部所需时间段比检测深度所需时间段更长的面部的最少数量。
根据面部数量选择并执行三个面部框合成处理中的一个面部框合成处理具有以下优点：当图像中面部的数量增加时，控制器110需要执行的处理量增加。因为在第三面部框合成处理中不需要对右图像执行面部检测，所以当待检测的面部数量增加时，第三面部框合成处理中所需的处理量小于对右图像执行面部检测的第一面部框合成处理中所需的处理量。当面部数量多时，选择并执行第三面部框合成处理从而防止面部框合成处理中所需的处理量增加。另一方面，当面部数量少时，执行第一面部框合成处理使面部框F1和面部框F2之间的视差更精确。
(对面部框合成处理的选择的具体实例)
将参照图8说明对面部框合成处理的选择的具体实例。图8是用于说明对面部框合成处理的选择的流程图。控制器110运行ROM 120或任何存储装置中存储的程序，以执行流程图中的程序。
图8中的流程图始于面部检测器214检测所输入的左图像中的面部的时间点。假设，在以下处理中，选择第一面部框合成处理至第三面部框合成处理中的一个面部框合成处理。
首先，控制器110判断面部检测器214是否已经以高精度检测了面部(步骤S102)。例如，控制器110预先掌握表示面部检测中精确程度的值(阈值)或任何其它类似值，当判断出的精度高于阈值时，控制器110判定精度足够高，而当判断出的精度低于阈值时，控制器110判定精度不够高。
当步骤S102中的判断表示面部检测的精度足够高时(是)，控制器110判断检测到的面部数量是否为1以及检测到的面部位置是否与聚焦位置一致(步骤S104)。
当步骤S104中的判断结果为“是”时，控制器110执行图5所示的第二面部框合成处理(步骤S106)。以这种方式，能够提高深度检测的精度，并且能够缩短处理时间段。当步骤S104中的判断结果为“否”时，控制器110判断检测到的面部数量是否大于或等于预定数量(步骤S108)。
当步骤S108中的判断表示面部数量大于预定数量时(是)，控制器110选择并执行图7所示的第三面部框合成处理(步骤S110)。如上所述通过当面部数量多时选择并执行第三面部框合成处理，与选择并执行任何其它面部框合成处理的情况相比，防止了面部框合成处理中所需的处理量增加。当步骤S108中的判断表示面部数量小于预定数量时(否)，控制器110选择并执行图2所示的第一面部框合成处理(步骤S112)。通过执行第一面部框合成处理，提高了面部框F1和F2之间的视差的精度。
当步骤S102中的判断表示面部检测中的精度不够高时(否)，控制器110判断检测到的面部数量是否为1以及检测到的面部位置是否与聚焦位置一致(步骤S114)。
当步骤S114中判断为“是”时，控制器110执行第二面部框合成处理(步骤S116)。以这种方式，能够提高深度检测的精度，并且能够缩短处理时间段。当步骤S114中的判断结果为“否”时，控制器110执行第三面部框合成处理(步骤S118)，由此防止降低深度检测的精度。
根据上述处理，当以立体方式实时显示图像时，能够在考虑到例如深度检测的检测精度和执行面部框合成处理所需时间的情况下，执行多个面部框合成处理中最佳的面部框合成处理。
<4.总结>
如上所述，根据本实施例的成像装置100检测之间存在视差的第一输入图像(例如，左图像)和第二输入图像(例如，右图像)中的至少一个中的预定被摄体(例如，面部)。然后，成像装置100将与检测到的面部对应的面部框与以立体方式在显示部分116上显示的左图像和右图像分别合成，使得与左图像和右图像合成的面部框也具有深度感。
因为上述面部框合成处理使形成立体图像的两个图像能合成与两个图像之间的视差对应的两个面部框，所以用户识别到的被摄体的深度和被摄体框的深度彼此一致。结果，当以立体方式在显示部分116上显示图像时，用户能够自然地识别到被摄体框。
已参照附图详细说明了本公开的优选实施例，但是本公开不限于实施例。本公开技术领域中的普通技术人员显而易见可以在所附权利要求书阐述的技术精神范围内想到各种变化形式和修改形式，并且这些变化形式和修改形式当然落入本公开的技术范围内。
已参照作为被摄体的人面部进行了以上说明，但是被摄体不限于此。例如，可供选择地，被摄体可以是整个人、宠物、植物和任何其它特定被摄体。
已参照作为图像处理装置的成像装置(如，视频摄录机)进行了以上说明，但是图像处理装置不限于此。例如，图像处理装置可以是用于以立体方式在显示部分上显示图像数如，移动电话、PDA、游戏机、电子词典和笔记本个人电脑。可供选择地，图像处理装置可以在外部显示装置上显示图像。
上述实施例的流程图中所示的步骤不仅包括以所述次序按时间序列执行的处理，而且包括不必按时间序列而是并行或独立执行的处理。当然，在一些情况下，视情况而定，可以按其它时间序列执行按以上说明的时间序列执行的步骤。
本公开还可以实现为以下构造。
(1)一种图像处理装置，包括：
被摄体检测器，其检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
合成器，其将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
(2)根据(1)中所述的图像处理装置，其中，所述被摄体检测器检测所述被摄体的面部，并且所述被摄体框是与所述面部对应的面部框。
(3)根据(1)或(2)中所述的图像处理装置，其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将与所述第二输入图像中检测到的所述被摄体对应的第二被摄体框与所述第二输入图像合成。
(4)根据(1)或(2)中所述的图像处理装置，还包括深度检测器，所述深度检测器基于所述第一输入图像检测所述被摄体的深度，其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
(5)根据(1)或(2)中所述的图像处理装置，还包括深度检测器，所述深度检测器基于所述第一输入图像和所述第二输入图像检测所述被摄体的深度，其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
(6)根据(1)至(4)中的任一项所述的图像处理装置，还包括：
深度检测器，其基于所述第一输入图像检测所述被摄体的深度；以及
控制器，其选择并执行第一处理和第二处理中的一个，在所述第一处理中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将与所述第二输入图像中检测到的所述被摄体对应的第二被摄体框与所述第二输入图像合成，并且在所述第二处理中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
(7)根据(6)中所述的图像处理装置，其中，当所述被摄体检测器检测到的被摄体数量大于或等于预定数量时，所述控制器选择并执行所述第二处理，而当所述被摄体检测器检测到的被摄体数量小于预定数量时，所述控制器选择并执行所述第一处理。
(8)根据(6)中所述的图像处理装置，其中，所述控制器检测输入图像中的聚焦位置和被摄体的位置，并且当所述聚焦位置与所述被摄体的位置一致时，所述控制器选择并执行所述第二处理，而当所述聚焦位置与所述被摄体的位置不一致时，所述控制器选择并执行所述第一处理。
(9)一种图像处理方法，包括：
检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
(10)一种指示计算机执行如下处理的程序：
检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
本公开包含与2011年4月11日在日本专利局提交的日本优先权专利申请JP 2011-087211中公开的主题相关的主题，该优先权专利申请的全部内容以引用方式并入本文。
本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、合成、子合成和替代，只要它们落入所附权利要求书或其等价物的范围内。

Claims (10)

1.一种图像处理装置，包括：
被摄体检测器，其检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
合成器，其将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
2.根据权利要求1所述的图像处理装置，其中，所述被摄体检测器检测所述被摄体的面部，并且
所述被摄体框是与所述面部对应的面部框。
3.根据权利要求1所述的图像处理装置，其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将与所述第二输入图像中检测到的所述被摄体对应的第二被摄体框与所述第二输入图像合成。
4.根据权利要求1所述的图像处理装置，还包括深度检测器，所述深度检测器基于所述第一输入图像检测所述被摄体的深度，
其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
5.根据权利要求1所述的图像处理装置，还包括深度检测器，所述深度检测器基于所述第一输入图像和所述第二输入图像检测所述被摄体的深度，
其中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
6.根据权利要求1所述的图像处理装置，还包括：
深度检测器，其基于所述第一输入图像检测所述被摄体的深度；以及
控制器，其选择并执行第一处理和第二处理中的一个，
在所述第一处理中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将与所述第二输入图像中检测到的所述被摄体对应的第二被摄体框与所述第二输入图像合成，并且
在所述第二处理中，所述合成器不仅将与所述第一输入图像中检测到的所述被摄体对应的第一被摄体框与所述第一输入图像合成，而且将基于所述第一被摄体框和所述深度检测器检测到的所述深度而产生的第二被摄体框与所述第二输入图像合成。
7.根据权利要求6所述的图像处理装置，其中，当所述被摄体检测器检测到的被摄体数量大于或等于预定数量时，所述控制器选择并执行所述第二处理，而当所述被摄体检测器检测到的被摄体数量小于预定数量时，所述控制器选择并执行所述第一处理。
8.根据权利要求6所述的图像处理装置，其中，
所述控制器检测输入图像中的聚焦位置和被摄体的位置，并且
当所述聚焦位置与所述被摄体的位置一致时，所述控制器选择并执行所述第二处理，而当所述聚焦位置与所述被摄体的位置不一致时，所述控制器选择并执行所述第一处理。
9.一种图像处理方法，包括：
检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
10.一种指示计算机执行如下处理的程序：
检测之间存在视差的第一输入图像和第二输入图像中的至少一个中的预定被摄体；以及
将与检测到的所述被摄体对应的被摄体框与以立体方式在显示部分上显示的所述第一输入图像和所述第二输入图像中的每个合成，使得与所述第一输入图像和所述第二输入图像合成的所述被摄体框也具有深度感。
CN201210096079.3A 2011-04-11 2012-04-01 图像处理装置、图像处理方法 Expired - Fee Related CN102739958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-087211 2011-04-11
JP2011087211A JP5874192B2 (ja) 2011-04-11 2011-04-11 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN102739958A true CN102739958A (zh) 2012-10-17
CN102739958B CN102739958B (zh) 2017-05-17

Family

ID=46062028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210096079.3A Expired - Fee Related CN102739958B (zh) 2011-04-11 2012-04-01 图像处理装置、图像处理方法

Country Status (6)

Country Link
US (3) US9179121B2 (zh)
EP (2) EP3255887B1 (zh)
JP (1) JP5874192B2 (zh)
KR (1) KR20120115944A (zh)
CN (1) CN102739958B (zh)
TW (1) TW201246914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945133A (zh) * 2014-05-08 2014-07-23 山东神戎电子股份有限公司 一种可见光镜头的自动聚焦装置及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6516410B2 (ja) * 2014-02-21 2019-05-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105376484A (zh) * 2015-11-04 2016-03-02 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107358638B (zh) * 2017-07-19 2020-11-27 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN110225235B (zh) * 2018-03-01 2021-03-09 浙江宇视科技有限公司 变倍跟随方法及电动镜头
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
KR102393702B1 (ko) * 2021-10-18 2022-05-04 주식회사 스튜디오레논 딥러닝 기반 최적화된 연산을 통한 가상 캐릭터의 안면 이미지를 생성하는 방법 및 이를 위한 기록 매체 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524638A1 (en) * 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and method
JP2009047498A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2010147940A (ja) * 2008-12-19 2010-07-01 Fujifilm Corp 立体画像処理装置および立体画像処理方法
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP2009290255A (ja) 2008-05-27 2009-12-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
JP5346266B2 (ja) * 2009-09-30 2013-11-20 富士フイルム株式会社 画像処理装置、カメラ及び画像処理方法
JP2011087211A (ja) 2009-10-19 2011-04-28 Sony Corp 復調装置および方法、並びに電子機器
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
JP2012114896A (ja) * 2010-11-04 2012-06-14 Panasonic Corp ３ｄ撮像装置及び３ｄ再生装置
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524638A1 (en) * 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and method
JP2009047498A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2010147940A (ja) * 2008-12-19 2010-07-01 Fujifilm Corp 立体画像処理装置および立体画像処理方法
CN101959020A (zh) * 2009-07-17 2011-01-26 富士胶片株式会社 成像装置和成像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945133A (zh) * 2014-05-08 2014-07-23 山东神戎电子股份有限公司 一种可见光镜头的自动聚焦装置及方法

Also Published As

Publication number Publication date
US9179121B2 (en) 2015-11-03
KR20120115944A (ko) 2012-10-19
JP5874192B2 (ja) 2016-03-02
EP3255887B1 (en) 2022-02-09
US20120256910A1 (en) 2012-10-11
US9948921B2 (en) 2018-04-17
TW201246914A (en) 2012-11-16
EP2512144B1 (en) 2017-08-30
JP2012222641A (ja) 2012-11-12
US20170142409A1 (en) 2017-05-18
US9591291B2 (en) 2017-03-07
EP2512144A1 (en) 2012-10-17
CN102739958B (zh) 2017-05-17
EP3255887A1 (en) 2017-12-13
US20160021359A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
CN102739958A (zh) 图像处理装置、图像处理方法和程序
KR101396743B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
EP2120210B1 (en) Composition determination device, composition determination method, and program
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9036072B2 (en) Image processing apparatus and image processing method
CN104365089B (zh) 摄像装置及图像显示方法
US9288472B2 (en) Image processing device and method, and image capturing device
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20130034270A1 (en) Method and device for shape extraction, and size measuring device and distance measuring device
TWI399972B (zh) 影像產生裝置及程式
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9596455B2 (en) Image processing device and method, and imaging device
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104903769B (zh) 图像处理装置、摄像装置及图像处理方法
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
US8908012B2 (en) Electronic device and method for creating three-dimensional image
KR101690256B1 (ko) 영상 처리 방법 및 장치
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517