CN102647555B - 被摄体确定装置及被摄体追踪装置 - Google Patents

被摄体确定装置及被摄体追踪装置 Download PDF

Info

Publication number
CN102647555B
CN102647555B CN201210040405.9A CN201210040405A CN102647555B CN 102647555 B CN102647555 B CN 102647555B CN 201210040405 A CN201210040405 A CN 201210040405A CN 102647555 B CN102647555 B CN 102647555B
Authority
CN
China
Prior art keywords
mentioned
image
subject
pixel
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210040405.9A
Other languages
English (en)
Other versions
CN102647555A (zh
Inventor
金藤浩史
大宫龙
大宫龙一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN102647555A publication Critical patent/CN102647555A/zh
Application granted granted Critical
Publication of CN102647555B publication Critical patent/CN102647555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供被摄体确定装置及被摄体追踪装置。被摄体确定装置具备：在辉度图像及色差图像的各图像中，根据第1被摄体区域内的像素的像素值计算代表值的代表值计算部；从第2被摄体区域内的像素的像素值减去上述代表值，作成差分图像的第2图像生成部；将上述差分图像二值化的二值化部；将二值化的与上述辉度图像对应的二值图像和二值化的与上述色差图像对应的二值图像合成，作成合成图像的合成部；从上述合成图像内提取白像素的块作为基块的基块提取部；对上述基块，计算表示上述基块是表示被摄体的基块的可能性的评价值的评价值计算部；和根据上述评价值确定对象图像内的上述被摄体的被摄体确定部。

Description

被摄体确定装置及被摄体追踪装置
相关申请的交叉引用
优先权申请(2011年2月21日提交的日本专利申请No.2011-34823)的公开内容通过参考结合于此。
技术领域
本发明涉及被摄体确定装置及被摄体追踪装置。
背景技术
已知如下的拍摄装置。该拍摄装置根据使用者选择的AF区域确定被摄***置，将确定的被摄体作为对象，进行焦点调节处理(参照日本国特开2004-205885号公报)。
发明内容
但是，传统的拍摄装置中，仅仅根据使用者选择的AF区域，确定被摄***置，被摄体的色信息和/或辉度信息不用于被摄***置确定。因而，无法通过摄影场景确定被摄体。
根据本发明的第1方式，被摄体确定装置具备：第1图像生成部，其生成基于对象图像的辉度分量的辉度图像和基于上述对象图像的色差分量的色差图像；代表值计算部，其在由上述第1图像生成部生成的上述辉度图像及上述色差图像的各图像中，根据包含被摄体的第1被摄体区域内的像素的像素值，计算代表值；第2图像生成部，其在由上述第1图像生成部生成的上述辉度图像及上述色差图像的各图像中，从包含上述被摄体的第2被摄体区域内的像素的像素值减去由上述代表值计算部计算的上述代表值，作成与上述辉度图像及上述色差图像的上述各图像对应的差分图像；二值化部，其将由上述第2图像生成部生成的上述差分图像二值化；合成部，其将由上述二值化部二值化的与上述辉度图像对应的二值图像和由上述二值化部二值化的与上述色差图像对应的二值图像合成，作成合成图像；基块提取部，其从由上述合成部作成的上述合成图像内提取白像素的块，作为基块；评价值计算部，其对由上述基块提取部提取的上述基块，计算表示上述基块是表示上述被摄体的基块的可能性的评价值；和被摄体确定部，其根据由上述评价值计算部计算的上述评价值，确定上述对象图像内的上述被摄体。
根据本发明的第2方式，优选的是，第1方式的被摄体确定装置中，还具备：第3图像生成部，其对由上述第2图像生成部生成的上述差分图像所包含的各像素的像素值，乘以与从包含上述被摄体的第3被摄体区域到上述差分图像所包含的上述各像素为止的距离相应的系数进行加权，生成与上述辉度图像和上述色差图像的各图像对应的加权差分图像。上述二值化部将由上述第3图像生成部生成的上述加权差分图像二值化。
根据本发明的第3方式，优选的是，第1或第2方式的被摄体确定装置中，上述代表值为上述第2被摄体区域内的像素的像素值的平均值、最频值及中央值之一。
根据本发明的第4方式，优选的是，第1～第3的任一方式的被摄体确定装置中，上述第2被摄体区域是包含由使用者在上述对象图像上指定的坐标的区域及包含焦点调节处理中的AF点的区域之一。
根据本发明的第5方式，优选的是，第1～第4的任一方式的被摄体确定装置中，具备追踪部，其在多个帧间追踪由上述被摄体确定部确定的上述被摄体。
附图说明
图1是拍摄机的一实施方式的构成的方框图。
图2A及2B是被摄体追踪处理的流向的流程图。
图3是距离加权系数Dist的计算例的第1图。
图4是距离加权系数Dist的计算例的第2图。
图5是合成图像的作成例的示图。
具体实施方式
图1是本实施方式中的拍摄机的构成的方框图。拍摄机100具备操作部件101、透镜102、拍摄元件103、控制装置104、存储卡槽105、监视器106。操作部件101包含使用者操作的各种输入部件，例如电源按钮、释放(release)按钮、缩放按钮、十字键、确定按钮、重放按钮、删除按钮等。
透镜102由多个光学透镜构成，但是图1代表显示了1枚透镜。拍摄元件103例如是CCD图像传感器、CMOS图像传感器等，拍摄由透镜102成像的被摄体像。拍摄获得的图像信号向控制装置104输出。
控制装置104由CPU、存储器及其他周边电路构成，控制拍摄机100。构成控制装置104的存储器包含SDRAM和/或闪速存储器。SDRAM是易失性的存储器，用作用于CPU在执行程序时展开程序的工作存储器，并用作用于CPU暂时地记录数据的缓冲存储器。闪速存储器是非易失性的存储器，记录控制装置104执行的程序的数据和/或程序执行时读入的各种参数等。
控制装置104根据从拍摄元件103输入的图像信号，生成预定的图像形式，例如JPEG形式的图像数据(以下称为“本图像数据”)。控制装置104根据生成的图像数据，生成显示用图像数据，例如缩略图像数据。控制装置104生成包含生成的本图像数据和缩略图像数据且附加了报头(header)信息的图像文件，向存储卡槽105输出。本实施方式中，本图像数据和缩略图像数据都设为由RGB表色系表示的图像数据。
存储卡槽105是***作为存储介质的存储卡的槽，从控制装置104输出的图像文件写入并记录在存储卡。存储卡槽105根据来自控制装置104的指示，读入在存储卡内存储的图像文件。
监视器106是在拍摄机100的背面搭载的液晶监视器(背面监视器)，在该监视器106显示在存储卡存储的图像和/或用于设定拍摄机100的设定菜单等。控制装置104在由使用者将拍摄机100的模式设定成摄影模式后，将从拍摄元件103按时系列取得的图像的显示用图像数据向监视器106输出。从而，在监视器106显示直通(through)图像。
本实施方式中，控制装置104根据摄影画面内的被摄体的初始位置、被摄体的色信息、被摄体的辉度信息，确定摄影画面内的被摄体，以确定的被摄体为对象进行追踪。图2A及2B是表示本实施方式中的被摄体追踪处理的流向的流程图。图2A及2B所示处理由使用者指示被摄体追踪的开始，作为在来自拍摄元件103的图像数据的输入开始后启动的程序，由控制装置104执行。
步骤S10中，控制装置104读入从拍摄元件103输入的图像，作为对象图像。此时，控制装置104将从拍摄元件103输入的图像的尺寸例如缩小为360×240，作为对象图像。从而，可以使之后的处理高速化。如上所述，本实施方式中，从拍摄元件103输入的图像数据由RGB表色系表现，因此，采用下式(1)～(3)或式(4)～(6)，变换为基于YCbCr色空间中的辉度分量(Y分量)的辉度图像和基于色差分量(Cb分量，Cr分量)的色差图像。另外，从拍摄元件103输入的图像数据用YCbCr表现的场合，该变换处理变得不必要。
Y＝0.2990R+0.5870G+0.1140B (1)
Cb＝-0.1687R-0.3313G+0.5000B+128 (2)
Cr＝0.5000R-0.4187G-0.0813B+128 (3)
Y＝0.25R+0.50G+0.25B (4)
Cb＝-0.25R-0.50G+0.75B+128 (5)
Cr＝0.75R-0.50G-0.25B+128 (6)
步骤S10后，进入步骤S20，控制装置104设定用于防止无谓处理和/或噪音的限制值即SmallLimit。本实施方式中，例如，设为SmallLimit＝0.0001。SmallLimit在后述步骤S190中采用。步骤S20后，进入步骤S30。
步骤S30中，控制装置104确定对象图像内的被摄***置的坐标。本实施方式中，控制装置104促使使用者进行对象图像内的被摄***置的指定，将使用者操作操作部件101而输入的位置的坐标确定为被摄***置坐标。
步骤S30后，进入步骤S40，控制装置104将以步骤S30确定的被摄***置坐标为中心的3×3的区域作为对象，计算Y分量、Cb分量、Cr分量的各自的平均值。这里，Y分量、Cb分量、Cr分量的平均值分别设为aveY、aveCb、aveCr。步骤S40后，进入步骤S50。
步骤S50中，控制装置104判断对象图像是否为直通图像的第1格(coma)即初始帧。步骤S50为肯定判断的场合，进入步骤S60。步骤S60中，控制装置104以步骤S30确定的被摄***置坐标为中心，从步骤S10作成的360×240的大小的辉度图像(Y图像)及2个色差图像(Cb图像及Cr图像)的各自截取预定范围的区域，例如180×135的大小的区域。通过将该截取处理获得的3个截取图像为对象进行之后的处理，可以使处理高速化。
步骤S60后，进入步骤S70，控制装置104从步骤S60作成的3个截取图像的各自的各像素的值，减去步骤S40计算的Y分量、Cb分量、Cr分量的各自的平均值，作成基于这些减法值的绝对值的3个差分图像。与各截取图像对应的各差分图像的差分图像分量DiffY、DiffCb、DiffCr由下式(7)～(9)表达。下式(7)～(9)中，函数abs(k)表示减法值k的绝对值|k|。但是，代替减法值k的绝对值|k|，也可使用减法值k的2次方值k2。
DiffY＝abs(Y-aveY) (7)
DiffCb＝abs(Cb-aveCb) (8)
DiffCr＝abs(Cr-aveCr) (9)
步骤S70后，进入步骤S80，控制装置104在辉度图像及2个色差图像的各自中，计算与从以步骤S30确定的被摄***置坐标为中心的预定大小的被摄体区域，例如30×30的矩形区域到各像素位置为止的距离相应的距离加权系数Dist。距离加权系数Dist计算的一例将后述。控制装置104如下式(10)～(12)所示，通过对步骤S70作成的Y分量、Cb分量、Cr分量表示的各差分图像的各像素的值乘以距离加权系数Dist，作成距离加权差分图像DistY、DistCb、DistCr。步骤S80后，进入后述的步骤S140。通过该步骤S80的处理，由于后述的二值化中二值图像的图像值容易变为0，因此可以除去背景的噪音。
DistY＝DiffY×Dist (10)
DistCb＝DiffCb×Dist (11)
DistCr＝DiffCr×Dist (12)
距离加权系数Dist的计算例用图3说明。这里，说明控制装置104将图3所示区域3设定为以被摄***置坐标为中心的30×30的矩形的被摄体区域的场合的例。通过下式(13)定义表示矩形的x方向的大小的变量Xsize和表示矩形的y方向的大小的变量Ysize。通过下式(14)定义距离加权系数Dist的计算中采用的变量γ。
Xsize＝30，Ysize＝30 (13)
γ＝10×((Xsize/2)2+(Ysize/2)2) (14)
该图3所示场合中，对于如区域1，在区域3上侧存在的像素，通过下式(15)计算距离加权系数Dist。对于如区域2，与区域3处于相同横线上且在左侧存在的像素，通过下式(16)计算距离加权系数Dist。对于区域3内的像素，通过下式(17)计算距离加权系数Dist。对于如区域4，与区域3处于相同横线上且在右侧存在的像素，通过下式(18)计算距离加权系数Dist。对于如区域5，在区域3下侧存在的像素，通过下式(19)计算距离加权系数Dist。
Dist＝1+((y-矩形上端y坐标)2+(x-被摄***置x坐标)2)/γ (15)
Dist＝1+((y-被摄***置y坐标)2+(x-矩形左端x坐标)2)/γ (16)
Dist＝1 (17)
Dist＝1+((y-被摄***置y坐标)2+(x-矩形右端x坐标)2)/γ (18)
Dist＝1+((y-矩形下端y坐标)2+(x-被摄***置x坐标)2)/γ (19)
步骤S50为否定判断的场合，进入步骤S90。步骤S90中，控制装置104对从拍摄元件103新输入的图像，进行与步骤S10同样的处理，作成缩小为360×240的辉度图像(y图像)及2个色差图像(Cb图像及Cr图像)，进入步骤S100。
步骤S100中，控制装置104在前帧中，以后述的步骤S230保存的评价值最大的基块(mask)的重心坐标为中心，从步骤S90作成的360×240的大小的辉度图像及2个色差图像的各自截取预定范围的区域，例如180×135的大小的区域。通过以该截取处理获得的3个截取图像为对象进行之后的处理，可以使处理高速化。本实施方式中，基块是指二值图像中的白像素的块。评价值最大的基块将后述。
步骤S100后，进入步骤S110，控制装置104对步骤S100作成的3个截取图像，与上述步骤S70同样，分别采用式(7)～(9)计算与各截取图像对应的各差分图像的差分图像分量DiffY、DiffCb、DiffCr，作成各差分图像。然后，进入步骤S120。
步骤S120中，控制装置104根据包络后述的步骤S230保存的前帧的基块的包络矩形的被摄体区域的4端坐标，计算基块的基块面积，或者取得后述的步骤S230保存的前帧的基块的面积，判断该基块面积和全画面面积是否满足下式(20)所示关系。
基块面积/全画面面积>0.001 (20)
步骤S120为肯定判断的场合，进入步骤S130，控制装置104根据后述的步骤S230保存的前帧的包络矩形的被摄体区域的4端坐标，确定各差分图像中的包络矩形的位置，计算与从包络矩形到各像素位置的距离相应的距离加权系数Dist。控制装置104采用式(10)～(12)，通过对步骤S110作成的Y分量、Cb分量、Cr分量表示的各差分图像的各像素的值乘以距离加权系数Dist，作成距离加权差分图像DistY、DistCb、DistCr。步骤S130后，进入步骤S140。
与离包络矩形的距离相应的距离加权系数Dist的计算方法与上述步骤S80同样。例如，包络矩形的x方向的大小设为Xsize，包络矩形的y方向的大小设为Ysize，距离加权系数Dist的计算中采用的变量γ通过式(14)定义。图4所示区域3设为包络矩形的被摄体区域的场合，对于如区域1，在区域3上侧存在的像素，通过式(15)计算距离加权系数Dist。对于如区域2，与区域3处于相同横线上且在左侧存在的像素，通过式(16)计算距离加权系数Dist。对于区域3内的像素，通过式(17)计算距离加权系数Dist。对于如区域4，与区域3处于相同横线上且在右侧存在的像素，通过式(18)计算距离加权系数Dist。对于如区域5，在区域3下侧存在的像素，通过式(19)计算距离加权系数Dist。
步骤S120为否定判断的场合，进入步骤S140。这样，若仅仅在步骤S120为肯定判断的场合由步骤S130进行距离的加权处理，则对小被摄体不进行距离的加权处理，可以降低跟丢被摄体的可能性。
步骤S140中，控制装置104计算步骤S60或步骤S100作成的截取图像的像素值的标准偏差，即，Y分量的截取图像的标准偏差sigY、Cb分量的截取图像的标准偏差sigCb、Cr分量的截取图像的标准偏差sigCr。本实施方式中，标准偏差的计算不使用截取图像的平均值，而使用步骤S40计算的3×3区域中的平均值aveY、aveCb、aveCr。步骤S140后，进入步骤S150。
步骤S150中，控制装置104用以下所示方法将步骤S80或S130作成的距离加权差分图像的各分量DistY、DistCb、DistCr二值化，作成由Y分量、Cb分量、Cr分量表示的二值图像。具体地说，控制装置104对于Y分量的距离加权差分图像的各分量DistY，通过下式(21)进行二值化，作成二值图像。
If DistY<α×sigY then DistY＝1
else DistY＝0 (21)
对于Cb分量的距离加权差分图像的各分量DistCb，通过下式(22)进行二值化，作成二值图像。
If DistCb<α×sigCb then DistCb＝1
else DistCb＝0 (22)
但是，在118<aveCb<138且sigCb<abs(aveCb-128)+3时，通过下式(23)进行二值化，作成二值图像。
If DistCb<α×sigCb×[{abs(aveCb-128)+3}/sigCb]1/2×
[10/{abs(aveCb-128)+0.1}]1/2
then DistCb＝1
else DistCb＝0 (23)
对于Cr分量的距离加权差分图像的各分量DistCr，通过下式(24)进行二值化，作成二值图像。
if DistCr<α×sigCr then DistCr＝1
else DistCr＝0 (24)
但是，在118<aveCr<138且sigCr<abs(aveCr-128)+3时，通过下式(25)进行二值化，作成二值图像。
If DistCr<α×sigCr×[{abs(aveCr-128)+3}/sigCr]1/2×
[10/{abs(aveCr-128)+0.1}]1/2
then DistCr＝1
else DistCr＝0 (25)
上述式(21)～(25)中，α例如设为0.6。在Cb分量的二值图像作成和Cr分量的二值图像作成时，在Cb分量的平均值aveCb在128附近(118<aveCb<138)且Cb分量的标准偏差sigCb小(sigCb<abs(aveCb-128)+3)的场合，以及在Cr分量的平均值aveCr在128附近(118<aveCr<138)且Cr分量的标准偏差sigCr小(sigCr<abs(aveCr-128)+3)的场合，不能通过通常的二值化顺利提取无彩色的被摄体。因此，不进行通常的二值化，而通过使用与Cb分量的平均值aveCb以及标准偏差sigCb对应的加权系数的式(23)和使用与Cr分量的平均值aveCr以及标准偏差sigCr对应的加权系数的式(25)进行二值化。
步骤S150后，进入步骤S160，控制装置104如图5所示，通过根据对象图像5a作成的Y、Cb、Cr的二值图像5b～5d的AND运算进行合成，作成AND图像(合成图像)5e。通过这里作成的AND图像5e，可确定被摄体的色。步骤S160后，进入步骤S170。
步骤S170中，控制装置104对步骤S160作成的AND图像5e，进行8方向的标注(labelling)处理。代替进行8方向的标注处理，也可以进行4方向的标注处理。步骤S170后，进入步骤S180，控制装置104从步骤S170中进行了标注处理的合成图像内提取白像素的块作为基块，计算提取的基块的面积。步骤S180后，进入步骤S190。
步骤S190中，控制装置104根据步骤S180计算的基块的面积，进行用于排除成为主要被摄体的可能性低的基块的去除。具体地说，控制装置104如下式(26)所示，仅仅保留将基块面积除以AND图像的画面面积后的值比预先设定的下限值SmallLimit大的基块，将除此以外的基块从以下的处理对象排除。第1帧中，采用步骤S20设定的Sma11Limit，第2帧以下，采用前帧的步骤S250计算的SmallLimit。从而，从以下的处理对象排除过小基块和/或过大基块等成为主要被摄体的可能性低基块，可以实现处理的高速化。
SmallLimit<基块面积/全画面面积 (26)
步骤S190后，进入步骤S200，控制装置104设定包络由步骤S170标注的基块的包络矩形的被摄体区域，根据该包络矩形的纵横比，进行用于排除成为主要被摄体的可能性低的基块的去除。具体地说，控制装置104仅仅保留满足下式(27)所示条件的基块，将除此以外的基块从以下的处理对象排除。从而，从以下的处理对象排除成为主要被摄体的可能性低的细长基块，可以实现处理的高速化。
0.2≤包络矩形的纵长度/包络矩形的横长度≤5 (27)
步骤S200后，进入步骤S210，控制装置104通过下式(28)，计算各基块的惯性转矩IM22。步骤S210后，进入步骤S220。
IM22＝ΣΣ{(x-xg)2+(y-yg)2} (28)
式(28)中，(x，y)表示各基块的各像素的坐标。(xg，yg)在对象图像为第1帧的场合，是步骤S30确定的被摄***置的坐标，在对象图像为第2帧以下的场合，是前帧中的后述步骤S230的处理所保存的评价值最大的基块的重心的坐标。
步骤S220中，控制装置104根据步骤S180计算的基块面积和步骤S210计算的惯性转矩IM22，通过下式(29)计算各基块的评价值。下式(29)中，β的值例如设为1.5。
评价值＝(基块面积)β/IM22 (29)
步骤S220后，进入步骤S230，控制装置104通过将步骤S220计算的评价值最大的基块判定为表示主要被摄体的可能性高的基块，来确定被摄体。控制装置104，保存确定的评价值最大基块的重心坐标和步骤S200设定的该基块的包络矩形的4端坐标，并保存确定的评价值最大基块的基块面积。步骤S230后，进入步骤S240。
步骤S240中，控制装置104根据步骤S230保存的基块的重心坐标和包络矩形的4端坐标，向监视器106输出在步骤S10或步骤S90读入的图像中显示包络矩形的画面。从而，可以在直通图像上显示表示被摄***置的包络矩形。
步骤S240后，进入步骤S250，控制装置104根据步骤S220计算的评价值最大的基块的面积，计算并保存次帧的步骤S190中采用的SmallLimit。SmallLimit通过例如下式(30)计算。
SmallLimit＝(基块面积/全画面面积)×0.1 (30)
但是，在将步骤S20设定的SmallLimit＝0.0001分别设为InitSmallLimit时，SmallLimit<InitSmallLimit×0.1的关系成立的场合，SmallLimit＝InitSmallLimit。
步骤S250后，进入步骤S260，控制装置追踪被摄体。但是，由于仅仅1帧难以追踪，所以步骤S260在第2帧以后的场合进行。在步骤300，控制装置104判断来自拍摄元件103的图像数据的输入是否结束，即现在的帧是否为最后帧。步骤S270为否定判断的场合，返回步骤S90反复进行本处理。步骤S270为肯定判断的场合，处理结束。通过反复图2A及2B所示至步骤S270为止的处理，可以在按时系列输入的多个帧中分别确定被摄体，并且在步骤S260可以跨越这些多个帧追踪被摄体。
根据以上说明的本实施方式中的拍摄机100，可以获得以下的作用效果。
(1)控制装置104根据对象图像，生成包括辉度分量的辉度图像和基于色差分量的色差图像和，确定生成的辉度图像和色差图像的各个中的被摄***置坐标，将以被摄***置坐标为中心的3×3的区域作为对象，计算Y分量、Cb分量、Cr分量的各自的平均值。控制装置104对从辉度图像和色差图像分别提取的截取图像的各像素减去上述平均值，作成差分图像，将作成的差分图像二值化后，将二值图像彼此合成，生成合成图像。控制装置104对合成图像(AND图像)进行8方向或者4方向的标注处理。控制装置104，从进行了标注处理的合成图像内提取白像素的块作为基块，根据对各基块计算的评价值，确定对象图像内的被摄体。从而，可以采用被摄体的色信息(色差信息)和/或辉度信息，在各种场景确定被摄***置。
(2)控制装置104对差分图像的各像素值，乘以与离以被摄***置坐标为中心的预定大小的矩形(被摄体区域)的距离相应的距离加权系数Dist，进行加权，生成与辉度图像和色差图像分别对应的加权差分图像。从而，对各像素的像素值，可以根据从被摄***置到各像素位置的距离进行加权，因此，可以提高被摄***置的确定精度。
(3)控制装置104促使使用者指定对象图像内的被摄***置，将使用者操作操作部件101而输入的位置的坐标确定为被摄***置坐标。从而，可以正确确定被摄***置坐标。
(4)控制装置104在按时系列输入的多个帧中确定被摄体。从而，可以跨越这些多个帧追踪被摄体。
变形例
上述实施方式的拍摄机可以如以下变形。
(1)上述实施方式中，说明了控制装置104在图2的步骤S60或步骤S100从辉度图像及色差图像分别截取预定范围的区域，例如180×135的大小的区域的例。但是，也可以不进行截取，以辉度图像及色差图像为对象，进行后续的步骤的处理。
(2)上述实施方式中说明了控制装置104在图2的步骤S80或步骤S130中，通过对Y分量、Cb分量、Cr分量表示的各差分图像的各像素的值乘以距离加权系数Dist，作成距离加权差分图像DistY、DistCb、DistCr的例。但是，也可以不进行步骤S80或步骤S130的处理。该场合，将未进行加权的差分图像作为对象，进行步骤S140以后的处理即可。
(3)上述实施方式中，说明了控制装置104促使使用者指定对象图像内的被摄***置，将使用者操作操作部件101而输入的位置的坐标确定为被摄***置坐标的例。但是，也可以通过其他方法确定被摄***置坐标。例如，控制装置104也可以将通过自动对焦处理进行了焦点调节的AF点的坐标确定为被摄***置坐标。
(4)上述实施方式中，说明了控制装置104将使用者指定的被摄***置坐标为中心的3×3的区域作为对象，计算Y分量、Cb分量、Cr分量的各自的平均值，通过从截取图像的各像素的值减去该平均值而生成差分图像的例。但是，控制装置104也可以不是将平均值，而是将最频值和/或中央值作为代表值计算，通过从截取图像的各像素的值减去该代表值而生成差分图像。
(5)上述实施方式中，说明将本发明的被摄体确定装置及被摄体追踪装置适用于拍摄机的情况。但是，本发明也可以适用在用于读入动画数据并跨越多个帧追踪动画中的被摄体的被摄体追踪装置，例如个人电脑、便携终端等。
只要不损害本发明的特征功能，本发明不限于上述实施方式中的构成。另外，也可以采用上述的实施方式和多个变形例的组合构成。
上述实施方式只是示例，可以在不脱离发明的范围内实现不同变形例。

Claims (6)

1.一种被摄体确定装置，其特征在于，具备：
第1图像生成部，其生成基于对象图像的辉度分量的辉度图像和基于上述对象图像的色差分量的色差图像；
代表值计算部，其在由上述第1图像生成部生成的上述辉度图像及上述色差图像的各图像中，根据包含被摄体的第1被摄体区域内的像素的像素值，计算代表值；
第2图像生成部，其在由上述第1图像生成部生成的上述辉度图像及上述色差图像的各图像中，从包含上述被摄体的第2被摄体区域内的像素的像素值减去由上述代表值计算部计算的上述代表值，作成与上述辉度图像及上述色差图像的上述各图像对应的差分图像；
二值化部，其将由上述第2图像生成部生成的上述差分图像二值化；
合成部，其将由上述二值化部二值化的与上述辉度图像对应的二值图像和由上述二值化部二值化的与上述色差图像对应的二值图像合成，作成合成图像；
基块提取部，其从由上述合成部作成的上述合成图像内提取白像素的块，作为基块；
评价值计算部，其对由上述基块提取部提取的上述基块，计算表示上述基块是表示上述被摄体的基块的可能性的评价值；和
被摄体确定部，其根据由上述评价值计算部计算的上述评价值，确定上述对象图像内的上述被摄体。
2.如权利要求1所述的被摄体确定装置，其特征在于，
还具备：第3图像生成部，其对由上述第2图像生成部生成的上述差分图像所包含的各像素的像素值，乘以与从包含上述被摄体的第3被摄体区域到上述差分图像所包含的上述各像素为止的距离相应的系数进行加权，生成与上述辉度图像和上述色差图像的各图像对应的加权差分图像，
上述二值化部将由上述第3图像生成部生成的上述加权差分图像二值化。
3.如权利要求1所述的被摄体确定装置，其特征在于，
上述代表值为上述第2被摄体区域内的像素的像素值的平均值、最频值及中央值之一。
4.如权利要求2所述的被摄体确定装置，其特征在于，
上述代表值为上述第2被摄体区域内的像素的像素值的平均值、最频值及中央值之一。
5.如权利要求1到4的任一项所述的被摄体确定装置，其特征在于，
上述第2被摄体区域是包含由使用者在上述对象图像上指定的坐标的区域及包含焦点调节处理中的AF点的区域之一。
6.一种被摄体追踪装置，其特征在于，具备：
如权利要求1到5的任一项所述的被摄体确定装置；和
追踪部，其在多个帧间追踪由上述被摄体确定部确定的上述被摄体。
CN201210040405.9A 2011-02-21 2012-02-20 被摄体确定装置及被摄体追踪装置 Active CN102647555B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP034823/2011 2011-02-21
JP2011034823A JP5691617B2 (ja) 2011-02-21 2011-02-21 被写体特定装置、および被写体追尾装置

Publications (2)

Publication Number Publication Date
CN102647555A CN102647555A (zh) 2012-08-22
CN102647555B true CN102647555B (zh) 2016-11-23

Family

ID=46652765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210040405.9A Active CN102647555B (zh) 2011-02-21 2012-02-20 被摄体确定装置及被摄体追踪装置

Country Status (3)

Country Link
US (1) US8649561B2 (zh)
JP (1) JP5691617B2 (zh)
CN (1) CN102647555B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6044123B2 (ja) * 2012-06-07 2016-12-14 株式会社ニコン 被写体追尾装置および電子カメラ並びに被写体追尾プログラム
JP6318661B2 (ja) * 2014-02-05 2018-05-09 株式会社ニコン 被写体検出装置、撮像装置及び画像処理プログラム
JP6326841B2 (ja) * 2014-02-05 2018-05-23 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JPWO2016203930A1 (ja) * 2015-06-18 2018-04-12 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2017050594A1 (en) * 2015-09-10 2017-03-30 Koninklijke Philips N.V. Automatic image feature removal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605209A (zh) * 2008-05-26 2009-12-16 三洋电机株式会社 摄像装置及图像再生装置
WO2010024425A1 (en) * 2008-09-01 2010-03-04 Canon Kabushiki Kaisha Image pickup apparatus, control method therefor and storage medium
CN101827215A (zh) * 2009-03-06 2010-09-08 卡西欧计算机株式会社 从拍摄图像中抽取被摄体区域的拍摄装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4284998B2 (ja) 2002-12-26 2009-06-24 ソニー株式会社 撮像装置および方法、並びにプログラム
JP4924606B2 (ja) * 2006-04-28 2012-04-25 株式会社ニコン 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置
JP2009003787A (ja) * 2007-06-22 2009-01-08 Sanyo Electric Co Ltd 対象物検出装置、対象物検出プログラム及び対象物検出システム
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
US8498444B2 (en) * 2010-12-13 2013-07-30 Texas Instruments Incorporated Blob representation in video processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605209A (zh) * 2008-05-26 2009-12-16 三洋电机株式会社 摄像装置及图像再生装置
WO2010024425A1 (en) * 2008-09-01 2010-03-04 Canon Kabushiki Kaisha Image pickup apparatus, control method therefor and storage medium
CN101827215A (zh) * 2009-03-06 2010-09-08 卡西欧计算机株式会社 从拍摄图像中抽取被摄体区域的拍摄装置

Also Published As

Publication number Publication date
US8649561B2 (en) 2014-02-11
CN102647555A (zh) 2012-08-22
JP5691617B2 (ja) 2015-04-01
JP2012175361A (ja) 2012-09-10
US20120213406A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP4553346B2 (ja) 焦点調節装置及び焦点調節方法
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
CN102647555B (zh) 被摄体确定装置及被摄体追踪装置
CN103369238B (zh) 图像生成装置以及图像生成方法
US10489898B2 (en) Electronic camera, image-processing device, and image-processing program
JP2013005091A (ja) 撮像装置および距離情報取得方法
US20100245598A1 (en) Image composing apparatus and computer readable recording medium
US9357205B2 (en) Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same
CN114071010B (zh) 一种拍摄方法及设备
CN108259770A (zh) 图像处理方法、装置、存储介质及电子设备
US9811909B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
KR20170074742A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
US20110187882A1 (en) Digital image capturing device providing photographing composition and method thereof
CN112017137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2013041117A (ja) 撮像装置および距離情報取得方法
JP5142825B2 (ja) 画像表示装置及び画像表示方法
JP2012527139A (ja) 画像加工機能を有するカメラ装置
JP6937603B2 (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
CN108401109A (zh) 图像获取方法、装置、存储介质及电子设备
JP5720488B2 (ja) 撮像装置および距離情報取得方法
JP2019169985A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant