CN1967566A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN1967566A
CN1967566A CNA200610138142XA CN200610138142A CN1967566A CN 1967566 A CN1967566 A CN 1967566A CN A200610138142X A CNA200610138142X A CN A200610138142XA CN 200610138142 A CN200610138142 A CN 200610138142A CN 1967566 A CN1967566 A CN 1967566A
Authority
CN
China
Prior art keywords
image
resolution
images
downscaled images
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200610138142XA
Other languages
English (en)
Other versions
CN100462999C (zh
Inventor
冈田深雪
铃木义弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1967566A publication Critical patent/CN1967566A/zh
Application granted granted Critical
Publication of CN100462999C publication Critical patent/CN100462999C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

一种图像处理设备和图像处理方法。该图像处理设备包括:图像获取部分,用于获取原始图像;分辨率转换部分,用于转换由图像获取部分所获取的原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测部分,用于通过模板匹配来处理由分辨率转换部分生成的多个缩小图像,并从缩小图像中检测与模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理部分,用于通过处理由检测部分所获得的检测结果,在原始图像上检测特定被摄体的拍摄图像所占的区域,该检测部分通过按照分辨率逐步顺次改变的顺序处理该多个缩小图像,来检测特定被摄体的拍摄图像所占的区域。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备、图像处理方法、图像处理方法的程序、以及记录图像处理方法的程序的记录介质,并可应用于例如数字静态照相机。本发明通过以分辨率逐步顺次改变的顺序进行缩小图像的模板匹配,使得可以检测特定被摄体的拍摄图像分别所占的区域,从而检测该特定被摄体的拍摄图像所占的各区域并适当地设置优先级顺序。
背景技术
在数字静态照相机、摄像机等领域中,迄今已提出了提供以下方法:从摄像结果中检测特定被摄体的拍摄图像所占的区域,并基于该区域的摄像结果控制摄像***。在该方法中,主要将人的面部用于该特定被摄体,并且通过使用模板的模板匹配来检测该特定被摄体的拍摄图像所占的区域,例如肤色区域。
关于该方法,日本特开2004-30629号公报提出了一种与在使用模板的模板匹配中检测面部的拍摄图像所占的区域有关的装置。
需要以足够高的速度执行通过这种方式从摄像结果中检测特定被摄体的拍摄图像所占的区域的处理,以使处理可以跟踪摄像设备和被摄体的运动。另外。存在在多个位置处检测到分别由特定被摄体的拍摄图像所占的区域的情况,在这种情况下,需要适当设置在所述不同位置处检测到的区域的优先级顺序,以确定哪个区域将以最高优先级来处理。
发明内容
考虑到上述问题做出了本发明,本发明提供一种能够检测特定被摄体的拍摄图像所占的区域并适当设置优先级顺序的图像处理设备和方法、该图像处理方法的程序以及记录该图像处理方法的程序的记录介质。
根据本发明的第一优选实施例,提供一种图像处理设备,该图像处理设备包括:图像获取部分,用于获取原始图像;分辨率转换部分,用于转换由所述图像获取部分所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测部分,用于通过使用模板的模板匹配来处理由所述分辨率转换部分所生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理部分,用于通过处理由所述检测部分所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,所述检测部分通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
根据本发明的第二优选实施例,提供一种图像处理方法,该图像处理方法包括:图像获取步骤,用于获取原始图像;分辨率转换步骤,用于转换在所述图像获取步骤中所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测步骤,用于通过使用模板的模板匹配来处理在所述分辨率转换步骤中所生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理步骤,用于通过处理在所述检测步骤中所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,所述检测步骤通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
根据本发明的第三优选实施例,提供一种图像处理方法的程序,该图像处理方法通过由操作处理部件执行来处理图像,该程序包括:图像获取步骤,用于获取原始图像;分辨率转换步骤,用于转换在所述图像获取步骤中所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测步骤,用于通过使用模板的模板匹配来处理在所述分辨率转换步骤中所生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理步骤,用于通过处理在所述检测步骤中所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,所述检测步骤通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
根据本发明的第四优选实施例,提供一种记录图像处理方法的程序的记录介质,该图像处理方法通过由操作处理部件执行来处理图像,所述程序包括:图像获取步骤,用于获取原始图像;分辨率转换步骤,用于转换在所述图像获取步骤中所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测步骤,用于通过使用模板的模板匹配来处理在所述分辨率转换步骤中所生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理步骤,用于通过处理在所述检测步骤中所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,所述检测步骤通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
根据本发明第一优选实施例的图像处理设备包括:图像获取部分,用于获取原始图像;分辨率转换部分,用于转换由所述图像获取部分所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;检测部分,用于通过使用模板的模板匹配来处理由所述分辨率转换部分生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及检测结果处理部分,用于通过处理由所述检测部分所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,所述检测部分通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。根据该结构,按照从最大被摄体开始的顺序或按照从最小被摄体开始的顺序来检测特定被摄体的拍摄图像分别所占的区域,使得可以基于检测的顺序设置与区域的大小有关的优先级顺序。另外,需要时可以停止该处理以在短时间内检测目的区域,使得可以高速检测到各特定被摄体的拍摄图像所占的区域以适当设置优先级顺序。
另外,根据第二、第三和第四优选实施例,可以提供一种能够检测特定被摄体的拍摄图像分别所占的区域并适当设置优先级顺序的图像处理方法、该图像处理方法的程序、以及记录该图像处理方法的程序的记录介质。
根据本发明的实施例,可以检测特定被摄体的拍摄图像所占的区域并适当设置优先级顺序。
附图说明
通过以下结合附图对本发明优选实施例的详细说明,本发明将更容易评价和理解,其中:
图1是示出根据本发明第一实施例的摄像设备中的中央处理单元的处理序列的流程图;
图2是示出根据本发明第一实施例的摄像设备的框图;
图3是详细示出图2所示的摄像设备中的面部检测部分的结构的框图;
图4是有助于解释根据本发明第一实施例的摄像设备中的中央处理单元的处理的示意图;
图5是示出图1的继续的流程图;
图6是有助于解释缩小图像的生成处理的示意图;
图7A和7B是有助于解释检测结果的处理的示意图;
图8是有助于解释根据本发明第二实施例的摄像设备中的缩小图像的生成处理的示意图;以及
图9是示出根据本发明第三实施例的记录和再现设备的框图。
具体实施方式
以下将参照附图详细说明本发明的优选实施例。
下面说明本发明第一实施例。
(1)第一实施例的结构
图2是示出根据本发明第一实施例的摄像设备的框图。摄像设备1是以静态图像或运动图像的形式获取并记录所期望被摄体的摄像结果的数字静态照相机。
在摄像设备1中,镜头2在中央处理单元(CPU)3的控制下,会聚入射光,同时改变其光圈、调焦和变焦比,以在图像传感器4的摄像面上形成被摄体的光学图像。
图像传感器4通过配置在摄像面上的各个感光元件的光电转换处理,以运动图像或静态图像的形式输出通过镜头2在摄像面上形成的光学图像的摄像结果。
照相机信号处理部分6在中央处理单元3的控制下,接收从图像传感器4输出的摄像结果,执行矩阵运算、伽马校正和白平衡调整等信号处理,并将表示信号处理结果的图像数据输出给图像总线BUS。
另外,在该信号处理过程中,照相机信号处理部分6生成并输出图像显示部分9中用于监控的图像数据和面部检测部分8中用于面部检测的原始图像数据。在第一实施例中,原始图像数据使用监控图像数据,例如,符合640像素×380像素的VGA(VideoGraphics Array,视频图形阵列)格式的图像数据或320像素×240像素的图像数据。因此,在第一实施例中,镜头2、图像传感器4和照相机信号处理部分6构成了图像获取部分,其以运动图像或静态图像的形式获取与表示摄像结果的原始图像有关的图像数据。
图像RAM(随机存取存储器)7在中央处理单元3的控制下,临时存储输出到图像总线BUS的图像数据,并将所存储的图像数据输出到图像总线BUS。
面部检测部分8在中央处理单元3的控制下,获取记录在图像RAM 7上的原始图像数据,并从该原始图像数据所表示的图像中检测由特定被摄体的拍摄图像所占的区域。在第一实施例中,将该特定被摄体设置成人的面部,并且面部检测部分8通知中央处理单元3检测结果D1。
具体地,如图3所示,在面部检测部分8中,分辨率转换部分8A进行滤波以根据控制器8B所指定的比例因子α转换存储在图像RAM 7中的图像数据的分辨率,从而根据该比例因子α缩小由存储在图像RAM 7中的图像数据所表示的图像的大小并输出缩小后大小的图像。
图像存储器8C在控制器8B的控制下,记录并保持从分辨率转换部分8A输出的图像数据,并将所保持的图像数据存储在图像RAM 7和面部检测中心(face detection core)8D中。以这种方式,面部检测部分8根据各种比例因子中的任何一个缩小存储在图像RAM 7中的原始图像的大小并将缩小后大小的图像存储在图像RAM 7中,并进一步根据各种比例因子缩小存储在图像RAM 7中的图像的大小并存储各种缩小后大小的图像,从而生成存储在图像RAM 7中的原始图像的分辨率被不同程度地降低的缩小图像。
面部检测中心8D在控制器8B的控制下,通过使用模板的模板匹配从图像存储器8C输出的图像数据所表示的图像中检测面部的拍摄图像所占的区域。即,面部检测中心8D临时记录并保持从图像存储器8C输出的图像数据,顺次选择所保持的图像数据并在所选择的图像数据以及构成模板的图像数据上执行相关值检测处理,从而在由所选择的图像数据表示的图像上扫描模板,并在各个扫描位置处检测表示目标图像与模板之间的相似程度的相关值。在第一实施例中,通过计算重叠像素之间的亮度水平的绝对差的总和,执行各相关值的检测,但是代替该处理,可以使用各种其它技术,例如,通过以二进制格式表示目标图像和模板中的每一个进行逻辑运算。
面部检测中心8D基于预定阈值对于以这种方式所检测到的相关值进行判定,从而检测面部的拍摄图像所占的区域。面部检测中心8D在其存储器中保持多种模板,每个模板在水平和垂直方向上被设置成相同的采样率并且分别对应于不同的面部,例如,从正面拍摄的面部图像、从斜正面拍摄的面部图像、以及圆脸图像。另外,面部检测中心8D通过使用各具有相同大小的该多种模板,以同时并行方式执行相关值检测的处理序列,从而可靠地检测面部的拍摄图像所占的区域,而与不同的被摄体无关。
另外,面部检测中心8D根据控制器8B的指令,执行相关值检测处理,同时根据由后面所述的重力方向传感器13检测到的摄像设备1的位置,对于多种模板校正目标图像的位置以校正摄像设备1的位置和倾斜度,从而例如即使当用户改变摄像设备1的位置以利用垂直视角拍摄图像时,也能可靠地检测面部的拍摄图像所占的区域。
另外,面部检测中心8D根据控制器8B的指令,切换扫描开始位置、扫描顺序、以及扫描结束位置,从而以充分的精度短时间内检测到面部的拍摄图像所占的区域。具体地,在许多情况下,如果将摄像设备1的图像拍摄模式设置成例如用于拍摄人像的图像拍摄模式的肖像模式,则人的面部的拍摄图像位于屏幕的中央部分。因此,在这种情况下,面部检测中心8D在控制器8B的控制下,在屏幕的中央开始扫描,并使得模板朝向屏幕外周成螺旋式地扫描,从而检测人的面部的拍摄图像所占的区域。另外,面部检测中心8D在最外周处停止扫描以减少检测面部所需的时间,从而以实际上充足的精度检测面部的拍摄图像所占的区域。相反,在合影的情况下,期望在屏幕的不同位置处检测各个人的面部。因此,在这种情况下,面部检测中心8D通过按照例如光栅扫描的顺序进行扫描来检测各面部的拍摄图像所占的所有区域。
以这种方式,面部检测中心8D将面部检测的检测结果D1,即通过对于相关值进行判定而检测到的面部的拍摄图像所占的区域的位置,与经过面部检测的模板大小一起通知给中央处理单元3。
控制器8B在中央处理单元3的控制下,控制分辨率转换部分8A、图像存储器8C和面部检测中心8D各自的操作。
图像显示部分9包括例如液晶显示装置及其***部分,并在中央处理单元3的控制下,显示由记录在图像RAM 7上的监控图像数据所表示的图像。另外,此时,图像显示部分9根据来自中央处理单元3的指令,基于来自面部检测部分8的检测结果,显示具有矩形形状的框以包围面部。
因此,摄像设备1被构造成可以将以运动图像或静态图像的形式通过镜头2、图像传感器4和照相机信号处理部分6输入的图像数据显示在用于监控目的的图像显示部分9上,以允许根据来自用户的指令确认面部的拍摄图像所占的区域。
图像压缩/解压缩部分10在中央处理单元3的控制下,获取记录在图像RAM 7上的图像数据,通过JPEG(Joint PhotographicCoding Experts Group,联合图形编码专家组)或MPEG(MovingPicture Experts Group,运动图像专家组)等技术压缩该图像数据,并以图像文件的形式将表示处理结果的图像数据记录在图像记录介质12上。与该处理相对的,图像压缩/解压缩部分10对记录在图像记录介质12上的图像文件进行解压缩,并将表示处理结果的图像数据记录在图像RAM 7上。
因此,摄像设备1被构造成可以将以运动图像或静态图像的形式获取的摄像结果记录在图像记录介质12上,并可以对记录在图像记录介质12上的图像数据文件进行各种处理。
图像记录介质12可以是存储卡、光盘、磁盘和磁带等各种记录介质中的任何一种,并记录从图像压缩/解压缩部分10和中央处理单元3输出的各种数据,且将所记录的各种数据输出给图像压缩/解压缩部分10和中央处理单元3中的每一个。另外,图像记录介质12可以是可拆卸型或者难以移去的内置型,或者是这两种类型。
另外,图像压缩/解压缩部分10通过有线或无线数据通信部分代替使用该记录介质而与外部装置进行图像数据的通信。
因此,在摄像设备1中,图像压缩/解压缩部分10构成了与记录介质有关的用于获取表示记录在记录介质上的原始图像的图像数据的图像获取部分,并且还构成了与外部装置进行数据通信的数据通信部分。
因此,如果用户选择静态图像的图像拍摄模式,则摄像设备1以静态图像的形式从图像传感器4顺次获取摄像结果,且在照相机信号处理部分6中对该摄像结果进行信号处理,然后将处理后的摄像结果存储在图像RAM 7中,还使图像显示部分9以静态图像的形式显示存储在图像RAM 7中的摄像结果,使得用户可以监控摄像目标。另外,在该监控状态期间,如果用户操作触发开关(未示出),则摄像设备1以静态图像的形式获取摄像结果,而不是到目前以运动图像的形式拍摄的摄像结果,并将所获取的摄像结果存储在图像RAM 7中,还使图像显示部分9以静态图像的形式显示存储在图像RAM 7中的摄像结果,使得用户可以监控该摄像结果。另外,如果用户指示摄像设备1记录该摄像结果,则摄像设备1利用图像压缩/解压缩部分10以静态图像的形式对存储在图像RAM7中的图像数据进行压缩,并将压缩后的图像数据记录在图像记录介质12上。
因此,如果用户选择运动图像的图像拍摄模式,则摄像设备1以运动图像的形式从图像传感器4顺次获取摄像结果,并在照相机信号处理部分6中对该摄像结果进行信号处理,然后将处理后的摄像结果存储在图像RAM 7中,还使图像显示部分9以运动图像的形式显示存储在图像RAM 7中的摄像结果,使得用户在这种情况下也可以监控摄像目标。另外,在该监控状态期间,如果用户操作触发开关,则摄像设备1使得图像压缩/解压缩部分10对存储在图像RAM 7中的图像数据进行顺次压缩,并将压缩后的图像数据记录在图像记录介质12上。
另外,如果用户指示摄像设备1以静态图像或运动图像的形式再现记录在图像记录介质12上的图像文件,则摄像设备1从图像记录介质12中获取表示该图像文件的图像数据,使得图像压缩/解压缩部分10对该图像数据进行解压缩,并将表示该处理结果的图像数据存储在图像RAM 7中。另外,摄像设备1根据存储在图像RAM7中的图像数据生成监控图像数据,并使得图像显示部分9显示由该监控图像数据所表示的图像。
重力方向传感器13包括用于检测不同方向上的加速度的加速度传感器和用于处理从加速度传感器输出的检测结果并检测重力加速度方向的信号处理部分,并且重力方向传感器13检测摄像设备1的位置并将所检测到的位置通知给中央处理单元3。
存储器14由非易失性存储器和易失性存储器形成,并记录中央处理单元3的程序、中央处理单元3的处理所需的数据等,而且还为中央处理单元3形成工作区等。
中央处理单元3是用于控制摄像设备1的操作的控制部分,并响应于用户所进行的操作执行记录在存储器14上的程序,以控制各部分的操作。在第一实施例中,以预先安装在摄像设备1中的形式提供该程序,但是可以以记录在光盘、磁盘或存储卡等各种记录介质上而不是预先安装的形式提供该程序,而且还可以通过从因特网等网络下载来提供该程序。
中央处理单元3执行该程序的处理序列,以响应于来自用户的指令以运动图像或静态图像的形式获取摄像结果,并将所获取的摄像结果显示在图像显示部分9上,并且中央处理单元3还将该摄像结果记录在图像记录介质12上。此时,中央处理单元3指示面部检测部分8进行操作,并获取检测结果D1,并且基于检测结果D1获取表示面部的拍摄图像所占的区域的图像数据。基于所获取的图像数据,中央处理单元3控制镜头2的光圈和调焦以执行自动光圈控制和自动调焦控制,并且还控制照相机信号处理部分6中的白平衡调整。
具体地,中央处理单元3控制镜头2的光圈以将面部的拍摄图像所占的区域维持在给定的亮度水平,从而执行自动光圈控制处理。另外,中央处理单元3结合使用基于横跨整个屏幕所测量的平均亮度水平等的现有技术的光圈控制技术执行光圈控制处理,从而使得即使例如在风景的拍摄图像中未检测到面部的拍摄图像所占的区域,也可以可靠地执行光圈控制。
另外,基于面部的拍摄图像所占的区域的大小,中央处理单元3估计距拍摄了其面部图像的人的距离,并基于该距离执行调焦控制。同样在这种情况下,中央处理单元3结合使用所谓的爬山方法等现有技术的调焦控制执行调焦控制处理,该爬山方法用于在高频成分的信号水平增大的方向上持续地对调焦进行可变控制,从而使得即使未检测到面部的拍摄图像所占的区域,也可以可靠地执行调焦控制。
另外,中央处理单元3校正各颜色信号的增益,并调整白平衡使得面部的拍摄图像所占的区域的色相(hue)等于具有固定值的肤色的色相。同样在这种情况下,中央处理单元3结合现有技术执行白平衡调整,从而使得即使未检测到面部的拍摄图像所占的区域,也可以可靠地执行白平衡调整。另外,关于与现有技术的结合,可以使用广范围的现有技术的结合,该现有技术例如:仅当未检测到面部的拍摄图像所占的区域为大于给定区域的区域时应用现有技术的方法;以及通过使用基于面部的拍摄图像所占的区域的区域等的加权系数,对包括基于现有技术的控制变量的控制变量进行加权求和的方法。
另外,如果用户输入指令以基于已进行的上述自动光圈控制、自动调焦控制和白平衡调整显示该区域,则中央处理单元3指示图像显示部分9显示包围面部的框。另外,基于用户预先定义的操作模式的设置,中央处理单元3将面部检测部分8的检测结果D1记录在图像记录介质12上,作为附到相应图像文件的图像附加信息D2或作为与相应图像文件相关联的单独文件。
另外,如果用户输入指令以为了监控目的显示记录在图像记录介质12上的图像文件,则中央处理单元3指示各部分以使图像显示部分9显示记录在图像记录介质12上的图像文件。此时,在图像文件的图像附加信息D2被记录在图像记录介质12上的情况下,如果用户输入指令以显示包围面部的框,则中央处理单元3指示图像显示部分9基于记录在图像记录介质12上的图像附加信息D2显示包围该面部的框。
另外,如果当用户输入指令以显示包围面部的框时图像附加信息D2未被记录在图像记录介质12上,则中央处理单元3指示面部检测部分8开始处理从图像记录介质12再现的并被记录在图像RAM 7上的图像数据的操作,并获取与面部的拍摄图像所占的区域相对应的检测结果D1。另外,中央处理单元3指示图像显示部分9基于所获取的检测结果D1显示包围面部的框。
另外,当再现记录在图像记录介质12上的图像文件且用户输入指令以基于该人进行图像校正时,中央处理单元3基于面部的拍摄图像所占的区域,以与图像拍摄期间所进行的自动调焦和白平衡调整类似的方式,校正存储在图像RAM 7中的图像数据的亮度水平和色相,并将校正后的图像数据显示在图像显示部分9上。另外,根据来自用户的指令,中央处理单元3将以上述方式对亮度水平和色相校正后的图像文件记录在图像记录介质12上。可以通过将该图像数据发送到照相机信号处理部分6并使得该图像数据经过照相机信号处理部分6的处理,来执行亮度水平和色相的校正,或者可以代替该处理通过在中央处理单元3中处理该图像数据来执行该校正。
因此,摄像设备1基于由面部检测部分8检测到的特定被摄体的拍摄图像所占的区域,不同地控制摄像***和信号处理***中的每一个的操作。
图4是有助于解释负责利用面部检测部分8检测特定被摄体的拍摄图像所占的区域的处理的中央处理单元3的处理序列的示意图。在第一实施例中,中央处理单元3相对于单一大小的模板TP通过逐步顺次改变待处理目标的图像大小来检测面部的拍摄图像所占的区域,从而高速检测特定被摄体的拍摄图像所占的区域并适当设置优先级顺序。
具体地,如果在肖像模式或用于拍摄用户自己的图像的自拍模式等图像拍摄模式下拍摄图像,则趋于拍摄少数人的近景,使得主要被摄体的面部在摄像结果中占较大面积。因此,在图4所示的例子中,在由存储在图像RAM 7中的原始图像数据所表示的原始图像G0中,判断出主要被摄体是面部K1被作为最大面部拍摄的人,面部K2和K3被作为小于面部K1的面部拍摄的人是所关心的被给予较低优先级顺序的人。
因此,在这种情况下,通过在逐步顺次改变图像大小的同时对处理目标的图像与模板进行比较以首先检测最大面部K1然后顺次检测被作为小于面部K1的面部拍摄的面部K2和K3,可以按从主要人物开始的顺序来顺次检测各面部所占的区域。另外,在这种情况下,即使该处理在检测到主要人物的面部后的给定阶段停止,也可以在对于摄像设备1中所进行的处理来说实际上充足的精度范围内检测由面部的拍摄图像分别所占的区域。
具体地,在图4所示的例子中,逐步顺次降低由原始图像数据所表示的原始图像G0的分辨率以生成缩小图像G7、G6、G5,……,G1,并且通过使用模板TP的模板匹配在缩小图像G7、G6、G5,……,G1和原始图像G0的每一个中检测各面部的拍摄图像所占的区域,使得在缩小图像G6和G4中分别检测到面部K1和K2,而在原始图像G0中检测到面部K3。因此,在这种情况下,为了按从最大拍摄面部开始的顺序来顺次检测区域,如箭头A所示,首先在以最大缩小比例表示原始图像的缩小图像G7中检测各面部的拍摄图像所占的区域,然后在向原始图像G0的大小逐步顺次放大待处理的各图像大小的同时,顺次检测各其它图像中的各面部的拍摄图像所占的区域。以这种方式,可以按照检测的优先级顺序检测各面部的拍摄图像所占的区域。
与该处理相反,如果在合影中包含较大数量人的拍摄图像,则所拍摄的人的数量越大,越大程度上不必对缩小图像执行模板匹配。因为这个原因,在这种情况下,如箭头B所示,在逐步顺次缩小待处理图像的同时,顺次检测各面部的拍摄图像所占的区域,使得可以在开始该处理后的短时间内检测到各面部的拍摄图像所占的区域。
另外,存在以下情况:在风景模式等下所拍摄的图像中不包含面部,并且即使在该图像中包含面部,在相对风景背景的人物远景和行人面部的拍摄图像等许多情况下,面部的拍摄图像所占的区域也非常小。同样在这种情况下,估计出现占整个屏幕的大的面部是十分少见的情况。因此,在这种情况下,按从最小到最大面积的顺序来逐步顺次检测面部,并且即使在该处理序列期间停止各面部的拍摄图像所占的区域的检测处理,也可以以实际上充分的精度检测各面部的拍摄图像所占的区域。
以这种方式,中央处理单元3执行图1和图5所示的处理序列,并在逐步顺次改变目标图像大小的同时,检测各面部的拍摄图像所占的区域。参照图1,当中央处理单元3开始该处理序列时,处理从步骤SP1进入步骤SP2,在步骤SP2,在照相机信号处理部分6的控制下,中央处理单元3生成表示原始图像G0的图像数据,并将该图像数据存储在图像RAM 7中。在步骤SP3,中央处理单元3利用在面部检测部分8中提供的控制器8B控制分辨率转换部分8A和图像存储器8C的操作,并如图6所示顺次切换比例因子α以转换表示存储在图像RAM 7中的原始图像G0的图像数据的分辨率,并将转换后的图像数据存储在图像RAM 7中,从而将表示缩小图像G1~G7的图像数据存储在图像RAM 7中。在这种情况下,如图4中的箭头B所示,可以以给定的比例因子顺次缩小缩小图像以生成具有不同分辨率的多个缩小图像G1~G7。
然后,在步骤SP4,中央处理单元3判断是按照从最大面部开始的顺序还是按照从最小面部开始的顺序来检测各面部的拍摄图像所占的区域。中央处理单元3基于图像拍摄模式并基于作为面部检测中心8D的过去检测结果的到当前为止的连续帧的处理结果,执行步骤SP4的判断处理。具体地,如果摄像设备1的图像拍摄模式被设置成肖像模式或自拍模式等可被预测用来拍摄少数人的近景图像的图像拍摄模式,则中央处理单元3判断出按照从最大面部开始的顺序检测各面部的拍摄图像所占的区域。另外,即使中央处理单元3由于这种图像拍摄模式而不能判断以相对较大面积拍摄一个到几个人面部的图像是否连续几帧,中央处理单元3也判断出按照从最大面部开始的顺序检测各面部的拍摄图像所占的区域。
与该处理相反,如果将摄像设备1的图像拍摄模式设置成风景模式等可被预测用来拍摄具有相对较小面积的多个人的图像的图像拍摄模式,则中央处理单元3判断出按照从最小面部开始的顺序检测各面部的拍摄图像所占的区域。另外,即使中央处理单元3由于这种图像拍摄模式而不能判断以相对较小面积拍摄多个面部的图像是否连续几帧,中央处理单元3也判断出按照从最小面部开始的顺序检测各面部的拍摄图像所占的区域。
如果中央处理单元3在步骤SP4不能判断出以哪一顺序来检测各面部的拍摄图像所占的区域,则中央处理单元3以根据初始设置的任一顺序进行面部检测,而在第一实施例中,将初始设置设置成按照从最大面部开始的顺序进行面部检测。这些初始设置还可以使用摄像设备1的使用历史、用户设置等。
如果中央处理单元3在步骤SP4判断出按照从最大面部开始的顺序检测各面部的拍摄图像所占的区域,则处理从步骤SP4进入步骤SP5,在步骤SP5,中央处理单元3将存储在图像RAM 7中的表示缩小图像G7的图像数据装载到图像存储器8C中,并将所装载的图像数据发送给面部检测中心8D以将最小的缩小图像G7设置成待处理的目标图像,并且面部检测中心8D通过模板匹配检测各面部的拍摄图像所占的区域。因而,在图4所示的例子中,在缩小图像G7中未检测到各面部的拍摄图像所占的区域。
然后,在步骤SP6,中央处理单元3将比缩小图像G7大一步的缩小图像G6设置成待处理的目标图像并执行类似处理,并检测图4所示的例子中的面部K1。另外,中央处理单元3顺次重复该处理以通过使用缩小图像G1~G7和原始图像G0的模板匹配来检测各面部的拍摄图像所占的区域。另外,在该处理中,中央处理单元3根据图像拍摄模式在面部检测中心8D中指定扫描顺序、扫描开始位置等。
中央处理单元3通过使用缩小图像G1~G7和原始图像G0逐步顺次执行面部检测的处理,并判断是否在给定处理阶段停止该处理。因此,在图1所示的处理中,当中央处理单元3在步骤SP7中处理缩小图像G4时,中央处理单元3在步骤SP8判断是否停止该处理。另外,可以在每一阶段执行判断是否停止该处理的处理,还可以在基于用户定义的设置等的阶段执行该处理。
在步骤SP8,中央处理单元3根据过去的检测结果和图像拍摄模式判断是否停止该处理。具体地,如果在到目前为止进行的处理中已检测到面部的拍摄图像所占的区域,该区域对应于包围将要显示在图像显示部分9上的面部的框,则中央处理单元3判断出停止该处理。另外,如果将图像拍摄模式设置成例如肖像模式或自拍模式,则中央处理单元3判断出在与所设置的图像拍摄模式相对应的阶段停止该处理。另外,中央处理单元3还可以基于用户所定义的设置来判断是否停止该处理。
因此,中央处理单元3从步骤SP8进入步骤SP9,并停止使用剩余的缩小图像G3~G1和原始图像G0的模板匹配的处理。然后,中央处理单元3基于过去的检测结果并根据摄像部分的图像拍摄模式,切换将要经过模板匹配处理的缩小图像。另外,在根据图像拍摄模式切换目标图像的过程中,可以代替切换在其结束该处理的缩小图像或除此之外,执行在其开始该处理的缩小图像的切换。
中央处理单元3在步骤SP9判断是否已获取随后帧的图像,如果在步骤SP9判断出已获取了随后帧的图像,则中央处理单元3返回到步骤SP2并重复该处理。如果在步骤SP9判断出仍未获取随后帧的图像,则中央处理单元3从步骤SP9进入步骤SP10并结束该处理序列。
相反,如果在步骤SP8中结果为否定,则中央处理单元3通过使用剩余的缩小图像G3~G1和原始图像G0来顺次执行模板匹配的处理,并进入步骤SP9。
与该处理相反,如果中央处理单元3在步骤SP4判断出按照从最小面部开始的顺序检测各面部的拍摄图像所占的区域,则处理从步骤SP4进入步骤SP13,在步骤SP13,中央处理单元3将存储在图像RAM 7中的表示原始图像G0的图像数据装载到图像存储器8C中,并将所装载的图像数据发送给面部检测中心8D以将最大的原始图像G0设置成待处理的目标图像,并且面部检测中心8D通过模板匹配检测各面部的拍摄图像所占的区域。因此,在图4所示的例子中,在原始图像G0中检测到最小面部K3。
然后,在步骤SP14,中央处理单元3将比原始图像G0小一步的缩小图像G1设置成待处理的目标图像并执行类似的处理,并且顺次重复该处理以按照从最小图像开始的顺序通过使用缩小图像G1~G7和原始图像G0的模板匹配来检测各面部的拍摄图像所占的区域。另外,同样在该处理中,中央处理单元3根据图像拍摄模式等在面部检测中心8D中指定扫描顺序、扫描开始位置等。
中央处理单元3通过使用缩小图像G1~G7和原始图像G0按照从最小图像开始的顺序逐步顺次执行面部检测的处理,并判断是否在给定处理阶段停止该处理。因此,在图5所示的处理中,当中央处理单元3在步骤SP15中处理缩小图像G4时,中央处理单元3在步骤SP16中判断是否停止该处理。另外,可以在每一阶段执行判断是否停止该处理的处理,还可以在基于用户所定义的设置等的阶段执行该处理。
在步骤SP15,中央处理单元3根据过去的检测结果判断是否停止该处理。具体地,例如,如果在过去的阶段已检测到面部的拍摄图像所占的区域后不能在几个连续步骤期间检测到面部的拍摄图像所占的区域,而且,如果在过去的连续帧期间仍未检测到后来所拍摄的面部图像所占的区域,则中央处理单元3判断出停止该处理。另外,例如,中央处理单元3可用于在风景模式期间的给定阶段后停止处理。因此,中央处理单元3可用于根据图像拍摄模式判断是否停止该处理,还用于基于用户所定义的设置判断是否停止该处理。
因此,在这种情况下,中央处理单元3从步骤SP16进入步骤SP9,并停止使用剩余的缩小图像G5~G7的模板匹配的处理。另外,在步骤SP9,中央处理单元3判断是否已获取了随后帧的图像,如果在步骤SP9判断出已获取了随后帧的图像,则中央处理单元3返回到步骤SP2并重复该处理。相反,如果在步骤SP9判断出仍未获取随后帧的图像,则中央处理单元3从步骤SP9进入步骤SP10并结束该处理。因此,同样在这种情况下,中央处理单元3基于过去的检测结果而且根据摄像部分的图像拍摄模式,切换将要经过模板匹配处理的缩小图像。同样在这种情况下,可以代替切换在其结束该处理的缩小图像或除此之外,通过切换在其开始该处理的缩小图像来切换待处理的目标图像。
相反,如果在步骤SP16中结果为否定,则中央处理单元3通过使用剩余的缩小图像G5~G7来顺次执行模板匹配的处理,并进入步骤SP9。
另外,代替预先准备具有不同大小的多种缩小图像并将其存储在图像RAM 7中以使在每一阶段执行模板匹配的处理,还可以采用如下结构:每当在各个阶段执行模板匹配的处理时,准备具有相应大小的缩小图像。根据该结构,可以省略准备不必要的缩小图像的处理,而且,由于可以省略将与缩小图像有关的图像数据写入图像RAM 7中的处理,因而处理所需的时间可以减少这些量。另外,在这种情况下,代替缩小原始图像,还可以缩小在前一阶段使用的缩小图像并生成在随后阶段处理的缩小图像。
以这种方式,中央处理单元3逐步顺次检测各面部的拍摄图像所占的区域,并基于各面部的拍摄图像所占的区域的位置信息,从面部检测中心8D获取面部检测结果D1。
如图7A和7B所示,中央处理单元3通过经过面部检测的缩小图像G6的比例因子α分割模板TP的大小,且通过该比例因子α来放大模板TP的大小,并根据该放大后的大小和与面部检测结果D1相对应的位置信息来计算原始图像G0上的面部的拍摄图像所占的区域。然后,中央处理单元3使用单一大小的模板TP校正面部检测结果D1。另外,基于校正后的面部检测结果D1,中央处理单元3指示图像显示部分9显示包围该面部的框。中央处理单元3还基于校正后的面部检测结果D1生成图像附加信息D2。
另外,在以这种方式校正后的面部检测结果D1上,中央处理单元3获取表示面部的拍摄图像所占的区域的图像数据并执行光圈控制、调焦控制和白平衡调整的处理。此时,中央处理单元3基于检测顺序设置优选级顺序,并当根据例如按照从最大面部开始的顺序的该优先级顺序检测各面部的拍摄图像所占的区域时,基于最大拍摄面部执行光圈控制、调焦控制和白平衡调整的处理。此时,如果还检测到其它面部的拍摄图像所占的区域,则中央处理单元3参考该区域的亮度水平、以及大小等执行光圈控制、调焦控制和白平衡调整的处理。该处理包括例如:用于对从各区域发现的控制变量进行加权求和以计算最终控制变量,并基于该最终控制变量执行光圈控制等处理的处理。
(2)第一实施例的操作
在具有上述结构的摄像设备1(图2)中,通过图像传感器4以运动图像或静态图像的形式获取摄像结果,并通过照相机信号处理部分6对其进行各种校正,并将校正后的摄像结果存储在图像RAM 7中。根据来自用户的指令,存储在图像RAM 7中的摄像结果经过在图像显示部分9上的监控,被图像压缩/解压缩部分10进行压缩,并将其记录在图像记录介质12上。另外,可以将摄像结果通过输入/输出端子输出给外部装置。
在该处理过程中,在摄像设备1中,通过照相机信号处理部分6中的分辨率转换处理生成监控图像数据,并使用该监控图像数据以监控图像显示部分9上的摄像结果。还可以将监控图像数据设置成表示要经过面部检测的原始图像的图像数据,并将其输入到面部检测部分8的分辨率转换部分8A(图3),在分辨率转换部分8A中,将输入的图像数据的分辨率降低预定值以生成表示缩小图像的图像数据。表示缩小图像的该图像数据通过图像存储器8C被存储在图像RAM 7中。在摄像设备1中,重复分辨率转换部分8A和图像存储器8C的处理,使得将表示相对于原始图像逐步顺次降低了分辨率的多个缩小图像的图像数据存储在图像RAM 7中。
在摄像设备1中,以这种方式预先生成表示多个缩小图像的图像数据并将其存储在图像RAM 7中,并将该图像数据顺次发送给面部检测中心8D。通过使用模板的模板匹配来处理该图像数据,以在缩小图像中检测与模板相对应的特定被摄体的拍摄图像所占的区域。在摄像设备1中,将特定被摄体设置成人的面部,并且在面部检测中心8D中,按照其分辨率逐步顺次改变的顺序来处理该多个缩小图像。因此,按照从最大被摄体开始的顺序或按照从最小被摄体开始的顺序来检测各特定被摄体的拍摄图像所占的区域,使得可以基于检测的顺序来设置优先级顺序。另外,可以在必要时停止该处理以在短时间内检测到目的区域,使得可以高速检测到各面部的拍摄图像所占的区域以适当设置优先级顺序。
另外,由于在以上述方式逐步顺次改变分辨率的同时通过模板匹配来处理缩小图像,因而可以通过使用单一大小的模板来检测各面部的拍摄图像所占的不同大小的区域,使得摄像设备1的结构可以简化这些量。
在摄像设备1中,与待处理目标有关的图像数据是通过用作摄像部分的图像传感器4和照相机信号处理部分6所获取的图像数据,并基于以这种方式所检测到的各面部的拍摄图像所占的区域来执行光圈控制、调焦控制和白平衡调整,使得可以高速检测到各特定被摄体的拍摄图像所占的区域以适当设置优先级顺序。因此,在对用户所期望的被摄体准确执行光圈控制、调焦控制和白平衡调整的处理的同时,可以在短时间内处理连续帧的各个图像,并且可以可靠地执行该处理。
另外,可以以相同的方式将从图像记录介质12获取的图像数据和从数据通信部分获取的图像数据显示在图像显示部分9上作为待处理的目标,而且,这些图像数据可被进行各种校正并被可靠地处理。
另外,根据图像拍摄模式和过去的检测结果切换缩小图像的处理顺序,使得可以减少不必要的处理并可以在短时间内检测到预定被摄体的拍摄图像所占的区域。
具体地,如果估计出拍摄了人的近景,则逐步顺次处理具有不同分辨率的缩小图像以按照从最大开始的顺序检测他们的面部,使得可以在短时间内检测到作为期望被摄体的面部的拍摄图像所占的区域。相反,如果估计出拍摄了人的合影等,则逐步顺次处理具有不同分辨率的缩小图像以按照从最小开始的顺序检测他们的面部,使得可以在短时间内检测到作为期望被摄体的面部的拍摄图像所占的区域。
另外,在以这种方式顺次处理缩小图像的情况下,可以通过根据图像拍摄模式和过去的检测结果中途停止该处理,而且改变该处理的开始以切换将经过该处理的缩小图像,省略不必要缩小图像的处理。因此,可以在短时间内检测到作为期望被摄体的面部所占的区域。
因此,在摄像设备1中,在每个缩小图像中检测作为期望被摄体的面部的拍摄图像所占的区域,并且根据各缩小图像相对于原始图像的大小将模板大小转换成原始图像上的大小,并在原始图像上检测特定被摄体的拍摄图像所占的区域。另外,根据在原始图像上所检测到的大小来执行光圈控制等处理。
在该处理过程中,在摄像设备1中,根据检测顺序设置优先级顺序,并处理面部检测的检测结果,使得可以通过简单处理可靠地执行调焦控制等处理。
(3)第一实施例的优点
根据上述结构,缩小图像按照其分辨率逐步顺次改变的顺序顺次经过模板匹配,从而检测特定被摄体的拍摄图像分别所占的区域。因此,可以高速检测到特定被摄体的拍摄图像分别所占的区域,并且可以适当地设置优先级顺序。
另外,获取待处理的目标图像的图像获取部分是摄像部分,使得如果将第一实施例应用于摄像设备,则可以通过在调焦控制、光圈控制、以及白平衡调整等中有效地使用检测结果来提高摄像设备的有用性。
另外,由于图像获取部分是与记录介质有关的摄像部分,或者图像获取部分具有与外部装置的数据通信有关的结构,因而可以通过在监控记录在记录介质上的摄像结果等中有效地使用检测结果来提高摄像设备的有用性。
此时,按照其分辨率顺次增大的顺序或者按照其分辨率顺次降低的顺序来处理缩小图像,使得当拍摄期望被摄体的近景或远景的图像时,可以在短时间内检测到该期望被摄体的拍摄图像所占的区域。
如上所述,在每个缩小图像中检测作为期望被摄体的面部的拍摄图像所占的区域,并根据各缩小图像相对于原始图像的大小将模板大小转换成原始图像上的大小,并在该原始图像上检测特定被摄体的拍摄图像所占的区域。因此,可基于特定被摄体的拍摄图像所占的区域来执行各种控制和处理,该区域在原始图像上进行检测。
另外,在逐步顺次设置分辨率的每个缩小图像中检测特定被摄体的拍摄图像分别所占的区域,并根据检测顺序设置特定被摄体的拍摄图像所占区域的优先级顺序。因此,可以简单且高度准确地设置优先级顺序,使得可以基于该优先级顺序不同地执行控制和处理。
另外,基于过去的检测结果而且根据图像拍摄模式,切换多个缩小图像的处理顺序,使得可以在处理开始后的短时间内检测到特定被摄体的拍摄图像所占的区域。
另外,基于过去的检测结果而且根据图像拍摄模式,切换待处理的缩小图像,使得可以省略缩小图像的不必要处理以更大程度地减少处理所需的时间。
下面说明本发明的第二实施例。
与图4和6相比较,图8是有助于解释根据本发明第二实施例的摄像设备所执行的处理的示意图。在第二实施例中,生成将用作中间处理的参考的缩小图像G4,并代替通过逐步顺次切换比例因子的原始图像的分辨率转换处理,或者代替通过比例因子维持在恒定值的原始图像的顺次逐步分辨率转换处理,而通过转换参考缩小图像G4的分辨率生成分辨率低于缩小图像G4的缩小图像G5~G7。另外,通过转换原始图像G0的分辨率生成分辨率大于缩小图像G4的缩小图像G1~G3。
根据第二实施例,生成用作中间处理的参考的缩小图像,并根据该参考缩小图像和原始图像生成缩小图像,使得提高了记录和保持这些缩小图像的存储器的访问效率,而且,可以简化该存储器的地址控制。
以下说明本发明的第三实施例。
图9是示出根据本发明第三实施例的记录和再现设备的框图。记录和再现设备21是例如DVD(Digital Versatile Disk,数字通用光盘)记录器,该记录器通过图像处理部分22处理从未示出的调谐器获得的视频内容,然后使用光盘将处理后的视频内容记录在记录介质12上。在记录和再现设备21中,使用相同的附图标记表示与第一实施例有关的上述摄像设备1中所使用的相应元件相同的构成元件,并省略相同说明的重复。
中央处理单元23通过执行记录在存储器24上的处理程序控制各部分的操作以控制记录和再现设备21的操作。在该控制序列中,如果用户给出指令以检测特定被摄体,则通过面部检测部分8检测该特定被摄体的拍摄图像所占的区域,并将检测结果显示在图像显示部分9上。顺便提及,该特定被摄体是例如用户喜爱的男演员。
即使在应用于处理记录和再现设备中的各种视频内容的第三实施例的情况下,也可以获得与第一实施例的优点类似的优点。
以下说明本发明的第四实施例。
在上面第一实施例的说明中,参考了进行光圈控制使得在最高优先级顺序的面部的拍摄图像所占的区域中将亮度水平维持在预定值的情况,还参考了利用基于该区域和其它面部的拍摄图像所占的区域的加权求和的最终控制变量执行光圈控制处理的情况。然而,本发明不局限于这两种情况中的任何一种,并且控制摄像设备的光圈和电荷存储时间,使得将亮度水平维持在预定值,同时,控制景深(depth of field)。在这种情况下,即使距各种被摄体的距离相互不同,也可以将景深设置成防止在这些不同距离范围内散焦,从而更大程度地提高该设备的有用性。
以上对第一到第四实施例中的任何一个的说明都参考了检测面部的拍摄图像所占的区域的情况,但是本发明不局限于这种情况,而可以广泛应用于将各种模板应用于检测各种被摄体的拍摄图像所占的区域的各种情况,例如,需要检测用户孩子的拍摄图像所占的区域的情况。
在以上对第一到第四实施例的说明中,参考了将本发明应用于摄像设备和使用光盘的记录和再现设备的情况,但是本发明不局限于这种情况,而可广泛应用于使用各种记录介质的记录和再现设备、以及打印机等图像处理设备。本发明还可应用于计算机等的图像处理软件。
本发明包含与2005年11月14日在日本专利局提交的日本专利申请JP2005-328256号有关的主题,其全部内容通过参考包含在此。

Claims (14)

1.一种图像处理设备,其包括:
图像获取部分,用于获取原始图像;
分辨率转换部分,用于转换由所述图像获取部分所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;
检测部分,用于通过使用模板的模板匹配来处理由所述分辨率转换部分生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及
检测结果处理部分,用于通过处理由所述检测部分所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,
所述检测部分通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
2.根据权利要求1所述的图像处理设备,其特征在于,
所述图像获取部分是基于摄像结果获取与所述原始图像有关的图像数据的摄像部分,并且
所述图像处理设备具有记录由所述摄像部分所获取的所述图像数据的记录介质。
3.根据权利要求1所述的图像处理设备,其特征在于,
所述图像获取部分是与记录介质相关的用于获取与记录在所述记录介质上的所述原始图像有关的图像数据的图像获取部分。
4.根据权利要求1所述的图像处理设备,其特征在于,
所述图像获取部分是与外部装置进行数据通信的数据通信部分。
5.根据权利要求1所述的图像处理设备,其特征在于,还包括存储部分,该存储部分用于存储和保持由所述分辨率转换部分所生成的所述多个缩小图像,
其中,所述检测部分顺次处理记录在所述存储部分上的所述多个缩小图像,并处理由所述分辨率转换部分所生成的所述多个缩小图像。
6.根据权利要求1所述的图像处理设备,其特征在于,所述分辨率逐步顺次改变的与所述检测部分的所述处理有关的所述顺序是所述分辨率顺次增大的顺序。
7.根据权利要求1所述的图像处理设备,其特征在于,所述分辨率逐步顺次改变的与所述检测部分的所述处理有关的所述顺序是所述分辨率顺次降低的顺序。
8.根据权利要求1所述的图像处理设备,其特征在于,所述检测结果处理部分基于所述缩小图像相对于所述原始图像的大小,将所述模板的大小转换成所述原始图像上的大小。
9.根据权利要求1所述的图像处理设备,其特征在于,所述检测结果处理部分基于由所述检测部分进行检测的检测顺序,在所述原始图像上设置所述特定被摄体的所述拍摄图像所占的所述区域的优先级顺序。
10.根据权利要求1所述的图像处理设备,其特征在于,还包括控制各所述部分的操作的控制部分,
其中,所述控制部分基于由所述检测部分所获得的过去的检测结果,切换与所述检测部分中的处理有关的所述多个缩小图像的处理的顺序。
11.根据权利要求2所述的图像处理设备,其特征在于,还包括控制各所述部分的操作的控制部分,
其中,所述控制部分根据在所述摄像部分中所设置的图像拍摄模式,切换与所述检测部分中的处理有关的所述多个缩小图像的处理顺序。
12.根据权利要求1所述的图像处理设备,其特征在于,还包括控制各所述部分的操作的控制部分,
其中,所述控制部分基于由所述检测部分所获得的过去的检测结果,切换经过所述检测部分中的处理的所述缩小图像。
13.根据权利要求2所述的图像处理设备,其特征在于,还包括控制所述各部分的操作的控制部分,
其中,所述控制部分根据在所述摄像部分中所设置的图像拍摄模式,切换经过所述检测部分中的处理的所述缩小图像。
14.一种图像处理方法,其包括:
图像获取步骤,用于获取原始图像;
分辨率转换步骤,用于转换在所述图像获取步骤中所获取的所述原始图像的分辨率,并生成具有不同分辨率的多个缩小图像;
检测步骤,用于通过使用模板的模板匹配来处理在所述分辨率转换步骤中所生成的所述多个缩小图像,并从所述缩小图像中检测与所述模板相对应的特定被摄体的拍摄图像所占的区域;以及
检测结果处理步骤,用于通过处理在所述检测步骤中所获得的检测结果,在所述原始图像上检测所述特定被摄体的所述拍摄图像所占的所述区域,
所述检测步骤通过按照分辨率逐步顺次改变的顺序处理所述多个缩小图像,来检测所述特定被摄体的所述拍摄图像所占的所述区域。
CNB200610138142XA 2005-11-14 2006-11-14 图像处理设备和图像处理方法 Expired - Fee Related CN100462999C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005328256A JP4626493B2 (ja) 2005-11-14 2005-11-14 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2005328256 2005-11-14

Publications (2)

Publication Number Publication Date
CN1967566A true CN1967566A (zh) 2007-05-23
CN100462999C CN100462999C (zh) 2009-02-18

Family

ID=37459546

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200610138142XA Expired - Fee Related CN100462999C (zh) 2005-11-14 2006-11-14 图像处理设备和图像处理方法

Country Status (7)

Country Link
US (1) US7873221B2 (zh)
EP (1) EP1785914B1 (zh)
JP (1) JP4626493B2 (zh)
KR (1) KR20070051689A (zh)
CN (1) CN100462999C (zh)
DE (1) DE602006014782D1 (zh)
TW (1) TWI375181B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178770B (zh) * 2007-12-11 2011-02-16 北京中星微电子有限公司 一种图像检测方法及装置
CN102236789A (zh) * 2010-04-26 2011-11-09 富士通株式会社 对表格图像进行校正的方法以及装置
CN102750689A (zh) * 2011-04-20 2012-10-24 佳能株式会社 图像处理设备及其控制方法
CN106127261A (zh) * 2016-07-01 2016-11-16 深圳元启智能技术有限公司 一种快速多分辨率灰度图像模板匹配方法
CN107426497A (zh) * 2017-06-15 2017-12-01 深圳天珑无线科技有限公司 一种记录影像的方法、装置及计算机可读存储介质
CN107948522A (zh) * 2017-12-04 2018-04-20 广州视源电子科技股份有限公司 摄像头选取拍摄人物头像的方法、装置、终端及存储介质
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN112369007A (zh) * 2018-06-19 2021-02-12 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN113885550A (zh) * 2020-07-01 2022-01-04 丰田自动车株式会社 信息处理装置、信息处理方法以及非临时性存储介质

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP2007336515A (ja) * 2006-05-15 2007-12-27 Olympus Imaging Corp カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4961965B2 (ja) * 2006-11-15 2012-06-27 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP4655054B2 (ja) 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
CN101542523B (zh) 2007-04-13 2012-07-25 松下电器产业株式会社 检测装置、检测方法及检测用集成电路
US8024110B2 (en) 2007-05-22 2011-09-20 Xanavi Informatics Corporation Method of estimation of traffic information, device of estimation of traffic information and car navigation device
EP2015568B1 (en) 2007-06-14 2019-02-13 FUJIFILM Corporation Digital image pickup apparatus
CN101409817B (zh) * 2007-10-11 2012-08-29 鸿富锦精密工业(深圳)有限公司 视频处理方法、视频处理***及视频设备
JP5115210B2 (ja) * 2008-01-24 2013-01-09 株式会社ニコン 撮像装置
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
JP5398156B2 (ja) * 2008-03-04 2014-01-29 キヤノン株式会社 ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP5141317B2 (ja) 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
JP4535164B2 (ja) * 2008-04-09 2010-09-01 ソニー株式会社 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
WO2009130899A1 (ja) * 2008-04-25 2009-10-29 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理用集積回路
JP5132445B2 (ja) * 2008-06-25 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8508603B2 (en) 2009-04-10 2013-08-13 Panasonic Corporation Object detection device, object detection system, integrated circuit for object detection, and object detection method
JP5208057B2 (ja) * 2009-06-16 2013-06-12 キヤノン株式会社 画像処理装置およびその制御方法
KR20110007838A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 영상 처리 방법 및 장치
JP2011053915A (ja) * 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器
JP5769468B2 (ja) * 2011-03-30 2015-08-26 キヤノン株式会社 物体検出システム及び物体検出方法
JP5092037B1 (ja) * 2011-05-16 2012-12-05 株式会社東芝 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置
TWI447670B (zh) * 2011-07-11 2014-08-01 Aspeed Technology Inc 具有高速傳輸功能之基板管理控制器及其傳輸方法
US9111346B2 (en) 2011-09-13 2015-08-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
JP5925068B2 (ja) 2012-06-22 2016-05-25 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
US9020191B2 (en) 2012-11-30 2015-04-28 Qualcomm Incorporated Image-based indoor position determination
JP6181925B2 (ja) 2012-12-12 2017-08-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2014203407A (ja) * 2013-04-09 2014-10-27 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ttc計測装置およびttc計測プログラム
KR101665124B1 (ko) * 2014-08-25 2016-10-12 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
KR101629803B1 (ko) * 2014-10-28 2016-06-13 심상교 주차관리시스템
JP7134716B2 (ja) * 2017-09-08 2022-09-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102215811B1 (ko) * 2020-09-04 2021-02-16 주식회사 랑데뷰 파티클 이미지와 icp매칭을 이용하여 오브젝트 인식속도를 향상시킨 피라미드 이미지 기반의 영상 분석 방법 및 이를 위한 영상 분석 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219640B1 (en) * 1999-08-06 2001-04-17 International Business Machines Corporation Methods and apparatus for audio-visual speaker recognition and utterance verification
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
JP2001330882A (ja) 2000-05-24 2001-11-30 Canon Inc 被写体認識機能付きカメラ
JP4665355B2 (ja) * 2001-07-23 2011-04-06 コニカミノルタホールディングス株式会社 画像抽出装置、画像抽出方法および画像抽出プログラム
JP5011625B2 (ja) 2001-09-06 2012-08-29 株式会社ニコン 撮像装置
JP4329398B2 (ja) 2002-05-10 2009-09-09 ソニー株式会社 顔検出装置及び方法、並びにプログラム及び記録媒体
JP2004064334A (ja) * 2002-07-26 2004-02-26 Mitsubishi Electric Corp 撮像装置
JP2004178163A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
CN1570953A (zh) * 2003-07-22 2005-01-26 中国科学院自动化研究所 移动计算环境下的人脸检测方法
JP4380308B2 (ja) * 2003-11-27 2009-12-09 日本電信電話株式会社 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP4279181B2 (ja) * 2004-03-22 2009-06-17 三菱電機株式会社 監視システム
JP4373828B2 (ja) * 2004-03-22 2009-11-25 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
EP1693783B1 (en) * 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Fast method of object detection by statistical template matching

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178770B (zh) * 2007-12-11 2011-02-16 北京中星微电子有限公司 一种图像检测方法及装置
CN102236789B (zh) * 2010-04-26 2017-06-13 富士通株式会社 对表格图像进行校正的方法以及装置
CN102236789A (zh) * 2010-04-26 2011-11-09 富士通株式会社 对表格图像进行校正的方法以及装置
CN102750689A (zh) * 2011-04-20 2012-10-24 佳能株式会社 图像处理设备及其控制方法
US9405961B2 (en) 2011-04-20 2016-08-02 Canon Kabushiki Kaisha Information processing apparatus, distributing identicial image data in parallel for object detection and resolution conversion
CN102750689B (zh) * 2011-04-20 2016-12-14 佳能株式会社 图像处理设备及其控制方法
CN109314749B (zh) * 2016-06-28 2022-04-05 索尼公司 成像设备、成像方法和程序
CN109314749A (zh) * 2016-06-28 2019-02-05 索尼公司 成像设备、成像方法和程序
US11425298B2 (en) 2016-06-28 2022-08-23 Sony Corporation Imaging device, imaging method, and program
CN106127261A (zh) * 2016-07-01 2016-11-16 深圳元启智能技术有限公司 一种快速多分辨率灰度图像模板匹配方法
CN106127261B (zh) * 2016-07-01 2019-08-30 深圳元启智能技术有限公司 一种快速多分辨率灰度图像模板匹配方法
CN107426497A (zh) * 2017-06-15 2017-12-01 深圳天珑无线科技有限公司 一种记录影像的方法、装置及计算机可读存储介质
CN107948522A (zh) * 2017-12-04 2018-04-20 广州视源电子科技股份有限公司 摄像头选取拍摄人物头像的方法、装置、终端及存储介质
CN107948522B (zh) * 2017-12-04 2020-06-26 广州视源电子科技股份有限公司 摄像头选取拍摄人物头像的方法、装置、终端及存储介质
US11363208B2 (en) 2018-06-19 2022-06-14 Canon Kabushiki Kaisha Image processing apparatus and image processing meihod
CN112369007A (zh) * 2018-06-19 2021-02-12 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN112369007B (zh) * 2018-06-19 2022-07-15 佳能株式会社 图像处理设备、图像处理设备的控制方法和存储介质
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN113885550A (zh) * 2020-07-01 2022-01-04 丰田自动车株式会社 信息处理装置、信息处理方法以及非临时性存储介质
CN113885550B (zh) * 2020-07-01 2024-01-19 丰田自动车株式会社 信息处理装置、信息处理方法以及非临时性存储介质

Also Published As

Publication number Publication date
EP1785914B1 (en) 2010-06-09
JP2007135115A (ja) 2007-05-31
TW200721040A (en) 2007-06-01
JP4626493B2 (ja) 2011-02-09
US7873221B2 (en) 2011-01-18
KR20070051689A (ko) 2007-05-18
TWI375181B (en) 2012-10-21
DE602006014782D1 (de) 2010-07-22
US20070110321A1 (en) 2007-05-17
CN100462999C (zh) 2009-02-18
EP1785914A1 (en) 2007-05-16

Similar Documents

Publication Publication Date Title
CN1967566A (zh) 图像处理设备和图像处理方法
CN101325659B (zh) 成像装置以及成像方法
CN101415076B (zh) 构图判定设备、构图判定方法
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN1738364A (zh) 图像摄取设备及其控制方法
CN1812492A (zh) 数字相机、图像回放装置、面部图像显示装置及其控制方法
JP4413235B2 (ja) 電子カメラ
CN101047792A (zh) 图像处理装置、图像处理方法和成像装置
CN1527588A (zh) 信号处理装置和图像数据生成装置
CN1678032A (zh) 数字照相机及其控制方法
CN1943221A (zh) 图像处理装置
CN1956501A (zh) 透镜位置调整装置、透镜位置调整方法和记录介质
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
CN101030016A (zh) 具有帮助功能的摄像设备和用于控制该摄像设备的方法
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
JP2007052061A (ja) 撮像装置、合焦動作制御方法および電子情報機器
JP3985005B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム
JP2007265149A (ja) 画像処理装置、画像処理方法および撮像装置
CN103581564B (zh) 摄像装置的光圈控制***及其方法
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
JP2006287517A (ja) カメラ装置、撮影方法並びに撮影プログラム
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4934983B2 (ja) カメラ装置、撮影方法並びに撮影プログラム
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090218