CN101079964A - 图像再现设备、图像再现方法、图像再现程序及图像捕捉设备 - Google Patents
图像再现设备、图像再现方法、图像再现程序及图像捕捉设备 Download PDFInfo
- Publication number
- CN101079964A CN101079964A CNA2007101012082A CN200710101208A CN101079964A CN 101079964 A CN101079964 A CN 101079964A CN A2007101012082 A CNA2007101012082 A CN A2007101012082A CN 200710101208 A CN200710101208 A CN 200710101208A CN 101079964 A CN101079964 A CN 101079964A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- facial
- display
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims description 131
- 230000006870 function Effects 0.000 claims description 62
- 230000003321 amplification Effects 0.000 claims description 48
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000003137 locomotive effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
- H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
根据本发明的图像再现设备(10)、图像再现方法、图像再现程序以及图像捕捉设备(10)，如果在图像中没有检测到面部图像，则可以通过检测图像的中央或所聚焦的对象而缩放主对象。如果从图像中检测到多个面部图像，那么能够通过简单的操作按顺序缩放所检测到的面部图像。
Description
技术领域
本发明涉及图像再现设备、图像再现方法、图像再现程序以及图像捕捉设备，并且特别涉及一种放大图像区域的一部分的技术。
背景技术
已经提出一种数字静像照相机，其包括：面部图像检测设备，用于检测包括在由从图像捕捉设备输出的图像数据表示的被摄物中的面部图像；放大指令设备，用于给出放大指令；放大设备，用于当由放大指令设备给出放大指令时放大由面部检测设备检测的面部图像；和第一显示控制设备，用于控制显示设备，从而在显示屏上显示由放大设备放大的面部图像(日本专利申请公开No.2005-318515)。
发明内容
日本专利申请公开No.2005-318515没有限定当在捕捉的图像中没有检测到面部时(例如，如果没有捕捉到面部，或者如果面部检测失败)响应于放大指令的处理。日本专利申请公开No.2005-318515的问题在于，如果在一张图像中检测到多个面部，需要通过指定设备在与多个面部图像的顺序相关联而显示的面部图像中指定一张面部图像，从而从多个图像中放大一张图像，其中所述多个面部图像的顺序基于预定的因数进行限定，如果在一张图像中检测到多个面部，那么数字照相机的操作变得非常复杂。
考虑到上述情况而采用本发明，并且本发明是要提供能够简化面部缩放所涉及的操作的图像再现设备、图像再现方法、图像再现程序以及图像捕捉设备。
为了解决上述问题，根据本发明第一方面的图像再现设备包括：图像获取设备，用于获取图像；图像显示设备，用于显示图像；面部图像检测设备，用于检测包括在图像中的面部图像；放大指令设备，用于给出放大指令；第一图像放大设备，用于响应由放大指令设备给出的放大指令而放大由面部检测设备检测的面部图像；第一显示控制设备，用于控制图像显示设备，从而显示由第一图像放大设备缩放的面部图像；第二图像放大设备，用于当面部图像检测设备在图像中没有检测到面部图像时，根据由放大指令设备给出的放大指令而放大图像的预定区域；第二显示控制设备，用于控制图像显示设备，从而显示由第二图像放大设备缩放的预定区域。
根据本发明的第一方面，如果没有检测到面部图像，可以放大图像的一部分。
本发明的第二方面是根据第一方面的图像再现设备，其中第二图像放大设备放大包括图像的中央部分或图像中的聚焦对象的区域。
根据本发明的第二方面，如果没有检测到面部图像，则通过检测图像的中央部分或聚焦的对象可以放大图像中的主对象。
根据本发明第三方面的图像再现设备包括：图像获取设备，用于获取图像；图像显示设备，用于显示图像；面部图像检测设备，用于检测包括在图像中的面部图像；放大指令设备，用于给出放大指令；图像放大设备，用于根据由放大指令设备给出的放大指令而放大由面部检测设备检测的面部图像；确定设备，用于确定面部图像检测设备是否检测到多个面部图像；显示控制设备，用于控制图像显示设备，从而当确定设备检测到存在多个面部图像时，根据由放大指令设备给出的放大指令，以预定顺序切换由图像放大设备放大的多个面部图像，并对其进行显示。
根据本发明的第三方面，当在图像中检测到多个面部区域时，能够仅通过反复给出放大指令而顺序放大所检测的面部图像。
根据本发明的第四方面，第三方面的图像再现设备进一步包括估测值计算装置，用于计算关于由面部检测设备检测的面部图像的面部可能性的估测值，其中显示控制设备以关于面部可能性的估测值的顺序显示所述多个面部图像。
根据本发明的第四方面，能够以关于面部可能性的估测值的降序或升序来缩放面部图像。
本发明的第五方面是根据第三方面的图像再现设备，进一步包括面部尺寸计算设备，用于计算由面部图像检测设备检测的面部图像的尺寸，其中显示控制设备以该尺寸的顺序显示所述多个面部图像。
根据本发明的第五方面，能够以所述面部图像尺寸的降序或升序来缩放面部图像。
本发明的第六方面是根据第一到第五方面的任一方面的图像再现设备，进一步包括放大设备，用于改变所缩放图像的比例。根据本发明的第六方面，用户能够检查以预定比例缩放的图像。
本发明的第七方面是根据第一到第六方面的任一方面的图像再现设备，进一步包括移动设备，用于移动所缩放图像的显示区域。
根据本发明的第七方面，用户能够围绕缩放的图像来检查图像。
根据第八方面的图像捕捉设备包括根据第一到第七方面的任一方面的图像再现设备。
根据本发明的第八方面，能够实现一种图像捕捉设备，该设备能够通过上述图像再现设备再现所捕捉的图像。
根据第九方面的图像再现方法包括：获取图像的图像获取步骤，显示图像的图像显示步骤，检测包括在图像中的面部图像的面部图像检测步骤，给出放大指令的放大指令步骤，根据由放大指令设备给出的放大指令而放大面部图像的第一图像放大步骤，进行控制从而显示所放大的面部图像的第一显示控制步骤，当在图像中没有检测到面部图像时根据放大指令而放大图像的预定区域的第二图像放大步骤，和控制所述图像显示步骤从而显示缩放的预定区域的第二显示控制步骤。
本发明的第十方面是根据第九方面的图像再现方法，其中包括图像的中央部分或图像中的聚焦对象的区域被放大。
根据第十一方面的图像再现方法包括：获取图像的图像获取步骤，显示图像的图像显示步骤，检测包括在图像中的面部图像的面部图像检测步骤，给出放大指令的放大指令步骤，根据放大指令而放大面部图像的图像放大步骤，确定是否检测到多个面部图像的确定步骤，和进行控制从而当确定检测到多个面部图像时根据放大指令以预定顺序切换所述多个放大的面部图像并对其进行显示的显示控制步骤。
本发明的第十二方面是根据第十一方面的图像再现方法，进一步包括用于计算关于所检测的面部图像的面部可能性的估测值的估测值计算步骤，和在显示控制步骤中以关于面部可能性的估测值的顺序显示所述多个面部图像的步骤。
本发明的第十三方面是根据第十一方面的图像再现方法，进一步包括计算所检测的面部图像的尺寸的面部图像尺寸计算步骤，和在显示控制步骤中以该尺寸的顺序显示所述多个面部图像的步骤。
根据第十四方面的图像再现程序使计算机执行获取图像的图像获取功能，显示图像的图像显示功能，检测包括在图像中的面部图像的面部图像检测功能，给出放大指令的放大指令功能，根据放大指令而放大面部图像的第一图像放大功能，进行控制从而显示所放大的面部图像的第一显示控制功能，当在图像中没有检测到面部图像时根据放大指令而放大图像的预定区域的第二图像放大功能，和控制图像显示设备从而显示缩放的预定区域的第二显示控制功能。
本发明的第十五方面是根据第十四方面的图像再现程序，其中由第二图像放大功能放大包括图像的中央部分或图像中的聚焦对象的区域。
根据第十六方面的图像再现程序，使计算机执行获取图像的图像获取功能，显示图像的图像显示功能，检测包括在图像中的面部图像的面部图像检测功能，给出放大指令的放大指令功能，根据放大指令而放大面部图像的图像放大功能，确定是否检测到多个面部图像的确定功能，和进行控制从而当确定检测到多个面部图像时根据放大指令以预定顺序切换所述多个放大的面部图像并对其进行显示的显示控制功能。
本发明的第十七方面是根据第十六方面的图像再现程序，其中该程序使计算机执行计算关于所检测的面部图像的面部可能性的估测值的估测值计算功能，和用于在显示控制功能中以该估测值的顺序显示所述多个面部图像的功能。
本发明的第十八方面是根据第十六方面的图像再现程序，其中该程序使计算机执行计算所检测的面部图像的尺寸的面部图像尺寸计算功能，和以该尺寸的顺序显示所述多个面部图像的功能。
本发明的第十九方面是根据第十四到十八方面的任一方面的图像再现程序，其中该程序使计算机执行用于改变所缩放图像的比例因数的比例因数改变功能。
本发明的第二十方面是根据第十四到十九方面的任一方面的图像再现程序，其中该程序使计算机执行用于移动所缩放图像的显示区域的移动功能。
通过将根据第十四方面到第二十方面的图像再现程序应用于具有图像再现功能的设备，例如图像捕捉设备(电子照相机、数字照相机)或PC(个人计算机)、视频再现设备(视频盒式记录器、电视)、PDA、便携图像播放器、蜂窝式电话等，可以实现本发明的图像再现设备和图像再现方法。
根据本发明，如果在图像中没有检测到面部图像，可以通过检测图像的中央部分或所聚焦的对象而缩放主对象。如果从图像中检测到多个面部图像，那么能够通过简单的操作按顺序缩放所检测到的面部图像。
附图说明
图1是示出根据本发明实施例的具有图像再现设备的图像捕捉设备的背侧外观的平面图；
图2是示出图像捕捉设备10的电子构造的框图；
图3A～3C是示出当执行面部放大处理时的显示转换的图；
图4A～4C是示出当执行面部放大处理时的显示转换的图；
图5A～5C是示出当执行面部放大处理时的显示转换的图；
图6A和6B是示出十字按钮20的功能显示的例子的图；
图7A～7C是示出当显示多个面部区域时的显示转换的图；
图8A～8C是示出当没有检测到面部区域时的显示转换的图；
图9是示出面部放大处理流程的流程图；
图10是示出面部放大处理的另一个实施例的流程图。
具体实施方式
将参照附图，描述根据本发明的图像再现设备、图像再现方法、到像再现程序以及图像捕捉设备的优选实施例。
【图像捕捉设备的构造】
图1的平面图示出了根据本发明实施例具有图像再现设备的图像捕捉设备的背侧外观。如图1所示，释放按钮12和电源开关14设置在图像捕捉设备(电子照相机)10的顶部。显示部分(监视器)16、模式切换开关18、十字按钮20、MUNU/OK按钮22、取消按钮24、放大按钮26、功能切换开关28等设置在图像捕捉设备10的背侧。电池盖设置在照相机体的底部(未示出)。在电池盖内侧，提供有用于安装电池的电池存放空间和用于安装存储卡的存储卡槽。
释放按钮12作为用于以两级组态输入用于捕捉图像的指令的按钮。当处于将该按钮轻轻向下按下一半的“半按(S1＝ON)”状态时，自动聚焦(AF)和自动曝光控制(AE)操作为锁定AF和AE。当处于将该按钮从“半按”状态进一步按下的“全按(S2＝ON)”状态时，执行图像捕捉。
电源开关14包括滑出式(slide-out)开关。通过电源开关14的滑出操作，使图像捕捉设备10接通电源/断开电源。
监视器16包括彩色LCD。监视器用于在再现模式中再现所捕捉的图像，并且还用作在图像捕捉模式中显示全图像(through image)的电子取景器。在每个不同的操作中显示菜单屏幕，从而用作用户界面，供用户在其上进行多种设置操作。
模式切换开关18作为用于切换图像捕捉设备10的模式的开关。根据该开关设置的位置，在用于捕捉静止图像的“图像捕捉模式”和用于再现捕捉图像的“再现模式”之间进行模式切换。
十字按钮20适于能够在上、下、左和右的方向上按压，根据图像捕捉设备10的状态的功能被分配给这些操作。在图像捕捉模式中，右按钮作为微距按钮(macro button)，用于指示切换到微距模式，而左按钮作为闪光按钮，用于指示切换到闪光模式。在图像捕捉模式中，上按钮作为缩放电视按钮(zoom-television-button)，用于指示在电视方向(televison-direction)上缩放，而下按钮作为缩放宽按钮(zoom widebutton)，用于指示在宽方向上缩放。在再现模式中，右按钮作为用于指示图像的帧推进的按钮，而左按钮作为帧后退按钮，用于指示图像的帧后退。在再现模式中，上按钮作为放大按钮，用于指示放大图像，而下按钮作为缩小按钮，用于缩小图像。在通过使用监视器16执行的各种设置中，十字按钮20作为用于指示移动在监视器16上显示的光标的按钮。
MUNU/OK按钮22作为用于指示在监视器16上显示菜单图像的按钮，并且还作为用于指示执行各种操作的按钮。取消按钮24作为用于指示取消各种操作的按钮。
放大按钮26是用于输入放大指令的开关，所述放大指令用于放大在监视器16上显示的图像中包括的面部图像。功能切换开关28是当放大面部图像时用于切换十字按钮20的功能的开关。
图2的框图示出了图像捕捉设备10的电子构造。如图2所示，CPU50通过总线52与图像捕捉设备10中的每个部分连接。它是一个集成控制器，用于基于来自操作部分54等的输入操作来控制图像捕捉设备10的操作。操作部分54是用于从用户接收输入操作的操作部件，包括释放按钮12、电源开关14、模式切换开关18、十字按钮20等。
存储器56由存储器控制部分58进行控制，具有ROM 56A和RAM56B，ROM 56A存储由CPU 50执行的程序以及控制所需的各种数据等，RAM 56B供CPU 50用作工作区域和图像处理区域，以执行各种计算等。ROM 56A存储用于检测面部图像的数据(例如，面部样本的图像数据)。
外部通信接口部分(外部通信I/F)60是这样一种装置，其用于连接网络、外部输出装置(例如个人计算机、电视、显示器、打印机、外部记录设备等)。它根据预定协议发送和接收各种类型的数据。作为数据交换方法，可以使用例如USB、IEEE 1394、有线LAN、红外通信(IrDA)等。
图像捕捉元件64是用于通过光学***(镜头)62接收入射光并且将其转换为电信号部件。它包括CCD图像传感器或CMOS图像传感器。该电信号由前置放大器(未示出)进行放大，由A/D转换器66转换为数字信号，并输入到图像处理部分68。
如上所述，图像捕捉设备10具有两种模式：用于捕捉图像的图像捕捉模式以及用于显示和再现捕捉图像的再现模式。在图像捕捉模式中，从图像捕捉元件64输出的电信号被输入到图像处理部分(数字信号处理部分)68，经过图像处理部分68的伽玛(gummer)校正或白平衡校正，以创建用于检查图像角的图像数据(全图像)。图像处理部分68将图像数据(全图像)作为图像信号输出到显示部分(监视器)16。因此，全图像显示在监视器16上。
当半按释放按钮12时，图像信号输入到CPU 50，AF和AE启动，驱动包括在光学***62中的变焦镜头和焦距以锁定AF和AE。随后，当全按释放按钮12时，执行图像捕捉。在捕捉图像之后，由图像处理部分68处理从图像捕捉元件64输出的电子信号，并且创建用于存储的图像文件。在存储卡72中以预定文件格式存储用于存储的图像文件。这里存储卡72是半导体存储器等。由外部存储器控制部分74控制从存储卡72的输出和到存储卡72的输入。
当显示全图像时或当捕捉到图像时，从图像处理部分68输出的图像信号还输入在面部检测处理部分70中。面部检测处理部分70通过面部识别技术检测呈现在图像中的人的面部区域。作为检测面部区域的方法的例子，已知一种方法，其从原始图像中获取具有与指定为皮肤颜色的颜色相近的颜色的像素，并且将获取区域检测为面部区域。以这样的方式执行处理，即在用于区分皮肤颜色与其它颜色的颜色空间上，根据预先采样的皮肤颜色信息，限定在颜色空间上皮肤颜色的范围，并且确定每个像素的颜色是否包括在限定范围内。将由面部检测处理部分70检测的面部区域的位置信息输出到CPU 50。面部检测处理部分70还计算指示在面部区域中的面部可能性(面部可能性)的估测值以及面部尺寸(包括面部图像的矩形区域的面积或面部的面积)，并且将它们输出到CPU 50。这里，面部可能性是这样一种参数，其用于指示由面部检测处理部分70检测的区域是否是面部区域。它通过皮肤色度进行计算。面部检测处理部分70对从图像中检测的每个皮肤颜色区域计算面部可能性，并且判定其面部可能性为预定值或大于预定值的皮肤颜色区域是面部区域。
如果当显示全图像或所捕捉图像时按压放大按钮26，则放大指令输入到CPU 50。当面部检测处理部分70检测到面部区域时，响应于放大指令的输入，基于从面部检测处理部分70输入的面部区域的位置信息，CPU 50放大该面部区域并将其显示在监视器16上。这里，如果检测到多个面部区域，则CPU 50在每次输入放大指令时以预定的顺序切换面部图像的放大显示。放大面部图像的顺序由面部可能性或面部区域的尺寸而决定。如果面部检测处理部分70没有检测到面部区域，则CPU 50根据放大指令70的输入而放大该图像的预定区域(包括该图像的中央或图像焦点的区域)，并且将其显示在监视器16上。
在再现模式中，读出由图像处理部分68在存储卡72中存储的数据，并且创建用于显示的图像数据。用于显示的图像数据作为图像信号在监视器16上输出。因此，在存储卡72中读出图像并将其显示在监视器16上。
如果在再现模式中按压放大按钮26，从存储卡27中读出的图像还输入到面部检测处理部分70，并且在该图像中检测包括面部的区域(面部区域)。如果当显示图像时按压放大按钮26，则放大指令输入到CPU 50。当面部检测处理部分70检测到面部区域时，CPU 50根据放大指令而放大面部区域，并且将其显示在监视器16上。如果面部检测处理部分70没有检测到面部区域，则CPU 50根据放大指令的输入而放大该图像的预定区域(例如，包括该图像的中央或图像焦点的区域)，并且将其显示在监视器16上。
在该实施例中，可以在存储卡72中创建并存储元数据(例如，以xml格式)，该元数据用于存储经过面部检测的图像的面部区域上的信息(例如，在图像中的位置、面部可能性、或尺寸)。可以将面部区域上的信息存储在图像中作为标记信息。如果面部区域上的信息存储在元数据等中，例如在再现模式中，则CPU 50能够从元数据等中获取面部区域上的信息，而不必控制面部检测处理部分70以及检测面部区域。
【面部缩放处理】
下面将说明面部缩放处理。图3～图5的图示出了在面部缩放处理中的显示转换。如图3A所示，如果从所显示的图像中检测到面部区域A1，那么响应于放大按钮26的按压，在监视器16上放大面部区域A1。如图3B所示，当放大面部图像时，放大面部区域A1使得面部区域A1的中央与监视器16的中央相匹配。放大面部区域A1使得面部区域A1的尺寸是包括在监视器16中的最大尺寸。当再次按压放大按钮26时，如图3C所示，显示返回到原始图像显示。
如果在放大面部区域(图4B)的同时按压十字按钮20的上按钮，那么放大面部区域的比例因数根据上按钮的按压时段而增加(放大)，如图4C所示。如果在放大面部区域(图5B)的同时按压十字按钮20的下按钮，那么放大面部区域的比例因数减小(缩小)，如图5C所示。如果在如图3B等所示放大面部区域的同时按压功能切换开关28，那么十字按钮20作为用于在监视器16上移动被放大的区域的按钮，并且该被放大的区域响应于上、下、左和右按钮的按压而移动。在如图3B等所示的面部区域的放大显示中显示十字按钮20的功能指示。图6A和6B的图中示出了十字按钮20的功能显示示的例子。在图6A和6B所示的例子中，十字按钮20和功能切换开关28的功能显示在图像上，模拟十字按钮20和功能切换开关28。例如，在监视器16的底部显示该图像，从而不叠加在面部图像的缩放显示上或半透明地叠加在显示上。如图6A所示，如果十字按钮20作为缩放按钮用于改变图像的比例因数，在对应于十字按钮20的上按钮和下按钮的位置处显示“放大(ZOOM IN)”和“缩小(ZOOM OUT)”。如图6A所示，在对应于功能切换开关28的位置处显示一个指示，告知这个按钮用于将十字按钮20切换为在显示区域内的移动按钮。如果十字按钮20切换为移动按钮，那么如图6B所示，在分别对应于十字按钮20的上、下、左和右按钮的位置上显示指示移动方向的符号。如图6B所示，在对应于功能切换开关28的位置处显示一个指示，告知这个按钮用于将十字按钮20切换为缩放按钮。
图7A～7C的图示出了当检测到多个面部区域时的显示转换。如图7A所示，如果从所显示的图像中检测到两个面部区域，那么响应于放大按钮26的按压，在所检测的面部区域A2/A3中选择并放大具有较高面部可能性的面部区域A2(图7B)。当再次按压放大按钮26时，选择并放大具有第二高面部可能性的面部区域A3(图7C)。在由于反复按压放大按钮26而显示了所有图像之后，再次按压放大按钮26，则显示返回到图像的原始显示(图7A)。显示面部区域的顺序可以是面部可能性的升序、面部区域尺寸的升序或降序。
图8A～8C的图示出了当没有检测到面部区域时的显示转换。如图8A所示，如果在所显示的图像中没有检测到面部区域，那么响应于放大按钮26的按下，由CPU 50在监视器16上放大并显示图像的中央部分A5(图8B)。在图8B中，通过使用十字按钮20，能够进行所显示区域的放大/缩小或移动。当再次按压放大按钮26时，如图8C所示，显示返回到图像的原始显示(图8A)。如果没有检测到面部区域，那么可以检测一个由CPU 50聚焦的对象来代替图像的中央部分A5，从而放大包括在聚焦对象中的区域。如果要放大中央部分A5或聚焦对象，那么仅需要在监视器16的中央显示中央部分A5或对象的中央。如果放大包括聚焦对象的区域，那么仅需要放大聚焦对象使得在监视器16上是最大尺寸，例如，通过检测对象的颜色。
【面部放大处理的第一实施例】
图9的流程图示出了面部放大处理的流程。首先，当按放大按钮26时(步骤S10为是)，CPU 50从存储在面部检测处理70或存储卡72内的元数据等中获取面部信息(步骤12)。如果在图像中检测到一个面部信息(在步骤S14为是，在步骤S16为否)，CPU 50放大该面部区域(步骤S18)，并将放大的面部区域显示在监视器16上(步骤S20，图3B)。当再次按压放大按钮26时(在步骤S22为是)，显示返回到之前图像的显示(步骤S24，图3C)。
如果从图像中检测到多个面部区域(在步骤S14为是，在步骤S16为是)，CPU 50在所检测的多个面部区域中放大具有最高面部可能性的面部区域(步骤S26)，并且将所放大的面部区域显示在监视器16上(步骤S28，图7B)。当再次按下放大按钮26时(在步骤S30为是)，CPU 50放大具有第二高面部可能性的面部区域(步骤S26)，并且将所放大的面部区域显示在监视器16上(步骤S28)。反复执行从步骤S26到S32的处理，并且显示所有面部区域(在步骤S32为是)，显示返回到放大前的图像显示(步骤S24，图7A)。
如果在图像中没有检测到多个面部区域(在步骤S14为否)，那么CPU 50放大图像的中央部分(步骤S34)，并且将所放大的图像的中央部分显示在监视器16上(步骤S36，图8B)。当再次按下放大按钮26时(在步骤S38为是)，显示返回到放大前的图像显示(步骤S24，图8C)。
根据本实施例，如果在图像中检测到多个面部区域，能够仅通过反复按下放大按钮26而顺序放大面部图像。根据本实施例，如果在图像中没有检测到面部图像，可以通过检测图像的中央或聚焦的对象而放大主对象。
【面部放大处理的第二实施例】
图10的流程图示出了面部放大处理的另一个实施例。从步骤S50到S64以及从步骤S74到S64的处理与图9中从步骤S10到S24以及从步骤S34到S24的处理相同，从说明书中省略它们。在本实施例中，如果检测到多个面部区域(在步骤S54为是，在步骤S56为是)，那么从步骤S66到S72按面部尺寸的顺序放大面部区域。
虽然在上述每个实施例中，多个面部区域是当每次按压放大按钮26时切换的，但是还能够响应于放大按钮26的第一次按压自动执行面部区域的连续显示，并响应于放大按钮26的第二次按压完成面部区域的放大。
还能够修整(trim)所放大的面部区域并将其存储在存储卡72中。
本发明的图像再现设备不但能够应用于上述图像捕捉设备，而且能够应用于具有图像再现功能的设备，例如个人计算机(PC)、视频再现设备(视频盒式记录器、电视)、个人数字助理(PDA)、便携图像播放器、蜂窝式电话等。通过将用于执行上述处理的软件程序或固件应用到具有图像再现功能的设备，例如图像捕捉设备(电子照相机、数字照相机)或PC、视频再现设备(视频盒式记录器、电视)、PDA、便携图像播放器、蜂窝式电话等，可以实现本发明的图像再现设备和图像再现方法。
Claims (20)
1.一种图像再现设备(10)，包括：
图像获取设备(62，64，66，68)，用于获取图像；
图像显示设备(16)，用于显示图像；
面部图像检测设备(70)，用于检测包括在图像中的面部图像；
放大指令设备(20，26，54)，用于给出放大指令；
第一图像放大设备(50)，用于响应由放大指令设备(20，26，54)给出的放大指令而放大由面部检测设备(70)检测的面部图像；
第一显示控制设备(50)，用于控制所述图像显示设备(16)，从而显示由第一图像放大设备缩放的面部图像；
第二图像放大设备(50)，用于当面部图像检测设备(70)在图像中没有检测到面部图像时，根据由放大指令设备(20，26，54)给出的放大指令而放大图像的预定区域；和
第二显示控制设备(50)，用于控制所述图像显示设备(16)，从而显示由第二图像放大设备缩放的预定区域。
2.根据权利要求1的图像再现设备(10)，其中第二图像放大设备(50)放大包括图像的中央部分或图像中的聚焦对象的区域。
3.一种图像再现设备(10)，包括：
图像获取设备(62，64，66，68)，用于获取图像；
图像显示设备(16)，用于显示图像；
面部图像检测设备(70)，用于检测包括在图像中的面部图像；
放大指令设备(20，26，54)，用于给出放大指令；
图像放大设备(50)，用于根据由放大指令设备(20，26，54)给出的放大指令而放大由面部检测设备(70)检测的面部图像；
确定设备(50，70)，用于确定面部图像检测设备(70)是否检测到多个面部图像；和
显示控制设备(50)，用于控制所述图像显示设备(16)，从而当所述确定设备(50，70)确定存在多个面部图像时，根据由放大指令设备(20，26，54)给出的放大指令，以预定顺序切换由图像放大设备(50)放大的多个面部图像，并进行显示。
4.根据权利要求3的图像再现设备(10)，进一步包括：
估测值计算设备(70)，用于计算关于由面部检测设备(70)检测的面部图像的面部可能性的估测值，其中所述显示控制设备(50)以关于面部可能性的估测值的顺序显示所述多个面部图像。
5.根据权利要求3的图像再现设备(10)，进一步包括：
面部图像尺寸计算设备(70)，用于计算由面部图像检测设备(70)检测的面部图像的尺寸，其中所述显示控制设备(50)以所述尺寸的顺序显示所述多个面部图像。
6.根据权利要求1至5中任一项的图像再现设备(10)，进一步包括：
放大设备(50)，用于改变所放大图像的比例。
7.根据权利要求1至6中任一项的图像再现设备(10)，进一步包括：
移动设备(50)，用于移动所缩放图像的显示区域。
8.一种图像捕捉设备(10)，包括根据权利要求1至7中任一项的图像再现设备(10)。
9.一种图像再现方法，包括：
获取图像的图像获取步骤；
显示图像的图像显示步骤；
检测包括在图像中的面部图像的面部图像检测步骤；
给出放大指令的放大指令步骤；
根据放大指令而放大面部图像的第一图像放大步骤；
控制从而显示所放大的面部图像的第一显示控制步骤；
当在图像中没有检测到面部图像时根据放大指令而放大图像的预定区域的第二图像放大步骤；和
控制所述图像显示步骤从而显示缩放的预定区域的第二显示控制步骤。
10.根据权利要求9的图像再现方法，其中包括图像的中央部分或图像中的聚焦对象的区域被放大。
11.一种图像再现方法，包括：
获取图像的图像获取步骤；
显示图像的图像显示步骤；
检测包括在图像中的面部图像的面部图像检测步骤；
给出放大指令的放大指令步骤；
根据放大指令而放大面部图像的图像放大步骤；
确定是否检测到多个面部图像的确定步骤；和
显示控制步骤，用于控制从而当确定检测到多个面部图像时根据放大指令以预定顺序切换所述多个放大的面部图像并进行显示。
12.根据权利要求11的图像再现方法，进一步包括：
用于计算关于所检测的面部图像的面部可能性的估测值的估测值计算步骤；和
在显示控制步骤中以关于面部可能性的估测值的顺序显示所述多个面部图像的步骤。
13.根据权利要求11的图像再现方法，进一步包括：
计算所检测的面部图像的尺寸的面部图像尺寸计算步骤；和
在显示控制步骤中以所述尺寸的顺序显示所述多个面部图像的步骤。
14.一种图像再现程序，用于使计算机执行：
获取图像的图像获取功能；
显示图像的图像显示功能；
检测包括在图像中的面部图像的面部图像检测功能；
给出放大指令的放大指令功能；
根据放大指令而放大面部图像的第一图像放大功能；
进行控制从而显示所放大的面部图像的第一显示控制功能；
当在图像中没有检测到面部图像时根据放大指令而放大图像的预定区域的第二图像放大功能；和
控制图像显示设备从而显示缩放的预定区域的第二显示控制功能。
15.根据权利要求14的图像再现程序，其中由第二图像放大功能放大包括图像的中央部分或图像中的聚焦对象的区域。
16.一种图像再现程序，用于使计算机执行：
获取图像的图像获取功能；
显示图像的图像显示功能；
检测包括在图像中的面部图像的面部图像检测功能；
给出放大指令的放大指令功能；
根据放大指令而放大面部图像的图像放大功能；
确定是否检测到多个面部图像的确定功能；和
显示控制功能，用于控制从而当确定检测到多个面部图像时根据放大指令以预定顺序切换所述多个放大的面部图像并进行显示。
17.根据权利要求16的图像再现程序，其中该程序使计算机执行：
计算关于所检测的面部图像的面部可能性的估测值的估测值计算功能；和
用于在显示控制功能中以所述估测值的顺序显示所述多个面部图像的功能。
18.根据权利要求16的图像再现程序，其中该程序使计算机执行：
计算所检测的面部图像的尺寸的面部图像尺寸计算功能；和
以所述尺寸的顺序显示所述多个面部图像的功能。
19.根据权利要求14至18中任一项的图像再现程序，其中该程序使计算机执行：
用于改变所缩放图像的比例因数的比例因数改变功能。
20.根据权利要求14至19中任一项的图像再现程序，其中该程序使计算机执行用于移动所缩放图像的显示区域的移动功能。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006119393 | 2006-04-24 | ||
| JP2006-119393 | 2006-04-24 | ||
| JP2006119393A JP4724890B2 (ja) | 2006-04-24 | 2006-04-24 | 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101079964A true CN101079964A (zh) | 2007-11-28 |
| CN101079964B CN101079964B (zh) | 2011-08-03 |
Family
ID=38283618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101012082A Expired - Fee Related CN101079964B (zh) | 2006-04-24 | 2007-04-24 | 图像再现设备、图像再现方法及图像捕捉设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8040419B2 (zh) |
| EP (1) | EP1850579A3 (zh) |
| JP (1) | JP4724890B2 (zh) |
| CN (1) | CN101079964B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783129B (zh) * | 2009-01-04 | 2012-12-05 | 虹软(杭州)科技有限公司 | 影像缩放装置以及影像缩放方法 |
| TWI407429B (zh) * | 2009-01-05 | 2013-09-01 | Arcsoft Hangzhou Co Ltd | 影像縮放裝置及影像縮放方法 |
| CN111756994A (zh) * | 2015-04-03 | 2020-10-09 | 佳能株式会社 | 显示控制设备和显示控制设备的控制方法 |
| CN112153343A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 电梯安全监控方法、装置、监控摄像头和存储介质 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7978236B2 (en) * | 2007-02-27 | 2011-07-12 | Nikon Corporation | Image-capturing device that displays a shifted enlargement area |
| JP5245636B2 (ja) * | 2007-08-17 | 2013-07-24 | 株式会社ニコン | 電子機器 |
| JP5141222B2 (ja) * | 2007-12-06 | 2013-02-13 | カシオ計算機株式会社 | 撮影装置、撮影制御方法及びプログラム |
| JP5332369B2 (ja) * | 2008-07-18 | 2013-11-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| JP5210084B2 (ja) * | 2008-08-07 | 2013-06-12 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
| JP5237721B2 (ja) * | 2008-08-13 | 2013-07-17 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
| KR101622599B1 (ko) | 2009-01-07 | 2016-05-19 | 엘지전자 주식회사 | 이동 단말기 및 그의 줌 이미지 제어방법 |
| JP5590876B2 (ja) * | 2009-12-18 | 2014-09-17 | キヤノン株式会社 | 情報処理装置及びその制御方法並びに撮像装置 |
| US9389774B2 (en) * | 2010-12-01 | 2016-07-12 | Sony Corporation | Display processing apparatus for performing image magnification based on face detection |
| US9715751B2 (en) * | 2011-07-13 | 2017-07-25 | Apple Inc. | Zooming to faces depicted in images |
| US20130016128A1 (en) * | 2011-07-13 | 2013-01-17 | Apple Inc. | Tiled Zoom of Multiple Digital Image Portions |
| KR101811717B1 (ko) * | 2011-11-14 | 2018-01-25 | 삼성전자주식회사 | 줌 제어 방법 및 장치와, 디지털 촬영 장치 |
| JP2013156958A (ja) * | 2012-01-31 | 2013-08-15 | Sony Mobile Communications Inc | 表示処理装置 |
| KR102084582B1 (ko) * | 2012-02-24 | 2020-03-04 | 삼성전자 주식회사 | 화면에 표시된 개체의 크기 조정 방법 및 장치 |
| US20150003819A1 (en) * | 2013-06-28 | 2015-01-01 | Nathan Ackerman | Camera auto-focus based on eye gaze |
| JP6375607B2 (ja) * | 2013-09-30 | 2018-08-22 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
| KR102267871B1 (ko) * | 2014-09-03 | 2021-06-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| JP6833505B2 (ja) * | 2016-12-27 | 2021-02-24 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
| JP6808480B2 (ja) * | 2016-12-27 | 2021-01-06 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
| JP6765956B2 (ja) | 2016-12-27 | 2020-10-07 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
| JP6833507B2 (ja) | 2016-12-27 | 2021-02-24 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
| CN107479061A (zh) * | 2017-08-25 | 2017-12-15 | 重庆交通大学 | 一种基于图像识别与雷达测距的安全预警方法及*** |
| JP7040043B2 (ja) * | 2018-01-25 | 2022-03-23 | セイコーエプソン株式会社 | 写真処理装置、写真データの生産方法および写真処理プログラム |
| CN115334241B (zh) * | 2022-08-15 | 2023-04-25 | 珠海视熙科技有限公司 | 对焦控制方法、装置、存储介质及摄像设备 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078445A (ja) * | 1998-06-16 | 2000-03-14 | Ricoh Co Ltd | デジタルカメラ |
| JP2003179798A (ja) * | 2001-12-10 | 2003-06-27 | Canon I-Tech Inc | デジタルカメラ |
| JP2003284053A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 監視カメラシステムおよび監視カメラ制御装置 |
| JP2004193933A (ja) * | 2002-12-11 | 2004-07-08 | Canon Inc | 画像拡大表示方法・装置・メディア・プログラム |
| KR100547992B1 (ko) * | 2003-01-16 | 2006-02-01 | 삼성테크윈 주식회사 | 디지털 카메라와 그의 제어 방법 |
| US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| JP2005012764A (ja) * | 2003-05-22 | 2005-01-13 | Casio Comput Co Ltd | データ通信装置、画像送信方法および画像送信プログラム |
| US8004565B2 (en) * | 2003-06-19 | 2011-08-23 | Nvidia Corporation | System and method for using motion vectors for object tracking |
| JP4280656B2 (ja) * | 2003-06-20 | 2009-06-17 | キヤノン株式会社 | 画像表示装置およびその画像表示方法 |
| JP2005150834A (ja) * | 2003-11-11 | 2005-06-09 | Softopia Japan Foundation | 監視システム |
| JP2005277726A (ja) * | 2004-03-24 | 2005-10-06 | Toshiba Corp | 画像監視装置 |
| JP4489608B2 (ja) * | 2004-03-31 | 2010-06-23 | 富士フイルム株式会社 | ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法 |
| JP4352980B2 (ja) | 2004-04-23 | 2009-10-28 | オムロン株式会社 | 拡大表示装置及び拡大画像制御装置 |
| JP4006415B2 (ja) * | 2004-06-03 | 2007-11-14 | キヤノン株式会社 | 撮影装置及びその制御方法並びに制御用プログラム |
| JP2005354333A (ja) * | 2004-06-10 | 2005-12-22 | Casio Comput Co Ltd | 画像再生装置およびプログラム |
| US7802201B2 (en) * | 2006-12-29 | 2010-09-21 | Research In Motion Limited | System and method for panning and zooming an image on a display of a handheld electronic device |
-
2006
- 2006-04-24 JP JP2006119393A patent/JP4724890B2/ja not_active Expired - Fee Related
-
2007
- 2007-04-24 CN CN2007101012082A patent/CN101079964B/zh not_active Expired - Fee Related
- 2007-04-24 US US11/790,241 patent/US8040419B2/en not_active Expired - Fee Related
- 2007-04-24 EP EP07251727A patent/EP1850579A3/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783129B (zh) * | 2009-01-04 | 2012-12-05 | 虹软(杭州)科技有限公司 | 影像缩放装置以及影像缩放方法 |
| TWI407429B (zh) * | 2009-01-05 | 2013-09-01 | Arcsoft Hangzhou Co Ltd | 影像縮放裝置及影像縮放方法 |
| CN111756994A (zh) * | 2015-04-03 | 2020-10-09 | 佳能株式会社 | 显示控制设备和显示控制设备的控制方法 |
| CN111756994B (zh) * | 2015-04-03 | 2022-03-22 | 佳能株式会社 | 显示控制设备和显示控制设备的控制方法 |
| CN112153343A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 电梯安全监控方法、装置、监控摄像头和存储介质 |
| CN112153343B (zh) * | 2020-09-25 | 2022-09-02 | 北京百度网讯科技有限公司 | 电梯安全监控方法、装置、监控摄像头和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101079964B (zh) | 2011-08-03 |
| EP1850579A2 (en) | 2007-10-31 |
| JP4724890B2 (ja) | 2011-07-13 |
| US8040419B2 (en) | 2011-10-18 |
| EP1850579A3 (en) | 2010-12-01 |
| JP2007295183A (ja) | 2007-11-08 |
| US20070285534A1 (en) | 2007-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101079964A (zh) | 图像再现设备、图像再现方法、图像再现程序及图像捕捉设备 | |
| CN104159021B (zh) | 成像设备、成像方法和计算机可读介质 | |
| CN101325659B (zh) | 成像装置以及成像方法 | |
| US8786760B2 (en) | Digital photographing apparatus and method using face recognition function | |
| JP4453721B2 (ja) | 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム | |
| CN1901625B (zh) | 捕捉图像作为数字数据的电子摄像装置 | |
| US8823864B2 (en) | Image capturing apparatus and associated methodology for auto-focus and facial detection | |
| JP4980982B2 (ja) | 撮像装置、撮像方法、合焦制御方法及びプログラム | |
| JP5299912B2 (ja) | 撮像装置及び画像ファイルのデータ構造 | |
| US20100329552A1 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
| CN101334578A (zh) | 图像拍摄装置、图像拍摄方法以及计算机程序 | |
| JP5824972B2 (ja) | 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム | |
| KR100770637B1 (ko) | 디지털 카메라 | |
| US8189055B2 (en) | Digital photographing apparatus and method of controlling the same | |
| US20120026381A1 (en) | Digital image signal processing method, digital image signal processing apparatus and recording medium having recorded thereon the method | |
| JP2010016878A (ja) | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム | |
| JP5702891B2 (ja) | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム | |
| JP5544917B2 (ja) | 撮像装置及び撮像方法 | |
| JP2007226606A (ja) | 撮像装置、画像出力方法、再生装置、プログラム、及び記憶媒体 | |
| JP2011172092A (ja) | 撮像装置、画像再生方法、画像再生プログラム、画像再生プログラムを記録した記録媒体および画像再生装置 | |
| JP2011139123A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2005215495A (ja) | 画像撮影装置 | |
| JP2012029119A (ja) | 表示制御装置、カメラ、および、表示装置 | |
| JP5045792B2 (ja) | 撮像装置、並びにプログラム | |
| JP2007116370A (ja) | 画像再生プログラム、再生装置及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110803 Termination date: 20210424 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |