CN105120165A - 图像采集的控制方法以及装置 - Google Patents

图像采集的控制方法以及装置 Download PDF

Info

Publication number
CN105120165A
CN105120165A CN201510548776.1A CN201510548776A CN105120165A CN 105120165 A CN105120165 A CN 105120165A CN 201510548776 A CN201510548776 A CN 201510548776A CN 105120165 A CN105120165 A CN 105120165A
Authority
CN
China
Prior art keywords
focusing
camera lens
target body
mapping relations
current preview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510548776.1A
Other languages
English (en)
Inventor
李茂兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201510548776.1A priority Critical patent/CN105120165A/zh
Publication of CN105120165A publication Critical patent/CN105120165A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开了一种图像对焦的控制方法及装置,应用于电子设备,电子设备包括图像采集装置,所述方法包括:在电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表,映射关系表中包括至少一个人体体貌特征数据与距离的映射关系;在图像采集装置进行图像采集时,获得当前预览画面;对当前预览画面进行图像分析,得到分析结果;在分析结果表明当前预览画面中存在人物时,获取当前预览画面中目标人体的体貌特征数据;依据映射关系表中的映射关系及目标人体的体貌特征数据,确定目标人体与电子设备之间的目标距离;基于目标距离,控制图像采集装置中的镜头移动至镜头的对焦移动区域中的子区域内;利用镜头获得图像数据。

Description

图像采集的控制方法以及装置
技术领域
本申请涉及图像处理技术领域,更具体的说是涉及一种图像采集的控制方法及装置。
背景技术
随着电子技术的发展,具有相机拍照功能的智能设备越来越多的应用在人们的生活中,如利用手机等设备上的摄像头自拍或为朋友进行拍照,获取生活瞬间的画面。
但是,现有智能设备上的相机摄像头在进行拍照时,通常需要进行操作体动作识别、摄像头对焦、拍照出图的过程,而在这一过程中的摄像头对焦部分涉及到相机马达带动镜头由远至近移动来搜索对焦点的过程,这一过程中所消费时间较长,影响拍照的效率。
发明内容
有鉴于此,本申请提供了一种图像采集的控制方法及装置,用以解决现有技术中相机摄像头拍照的对焦过程耗时较长,影响拍照效率的技术问题。
为实现上述目的,本申请提供如下技术方案:
一种图像对焦的控制方法,应用于电子设备,所述电子设备包括图像采集装置,所述方法包括:
在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表,所述映射关系表中包括至少一个人体体貌特征数据与距离的映射关系;
在所述图像采集装置进行图像采集时,获得当前预览画面;
对所述当前预览画面进行图像分析,得到分析结果;
在所述分析结果表明所述当前预览画面中存在人物时,获取所述当前预览画面中目标人体的体貌特征数据;
依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离;
基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域内;
利用所述镜头获得图像数据。
上述方法,优选的,在利用所述镜头获得图像数据之前,所述方法还包括:
控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上;
其中,所述镜头处于所述目标位置点时其获得到的图像数据的清晰度满足预设第一条件。
上述方法,优选的,所述体貌特征数据包括:目标人体的躯体特征数据或目标人体的面部特征数据。
上述方法,优选的,所述面部特征数据包括:目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述获取所述当前预览画面中目标人体的体貌特征数据,包括:
识别所述当前预览画面中目标人体的面部中的至少两个部位;
基于所识别出的所述至少两个部位,测量所述当前预览画面中所述目标人体的面部中所述至少两个部位中每两个部位之间的空间距离数据;
依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离,包括:
依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据相对应的目标映射关系;
基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
上述方法,优选的,在所述分析结果表明所述当前预览画面中不存在人物时,所述方法还包括:
控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点上,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点;
控制所述镜头移动至所述对焦位置点上;
利用所述镜头获得图像数据;
其中,所述镜头处于所述对焦位置点时其获得到的图像数据的清晰度满足预设第二条件。
本发明还提供了一种图像对焦的控制装置,应用于电子设备,所述电子设备包括图像采集装置,所述装置包括:
映射预置单元,用于在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表,所述映射关系表中包括至少一个人体体貌特征数据与距离的映射关系;
预览获取单元,用于在所述图像采集装置进行图像采集时,获得当前预览画面;
图像分析单元,用于对所述当前预览画面进行图像分析,得到分析结果,在所述分析结果表明所述当前预览画面中存在人物时,触发特征获取单元;
特征获取单元,用于获取所述当前预览画面中目标人体的体貌特征数据;
距离确定单元,用于依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离;
镜头控制单元,用于基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中;
图像获取单元,用于利用所述镜头获得图像数据。
上述装置,优选的,所述装置还包括:
子区域对焦单元,在所述镜头控制单元控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中之后,在所述图像获取单元利用所述镜头获得图像数据之前,用于控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上;
其中,所述图像获取单元利用所述镜头处于所述目标位置点时所获取到的图像数据的清晰度满足预设第一条件。
上述装置,优选的,所述特征获取单元所获取到的体貌特征数据包括:目标人体的躯体特征数据或目标人体的面部特征数据。
上述装置,优选的,所述特征获取单元所获取到的面部特征数据包括:目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述特征获取单元包括:
部位识别子单元,用于识别所述当前预览画面中目标人体的面部中的至少两个部位;
距离测量子单元,用于基于所识别出的所述至少两个部位,测量所述当前预览画面中所述目标人体的面部中所示至少两个部位中每两个部位之间的空间距离数据;
特征获取子单元,用于依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述距离确定单元包括:
目标映射获取子单元,用于依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少部位之间的空间相对位置特征数据相对应的目标映射关系;
目标距离确定子单元,用于基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
上述装置,优选的,还包括:
移动区域对焦单元,在所述图像分析单元所得到的分析结果表明所述当前预览画面中不存在人物时,用于控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点;
镜头对焦移动单元,用于控制所述镜头移动至所述对焦位置点上,以触发所述图像获取单元利用所述镜头获得图像数据;
其中,所述图像获取单元利用所述镜头处于所述对焦位置点时所获取到的图像数据的清晰度满足预设第二条件。
经由上述的技术方案可知,与现有技术相比,本申请公开提供的一种图像对焦的控制方法及装置,通过在电子设备中预先设置一个映射关系表,这一映射关系表中包括有预先设置的人体体貌特征数据与图像采集时人体距离电子设备的距离之间的映射关系,由此,在利用电子设备中的图像采集装置进行图像采集时,本申请可以在获取当前预览画面之后对该当前预览画面进行图像分析,进而在当前预览画面中存在人物时,来获取当前预览画面中的人体体貌特征数据,此时,利用已经预先设置的映射关系表中的各个映射关系确定该体貌特征数据所对应的目标人体与电子设备之间的目标距离,即图形采集装置与被图像采集的目标人体之间的距离,进而基于该距离,控制镜头直接移动到其对焦移动区域中与该目标距离对应的子区域中,此时再利用镜头获得图像数据,这一过程中无需控制镜头在其对焦移动区域内的所有位置点上移动,而是直接移动到与图像拍摄距离对应的子区域以寻找到合适的对焦点,由此节省了镜头移动时间,提高图像采集的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种图像对焦的控制方法实施例一的流程图;
图2a~图2g分别为本发明实施例的应用示例图;
图3为本发明提供的一种图像采集的控制方法实施例二的流程图;
图4为本发明提供的一种图像对焦的控制方法实施例三的部分流程图;
图5为本发明实施例三的另一部分流程图;
图6为本发明提供的一种图像对焦的控制方法实施例四的流程图;
图7为本发明提供的一种图像对焦的控制装置实施例五的结构示意图;
图8为本发明提供的一种图像采集的控制装置实施例六的结构示意图;
图9为本发明提供的一种图像采集的控制装置实施例七的部分结构示意图;
图10为本发明实施例七的部分结构示意图;
图11为本发明提供的一种图像对焦的控制装置实施例八的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参考图1,为本发明提供的一种图像对焦的控制方法实施例一的流程图,其中,所述方法应用于电子设备中,该电子设备可以为具有图像采集装置的手机、pad、单反拍摄装置等终端设备。所述图像采集装置可以为相机等装置。
在本实施例中,所述方法可以包括以下步骤,以实现本发明目的:
步骤101:在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表。
其中,所述映射关系表中至少包括一个映射关系,这些映射关系为:人体体貌特征数据与距离的映射关系,也就是说,本实施例在所述电子设备中预先设置一个映射关系表,具体的,本实施例预先在不同距离下利用所述图像采集装置拍摄图像,对这些不同距离下对应的图像进行特征分析,以得到不同距离下所对应的人体体貌特征数据,将这些人体体貌特征数据与其各自对应的距离建立一一映射关系,组成映射关系表。
需要说明的是,所述映射关系表可以预先设置或存储在所述电子设备中的存储单元或者所述图像采集装置的镜头的EEPROM(ElectricallyErasableProgrammableRead-OnlyMemory,电可擦可编程只读存储器),所述EEPROM是一种掉电后数据不丢失的存储芯片,或者,所述映射关系表可以存储在所述镜头的OTP(onetimeprogrammable,一次编辑不可再修改的寄存器)中。
步骤102:在所述图像采集装置进行图像采集时,获得当前预览画面。
其中,所述当前预览画面可以利用所述图像采集装置中的镜头进行获取,区别于图像数据的采集,所述当前预览画面不会在所述图像采集装置中的感光芯片上成像。
步骤103:对所述当前预览画面进行图像分析,得到分析结果,在所述分析结果表明所述当前预览画面中存在人物时,执行步骤104。
其中,所述步骤103中具体的可以通过对所述当前预览画面进行像素扫描识别,以识别所述当前预览画面中的人物画面,进而得到分析结果,所述分析结果能够表征所述当前预览画面中是否存在人物。
步骤104:获取所述当前预览画面中目标人体的体貌特征数据。
其中,所述步骤104中具体可以在识别出该当前预览画面中存在人物时,进一步对所述当前预览画面中的人物特征进行特征识别,例如,对所述当前预览画面中目标人体的体貌特征进行识别,首先确定所述当前预览画面中所示目标人体对应的人体画面,进而对该人体画面中的体貌特征进行识别,如四肢、躯干及头部等特征,进而获取到所述目标人体的体貌特征数据。
步骤105:依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离。
基于前述内容,所述映射关系表中具有不同距离下所对应的人体体貌特征数据的映射关系,因此,所述步骤105中在所述映射关系表中查询与该目标人体的体貌特征数据对应的距离,将该距离作为所述目标人体与所述电子设备之间的目标距离。
步骤106:基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域内。
其中,所述图像采集装置中的镜头具有其进行对焦的对焦移动区域,如图2a中所示,在现有技术中,所述镜头在所述对焦移动区域上来回移动,以找到一个使得所述镜头所获取的图像的清晰度较高的一个位置。
在本实施例中,预先对所述对焦移动区域基于所述图像采集装置与被拍摄场景之间的远近距离进行子区域划分,如图2b中所示,在所述被拍摄景物与所述图像采集装置之间的距离为x1时,所述镜头处于子区域y1中的位置点进行图像采集的清晰度较高;在所述被拍摄场景与所述图像采集装置之间的距离为x2时,所述镜头处于子区域y2中的位置点进行图像采集的清晰度较高,以此类推,在所述被拍摄场景与所述图像采集装置之间的距离为xn时,所述镜头处于子区域yn中的位置点进行图像采集的清晰度较高。利用这一方案,本实施例中基于所述目标距离,将所述图像采集装置中的镜头移动至与所述目标距离相对应的子区域中。
步骤107:利用所述镜头获得图像数据。
具体的,所述步骤107中利用所述镜头采集被拍摄场景的光线,将所述光线在所述图像采集装置上的感光芯片上成像,以获得所述被拍摄场景的图像数据。
经由上述的技术方案可知,与现有技术相比,本申请公开提供的一种图像对焦的控制方法实施例一,通过在电子设备中预先设置一个映射关系表,这一映射关系表中包括有预先设置的人体体貌特征数据与图像采集时人体距离电子设备的距离之间的映射关系,由此,在利用电子设备中的图像采集装置进行图像采集时,本申请可以在获取当前预览画面之后对该当前预览画面进行图像分析,进而在当前预览画面中存在人物时,来获取当前预览画面中的人体体貌特征数据,此时,利用已经预先设置的映射关系表中的各个映射关系确定该体貌特征数据所对应的目标人体与电子设备之间的目标距离,即图形采集装置与被图像采集的目标人体之间的距离,进而基于该距离,控制镜头直接移动到其对焦移动区域中与该目标距离对应的子区域中,此时再利用镜头获得图像数据,这一过程中无需控制镜头在其对焦移动区域内的所有位置点上移动,而是直接移动到与图像拍摄距离对应的子区域以寻找到合适的对焦点,由此节省了镜头移动时间,提高图像采集的效率。
基于前述方案,为了能够在保证图像采集效率的同时,提高对焦清晰度,在本实施例中,可以控制所述镜头在该子区域内移动进而完成对焦。相应的,参考图3,为本发明提供的一种图像采集的控制方法实施例二的流程图,其中,在所述步骤106之后,在所述步骤107之前,所述方法还可以包括以下步骤:
步骤108:控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上。
其中,所述镜头处于所述目标位置点时其获得到的图像数据的清晰度满足预设第一条件。
其中,所述第一条件可以为所述清晰度大于预设阈值。或者,所述第一条件为:所述镜头处于所述目标位置点上所获得的图像数据在所述镜头位于所述子区域中的任意一个位置点上所获得的图像数据中的清晰度最高。
具体的,所述步骤108中控制所述镜头在所述子区域内,由所述子区域内的第一个位置点开始向所述子区域的最后一个位置点移动,以在所述子区域的各个位置点中找到一个能够在所述镜头完成对焦使得其所采集到的光线在感光芯片上成像清晰度最高的一个位置点,即为所述目标位置点,此时,再执行所述步骤107,利用处于该目标位置点上的镜头获得图像数据,此时所获取到的图像数据的清晰度满足所述第一条件,如清晰度最高。
在具体实现中,所述步骤104中所获取到的体貌特征数据,可以为所述目标人体的躯体特征数据或者所述目标人体的面部特征数据。
具体的,所述目标人体的面部特征数据可以包括有:所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据,例如,所述目标人体的两只眼睛及嘴巴之间的空间相对位置特征数据。
相应的,参考图4,为本发明提供的一种图像对焦的控制方法实施例三中所述步骤104的实现流程图,其中,所述步骤104可以通过以下步骤实现:
步骤141:识别所述当前预览画面中目标人体的面部中的至少两个部位。
例如,所述步骤141中识别所述当前预览画面中所示目标人体的面部中的两只眼睛z1、z2和嘴巴z3三个部位,如图2c中所示。
或者,如图2d中所示,所述步骤141中识别所述当前预览画面中所示目标人体的面部中的两只眼睛z1、z2和脸颊z4三个部位。
步骤142:基于所识别出的所述至少两个部位,测量所述当前预览画面中所示目标人体的面部中所述至少两个部位中每两个部位之间的空间距离数据。
如图2e中所示,测量所述当前预览画面中,眼睛z1与眼睛z2之间的画面空间距离l1、眼睛z1和嘴巴z3之间的画面空间距离l2,以及眼睛z2和嘴巴z3之间的画面空间距离l3。
如图2f中所示,测量所述当前预览画面中,眼睛z1与眼睛z2之间的画面空间距离l1,以及脸颊z4的空间宽度l4。
步骤143:依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据。
以如图2e中方案为例,本实施例中基于所述眼睛z1与眼睛z2之间的画面空间距离l1、眼睛z1和嘴巴z3之间的画面空间距离l2,以及眼睛z2和嘴巴z3之间的画面空间距离l3,获取眼睛z1、眼睛z2和嘴巴z3之间的空间相对位置特征数据。
基于上述实现方案,参考图5,为本发明实施例中所述步骤105的实现流程图,其中,所述步骤105可以通过以下步骤实现:
步骤151:依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据相对应的目标映射关系。
步骤152:基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
其中,由前文中可知,所述映射关系表中具有不同距离下所对应的人体体貌特征数据的映射关系,即:不同距离下所对应的人体面部至少两个部位之间的空间相对位置特征数据的映射关系,因此,所述步骤151具体的,可以在所述映射关系表中查找与所空间相对位置特征数据相对应的目标映射关系。之后,所述步骤152中将该目标映射关系中的距离,确定为当前所述图像采集装置进行图像采集时所述图像采集装置与其被拍摄场景即所述目标人体之间的目标距离。
在后续的执行方案中,本实施例首先基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域内,再利用所述镜头获得图像数据。
参考图6,为本发明提供的一种图像对焦的控制方法实施例四的流程图,其中,在所述步骤103中所得到的分析结果表明所述当前预览画面中不存在人物时,所述方法还可以包括以下步骤:
步骤109:控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点上,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点。
步骤110:控制所述镜头移动至所述对焦位置点上,执行步骤107利用所述镜头获得图像数据。
其中,所述镜头处于所述对焦位置点时其获得到的图像数据的清晰度满足预设第二条件。所述第二条件可以为所述清晰度大于预设阈值。或者,所述第二条件为:所述镜头处于所述对焦位置点上所获得的图像数据在所述镜头位于所述对焦移动区域中的任意一个位置点上所获得的图像数据中的清晰度最高。如图2g中所示,所述对焦移动区域中包含有多个位置点,相对所述图像采集装置中的感光芯片最远距离的起始位置点w1及相对所述感光芯片最近距离的结束位置点wm,w1与wm之间具有中间位置点w2、w3等,本实施例控制所述镜头由w1开始,依次经过w2及w3等,直到wm,完成所述镜头在所述对焦移动区域内各个位置点上的移动,进而找到所述镜头位于每个位置点上所能够采集到的图像清晰度,进而确定图像清晰度最高的位置点为所述对焦位置点,再将所述镜头移动至所述对焦位置点上,使得所述镜头处于所述对焦位置点时其获得到的图像数据的清晰度最高。
另外,所述目标人体的躯体特征数据可以包括有:所述目标人体的躯体画面面积特征,或者所述躯体上躯干和四肢之间的空间相对位置特征数据等。
参考图7,为本发明提供的一种图像对焦的控制装置实施例五的结构示意图,其中,所述装置应用于电子设备中,该电子设备可以为具有图像采集装置的手机、pad、单反拍摄装置等终端设备。所述图像采集装置可以为相机等装置。
在本实施例中,所述装置可以包括以下结构,以实现本发明目的:
映射预置单元701,用于在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表。
其中,所述映射关系表中至少包括一个映射关系,这些映射关系为:人体体貌特征数据与距离的映射关系,也就是说,本实施例中的映射预置单元701在所述电子设备中预先设置一个映射关系表,具体的,所述映射预置单元701预先在不同距离下利用所述图像采集装置拍摄图像,对这些不同距离下对应的图像进行特征分析,以得到不同距离下所对应的人体体貌特征数据,将这些人体体貌特征数据与其各自对应的距离建立一一映射关系,组成映射关系表。
需要说明的是,所述映射关系表可以预先设置或存储在所述电子设备中的存储单元或者所述图像采集装置的镜头的EEPROM(ElectricallyErasableProgrammableRead-OnlyMemory,电可擦可编程只读存储器),所述EEPROM是一种掉电后数据不丢失的存储芯片,或者,所述映射关系表可以存储在所述镜头的OTP(onetimeprogrammable,一次编辑不可再修改的寄存器)中。
预览获取单元702,用于在所述图像采集装置进行图像采集时,获得当前预览画面。
其中,所述预览获取单元702在获得所述当前预览画面时,可以利用所述图像采集装置中的镜头进行获取,区别于图像数据的采集,所述当前预览画面不会在所述图像采集装置中的感光芯片上成像。
图像分析单元703,用于对所述当前预览画面进行图像分析,得到分析结果,在所述分析结果表明所述当前预览画面中存在人物时,触发特征获取单元704。
其中,所述图像分析单元703具体的可以通过对所述当前预览画面进行像素扫描识别,以识别所述当前预览画面中的人物画面,进而得到分析结果,所述分析结果能够表征所述当前预览画面中是否存在人物。
特征获取单元704,用于获取所述当前预览画面中目标人体的体貌特征数据。
其中,所述特征获取单元704具体可以在识别出该当前预览画面中存在人物时,进一步对所述当前预览画面中的人物特征进行特征识别,例如,对所述当前预览画面中目标人体的体貌特征进行识别,首先确定所述当前预览画面中所示目标人体对应的人体画面,进而对该人体画面中的体貌特征进行识别,如四肢、躯干及头部等特征,进而获取到所述目标人体的体貌特征数据。
距离确定单元705,用于依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离。
基于前述内容,所述映射关系表中具有不同距离下所对应的人体体貌特征数据的映射关系,因此,所述距离确定单元705在所述映射关系表中查询与该目标人体的体貌特征数据对应的距离,将该距离作为所述目标人体与所述电子设备之间的目标距离。
镜头控制单元706,用于基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中。
其中,所述图像采集装置中的镜头具有其进行对焦的对焦移动区域,如图2a中所示,在现有技术中,所述镜头在所述对焦移动区域上来回移动,以找到一个使得所述镜头所获取的图像的清晰度较高的一个位置。
在本实施例中,预先对所述对焦移动区域基于所述图像采集装置与被拍摄场景之间的远近距离进行子区域划分,如图2b中所示,在所述被拍摄景物与所述图像采集装置之间的距离为x1时,所述镜头处于子区域y1中的位置点进行图像采集的清晰度较高;在所述被拍摄场景与所述图像采集装置之间的距离为x2时,所述镜头处于子区域y2中的位置点进行图像采集的清晰度较高,以此类推,在所述被拍摄场景与所述图像采集装置之间的距离为xn时,所述镜头处于子区域yn中的位置点进行图像采集的清晰度较高。利用这一方案,所述镜头控制单元706可以基于所述目标距离,将所述图像采集装置中的镜头移动至与所述目标距离相对应的子区域中。
图像获取单元707,用于利用所述镜头获得图像数据。
具体的,所述图像获取单元707利用所述镜头采集被拍摄场景的光线,将所述光线在所述图像采集装置上的感光芯片上成像,以获得所述被拍摄场景的图像数据。
经由上述的技术方案可知,与现有技术相比,本申请公开提供的一种图像对焦的控制装置实施例五,通过在电子设备中预先设置一个映射关系表,这一映射关系表中包括有预先设置的人体体貌特征数据与图像采集时人体距离电子设备的距离之间的映射关系,由此,在利用电子设备中的图像采集装置进行图像采集时,本申请可以在获取当前预览画面之后对该当前预览画面进行图像分析,进而在当前预览画面中存在人物时,来获取当前预览画面中的人体体貌特征数据,此时,利用已经预先设置的映射关系表中的各个映射关系确定该体貌特征数据所对应的目标人体与电子设备之间的目标距离,即图形采集装置与被图像采集的目标人体之间的距离,进而基于该距离,控制镜头直接移动到其对焦移动区域中与该目标距离对应的子区域中,此时再利用镜头获得图像数据,这一过程中无需控制镜头在其对焦移动区域内的所有位置点上移动,而是直接移动到与图像拍摄距离对应的子区域以寻找到合适的对焦点,由此节省了镜头移动时间,提高图像采集的效率。
基于前述方案,为了能够在保证图像采集效率的同时,提高对焦清晰度,在本实施例中,可以控制所述镜头在该子区域内移动进而完成对焦。相应的,参考图8,为本发明提供的一种图像采集的控制装置实施例六的结构示意图,其中,所述装置还可以包括以下结构:
子区域对焦单元708,在所述镜头控制单元706控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中之后,在所述图像获取单元707利用所述镜头获得图像数据之前,用于控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上。
其中,所述图像获取单元707利用所述镜头处于所述目标位置点时所获取到的图像数据的清晰度满足预设第一条件。
其中,所述第一条件可以为所述清晰度大于预设阈值。或者,所述第一条件为:所述镜头处于所述目标位置点上所获得的图像数据在所述镜头位于所述子区域中的任意一个位置点上所获得的图像数据中的清晰度最高。
具体的,所述子区域对焦单元708控制所述镜头在所述子区域内,由所述子区域内的第一个位置点开始向所述子区域的最后一个位置点移动,以在所述子区域的各个位置点中找到一个能够在所述镜头完成对焦使得其所采集到的光线在感光芯片上成像清晰度最高的一个位置点,即为所述目标位置点,此时,再触发所述图像获取单元707,利用处于该目标位置点上的镜头获得图像数据,此时所获取到的图像数据的清晰度满足所述第一条件,如清晰度最高。
在具体实现中,所述特征获取单元704所获取到的体貌特征数据包括:目标人体的躯体特征数据或目标人体的面部特征数据。
具体的,所述特征获取单元704所获取到的面部特征数据包括:所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据,例如,所述目标人体的两只眼睛及嘴巴之间的空间相对位置特征数据。
相应的,参考图9,为本发明提供的一种图像采集的控制装置实施例七中所述特征获取单元704的结构示意图,其中,所述特征获取单元704可以包括有以下结构:
部位识别子单元741,用于识别所述当前预览画面中目标人体的面部中的至少两个部位。
例如,所述部位识别子单元741识别所述当前预览画面中所示目标人体的面部中的两只眼睛z1、z2和嘴巴z3三个部位,如图2c中所示。
或者,如图2d中所示,所述步骤141中识别所述当前预览画面中所示目标人体的面部中的两只眼睛z1、z2和脸颊z4三个部位。
距离测量子单元742,用于基于所识别出的所述至少两个部位,测量所述当前预览画面中所述目标人体的面部中所示至少两个部位中每两个部位之间的空间距离数据。
如图2e中所示,所述距离测量子单元742测量所述当前预览画面中,眼睛z1与眼睛z2之间的画面空间距离l1、眼睛z1和嘴巴z3之间的画面空间距离l2,以及眼睛z2和嘴巴z3之间的画面空间距离l3。
如图2f中所示,测量所述当前预览画面中,眼睛z1与眼睛z2之间的画面空间距离l1,以及脸颊z4的空间宽度l4。
特征获取子单元743,用于依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据。
以如图2e中方案为例,所述特征获取子单元743基于所述眼睛z1与眼睛z2之间的画面空间距离l1、眼睛z1和嘴巴z3之间的画面空间距离l2,以及眼睛z2和嘴巴z3之间的画面空间距离l3,获取眼睛z1、眼睛z2和嘴巴z3之间的空间相对位置特征数据。
基于上述实现方案,参考图10,为本发明实施例中所述距离确定单元705的结构示意图,其中,所述距离确定单元705可以包括以下结构:
目标映射获取子单元751,用于依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少部位之间的空间相对位置特征数据相对应的目标映射关系。
目标距离确定子单元752,用于基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
其中,由前文中可知,所述映射关系表中具有不同距离下所对应的人体体貌特征数据的映射关系,即:不同距离下所对应的人体面部至少两个部位之间的空间相对位置特征数据的映射关系,因此,所述目标映射获取子单元751具体的,可以在所述映射关系表中查找与所空间相对位置特征数据相对应的目标映射关系。之后,所述目标距离确定子单元752将该目标映射关系中的距离,确定为当前所述图像采集装置进行图像采集时所述图像采集装置与其被拍摄场景即所述目标人体之间的目标距离。
在后续的执行方案中,本实施例首先基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域内,再利用所述镜头获得图像数据。
参考图11,为本发明提供的一种图像对焦的控制装置实施例八的结构示意图,其中,所述装置还可以包括以下结构:
移动区域对焦单元709,在所述图像分析单元703所得到的分析结果表明所述当前预览画面中不存在人物时,用于控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点。
镜头对焦移动单元710,用于控制所述镜头移动至所述对焦位置点上,以触发所述图像获取单元707利用所述镜头获得图像数据。
其中,所述图像获取单元707利用所述镜头处于所述对焦位置点时所获取到的图像数据的清晰度满足预设第二条件。所述第二条件可以为所述清晰度大于预设阈值。或者,所述第二条件为:所述镜头处于所述对焦位置点上所获得的图像数据在所述镜头位于所述对焦移动区域中的任意一个位置点上所获得的图像数据中的清晰度最高。如图2g中所示,所述对焦移动区域中包含有多个位置点,相对所述图像采集装置中的感光芯片最远距离的起始位置点w1及相对所述感光芯片最近距离的结束位置点wm,w1与wm之间具有中间位置点w2、w3等,所述移动区域对焦单元709控制所述镜头由w1开始,依次经过w2及w3等,直到wm,完成所述镜头在所述对焦移动区域内各个位置点上的移动,进而找到所述镜头位于每个位置点上所能够采集到的图像清晰度,进而确定图像清晰度最高的位置点为所述对焦位置点,所述镜头对焦移动单元710将所述镜头移动至所述对焦位置点上,使得所述镜头处于所述对焦位置点时其获得到的图像数据的清晰度最高。
另外,所述目标人体的躯体特征数据可以包括有:所述目标人体的躯体画面面积特征,或者所述躯体上躯干和四肢之间的空间相对位置特征数据等。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像对焦的控制方法,应用于电子设备,所述电子设备包括图像采集装置,所述方法包括:
在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表,所述映射关系表中包括至少一个人体体貌特征数据与距离的映射关系;
在所述图像采集装置进行图像采集时,获得当前预览画面;
对所述当前预览画面进行图像分析,得到分析结果;
在所述分析结果表明所述当前预览画面中存在人物时,获取所述当前预览画面中目标人体的体貌特征数据;
依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离;
基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域内;
利用所述镜头获得图像数据。
2.根据权利要求1所述的方法,其特征在于,在利用所述镜头获得图像数据之前,所述方法还包括:
控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上;
其中,所述镜头处于所述目标位置点时其获得到的图像数据的清晰度满足预设第一条件。
3.根据权利要求1所述的方法,其特征在于,所述体貌特征数据包括:目标人体的躯体特征数据或目标人体的面部特征数据。
4.根据权利要求3所述的方法,其特征在于,所述面部特征数据包括:目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述获取所述当前预览画面中目标人体的体貌特征数据,包括:
识别所述当前预览画面中目标人体的面部中的至少两个部位;
基于所识别出的所述至少两个部位,测量所述当前预览画面中所述目标人体的面部中所述至少两个部位中每两个部位之间的空间距离数据;
依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离,包括:
依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据相对应的目标映射关系;
基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
5.根据权利要求1所述的方法,其特征在于,在所述分析结果表明所述当前预览画面中不存在人物时,所述方法还包括:
控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点上,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点;
控制所述镜头移动至所述对焦位置点上;
利用所述镜头获得图像数据;
其中,所述镜头处于所述对焦位置点时其获得到的图像数据的清晰度满足预设第二条件。
6.一种图像对焦的控制装置,应用于电子设备,所述电子设备包括图像采集装置,所述装置包括:
映射预置单元,用于在所述电子设备中,预先设置人体体貌特征数据与人体距电子设备的距离之间的映射关系表,所述映射关系表中包括至少一个人体体貌特征数据与距离的映射关系;
预览获取单元,用于在所述图像采集装置进行图像采集时,获得当前预览画面;
图像分析单元,用于对所述当前预览画面进行图像分析,得到分析结果,在所述分析结果表明所述当前预览画面中存在人物时,触发特征获取单元;
特征获取单元,用于获取所述当前预览画面中目标人体的体貌特征数据;
距离确定单元,用于依据所述映射关系表中的映射关系及所述目标人体的体貌特征数据,确定所述目标人体与所述电子设备之间的目标距离;
镜头控制单元,用于基于所述目标距离,控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中;
图像获取单元,用于利用所述镜头获得图像数据。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
子区域对焦单元,在所述镜头控制单元控制所述图像采集装置中的镜头移动至所述镜头的对焦移动区域中的子区域中之后,在所述图像获取单元利用所述镜头获得图像数据之前,用于控制所述镜头在所述子区域内的各个位置点上移动,直到所述镜头处于所述子区域内的一个目标位置点上;
其中,所述图像获取单元利用所述镜头处于所述目标位置点时所获取到的图像数据的清晰度满足预设第一条件。
8.根据权利要求6所述的装置,其特征在于,所述特征获取单元所获取到的体貌特征数据包括:目标人体的躯体特征数据或目标人体的面部特征数据。
9.根据权利要求8所述的装置,其特征在于,所述特征获取单元所获取到的面部特征数据包括:目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述特征获取单元包括:
部位识别子单元,用于识别所述当前预览画面中目标人体的面部中的至少两个部位;
距离测量子单元,用于基于所识别出的所述至少两个部位,测量所述当前预览画面中所述目标人体的面部中所示至少两个部位中每两个部位之间的空间距离数据;
特征获取子单元,用于依据所述每两个部位之间的空间距离数据,获得所述目标人体的面部中的至少两个部位之间的空间相对位置特征数据;
相应的,所述距离确定单元包括:
目标映射获取子单元,用于依据所述映射关系表中的映射关系,获得与所述目标人体的面部中的至少部位之间的空间相对位置特征数据相对应的目标映射关系;
目标距离确定子单元,用于基于所述目标映射关系,确定所述目标人体距电子设备的目标距离。
10.根据权利要求6所述的装置,其特征在于,还包括:
移动区域对焦单元,在所述图像分析单元所得到的分析结果表明所述当前预览画面中不存在人物时,用于控制所述镜头在其对焦移动区域内,从其起始位置点开始,依次移动到所述对焦移动区域内的各个位置点,到达所述对焦移动区域内的结束位置点上,以确定出所述对焦移动区域内的对焦位置点;
镜头对焦移动单元,用于控制所述镜头移动至所述对焦位置点上,以触发所述图像获取单元利用所述镜头获得图像数据;
其中,所述图像获取单元利用所述镜头处于所述对焦位置点时所获取到的图像数据的清晰度满足预设第二条件。
CN201510548776.1A 2015-08-31 2015-08-31 图像采集的控制方法以及装置 Pending CN105120165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510548776.1A CN105120165A (zh) 2015-08-31 2015-08-31 图像采集的控制方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510548776.1A CN105120165A (zh) 2015-08-31 2015-08-31 图像采集的控制方法以及装置

Publications (1)

Publication Number Publication Date
CN105120165A true CN105120165A (zh) 2015-12-02

Family

ID=54668041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510548776.1A Pending CN105120165A (zh) 2015-08-31 2015-08-31 图像采集的控制方法以及装置

Country Status (1)

Country Link
CN (1) CN105120165A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899800A (zh) * 2016-06-28 2017-06-27 阿里巴巴集团控股有限公司 相机对焦的方法、装置及移动终端设备
CN108989791A (zh) * 2018-07-11 2018-12-11 昆山丘钛微电子科技有限公司 一种马达线性检测方法、装置及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025722A1 (en) * 2005-07-26 2007-02-01 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
CN101086598A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像装置、成像装置的控制方法、和计算机程序
US20110134273A1 (en) * 2006-06-09 2011-06-09 Sony Corporation Imaging apparatus, control method of imaging apparatus, and computer program
CN103024338A (zh) * 2011-04-08 2013-04-03 数字光学欧洲有限公司 具有图像捕获和分析模块的显示设备
CN103246130A (zh) * 2013-04-16 2013-08-14 广东欧珀移动通信有限公司 一种对焦方法及装置
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的***和方法
CN104360456A (zh) * 2014-11-14 2015-02-18 广东欧珀移动通信有限公司 镜头对焦控制方法及装置
CN104853088A (zh) * 2015-04-09 2015-08-19 来安县新元机电设备设计有限公司 一种移动终端拍照时快速对焦的方法及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025722A1 (en) * 2005-07-26 2007-02-01 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
CN101086598A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像装置、成像装置的控制方法、和计算机程序
US20110134273A1 (en) * 2006-06-09 2011-06-09 Sony Corporation Imaging apparatus, control method of imaging apparatus, and computer program
CN103024338A (zh) * 2011-04-08 2013-04-03 数字光学欧洲有限公司 具有图像捕获和分析模块的显示设备
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的***和方法
CN103246130A (zh) * 2013-04-16 2013-08-14 广东欧珀移动通信有限公司 一种对焦方法及装置
CN104360456A (zh) * 2014-11-14 2015-02-18 广东欧珀移动通信有限公司 镜头对焦控制方法及装置
CN104853088A (zh) * 2015-04-09 2015-08-19 来安县新元机电设备设计有限公司 一种移动终端拍照时快速对焦的方法及移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899800A (zh) * 2016-06-28 2017-06-27 阿里巴巴集团控股有限公司 相机对焦的方法、装置及移动终端设备
CN108989791A (zh) * 2018-07-11 2018-12-11 昆山丘钛微电子科技有限公司 一种马达线性检测方法、装置及计算机可读存储介质
CN108989791B (zh) * 2018-07-11 2020-10-09 昆山丘钛微电子科技有限公司 一种马达线性检测方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106911922B (zh) 从单个传感器生成的深度图
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
CN110266938B (zh) 基于深度学习的变电站设备智能拍摄方法及装置
CN105933589A (zh) 一种图像处理方法及终端
CN110996002B (zh) 显微镜聚焦方法、装置、计算机设备和存储介质
CN106101540A (zh) 对焦点确定方法及装置
CN108235816A (zh) 图像识别方法、***、电子设备和计算机程序产品
CN113132717A (zh) 数据处理方法、终端和服务器
CN105354296A (zh) 一种终端定位方法和用户终端
CN109379538B (zh) 图像采集设备、***及方法
CN111179408B (zh) 三维建模的方法及设备
CN105120165A (zh) 图像采集的控制方法以及装置
CN109711287B (zh) 人脸采集方法及相关产品
CN110930437B (zh) 目标跟踪方法和装置
JP3919722B2 (ja) 肌形状計測方法及び肌形状計測装置
CN112631333A (zh) 无人机的目标跟踪方法、装置及图像处理芯片
CN104748862A (zh) 分析装置和分析方法
CN104349197A (zh) 一种数据处理方法及装置
CN105120149A (zh) 一种自动聚焦的方法以及终端
CN114998980B (zh) 一种虹膜检测方法、装置、电子设备及存储介质
CN114494857A (zh) 一种基于机器视觉的室内目标物识别和测距方法
CN103900714A (zh) 热像匹配装置和热像匹配方法
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
KR101133024B1 (ko) 트레이닝 기반의 자동 초점 장치 및 방법
CN109269477A (zh) 一种视觉定位方法、装置、设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202