CN110263680B - 图像处理方法、装置和***及存储介质 - Google Patents

图像处理方法、装置和***及存储介质 Download PDF

Info

Publication number
CN110263680B
CN110263680B CN201910477796.2A CN201910477796A CN110263680B CN 110263680 B CN110263680 B CN 110263680B CN 201910477796 A CN201910477796 A CN 201910477796A CN 110263680 B CN110263680 B CN 110263680B
Authority
CN
China
Prior art keywords
face
image
optimal
face image
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910477796.2A
Other languages
English (en)
Other versions
CN110263680A (zh
Inventor
卢龙飞
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201910477796.2A priority Critical patent/CN110263680B/zh
Publication of CN110263680A publication Critical patent/CN110263680A/zh
Application granted granted Critical
Publication of CN110263680B publication Critical patent/CN110263680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供图像处理方法、装置和***以及存储介质。方法包括：实时获取图像序列；实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像；在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。可以有效减少无用计算。

Description

图像处理方法、装置和***及存储介质
技术领域
本发明涉及人脸识别领域，更具体地涉及一种图像处理方法、装置和***以及存储介质。
背景技术
在人脸识别领域，可以利用图像采集装置(例如相机)采集某个人的人脸图像，随后可以利用采集的人脸图像进行人脸识别。在一个人出现在相机画面里到离开相机画面的过程中，相机可以采集到许多张此人的人脸图像，如果每个人脸图像都发送到人脸识别模块进行人脸识别的话，会为人脸识别***带来巨大的计算负载，容易造成设备发热发烫、计算能力下降、耗电多、续航时间短等问题，最重要的是会增加无用计算，因为一个人一旦成功识别之后就无需再多次重复识别。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法、装置和***以及存储介质。
根据本发明一方面，提供了一种图像处理方法。该方法包括：实时获取图像序列；实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像；在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。
示例性地，将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别包括：实时判断属于目标对象的人脸图像中每个人脸图像的人脸质量是否达到预设要求，直至最早人脸图像出现；以及将最早人脸图像发送到人脸识别模块进行人脸识别。
示例性地，将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别包括：实时判断属于目标对象的人脸图像中每个人脸图像的人脸质量是否达到预设要求；在属于目标对象的人脸图像中的当前人脸图像的人脸质量达到预设要求的情况下，判断属于目标对象的人脸图像中是否存在任一先前人脸图像已经发送到人脸识别模块，如果不存在则确定当前人脸图像是最早人脸图像；将最早人脸图像发送到人脸识别模块进行人脸识别。
示例性地，在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像包括：在属于目标对象的人脸图像中，将第一个人脸质量超过最早人脸图像的人脸质量的人脸图像作为最优人脸图像缓存在最优帧队列中；每次获得属于目标对象的当前人脸图像时，将当前人脸图像的人脸质量与最优人脸图像的人脸质量进行对比；在当前人脸图像的人脸质量超过最优人脸图像的人脸质量的情况下，将最优帧队列中缓存的最优人脸图像更新为当前人脸图像。
示例性地，目标对象和特定对象是同一对象，在预定时刻，检查最优帧队列的图像缓存情况包括：在基于最早人脸图像进行人脸识别失败的情况下，检查最优帧队列中是否缓存有属于目标对象的人脸图像，其中，预定时刻是基于最早人脸图像进行人脸识别失败之后的任意时刻。
示例性地，在预定时刻，检查最优帧队列的图像缓存情况包括：每隔预定时段，检查最优帧队列中是否缓存有属于任一对象的人脸图像，其中，特定对象是人脸图像缓存在最优帧队列中的任一对象。
示例性地，在在预定时刻，检查最优帧队列的图像缓存情况之后，方法还包括：如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸已识别出，则将属于特定对象的最优人脸图像从最优帧队列移除和/或将属于特定对象的最优人脸图像存储在存储器中。
示例性地，在实时对图像序列中的每个图像进行人脸检测时，方法还包括：对于分别位于图像序列的两个不同图像中的两个人脸，基于该两个人脸的人脸检测结果中的位置信息之间的差异判断该两个人脸是否属于同一目标对象。
根据本发明另一方面，提供了一种图像处理装置，包括：获取模块，用于实时获取图像序列；检测和分析模块，用于实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；发送模块，用于将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；缓存模块，用于在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像；检查模块，用于在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。
根据本发明另一方面，提供了一种图像处理***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述图像处理方法。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述图像处理方法。
根据本发明实施例的图像处理方法、装置、***及存储介质，采用最早人脸图像以及最优人脸图像结合的人脸识别策略，这种策略可以有效减少无用计算、尽快识别人脸，同时可以尽量提高人脸识别出的概率。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的图像处理方法的示意性流程图；
图3示出根据本发明一个示例的图像处理流程的示意图；
图4示出根据本发明一个实施例的图像处理装置的示意性框图；以及
图5示出根据本发明一个实施例的图像处理***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例提供了一种图像处理方法、装置和***以及存储介质。根据本发明实施例的图像处理方法，采用最早人脸图像以及最优人脸图像结合的人脸识别策略，这种策略可以有效减少无用计算、尽快识别人脸，同时可以尽量提高人脸识别出的概率。根据本发明实施例的图像处理方法和装置可以应用于任何需要进行人脸识别的领域，例如安防门禁、电子商务、银行业务等领域。
首先，参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示，图像处理方法200包括以下步骤S210、S220、S230、S240和S250。
在步骤S210，实时获取图像序列。
图像序列可以包括至少一个图像。图像序列中的每个图像可以是静态图像，也可以是一段视频中的视频帧，在后一种情况中，所述图像序列即为该段视频。图像序列中的每个图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
图像序列可以来自外部设备，由外部设备传送到电子设备100进行图像处理或者进行图像处理以及后续的人脸识别。此外，图像序列也可以由电子设备100针对人脸进行采集获得。例如，电子设备100可以利用图像采集装置110(例如独立的照相机)采集至少一个图像，以获得图像序列。图像采集装置110可以将采集到的图像序列传送到处理器102，由处理器102进行图像处理或者进行图像处理以及后续的人脸识别。
步骤S220，实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量。
图像序列中的图像可以是依次、实时获取的，每获取一个当前图像，则对该当前图像进行人脸检测并在检测到人脸的情况下获取当前图像中的每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量。
可以采用任何现有的或将来可能出现的人脸检测方法进行人脸检测。本领域技术人员可以理解各种人脸检测方法的实现方式，此处不赘述。
通过人脸检测，可以获得每个图像中所包含的每个人脸的人脸检测结果。示例性地，人脸检测结果可以包括用于指示对应人脸所在位置的位置信息。例如，可以用边界框(bounding box，可简称为bbox)代表人脸所在的位置。示例性地，边界框可以是矩形框。示例性地，边界框的位置信息，即对应人脸的位置信息，可以用四个数值来表示。例如，任一人脸的位置信息可以用以下数值表示：该人脸所对应的边界框的左上角横坐标x、左上角纵坐标y、边界框的宽度w、边界框的高度h。又例如，任一人脸的位置信息可以用该人脸所对应的边界框的四个顶点的坐标表示。
用边界框代表人脸位置的表示方式仅是示例而非限制。例如，可以用人脸上的预设数目的关键点和/或人脸轮廓线代表人脸位置，相应地，任一人脸的位置信息可以包括所述预设数目的关键点的坐标和/或人脸轮廓线上的轮廓点坐标。预设数目的关键点可以包括例如人脸的中心点。
在针对当前图像进行人脸检测之后，可以从当前图像中获取分别包含该图像中的各个人脸的人脸图像，每个人脸图像可以主要包含对应人脸，尽量排除其他人脸和其他类型的干扰(例如建筑物等)。在一个示例中，每个人脸图像可以是从图像序列中的对应图像提取出的包含该人脸图像所对应人脸的图像块，或者是对提取出的图像块进行诸如缩放等处理之后获得的图像。例如，假设一个图像包含两个人脸，则可以从该图像中提取分别包含两个人脸的两个图像块。提取出的图像块可以用于后续的人脸识别等操作。在提取包含任一人脸的图像块时，可以针对每个人脸均提取相同大小的图像块，也可以根据需要提取不同大小的图像块并随后通过缩放等处理归一化。在另一个示例中，每个人脸图像可以是图像序列中的对应图像，或者是对对应图像进行诸如缩放、降噪等处理后获得的图像。后一个示例特别适用于图像序列中的每个图像最多仅包含一个人脸的情况，这种情况下可以无需针对每个人脸提取单独的图像块。
对于人脸图像来说，可能存在多种指标用来衡量人脸质量的好坏。例如，可以根据人脸图像中的人脸姿态(可以用人脸角度表示，即人脸向某些方向偏转的角度)、图像模糊程度、人脸遮挡状态、光照情况等指标中的一种或多种来衡量人脸质量。
具体地，例如，如果人脸侧脸角度或俯仰角度超过角度阈值，则可以认为人脸质量不合格，认为其无法满足人脸识别准确性的要求。反之，如果人脸侧脸角度或俯仰角度不超过角度阈值，则可以认为人脸质量合格。又例如，如果人脸图像的模糊程度超过模糊阈值，也可以认为人脸质量不合格。反之，如果人脸图像的模糊程度不超过模糊阈值，则可以认为人脸质量合格。又例如，如果人脸中的一些关键部位(例如，眼睛和/或嘴巴)被遮挡，则认为人脸质量不合格。反之，如果人脸中的关键部位未被遮挡，则认为人脸质量合格。又例如，如果人脸图像的光照亮度低于亮度阈值，则认为人脸质量不合格。反之，如果人脸图像的光照亮度不低于亮度阈值，则认为人脸质量合格。再例如，可以综合考虑多种指标，如在人脸图像的模糊程度超过模糊阈值或者图像亮度低于亮度阈值的情况下，可以认为人脸质量不合格。反之，在人脸图像的模糊程度不超过模糊阈值并且图像亮度不低于亮度阈值的情况下，可以认为人脸质量合格。本领域技术人员应该理解的是，上述指标的综合是示例性的，本发明并不局限于此，本领域技术人员还可以根据实际需要，对上述各指标进行多种综合。
示例性地，针对每个人脸图像，可以将人脸质量所涉及的指标，例如人脸姿态、图像模糊程度、人脸遮挡状态、光照情况等中的一种或多种，综合在一起计算一个质量评分。在这种情况下，每个人脸图像的人脸质量分析结果可以包括该人脸图像的质量评分。质量评分的高低可以表示人脸质量的好坏。可以将该质量评分与预设的质量阈值相比较，以判断人脸质量是否合格。质量阈值可以是任何合适的阈值，其可以根据需要设定，本发明不对此进行限制。
可以采用任何现有的或将来可能出现的人脸质量分析方法分析人脸质量。示例性而非限制性地，可以利用卷积神经网络分析人脸图像的人脸质量。例如，可以针对上述不同指标(例如，人脸姿态、图像模糊程度以及人脸遮挡状态)分别训练不同的卷积神经网络，每个卷积神经网络分别输出对应指标的评分，最后可以综合起来获得总的质量评分。又例如，可以针对上述多种指标综合训练一种卷积神经网络，该卷积神经网络可以直接输出总的质量评分。
在步骤S230，将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别。
目标对象可以是图像序列中包含的任何人。在实时进行人脸检测的过程中，可以根据在当前时刻之前不同图像的人脸检测结果找出属于同一对象的人脸，该过程可以称为对象跟踪。
示例性地，可以实时地将从图像序列的每个图像中检测出的每个人脸的位置信息输入***模块，***模块通过对象跟踪算法，可以获得与每个对象相关的至少一个跟踪轨迹，从而获知哪些人脸属于同一对象。例如，通过跟踪，可以获得大量带跟踪标识符(track ID)的边界框，同一对象的边界框可以分配相同的track ID。也就是说，两个位于不同图像中的边界框具有相同的track ID，这代表它们属于同一对象。基于边界框可以提取出对应人脸的人脸图像，这样也就可以知道哪些人脸或说哪些人脸图像属于同一对象。每个track ID可以代表一个跟踪轨迹，例如对象A的track ID可以为1，对象B的track ID可以为2，以此类推。因此，针对每个对象可以获得一个跟踪轨迹。
假设在当前时刻之前，从图像序列的10个图像检测到同一对象A，则可以相应获取对象A的10个人脸图像。示例性地，在获得对象A的每个人脸图像时，可以将该人脸图像的人脸质量评分与质量阈值相比较，以判断其是否达到预设要求。例如，质量阈值是90分，前5个人脸图像的人脸质量评分均低于该阈值，但是第6个人脸图像的人脸质量评分是91分，则可以确定第6个人脸图像是人脸质量最早达到预设要求的最早人脸图像。此时，可以将对象A的第6个人脸图像发送到人脸识别模块进行人脸识别。
人脸识别可以包括将人脸图像中的人脸与参考人脸进行对比，以识别人脸图像所属对象的身份。人脸图像与参考图像的对比可以是一对一对比，也可以是一对多对比。本领域技术人员可以理解人脸识别的实现方式，本文不赘述。
对于当前检测到的任一对象，可以实时判断属于该对象的每个人脸图像的人脸质量是否达到预设要求。当找到最早达到预设要求的人脸图像之后，可以将该人脸图像发送到人脸识别模块进行人脸识别，后面即使再获得该对象的达到预设要求的人脸图像，也不再将其发送到人脸识别模块，除非其是缓存在最优帧队列中的最优人脸图像。
可以理解，上述将目标对象的最早人脸图像发送到人脸识别模块进行人脸识别的操作在目标对象的最早人脸图像存在的情况下执行。在实时获取图像序列的过程中，随着时间增加，图像序列中的图像数目是越来越多的，在前几个图像中可能无法检测到目标对象的人脸质量达到预设要求，但当获取到某一个图像时，可能检测到目标对象的人脸质量达到预设要求，此时可以开始执行步骤S230。
在步骤S240，在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像。
假设仅发送最早人脸图像进行人脸识别，如果质量分析出现误差或者即使人脸质量达到预设要求也无法正确识别出人脸，则可能会使得这一对象的人脸再也无法识别出。因此，在通过最早人脸图像进行人脸识别的同时，还可以缓存质量最好的最优人脸图像，这样在通过最早人脸图像无法识别出人脸的情况下还可以用最优人脸图像辅助进行人脸识别。缓存最优人脸图像以及通过最优人脸图像进行辅助人脸识别这些操作所需的计算量比每个人脸图像均进行人脸识别所需的计算量要小得多，因此结合最早人脸图像和最优人脸图像进行人脸识别的方案所需的计算量远小于每个人脸图像均进行人脸识别的方案，并且其人脸识别出的概率高于针对每个对象仅考虑单一人脸图像的方案的识别概率。需注意，在本文中，“结合最早人脸图像和最优人脸图像进行人脸识别”是指在需要时(例如最早人脸图像识别失败时)用最优人脸图像辅助人脸识别，而并非指必须同时利用最早人脸图像和最优人脸图像进行人脸识别。
示例性地，最优帧队列可以存储在内存中。最优帧队列可以占据一定的内存空间，在最优帧队列中，可以为每个对象分别分配内存空间，用于缓存该对象的最优人脸图像。对于同一对象，最优帧队列可以仅缓存目前为止人脸质量达到预设要求且人脸质量最好的单个人脸图像。
可以理解，上述在最优帧队列中缓存最优人脸图像的操作在步骤S230之后执行。到获取最早人脸图像的时刻为止，最早人脸图像是人脸质量最好的人脸图像，之后随着图像序列中的图像数目越来越多，有可能检测到人脸质量超过最早人脸图像的人脸图像，此时可以将该人脸图像缓存在最优帧队列中。如果后面出现比当前已缓存的最优人脸图像人脸质量更好的人脸图像，则可以用该人脸图像作为新的最优人脸图像缓存起来。
在步骤S250，在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。
如上所述，虽然已经将属于某一对象的最早人脸图像发送到人脸识别模块进行过人脸识别，但是有可能无法识别成功。对于这类对象，可以通过其最优人脸图像进行辅助识别。
预定时刻可以是任意合适的时刻。例如，预定时刻可以是目标对象通过其最早人脸图像进行人脸识别失败之后的某一时刻。又例如，预定时刻还可以是自计时时刻(例如下述开启定时器的时刻)开始每隔预定时段所到达的时刻。
例如，可以每隔预定时段就检测一下最优帧队列中是否缓存有人脸图像，如果有，可以判断该人脸图像所属对象的人脸是否已经被识别出来，如果已经识别出来，则可以将该人脸图像存储在非易失性存储器(例如磁盘)中，进行长久存储，如果尚未识别出，则可以利用该人脸图像进行人脸识别。
步骤S230和步骤S240中所涉及的目标对象可以是任一对象。在一个示例中，可以对从图像序列中检测出的每个对象都分别执行步骤S230和S240，即，从图像序列中检测出的每个对象可以分别作为目标对象来执行步骤S230和S240。在另一个示例中，可以仅对从图像序列中检测出的部分对象中的每个对象分别执行步骤S230和S240。例如，可以由用户指定或者***自动选择某一个或多个对象分别作为目标对象来执行步骤S230和S240。
步骤S250中所涉及的特定对象可以是任一对象。在一个示例中，所述特定对象是步骤S230和步骤S240中所涉及的目标对象，例如在通过步骤S230无法成功识别目标对象的人脸的情况下，可以从最优帧队列中读取其最优人脸图像进行人脸识别。在这种情况下，检查最优帧队列的图像缓存情况时，进行针对性检查，即仅检查是否缓存有目标对象的人脸图像。在另一个示例中，所述特定对象可以是在预定时刻最优帧队列已缓存有其人脸图像的任一对象。在这种情况下，检查最优帧队列的图像缓存情况时，进行非针对性检查，即检查是否缓存有任一对象的人脸图像，如果缓存有一个或多个对象的人脸图像，可以将这一个或多个对象分别视作特定对象。可以理解的是，在后一示例中，如果在预定时刻，已执行过步骤S230和S240，即针对所述目标对象已缓存其最优人脸图像的话，则非针对性检查也会检查到目标对象的人脸图像，此时目标对象可被视作特定对象。
需注意，图2所示的图像处理方法200的各步骤并不局限于顺序执行方式，例如，步骤S210和S220均是实时执行的，步骤S210可以实时地、依次地获取图像序列中的一个个图像，每获取一个图像，可以对其进行步骤S220中所涉及的人脸检测、人脸图像提取以及人脸质量分析等步骤。此外，步骤S230、S240和S250分别有各自的执行时间或执行条件，这可以结合本文描述理解。
根据本发明实施例的图像处理方法，可以挑选人脸质量最早合格(达到预设要求)的最快人脸图像进行人脸识别，而非每个人脸图像都进行人脸识别，这样可以有效减少无意义的重复识别，即减少无用计算，同时还有助于尽量快速地识别出人脸。与此同时，该方法还缓存在最早人脸图像之后的人脸质量最好的最优人脸图像，当某个人通过其最早人脸图像无法成功识别出人脸时，可以用缓存的最优人脸图像进行人脸识别，这样可以提高人脸被识别出的概率。可见，这种最早人脸图像以及最优人脸图像结合的人脸识别策略可以有效减少无用计算、尽快识别人脸，同时可以尽量提高人脸识别出的概率。
示例性地，根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者***中实现。
根据本发明实施例的图像处理方法可以部署在图像采集端处，例如，在安防应用领域，可以部署在门禁***的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端获取图像，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行图像处理。
根据本发明实施例，将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别(步骤S230)可以包括：实时判断属于目标对象的人脸图像中每个人脸图像的人脸质量是否达到预设要求，直至最早人脸图像出现；以及将最早人脸图像发送到人脸识别模块进行人脸识别。
当目标对象的最早人脸图像出现之后，可以无需再判断后续的人脸图像是否达到预设要求，这样可以减少计算量。
根据本发明实施例，将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别(步骤S230)可以包括：实时判断属于目标对象的人脸图像中每个人脸图像的人脸质量是否达到预设要求；在属于目标对象的人脸图像中的当前人脸图像的人脸质量达到预设要求的情况下，判断属于目标对象的人脸图像中是否存在任一先前人脸图像已经发送到人脸识别模块，如果不存在则确定当前人脸图像是最早人脸图像；将最早人脸图像发送到人脸识别模块进行人脸识别。
对于目标对象的每个人脸图像都判断其人脸质量是否达到预设要求，如果找到达到预设要求的人脸图像，还需要判断之前是否已有人脸质量达到预设要求的其他图像被发送到人脸识别模块，如果是则不再发送当前人脸图像，否则可以将当前人脸图像发送到人脸识别模块进行人脸识别。
示例性地，可以为检测到的每个对象分配标识信息，用于指示该对象是否存在通过步骤S230判断为人脸质量达到预设要求的人脸图像被发送到人脸识别模块。例如，目标对象的标识信息可以是一个标志位(flag)，当找到最早人脸图像并且将该人脸图像发送到人脸识别模块之后，可以将该标志位的数据从0置为1，后续再获取到目标对象的新的人脸图像时，可以通过读取标志位获知已有先前人脸图像被发送到人脸识别模块，此时可以不再发送该新的人脸图像。
根据本发明实施例，在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像(步骤S240)可以包括：在属于目标对象的人脸图像中，将第一个人脸质量超过最早人脸图像的人脸质量的人脸图像作为最优人脸图像缓存在最优帧队列中；每次获得属于目标对象的当前人脸图像时，将当前人脸图像的人脸质量与最优人脸图像的人脸质量进行对比；在当前人脸图像的人脸质量超过最优人脸图像的人脸质量的情况下，将最优帧队列中缓存的最优人脸图像更新为当前人脸图像。
例如，对于某一对象A来说，可以首先通过步骤S230找到其最早人脸图像Ia1。随后，在获取对象A的下一个人脸图像Ia2之后，可以将Ia2的人脸质量与Ia1的人脸质量进行对比，如果Ia2的人脸质量更好，则可以将Ia2缓存在最优帧队列中。随后，在获取对象A的每一后续人脸图像Iai之后，每次都将Iai与当前缓存的人脸图像进行人脸质量对比，如果Iai的人脸质量更好则将该人脸图像作为新的最优人脸图像缓存起来。可以理解，最优人脸图像是人脸质量达到预设要求且人脸质量高于最早人脸图像的。通过这种方式，可以保证最优帧队列中一直缓存对象A的人脸质量最好的人脸图像。当在预定时刻发现对象A尚未被识别，则可以利用缓存的对象A的人脸图像进行人脸识别。
上述方案通过对最优帧队列进行实时更新，可以使得最优帧队列始终保持缓存目标对象的人脸质量最好的人脸图像，该人脸图像的人脸质量超过目标对象的最早人脸图像的人脸质量，有助于提高人脸识别出的概率。
根据本发明实施例，目标对象和特定对象是同一对象，在预定时刻，检查最优帧队列的图像缓存情况(步骤S250)可以包括：在基于最早人脸图像进行人脸识别失败的情况下，检查最优帧队列中是否缓存有属于目标对象的人脸图像，其中，预定时刻是基于最早人脸图像进行人脸识别失败之后的任意时刻。
如上所述，检查最优帧队列的图像缓存情况可以是针对性检查。即，在通过步骤S230无法成功识别目标对象的人脸的情况下，可以从最优帧队列中读取其最优人脸图像进行人脸识别。这种方案可以从人脸识别结果一端挑选需要进行辅助人脸识别的对象，避免对人脸识别成功的对象进行缓存检查等操作，可以一定程度上减少计算量。
根据本发明实施例，在预定时刻，检查最优帧队列的图像缓存情况(步骤S250)可以包括：每隔预定时段，检查最优帧队列中是否缓存有属于任一对象的人脸图像，其中，特定对象是人脸图像缓存在最优帧队列中的任一对象。
可以理解，在本实施例中，预定时刻可以是自计时时刻开始计时，每隔预定时段所到达的时刻。预定时段可以是任何合适的时段，本发明不对此进行限制。示例性地，预定时段可以是2秒、5秒、10秒等。示例性地，可以在人脸识别***中设置具有固定周期的定时器，该周期即为所述预定时段，所述定时器可以采用硬件、软件或其结合实现。假设定时器的周期是2秒，则预定时刻可以是自开启定时器开始计时的第2秒、第4秒、第6秒……。
如上所述，检查最优帧队列的图像缓存情况可以是非针对性检查。这种非针对性检查可以可选地周期性执行，例如每隔2秒执行检查一次。如果当前检查到最优帧队列中一共缓存了两个对象C和对象D的最优人脸图像，则可以分别针对对象C和对象D判断该对象的人脸是否已识别出，若其中任何一个对象没有识别出，则可以利用该对象的最优人脸图像进行人脸识别。这种方案可以从已缓存的人脸图像一端挑选需要进行辅助人脸识别的对象，对于没有缓存人脸图像的对象可以无需考虑进行辅助人脸识别，可以提高***的工作效率。此外，定期检查最优帧队列的图像缓存情况，可以及时整理人脸图像已缓存的对象，尽早对这些对象进行辅助人脸识别(在其需要时)，进而可以提高人脸识别效率。
上述实施例仅是示例，非针对性检查也可以在某一个或多个设定好的时刻执行，或者可以基于可变周期而非固定周期执行。
根据本发明实施例，在在预定时刻，检查最优帧队列的图像缓存情况(步骤S250)之后，方法200还可以包括：如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸已识别出，则将属于特定对象的最优人脸图像从最优帧队列移除和/或将属于特定对象的最优人脸图像存储在存储器中。
及时移除已参与识别的最优人脸图像可以节约存储空间，减少后续缓存检查压力，进而可以提高人脸识别***的工作效率。将最优人脸图像存储在诸如上述非易失性存储器的存储器中，可以便于后续调用该人脸图像执行其他操作，例如在显示器上显示以供用户查看当天参与人脸识别的人员等。
根据本发明实施例，在实时对图像序列中的每个图像进行人脸检测(步骤S220)时，方法200还可以包括：对于分别位于图像序列的两个不同图像中的两个人脸，基于该两个人脸的人脸检测结果中的位置信息之间的差异判断该两个人脸是否属于同一目标对象。
如上所述，可以基于人脸的位置信息进行对象跟踪，以判断哪些人脸属于同一对象。同一对象的人脸在前后两个图像之间的位置差异不会太大，因此，可以通过在前后两个图像中两个人脸的人脸位置之间的差异来判断它们是否属于同一对象。上述判断属于同一对象的人脸的方式可以适用于任意对象。例如，针对任意的位于图像序列的两个不同图像中的两个人脸，可以基于该两个人脸的人脸检测结果中的位置信息之间的差异判断该两个人脸是否属于同一对象。
确定两个图像中的人脸是否属于同一对象可以采用任何现有的或将来可能出现的对象跟踪方式实现，并不局限于本文描述的示例。
图3示出根据本发明一个示例的图像处理流程的示意图。如图3所示，首先，打开相机开始采集图像，同时可以开启周期为2秒的定时器。随后，每采集一个图像就进行人脸检测，如果检测到人脸，则可以提取出每个人脸所在的图像块，获得人脸图像，并分析人脸图像的人脸质量。对于某一对象来说，可以判断其每个人脸图像的人脸质量是否合格(即达到预设要求)，在合格的情况下还可以判断此人是否已经参加识别，即先前是否已经有人脸图像被发送到人脸识别模块，如果没有，则可以将当前人脸图像发送到人脸识别模块进行人脸识别。此外，还进行人脸图像挑优。对于某一对象，可以首先将第一个人脸质量超过最早人脸图像的人脸质量的人脸图像缓存在内存中的最优帧队列中，后面如果任一当前人脸图像比缓存的最优人脸图像的人脸质量更好，则将当前人脸图像缓存到最优帧队列中。每次2秒定时器的周期到达时，检测最优帧队列中是否缓存有人脸图像(即数据)，如果有且此时尚未识别出该人脸图像所属对象的人脸，则可以将该对象的最优人脸图像发送到人脸识别模块进行人脸识别，如果已识别出该人脸图像所属对象的人脸，则可以将最优人脸图像存储到磁盘。
根据本发明另一方面，提供一种图像处理装置。图4示出了根据本发明一个实施例的图像处理装置400的示意性框图。
如图4所示，根据本发明实施例的图像处理装置400包括获取模块410、检测和分析模块420、发送模块430、缓存模块440和检查模块450。所述各个模块可分别执行上文中结合图2-3描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置400的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
获取模块410用于实时获取图像序列。获取模块410可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
检测和分析模块420用于实时对所述图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量。检测和分析模块420可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
发送模块430用于将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别。发送模块430可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
缓存模块440用于在最优帧队列中缓存属于所述目标对象的人脸图像中人脸质量最好且人脸质量超过所述最早人脸图像的最优人脸图像。缓存模块440可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
检查模块450用于在预定时刻，检查所述最优帧队列的图像缓存情况，如果所述最优帧队列中缓存有属于特定对象的最优人脸图像且所述特定对象的人脸尚未识别出，则将属于所述特定对象的最优人脸图像发送到所述人脸识别模块进行人脸识别。检查模块450可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图5示出了根据本发明一个实施例的图像处理***500的示意性框图。图像处理***500包括图像采集装置510、存储装置(即存储器)520、以及处理器530。
所述图像采集装置510用于采集图像。图像采集装置510是可选的，图像处理***500可以不包括图像采集装置510。在这种情况下，可以利用其他图像采集装置采集图像，并将采集的图像发送给图像处理***500。
所述存储装置520存储用于实现根据本发明实施例的图像处理方法中的相应步骤的计算机程序指令。
所述处理器530用于运行所述存储装置520中存储的计算机程序指令，以执行根据本发明实施例的图像处理方法的相应步骤。
在一个实施例中，所述计算机程序指令被所述处理器530运行时用于执行以下步骤：实时获取图像序列；实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像；在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块，并和/或者可以执行根据本发明实施例的图像处理方法。
在一个实施例中，所述程序指令在运行时用于执行以下步骤：实时获取图像序列；实时对图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；在最优帧队列中缓存属于目标对象的人脸图像中人脸质量最好且人脸质量超过最早人脸图像的最优人脸图像；在预定时刻，检查最优帧队列的图像缓存情况，如果最优帧队列中缓存有属于特定对象的最优人脸图像且特定对象的人脸尚未识别出，则将属于特定对象的最优人脸图像发送到人脸识别模块进行人脸识别。
根据本发明实施例的图像处理***中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，包括：
实时获取图像序列；
实时对所述图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；
将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；
在最优帧队列中缓存属于所述目标对象的人脸图像中人脸质量最好且人脸质量超过所述最早人脸图像的最优人脸图像；
在预定时刻，检查所述最优帧队列的图像缓存情况，如果所述最优帧队列中缓存有属于特定对象的最优人脸图像且所述特定对象的人脸尚未识别出，则将属于所述特定对象的最优人脸图像发送到所述人脸识别模块进行人脸识别；
其中，所述在预定时刻，检查所述最优帧队列的图像缓存情况包括：
每隔预定时段，检查所述最优帧队列中是否缓存有属于任一对象的人脸图像，其中，所述特定对象是人脸图像缓存在所述最优帧队列中的任一对象。
2.如权利要求1所述的方法，其中，所述将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别包括：
实时判断属于所述目标对象的人脸图像中每个人脸图像的人脸质量是否达到所述预设要求，直至所述最早人脸图像出现；以及
将所述最早人脸图像发送到所述人脸识别模块进行人脸识别。
3.如权利要求1所述的方法，其中，所述将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别包括：
实时判断属于所述目标对象的人脸图像中每个人脸图像的人脸质量是否达到所述预设要求；
在属于所述目标对象的人脸图像中的当前人脸图像的人脸质量达到所述预设要求的情况下，判断属于所述目标对象的人脸图像中是否存在任一先前人脸图像已经发送到人脸识别模块，如果不存在则确定所述当前人脸图像是所述最早人脸图像；
将所述最早人脸图像发送到所述人脸识别模块进行人脸识别。
4.如权利要求1所述的方法，其中，所述在最优帧队列中缓存属于所述目标对象的人脸图像中人脸质量最好且人脸质量超过所述最早人脸图像的最优人脸图像包括：
在属于所述目标对象的人脸图像中，将第一个人脸质量超过所述最早人脸图像的人脸质量的人脸图像作为所述最优人脸图像缓存在所述最优帧队列中；
每次获得属于所述目标对象的当前人脸图像时，将所述当前人脸图像的人脸质量与所述最优人脸图像的人脸质量进行对比；
在所述当前人脸图像的人脸质量超过所述最优人脸图像的人脸质量的情况下，将所述最优帧队列中缓存的所述最优人脸图像更新为所述当前人脸图像。
5.如权利要求1所述的方法，其中，所述目标对象和所述特定对象是同一对象，所述在预定时刻，检查所述最优帧队列的图像缓存情况包括：
在基于所述最早人脸图像进行人脸识别失败的情况下，检查所述最优帧队列中是否缓存有属于所述目标对象的人脸图像，其中，所述预定时刻是基于所述最早人脸图像进行人脸识别失败之后的任意时刻。
6.如权利要求1所述的方法，其中，在所述在预定时刻，检查所述最优帧队列的图像缓存情况之后，所述方法还包括：
如果所述最优帧队列中缓存有属于所述特定对象的最优人脸图像且所述特定对象的人脸已识别出，则将属于所述特定对象的最优人脸图像从所述最优帧队列移除和/或将属于所述特定对象的最优人脸图像存储在存储器中。
7.如权利要求1所述的方法，其中，在所述实时对所述图像序列中的每个图像进行人脸检测时，所述方法还包括：
对于分别位于所述图像序列的两个不同图像中的两个人脸，基于该两个人脸的人脸检测结果中的位置信息之间的差异判断该两个人脸是否属于同一目标对象。
8.一种图像处理装置，包括：
获取模块，用于实时获取图像序列；
检测和分析模块，用于实时对所述图像序列中的每个图像进行人脸检测，在检测到人脸的情况下获取每个人脸所对应的人脸图像，并分析每个人脸图像的人脸质量；
发送模块，用于将属于同一目标对象的人脸图像中人脸质量最早达到预设要求的最早人脸图像发送到人脸识别模块进行人脸识别；
缓存模块，用于在最优帧队列中缓存属于所述目标对象的人脸图像中人脸质量最好且人脸质量超过所述最早人脸图像的最优人脸图像；
检查模块，用于在预定时刻，检查所述最优帧队列的图像缓存情况，如果所述最优帧队列中缓存有属于特定对象的最优人脸图像且所述特定对象的人脸尚未识别出，则将属于所述特定对象的最优人脸图像发送到所述人脸识别模块进行人脸识别；
其中，所述检查模块包括：
检查子模块，用于每隔预定时段，检查所述最优帧队列中是否缓存有属于任一对象的人脸图像，其中，所述特定对象是人脸图像缓存在所述最优帧队列中的任一对象。
9.一种图像处理***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至7任一项所述的图像处理方法。
10.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至7任一项所述的图像处理方法。
CN201910477796.2A 2019-06-03 2019-06-03 图像处理方法、装置和***及存储介质 Active CN110263680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477796.2A CN110263680B (zh) 2019-06-03 2019-06-03 图像处理方法、装置和***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477796.2A CN110263680B (zh) 2019-06-03 2019-06-03 图像处理方法、装置和***及存储介质

Publications (2)

Publication Number Publication Date
CN110263680A CN110263680A (zh) 2019-09-20
CN110263680B true CN110263680B (zh) 2022-01-28

Family

ID=67916525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477796.2A Active CN110263680B (zh) 2019-06-03 2019-06-03 图像处理方法、装置和***及存储介质

Country Status (1)

Country Link
CN (1) CN110263680B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783512B (zh) * 2019-11-11 2024-05-14 西安宇视信息科技有限公司 图像处理方法、装置、设备及存储介质
CN110852303A (zh) * 2019-11-21 2020-02-28 中科智云科技有限公司 一种基于OpenPose的吃东西行为识别方法
CN111160221B (zh) * 2019-12-26 2023-09-01 深圳云天励飞技术有限公司 一种人脸采集方法及相关装置
CN111539283B (zh) * 2020-04-15 2023-08-11 上海摩象网络科技有限公司 人脸跟踪方法及人脸跟踪设备
CN111860163B (zh) * 2020-06-17 2023-08-22 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274264A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd カメラ、ベストショット撮影方法、プログラム
CN105938552A (zh) * 2016-06-29 2016-09-14 北京旷视科技有限公司 底图自动更新的人脸识别方法及装置
CN107273862A (zh) * 2017-06-20 2017-10-20 深圳市乐易时代科技有限公司 一种自动抓拍方法、监控设备及计算机可读存储介质
CN107346426A (zh) * 2017-07-10 2017-11-14 深圳市海清视讯科技有限公司 一种基于摄像机人脸识别的人脸信息收集方法
CN108875452A (zh) * 2017-05-11 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、***和计算机可读介质
CN108875512A (zh) * 2017-12-05 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、***、存储介质和电子设备
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技（深圳）有限公司 一种人脸图像识别方法、装置及存储介质
CN109035246A (zh) * 2018-08-22 2018-12-18 浙江大华技术股份有限公司 一种人脸的图像选择方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458763B (zh) * 2008-10-30 2011-04-20 中国人民解放军国防科学技术大学 基于图像加权平均的自动人脸识别方法
KR102090624B1 (ko) * 2013-02-26 2020-03-18 삼성전자 주식회사 이미지 촬영장치 및 방법
CN104978550B (zh) * 2014-04-08 2018-09-18 上海骏聿数码科技有限公司 基于大规模人脸数据库的人脸识别方法及***
CN108491784B (zh) * 2018-03-16 2021-06-22 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274264A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd カメラ、ベストショット撮影方法、プログラム
CN105938552A (zh) * 2016-06-29 2016-09-14 北京旷视科技有限公司 底图自动更新的人脸识别方法及装置
CN108875452A (zh) * 2017-05-11 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、***和计算机可读介质
CN107273862A (zh) * 2017-06-20 2017-10-20 深圳市乐易时代科技有限公司 一种自动抓拍方法、监控设备及计算机可读存储介质
CN107346426A (zh) * 2017-07-10 2017-11-14 深圳市海清视讯科技有限公司 一种基于摄像机人脸识别的人脸信息收集方法
CN108875512A (zh) * 2017-12-05 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、***、存储介质和电子设备
CN109034013A (zh) * 2018-07-10 2018-12-18 腾讯科技（深圳）有限公司 一种人脸图像识别方法、装置及存储介质
CN109035246A (zh) * 2018-08-22 2018-12-18 浙江大华技术股份有限公司 一种人脸的图像选择方法及装置

Also Published As

Publication number Publication date
CN110263680A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263680B (zh) 图像处理方法、装置和***及存储介质
CN108921159B (zh) 用于检测安全帽的佩戴情况的方法和装置
CN108875732B (zh) 模型训练与实例分割方法、装置和***及存储介质
CN109117714B (zh) 一种同行人员识别方法、装置、***及计算机存储介质
CN108875537B (zh) 对象检测方法、装置和***及存储介质
CN108090458B (zh) 人体跌倒检测方法和装置
CN106203305B (zh) 人脸活体检测方法和装置
CN109508694B (zh) 一种人脸识别方法及识别装置
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN108875535B (zh) 图像检测方法、装置和***及存储介质
CN108256404B (zh) 行人检测方法和装置
CN108009466B (zh) 行人检测方法和装置
CN108875731B (zh) 目标识别方法、装置、***及存储介质
CN106845352B (zh) 行人检测方法和装置
CN108875481B (zh) 用于行人检测的方法、装置、***及存储介质
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
CN108875478B (zh) 人证合一核验方法、装置和***及存储介质
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
CN109598298B (zh) 图像物体识别方法和***
CN111160202A (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN110751021A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN110263830B (zh) 图像处理方法、装置和***及存储介质
CN112052702A (zh) 一种识别二维码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant