CN105095853A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN105095853A
CN105095853A CN201510254139.3A CN201510254139A CN105095853A CN 105095853 A CN105095853 A CN 105095853A CN 201510254139 A CN201510254139 A CN 201510254139A CN 105095853 A CN105095853 A CN 105095853A
Authority
CN
China
Prior art keywords
image
processing
detection target
unit
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510254139.3A
Other languages
English (en)
Other versions
CN105095853B (zh
Inventor
常松祐一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105095853A publication Critical patent/CN105095853A/zh
Application granted granted Critical
Publication of CN105095853B publication Critical patent/CN105095853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理装置及图像处理方法。该图像处理装置包括：获取单元，其被构造为获取针对多个图像的分析处理的结果；指定单元，其被构造为指定要从图像中检测的目标的类型；以及确定单元，其被构造为基于所述指定单元指定的所述检测目标的类型以及所述分析处理的所述结果，来在所述多个图像当中确定，用于所述指定单元指定的所述检测目标的检测处理的图像。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置、图像处理方法以及存储介质。
背景技术
近年来，对识别网络摄像机记录的图像并且将从识别结果获取的附加信息用于***服务的需求日益增长。例如，使用的情况包括特定人的检索、被摄体的属性(性别、年龄等)的估计、人体运动轨迹的显示。在2013年3月由KyoritsuShuppanCo.出版的、由RichardSzeliski编著的“ComputerVision:AlgorithmsandApplications”中全面地描述了关于实现这种***所需的图像处理和特征检测或识别的公知技术。在日本特开2002-373332号公报中，公开了如下方法：从运动矢量检测物体、基于检测结果估计下一图像的检索位置、以及通过模板匹配来跟踪物体。
甚至存在如下情况：不仅需要执行针对实时获取的图像的图像识别，而且还需要执行针对过去记录的图像的识别再处理。在日本特许第5193944号公报中公开了一种用于通过批处理从过去记录的图像中检索新登记的人的技术。过去记录的图像的数量取决于要拍摄的图像的帧速率和大小或处理时间段而大幅度增加。因此，在日本特许第5193944号公报中公开的技术中，预先计算实时处理时图像之间的变化量，在再处理时仅针对识别预定量或更多的变化的区域执行识别处理。
不仅在用于检索人脸的***中而且在其他图像识别***中，经常针对记录图像执行再处理。例如，在通过使用诸如身高、性别或服装等属性信息来检索/识别人的***的情况下，要从一个拍摄目标中提取的属性信息是不同的。针对一个区域执行要提取的多个属性的图像识别处理。这可能产生如下情况：无法实时针对所有被摄体提取所有属性信息。在这种情况下，根据需要，需要针对各个过去的记录图像检测必要属性。
当建立图像识别***时，通常无盲角地布置多个网络摄像机。如果通过使用个人计算机(PC)来执行图像识别处理，则期望利用较少数量的装置来应对更多的网络摄像机。
无论图像识别处理速度多么高，当针对过去记录的图像执行再处理时，防止处理量/处理时间变得更大是不容易的。例如，当每秒记录10个图像时，每分钟获取600个图像，每小时获取36,000个图像。当网络摄像机的数量是10个时，即使在针对过去的一小时的图像执行再处理的情况下，也需要处理360万个图像。
当在诸如身高、性别和服装等属性的情况下要获取多个图像识别结果时，处理时间较长。例如，当针对一个人检测20个属性时，假设检测一个属性需要50毫秒，则完成一个人的识别处理需要1秒。
发明内容
根据实施例，一种图像处理装置包括：获取单元，其被构造为获取针对多个图像的分析处理的结果；指定单元，其被构造为指定要从图像中检测的目标的类型；以及确定单元，其被构造为基于所述指定单元指定的所述检测目标的类型以及所述分析处理的结果，来在所述多个图像当中确定，用于所述指定单元指定的所述检测目标的检测处理的图像。
根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是例示网络***的结构的图。
图2是例示网络***的功能结构的图。
图3是例示图像识别前提条件计算单元的处理的流程图。
图4是例示图像识别前提条件计算单元的计算结果的表。
图5是例示再处理推荐区域计算单元的处理的流程图。
图6是例示更新前的再处理推荐区域计算单元的计算结果的表。
图7是例示过去的图像中物体的拍摄状态、分数以及区域的表。
图8是例示更新后的再处理推荐区域计算单元的计算结果的表。
图9是例示识别目标和针对该识别目标要考虑的项目之间的关系的表。
具体实施方式
现在，参照附图详细说明本发明的示例性实施例。以下描述的示例性实施例的结构仅是示例，决不限制本发明。
图1是例示网络***(图像识别***)的结构的示例的图。在图1中，网络摄像机100、网络存储装置200、图像识别服务器装置300以及图像显示装置400经由作为网络线路的示例的局域网(LAN)500互相连接。
网络摄像机100是摄像装置的示例。网络摄像机100具有拍摄要拍摄的目标同时针对拍摄的图像执行诸如物体检测、跟踪或人脸识别等图像识别处理的功能。
网络存储装置200是记录装置的示例。网络存储装置200经由LAN500接收并且记录网络摄像机100拍摄的图像数据、或者在网络摄像机100中执行的图像识别处理的结果。
图像识别服务器装置300针对网络存储装置200中记录的过去的图像数据进行图像识别处理。图像显示装置400将图像识别处理的结果叠加在网络存储装置200中记录的图像数据上，以再现网络存储装置200中记录的图像数据。此外，图像显示装置400具有提供被构造为进行诸如人的检索等各种操作的输入单元的功能。
图2是例示网络***(网络摄像机100和图像识别服务器装置300)的功能结构的示例的框图。具体而言，图2例示了用于通过网络摄像机100执行第一图像识别处理的功能结构以及用于通过图像识别服务器装置300执行第二图像识别处理的功能结构的示例。
第一图像获取单元110针对从诸如互补金属氧化物半导体(complementarymetaloxidesemiconductor，CMOS)等的摄像元件获取的数字电信号执行预定像素插值处理或颜色转换处理，从而显影或生成RGB或YUV等的数字图像。此外，第一图像获取单元110针对显影的数字图像执行诸如白平衡、锐度、对比度或颜色转换等的图像校正处理。
物体跟踪单元120处理从第一图像获取单元110获取的数字图像，并且针对在时间轴方向上的多个图像上出现的同一物体分配唯一的ID。物体可以是人体、运动体或汽车。对于针对同一物体分配唯一的ID的详细处理过程，例如，能够应用日本特开2002-373332号公报中公开的方法。
图像识别前提条件计算单元130计算物体跟踪单元120检测到的物体(具有同一ID的物体)中的各个是否满足图像识别前提条件。图3是例示图像识别前提条件计算单元130的处理的示例的流程图。针对以下要描述的详细的图像识别处理，例如，能够应用2013年3月由KyoritsuShuppanCo.出版的、由RichardSzeliski编著的“ComputerVision:AlgorithmsandApplications”中的第14章中识别的内容。
在步骤S301中，图像识别前提条件计算单元130确定是否存在未处理的分配有ID的物体。当确定的结果例示了不存在未处理的分配有ID的物体时，图3中所示的流程图的处理结束，在以后的处理中计算物体的拍摄状态。当存在未处理的分配有ID的物体时，图像识别前提条件计算单元130选择未处理的分配有ID的物体中的一个，并且针对分配有ID的物体执行步骤S302至S308的处理。
在该实施例中，具体而言，通过确认诸如图像是否包含人脸、图像是否包含上半身、或者图像是否在包含全身等物体的摄像范围，来确定物体的拍摄状态。因此，在步骤S302中，图像识别前提条件计算单元130检测脚。在步骤S304中，图像识别前提条件计算单元130检测人体。在步骤S305中，图像识别前提条件计算单元130检测人脸。基于例如是否成功检测到人脸，来确定图像中是否包含人脸。基于例如是否成功检测到人脸和人体，来确定图像是否包含上半身。基于例如是否成功检测到人脸、人体以及脚，来确定图像是否包括全身。因此，在图3所示的示例中，在步骤S308中，图像识别前提条件计算单元130检测拍摄有物体的区域。
图像识别处理的结果可以取决于识别目标的方向。因此，图像识别前提条件计算单元130检测人脸、上半身和全身中的各个在各图像中的方向。在图3中所示的示例中，在步骤S303中，图像识别前提条件计算单元130检测人体的方向。在步骤S307中，图像识别前提条件计算单元130检测人脸的方向。图像识别前提条件计算单元130可以参照先前的物体跟踪结果、比较当前的图像和先前的图像、并且确定人脸或人体的运动方向，从而以该运动方向代替人脸或人体的方向。
在各检测期间，图像识别前提条件计算单元130同时获取检测时的分数。在该实施例中，利用该分数，对以是否以期望的方式拍摄的物体进行数字化。在一些情况下，在成功检测到构成人脸的诸如眼睛、鼻子或嘴巴等器官的条件下，执行对人脸的属性信息的检测(在以下的说明中，根据需要将构成人脸的器官称为人脸器官)。因此，在图3中所示的示例中，在步骤S306中，图像识别前提条件计算单元130仅针对人脸执行人脸检测处理以检测各人脸器官，并且计算各人脸器官的检测结果的分数。
图像识别前提条件计算单元130也能够执行人脸识别，以计算人脸识别的结果的分数。当执行人脸识别时，例如，图像识别前提条件计算单元130从人脸器官的检测结果中导出特征点。
分数是物体的各部位或整个物体的检测结果或识别结果的可靠性的示例。具体而言，例如，预先登记的物体的各部位或整个物体的信息(库)与检测结果/识别结果之间的相似度能够被计算为分数。图像识别前提条件计算单元130可以不与库进行比较，而是将当前检测/识别结果与已经检测到或识别出的内容进行比较，并且计算两者之间的相似度作为分数。
此外，存在使用图像中包含的物体的检测区域的面积(像素数)作为分数的方法。随着面积越大，包含的物体可以越大并且更适于识别。因此，如图4中所示，在该实施例中，图像识别前提条件计算单元130计算作为人脸的外接矩形区域的大小的被摄体人脸大小，以及作为全身的外接矩形区域的大小的被摄体全身大小。
此外，图像识别前提条件计算单元130可以通过组合这些值导出分数。例如，图像识别前提条件计算单元130可以将这些值乘以预定系数，并且将得到的值相加在一起。当针对各图像执行上述处理时，针对各ID获取图4中所示的结果。图4以表格形式例示了针对一个图像的一个物体的图像识别前提条件计算单元130的计算结果的示例。在图4中，当检测到人脸时，获取人脸摄像分数。当检测到人体时，获取人体摄像分数。
如图4中所示，在该实施例中，图像识别前提条件计算单元130计算作为人脸的外接矩形区域的坐标的被摄体人脸坐标、以及作为全身的外接矩形区域的坐标的被摄体全身坐标。在以下的说明中，根据需要，可以将被摄体人脸坐标和被摄体全身坐标统称为被摄体坐标。通过上述处理，获取由第一图像获取单元110获取的图像中包含的各物体(各ID)的属性。
在图像识别前提条件计算单元130的处理的完成之后，再处理推荐区域计算单元140将当前最适于再处理的图像与最后处理的图像进行比较，并且更新再处理推荐区域。图5是例示再处理推荐区域计算单元140的处理的示例的流程图。图6以表格形式例示了针对一个物体的再处理推荐区域计算单元140的计算结果的示例。针对同一ID的物体中的各个，单独执行图5中所示的流程图的处理。
在步骤S501中，再处理推荐区域计算单元140确定是否存在未比较的识别前提条件的项目。识别前提条件是用于识别物体的属性所需的，并且从图像识别前提条件计算单元130的计算结果中获取识别前提条件。当物体是人体时，在图6的示例中，预先设置图6的识别前提条件的列中所示的项目(例如，“身体方向是正面”并且“人脸方向是正面”)作为识别前提条件的多个项目。如图6中所示，基于图像中物体的拍摄状态，来确定构成识别前提条件的各项目。
当确定的结果例示了不存在未比较的识别前提条件的项目时，图5中所示的流程图的处理结束。
另一方面，当存在未比较的识别前提条件的项目时，处理进行到步骤S502。在步骤S502中，再处理推荐区域计算单元140选择未选择的识别前提条件中的一个。
然后，在步骤S503中，再处理推荐区域计算单元140计算要用于与当前最适于再处理的图像的比较并且对应于在步骤S502中选择的识别前提条件的分数。通过使用例如图像识别前提条件计算单元130的计算结果，来计算该分数。在步骤S503中计算出的分数是用于评价物体的各部位或整个物体的确定性的评价值的示例。
在图6中所示的示例中，再处理推荐区域计算单元140导出身体方向的分数作为图3中所示的流程图中检测人体时的分数。再处理推荐区域计算单元140导出人脸方向和人脸的拍摄状态的分数作为图3中所示的流程图中检测人脸时的分数。再处理推荐区域计算单元140导出拍摄区域的分数作为图3中所示的流程图中检测拍摄区域时的分数。例如，当拍摄区域是全身、上半身以上以及人脸时，分别采用当检测到人体、人体以及人脸时获取的分数。当直接使用图3中所示的流程图中计算的分数时，不必再次在步骤S503中计算分数。
在图6中，在推荐图像的列中，存储要用于再处理的推荐图像的编号。在推荐处理区域的列中，存储与识别前提条件的项目相对应的被摄体坐标。在图6中所示的示例中，当识别前提条件的项目是身体方向和拍摄区域(全身/上半身以上)时，被摄体全身坐标被存储在推荐处理区域中。另一方面，当识别前提条件的项目是人脸方向、人脸的拍摄状态、拍摄区域(人脸)以及拍摄区域(全身/上半身以上)时，被摄体人脸坐标被存储在推荐处理区域中。
然后，在步骤S504中，再处理推荐区域计算单元140将在步骤S503中计算的分数、与当前最适于再处理的图像的分数，即与在步骤S502中选择的识别前提条件的分数进行比较。在这种情况下，再处理推荐区域计算单元140确定在步骤S503中计算的分数是否大于当前最适于再处理的图像的分数，即大于对应于在步骤S502中选择的识别前提条件的分数。当确定的结果例示了在步骤S503中计算的分数不大于当前最适于再处理的图像的分数，即不大于对应于在步骤S502中选择的识别前提条件的分数时，处理返回到步骤S501。
另一方面，当在步骤S503中计算的分数大于当前最适于再处理的图像的分数，即大于对应于在步骤S502中选择的识别前提条件的分数时，处理进行到步骤S505。
在步骤S505中，再处理推荐区域计算单元140将在步骤S502中选择的识别前提条件的项目的内容改变为第一图像获取单元110当前获取的图像的项目的内容，以更新该项目。然后，处理返回到步骤S501。
通过上述处理，获取各ID的识别前提条件的项目的内容。
图7例示了在过去的图像中获取的物体的拍摄状态、分数以及区域(被摄体坐标)的示例。在图7中，未示出图4中所示的被摄体人脸大小和被摄体全身大小。在图7中，仅例示了人脸或人体的成功检测到的区域的被摄体坐标作为被摄体坐标。
假设在过去的图像识别处理中，图7中所示的四个图像被确定为适于再处理的图像。图6例示了针对这四个图像的再处理推荐区域计算单元140的计算结果。在这种情况下，再处理推荐区域计算单元140通过图6与图4的比较，将识别前提条件的各项目的内容从图6中所示的内容更新为图8中所示的内容。在图8中，具有灰色背景的单元指示更新后的项目，下划线的值是更新后的值。作为适于再处理的图像(推荐图像)，可以留下具有最高分数的一个图像，或者当分数在预定差之内时，可以留下多个图像作为适于再处理的图像。可以按分数的降序将预定数量的图像留下作为适于再处理的图像。图8例示了分数最好的(最高的)所有图像被设置为推荐图像的示例。
返回参照图2，记录单元150为了递送或保存而针对获取的图像数据执行压缩/编码。用于递送的压缩方法基于诸如运动图像专家组(MPEG)4、H.264、移动式连续图像专家组(MJPEG)、或联合图像专家组(JPEG)等的标准。此外，记录单元150通过诸如MP4或mov等文件格式来归档图像数据。将各物体的再处理推荐区域和归档的图像压缩数据经由LAN500发送到网络存储装置200或图像识别服务器装置300。这些装置将图像数据记录在诸如网络文件***(NetworkFileSystem，NFS)或通用互联网文件***(CommonInternetFileSystem，CIFS)上。
接下来，描述针对过去的图像执行再识别处理的示例。用户操作与图像显示装置400连接的用户界面，以指示用于从过去的图像中检索特定物体(例如，人)的处理的执行。这里，作为检索条件的示例，描述戴眼镜并且约170cm的男性的情况。识别前提条件的各项目的最新内容如图8中所示。
当给出指示时，图像识别服务器装置300针对过去的图像执行再识别处理。
图2中所示的再处理推荐区域参照单元310基于用户指示的识别目标与在识别目标的情况下要考虑的项目之间的关系，来选择与识别目标相对应的图像识别前提条件的项目。图9例示了识别目标与在识别目标的情况下要考虑的项目之间的关系的示例。预先设置该关系。
在这种情况下，检索戴眼镜的人和男性，因此如图9中所示，需要针对从正面包含人脸的图像来执行搜索。此外，指定身高，因此如图9中所示，需要针对包含全身的图像执行搜索。
然后，第二图像获取单元320获取相关的图像以及该图像中的推荐处理区域。在这种情况下，假设当前再处理推荐区域为图8中所示的内容。如图9中所示，为了检测眼镜，需要处理从正面包含人脸的图像。因此，需要处理图像编号100和500的(x,y,宽度，高度)＝(25,500,150,150),(125,200,75,75)。如图9中所示，为了估计身高，需要处理包含全身的图像。因此，需要处理图像编号500的(x,y,宽度，高度)＝(120,200,100,300)。如图9中所示，为了估计年龄，需要处理从正面包含人脸的图像。因此，需要处理图像编号100和500的(x,y,宽度，高度)＝(25,500,150,150)，(125,200,75,75)。因此，第二图像获取单元320获取图像编号100和500的推荐处理区域。
然后，识别处理单元330针对第二图像获取单元320获取的图像的推荐处理区域执行实际的图像识别处理。
再处理推荐区域参照单元310、第二图像获取单元320以及识别处理单元330通过针对物体跟踪单元120分配的各ID重复执行处理，能够针对过去的图像有效地执行再识别处理。
并非所有过去的图像都能够经历再识别处理。图像是否能够经历再识别处理主要取决于被摄体的拍摄状态。当针对人脸执行识别处理时，期望针对使得能够安全检测诸如眼睛、鼻子或嘴巴等人脸器官并且清晰地包含大的人脸器官的图像，来执行图像识别处理。为了估计身高，期望针对包含从头到脚的全身的图像执行图像识别处理。此外，为了在短时间内高精度地结束再识别处理，需要从过去的图像当中选择适合的图像。
因此，在该实施例中，针对识别前提条件的多个项目中的各个，针对图像中包含的各物体导出图像中包含的物体的分数。在过去获取的图像与新获取的图像之间，彼此比较同一物体的同一项目的评价值。从比较的结果中导出与物体的项目相对应的图像以及该图像中的推荐处理区域，登记用于规定该图像和推荐处理区域的信息。因此，选择适于针对过去的图像的再识别处理的图像，预先获取图像中的推荐处理区域。
然后，当针对过去的图像执行再识别处理时，导出与用户指定的识别目标相对应的项目(要考虑的项目)，提取与导出的项目相对应的图像以及该图像的推荐处理区域。然后，针对提取的图像的推荐处理区域执行图像识别处理。以这种方式，在再识别处理中，提取适于识别目标的图像的推荐处理区域，针对提取的推荐处理区域执行图像识别处理。
因此，在图像再识别处理期间，不因不适当的图像的处理而引起识别精度的降低或处理时间的增加，通过对适于识别的图像进行处理，能够大幅度减少和缩短再识别处理量和再识别处理时间。
根据本发明的一个实施例，能够降低和缩短图像再识别处理所需的处理量和处理时间。
[其他实施例]
本发明的实施例还可以通过读出并执行记录在存储介质(还可以全称为“非暂时性计算机可读存储介质”)上的用于执行一个或多个上述实施例的功能的计算机可执行指令(例如，一个或多个程序)并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的***或装置的计算机来实现，以及通过由***或装置的计算机通过例如从存储介质读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令并且/或者控制一个或多个电路来执行一个或多个上述实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括读出并执行计算机可执行指令的独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明并不局限于公开的示例性实施例。所附权利要求的范围应当适合最广泛的解释，以使其涵盖所有这些变型、以及等同结构和功能。

Claims (11)

1.一种图像处理装置，该图像处理装置包括：
获取单元，其被构造为获取针对多个图像的分析处理的结果；
指定单元，其被构造为指定要从图像中检测的目标的类型；以及
确定单元，其被构造为基于所述指定单元指定的所述检测目标的类型以及所述分析处理的结果，来在所述多个图像当中确定，用于所述指定单元指定的所述检测目标的检测处理的图像。
2.根据权利要求1所述的图像处理装置，其中，所述分析处理的结果包括关于所述图像中人脸方向的信息；以及
在所述指定单元指定性别、年龄或人脸中的至少一个特征作为所述检测目标的类型的情况下，所述确定单元基于关于所述人脸方向的信息，来在所述多个图像当中确定用于所述检测目标的检测处理的图像。
3.根据权利要求1所述的图像处理装置，其中，所述分析处理的结果包括关于所述图像中包含的人体的范围的信息；以及
在所述指定单元指定身高、服装或所有物中的至少一者作为所述检测目标的类型的情况下，所述确定单元基于关于所述人体的范围的信息，来在所述多个图像当中确定用于所述检测目标的检测处理的图像。
4.根据权利要求1所述的图像处理装置，其中，所述分析处理的结果包括关于所述图像中的人体的大小的信息；以及
所述确定单元在所述多个图像当中确定与较大的人体的大小相对应的图像，作为用于所述检测目标的检测处理的图像。
5.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
保持单元，其被构造为针对所述指定单元可指定的所述检测目标的各个类型，保持用于所述检测目标的检测处理的图像的识别信息；以及
检测单元，其被构造为通过使用与所述指定单元指定的所述检测目标的类型相对应的、并且与所述识别信息相对应的图像，来执行所述检测处理。
6.根据权利要求5所述的图像处理装置，所述图像处理装置还包括：
更新单元，其被构造为在所述保持单元保持所述识别信息之后，根据针对所述获取单元获取的所述图像的所述分析处理的结果，来更新所述保持单元保持的所述图像的所述识别信息。
7.一种图像处理装置，该图像处理装置包括：
处理单元，其被构造为针对多个图像执行分析处理；以及
生成单元，其被构造为基于所述处理单元的分析处理的结果，来生成用于在所述多个图像中规定要经历与指定的检测目标的类型相对应的检测处理的图像的特定信息。
8.根据权利要求7所述的图像处理装置，其中，所述分析处理的结果包括关于所述图像中人脸方向的信息；以及
在指定性别、年龄或人脸中的至少一个特征作为所述检测目标的类型的情况下，所述生成单元基于关于所述人脸方向的信息，来生成用于规定要经历所述检测处理的图像的所述特定信息。
9.一种图像处理方法，该图像处理方法包括:
获取步骤，获取针对多个图像的分析处理的结果；
指定步骤，指定要从图像中检测的目标的类型；以及
确定步骤，基于在所述指定步骤中指定的所述检测目标的类型以及所述分析处理的结果，来在所述多个图像当中确定，用于在所述指定步骤中指定的所述检测目标的检测处理的图像。
10.根据权利要求9所述的图像处理方法，其中，所述分析处理的结果包括关于所述图像中人脸方向的信息；以及
在所述指定步骤中指定性别、年龄或人脸的至少一个特征作为所述检测目标的类型的情况下，在所述确定步骤中，基于关于所述人脸方向的信息，来在所述多个图像当中确定，用于所述检测目标的检测处理的图像。
11.根据权利要求9所述的图像处理方法，其中，所述分析处理的结果包括关于所述图像中包括的人体的范围的信息；以及
在所述指定步骤中指定身高、服装、或所有物中的至少一者作为所述检测目标的类型的情况下，在所述确定步骤中，基于关于所述人体的范围的信息，在所述多个图像当中确定用于所述检测目标的检测处理的图像。
CN201510254139.3A 2014-05-21 2015-05-19 图像处理装置及图像处理方法 Active CN105095853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014105506A JP6362085B2 (ja) 2014-05-21 2014-05-21 画像認識システム、画像認識方法およびプログラム
JP2014-105506 2014-05-21

Publications (2)

Publication Number Publication Date
CN105095853A true CN105095853A (zh) 2015-11-25
CN105095853B CN105095853B (zh) 2020-10-30

Family

ID=54556280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510254139.3A Active CN105095853B (zh) 2014-05-21 2015-05-19 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (2) US9721153B2 (zh)
JP (1) JP6362085B2 (zh)
CN (1) CN105095853B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735592B2 (ja) * 2016-04-08 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
US11145421B2 (en) * 2017-04-05 2021-10-12 Sharecare AI, Inc. System and method for remote medical information exchange
US11026634B2 (en) * 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
WO2019171542A1 (ja) * 2018-03-08 2019-09-12 三菱電機株式会社 顔画像生成装置および顔画像生成プログラム
WO2020185973A1 (en) 2019-03-11 2020-09-17 doc.ai incorporated System and method with federated learning model for medical research applications
US11915802B2 (en) 2019-08-05 2024-02-27 Sharecare AI, Inc. Accelerated processing of genomic data and streamlined visualization of genomic insights
CN113518474A (zh) * 2020-03-27 2021-10-19 阿里巴巴集团控股有限公司 检测方法、装置、设备、存储介质和***
US11321447B2 (en) 2020-04-21 2022-05-03 Sharecare AI, Inc. Systems and methods for generating and using anthropomorphic signatures to authenticate users
US12039012B2 (en) 2020-10-23 2024-07-16 Sharecare AI, Inc. Systems and methods for heterogeneous federated transfer learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295354A (zh) * 2007-04-23 2008-10-29 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
JP2010271817A (ja) * 2009-05-20 2010-12-02 Hitachi Kokusai Electric Inc 画像処理方法
US20110019066A1 (en) * 2009-07-22 2011-01-27 Yoshijiro Takano Af frame auto-tracking system
CN102147856A (zh) * 2010-02-10 2011-08-10 佳能株式会社 图像识别设备及其控制方法
CN102170563A (zh) * 2011-03-24 2011-08-31 杭州海康威视软件有限公司 智能人员卡口***及人员监控管理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4467838B2 (ja) 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
JP5329940B2 (ja) * 2008-12-19 2013-10-30 キヤノン株式会社 画像処理装置、その制御方法、及び撮像装置
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20130329964A1 (en) * 2011-03-04 2013-12-12 Nikon Corporation Image-processing device and image-processing program
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
JP5768265B2 (ja) * 2012-05-24 2015-08-26 株式会社日立国際電気 類似画像検索システム
CN104170260B (zh) * 2013-01-11 2019-05-10 太阳专利托管公司 发送方法、接收方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295354A (zh) * 2007-04-23 2008-10-29 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
JP2010271817A (ja) * 2009-05-20 2010-12-02 Hitachi Kokusai Electric Inc 画像処理方法
US20110019066A1 (en) * 2009-07-22 2011-01-27 Yoshijiro Takano Af frame auto-tracking system
CN102147856A (zh) * 2010-02-10 2011-08-10 佳能株式会社 图像识别设备及其控制方法
CN102170563A (zh) * 2011-03-24 2011-08-31 杭州海康威视软件有限公司 智能人员卡口***及人员监控管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张长江: "《数字图像处理及其应用》", 31 December 2013 *

Also Published As

Publication number Publication date
CN105095853B (zh) 2020-10-30
US20150339523A1 (en) 2015-11-26
US10146992B2 (en) 2018-12-04
JP2015219879A (ja) 2015-12-07
JP6362085B2 (ja) 2018-07-25
US9721153B2 (en) 2017-08-01
US20170286758A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
CN105095853A (zh) 图像处理装置及图像处理方法
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
US8379931B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
CN104050449B (zh) 一种人脸识别方法及装置
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
EP2182469B1 (en) System and method for sensing facial gesture
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
CN105938622A (zh) 检测运动图像中的物体的方法和装置
US10037467B2 (en) Information processing system
US9996554B2 (en) Search apparatus, search method, and storage medium
CN102857693B (zh) 图像处理设备及其控制方法
KR20080104034A (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체
CN107886521A (zh) 事件检测装置和方法以及非暂态计算机可读存储介质
US20190197695A1 (en) Image processing apparatus, image processing method, and storage medium
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
US11816923B2 (en) Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
CN106603968A (zh) 信息处理装置及信息处理方法
CN107133629B (zh) 图片分类方法、装置和移动终端
JP5441151B2 (ja) 顔画像追跡装置及び顔画像追跡方法並びにプログラム
US10007842B2 (en) Same person determination device and method, and control program therefor
JP6256738B2 (ja) 動画選択装置、動画選択方法とプログラム
JP2023168081A (ja) 訓練データ生成プログラム、訓練データ生成方法及び訓練データ生成装置
JP2018137639A (ja) 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム
US11373313B2 (en) Image processing apparatus and image processing method
US20200311771A1 (en) Information processing device, information processing method, and program recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant