CN109727271A - 用于跟踪对象的方法和设备 - Google Patents

用于跟踪对象的方法和设备 Download PDF

Info

Publication number
CN109727271A
CN109727271A CN201810755172.8A CN201810755172A CN109727271A CN 109727271 A CN109727271 A CN 109727271A CN 201810755172 A CN201810755172 A CN 201810755172A CN 109727271 A CN109727271 A CN 109727271A
Authority
CN
China
Prior art keywords
input picture
target object
band
reliability
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810755172.8A
Other languages
English (en)
Other versions
CN109727271B (zh
Inventor
许珍九
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109727271A publication Critical patent/CN109727271A/zh
Application granted granted Critical
Publication of CN109727271B publication Critical patent/CN109727271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于跟踪对象的方法和设备。所述对象跟踪方法包括：检测基于第一波段的光的第一类型输入图像中的目标对象；基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与数据库中的图像进行比较，来测量第一类型输入图像的可靠度；将第一类型输入图像的可靠度与阈值进行比较；跟踪基于第二波段的光的第二类型输入图像中的目标对象。

Description

用于跟踪对象的方法和设备
本申请要求于2017年10月27日提交到韩国知识产权局的第10-2017-0141332号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的方法和设备涉及跟踪对象。
背景技术
通常，为了跟踪对象，可从通过相机获取的图像检测对象，可提取对象的代表性特征点，可基于提取的特征点针对每一帧提取对象的坐标。为了更舒服地观看三维(3D)图像，可能需要双眼的3D坐标。为了获取3D坐标，与眼睛相关的二维(2D)信息、与脸部相关的旋转信息和瞳孔间距可被使用。可针对每一帧提取3D坐标，从而可跟踪眼睛的位置，并且可基于眼睛的位置生成3D图像。
发明内容
根据示例性实施例的方面，提供一种对象跟踪方法，包括：检测基于第一波段的光的第一类型输入图像中的目标对象；当在第一类型输入图像中检测到目标对象时，基于目标对象的检测信息跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与第一数据库(DB)中的图像进行比较，来测量第一类型输入图像的可靠度；当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
第一波段可包括可见光，第二波段可包括红外(IR)光。第二类型输入图像可通过为了第二类型输入图像的获取去除了IR截止滤光片的相机来获取。所述对象跟踪方法还可包括：当第一类型输入图像的可靠度低于第一阈值时，控制被配置为输出IR光的IR光源。第一波段可包括可见光。存储在第一DB中的图像可具有比预定阈值高的可靠度，并可以是基于第一波段的光获取的第一参考图像。
所述对象跟踪方法还可包括：通过将第二类型输入图像与存储在第二DB中的图像进行比较，来测量第二类型输入图像的可靠度；当第二类型输入图像的可靠度低于第二阈值时，从第一类型输入图像或第二类型输入图像检测目标对象。存储在第二DB中的图像可具有比预定阈值高的可靠度，并且可以是基于第二波段的光获取的第二参考图像。
所述对象跟踪方法还可包括：当在第一类型输入图像中未检测到目标对象时检测第二类型输入图像中的目标对象。所述目标跟踪方法还可包括：当在第二类型输入图像中检测到目标对象时，基于所述检测信息来跟踪第二类型输入图像中的目标对象；通过将第二类型输入图像与存储在第二DB中的图像进行比较来测量第二输入图像的可靠度；当第二类型输入图像的可靠度低于第二阈值时，基于所述检测信息来跟踪第一类型输入图像中的目标对象。
可使用基于错误数据预先训练的第一检测器来执行检测第一类型输入图像中的目标对象的步骤。错误数据可包括以下数据中的至少一个：训练数据之中的当目标对象的检测未完成时获得的数据和当另一对象被不正确地检测为目标对象时获得的数据。
检测信息可包括与第一类型输入图像的第一帧中的目标对象的位置对应的检测区域。跟踪第一类型输入图像中的目标对象的步骤可包括基于检测区域跟踪第一类型输入图像的第二帧中的目标对象。
根据另一示例性实施例的方面，提供一种对象跟踪方法，包括：确定是否能够在基于第一波段的光的第一类型输入图像中检测到目标对象；如果确定能够在第一类型输入图像中检测到目标对象，则：基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与存储在第一数据库(DB)中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光；如果确定不能在第一类型输入图像中检测到目标对象，则：检测第二类型输入图像中的目标对象。
根据另一示例性实施例的方面，提供一种存储指令的非暂时性计算机可读存储介质，其中，当所述指令被处理器执行时，使得处理器执行对象跟踪方法，所述对象跟踪方法包括：检测基于第一波段的光的第一类型输入图像中的目标对象；基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与存储在第一数据库(DB)中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
根据另一示例性实施例的方面，提供一种对象跟踪设备，包括：处理器；以及包括由处理器可读的指令的存储器，其中，所述指令被处理器执行，从而处理器被配置为：检测基于第一波段的光的第一类型输入图像中的目标对象；当在第一类型输入图像中检测到目标对象时，基于目标对象的检测信息来跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与存储在第一DB中的图像进行比较，来测量第一类型输入图像的可靠度；当第一类型输入图像的可靠度低于第一阈值时，基于检测信息来跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
根据另一示例性实施例的方面，提供一种对象跟踪设备，包括：存储器，存储指令；处理器，当处理器执行指令时，处理器被配置为：确定是否能够在基于第一波段的光的第一类型输入图像中检测到目标对象；如果确定能够在第一类型输入图像中检测到目标对象，则：基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；通过将第一类型输入图像与存储在第一数据库(DB)中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光；如果确定不能在第一类型输入图像中检测到目标对象，则：检测第二类型输入图像中的目标对象。
附图说明
通过参照附图描述特定示例性实施例，以上和/或其他示例性方面将是清楚的。
图1是示出根据示例性实施例的对象跟踪设备的框图；
图2是示出根据示例性实施例的对象跟踪方法的流程图；
图3是示出根据示例性实施例的可靠度测量器的操作的示图；
图4是示出根据示例性实施例的测量输入图像的可靠度的处理的示图；
图5是示出根据示例性实施例的使用跟踪区域跟踪对象的处理的示图；
图6是示出根据示例性实施例的基于质量信息的***的框图；
图7是示出根据示例性实施例的训练设备的框图；
图8是示出根据示例性实施例的训练检测器的处理的示图；
图9是示出根据示例性实施例的训练***以跟踪基于第一波段的光的输入图像中的目标对象的处理的示图；
图10是示出根据示例性实施例的训练***以跟踪基于第二波段的光的输入图像中的目标对象的处理的示图；
图11是示出根据示例性实施例的使用立体相机的对象跟踪方法的流程图；
图12是示出根据示例性实施例的图像处理设备的框图。
具体实施方式
下面描述示例性实施例，并且示例性实施例的范围不限于在本说明书中提供的描述。本领域的普通技术人员可对示例性实施例进行各种改变和修改。
虽然术语“第一”和/或“第二”可用于解释各种组件，但是所述组件不受限于这些术语。这些术语仅意图将一个组件与另一组件区分开。例如，根据本公开的构思，在呈现的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
除非上下文另外明确地指示，否则如在此使用的，单数形式也意图包括复数形式。还应理解，当在本说明书中使用术语“包含”和/或“包括”时，指定存在阐述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非在此另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则在通用词典中定义的术语应被解释为具有与相关领域的上下文含义相匹配的含义，并且不被解释为理想的或过于正式的含义。
在下文中，将参照附图在下面详细地描述示例性实施例，并且贯穿本说明书，相同的参考标号表示相同的元件。
图1是示出根据示例性实施例的对象跟踪设备100的框图。参照图1，对象跟踪设备100包括图像处理设备110、相机120和红外(IR)光源130。对象跟踪设备100可从通过相机120获取的输入图像检测目标对象150，并可跟踪检测的目标对象150。例如，目标对象150可以是用户的眼睛，对象跟踪设备100可以以高准确度跟踪输入图像中的作为目标对象150的眼睛。例如，目标对象150可以可选地包括诸如车辆、自行车或者除了眼睛之外的身体部位(诸如，脸部或手)的对象。在下面的描述中，将描述目标对象150对应于用户的眼睛的示例，然而，目标对象150可以是除了眼睛之外的对象。
对于裸眼三维(3D)显示器，可能需要获取用户的眼睛位置。裸眼3D设备可使用相机跟踪用户的眼睛并可输出与眼睛的位置对应的3D图像。3D平视显示器(HUD)可在挡风玻璃上显示导航信息、用于在恶劣天气和危险情况或危害时辅助驾驶的信息。由于关于道路的3D信息的准确表示在3DHUD中很重要，所以可能需要持续精确地检测眼睛位置。例如，即使在低照度环境中或者存在障碍物(诸如，眼镜)的环境中，也可能需要持续精确地检测眼睛位置。当由于串扰而将不正确的3D信息提供给用户时，可能发生危及生命的情况(诸如，交通事故)。因此，对象跟踪设备100必须能够跟踪在各种环境(例如，低照度环境或者存在障碍物(诸如，眼镜)的环境)中捕捉的输入图像中的目标对象150。
相机120可捕捉输入图像并将输入图像提供给图像处理设备110。图像处理设备110可跟踪输入图像中的目标对象150并可确定目标对象150的坐标。例如，相机120可以是单个相机或立体相机。当相机120是单个相机时，图像处理设备110可从输入图像提取目标对象150的2D坐标，可将2D坐标与用户的瞳孔间距(IPD)组合，并可确定目标对象150的3D坐标。当相机120是立体相机时，图像处理设备110可从在至少两个位置处获取的输入图像提取目标对象150的2D坐标，并可使用三角测量方案来确定目标对象150的3D坐标。
相机120可生成基于第一波段的光的第一类型的第一类型输入图像，并且可生成基于第二波段的光的第二类型的第二类型输入图像。相机120可用作使用可见光线的视觉相机并且可用作使用IR线的IR相机。例如，相机120可以是可使用可见光线和IR线二者的混合相机。例如，可从相机120去除IR截止滤光片，并且相机120可在提供可见光线的环境中使用可见光线来捕捉目标对象150，并可在提供IR线的环境中使用IR线来捕捉目标对象150。例如，相机120可以是混合类型立体相机。
视觉相机在低照度下跟踪目标对象150的能力可能受到限制。例如，为了在低照度环境中使用视觉相机来跟踪目标对象150，可降低视觉相机的帧率或者可打开光圈。在这个示例中，由于低帧率，会发生相机延迟或图像模糊。IR相机也可用于低照度环境中。然而，当使用IR相机时，可由于IR线的持续使用而发生安全的问题，可由于眼镜而在眼睛周围出现白点，或者在存在强的外部光的环境中，检测目标对象150的准确度可降低。
因此，相机120可根据情况适当地作为视觉相机或IR相机进行操作。例如，当图像处理设备110无法从基于可见光线的输入图像检测目标对象150时，相机120可基于IR线来捕捉目标对象150。因此，当相机120作为IR相机进行操作时，IR光源130可被激活以用于IR捕捉，激活的IR光源130可提供IR波段的光。由于IR截止滤光片从相机120去除，所以相机120可基于IR线捕捉目标对象150。此外，当图像处理设备110确定基于可见光线的输入图像的可靠度已经降低时，相机120可基于IR线捕捉目标对象150。
在高照度下可见光线图像的使用不一定高效地跟踪。此外，在低照度下IR线图像的使用不一定高效地跟踪。例如，即使在低照度下，可见光线图像的使用也可以高效地跟踪。因此，仅通过基于照度值来确定将被相机120使用的波段可能难以保证跟踪的准确性。
例如，可使用被训练为输出输入图像的可靠度的可靠度测量器来测量输入图像的可靠度，并可基于输入图像的可靠度来切换模态。在这个示例中，模态可表示与预定波段相关联的操作或装置。输入图像的高可靠度可包括使用输入图像的训练处理的高可靠度。例如，当使用可靠度测量器测量到低的可靠度时，模态可被切换以增强训练处理的可靠度。与简单地根据照度值相比，当使用可靠度测量器时，跟踪准确度可被增加。
对象跟踪设备100可用于针对车辆的3D HUD跟踪驾驶员的眼睛位置，或者用于针对显示器装置(诸如，电视(TV)或移动装置)的3D显示器跟踪观看者的眼睛位置。此外，对象跟踪设备100可用于监视驾驶员的视点和驾驶员的视线跟踪状态。
对象跟踪设备100可在检测模式下检测目标对象150，并基于检测的目标对象150的区域信息在跟踪模式下跟踪目标对象150。例如，当从第一帧检测到目标对象150时，对象跟踪设备100可生成检测信息并可基于检测信息跟踪第二帧中的目标对象150。在这个示例中，第二帧可以是与第一帧紧邻的帧，检测信息可包括与检测的目标对象150对应的检测区域。当对象跟踪设备100进入跟踪模式时，可仅使用输入图像的有限数量的区域而不是输入图像的所有的区域来检测目标对象150。因此，用于检测目标对象150的资源可被节约。
对象跟踪设备100可在检测模式下使用已经基于错误数据训练的检测器。错误数据可表示与相对高级别的对象检测难度对应的训练数据。可通过基于错误数据训练检测器来提高检测器的检测性能。例如，错误数据可包括以下数据中的至少一个：训练数据之中的在目标对象150的检测未完成时获得的数据和在另一对象被不正确地检测为目标对象150时获得的数据。表述“目标对象150的检测未完成”可包含目标对象150的检测中的任何失败。
对象跟踪设备100可在跟踪模式下使用基于质量训练的***。质量测量器可基于输入图像的质量来对输入图像进行分类。例如，质量测量器可将输入图像的质量分类为高质量、中等质量和低质量中的一个。输入图像的质量可包括跟踪难度的级别。***可包括被训练为跟踪高质量输入图像中的目标对象150的第一***、被训练为跟踪中等质量输入图像中的目标对象150的第二***和被训练为跟踪低质量输入图像中的目标对象150的第三***。当质量测量器测量输入图像的质量时，与测量的质量对应的***可跟踪目标对象150。当使用基于质量训练的***时，跟踪准确度可被提高。
图2是示出根据示例性实施例的对象跟踪方法的流程图。在下面的描述中，由可见光线相机使用的波段(即，包括可见波段的波段)可被称为“第一波段”，由IR相机使用的波段(即，包括IR波段的波段)可被称为“第二波段”。此外，与第一波段相关联的操作或装置可被称为“第一模态”，与第二波段相关联的操作或装置可被称为“第二模态”。
下面的描述可应用于被配置为提供输入图像的相机是单个相机的示例和该相机是立体相机的示例二者。例如，当单个相机被使用时，下面的描述可适用于该单个相机。当立体相机被使用时，下面的描述可适用于该立体相机的多个相机。
参照图2，在操作210中，对象跟踪设备基于当前模态从输入图像检测目标对象。当前模态可以是第一模态或第二模态。例如，当当前模态是第一模态时，对象跟踪设备可获取基于第一波段的光的第一类型输入图像，并可从第一类型输入图像检测目标对象。在操作240或操作290中，可基于预定条件来切换当前模态。虽然在下面的描述中假定当前模态为第一模态，但是下面的描述同样适用于当前模态是第二模态的示例。
在操作220中，对象跟踪设备确定是否从第一类型输入图像检测到目标对象。当从第一类型输入图像检测到目标对象时，对象跟踪设备的操作模式可从检测模式改变为跟踪模式，并且操作250可被执行。当从第一类型输入图像未检测到目标对象时，操作230和操作240可被执行。在下文中，将进一步描述在操作210中从第一类型输入图像未检测到目标对象的示例和从第一类型输入图像检测到目标对象的示例。
从第一类型输入图像未检测到目标对象的示例
当从第一类型输入图像未检测到目标对象时，对象跟踪设备在操作230中控制相机和光源中的至少一个，并在操作240中切换模态。例如，当从第一类型输入图像未检测到目标对象时，对象跟踪设备可激活IR光源，并可将当前模态从第一模态切换为第二模态。此外，在操作230中，可调节相机的光圈、快门速度和ISO中的一个或多个。
在第一模态中，可执行根据基于第一波段的光的第一类型输入图像的操作。在第二模态中，可执行根据基于第二波段的光的第二类型输入图像的操作。例如，当在操作240中当前模态从第一模态切换到第二模态时，对象跟踪设备可获取第二类型输入图像并可在操作210中从第二类型输入图像检测目标对象。对象跟踪设备可在操作220中确定是否从第二类型输入图像检测到目标对象。当从第二类型输入图像检测到目标对象时，操作模式可从检测模式改变为跟踪模式，并且操作250可被执行。当从第二类型输入图像未检测到目标对象时，对象跟踪设备可重复操作230和操作240。
当从第二类型输入图像检测到目标对象时，对象跟踪设备可在操作250中基于目标对象的检测信息来跟踪第二类型输入图像中的目标对象。检测信息可在操作210中响应于从第二类型输入图像检测到目标对象而被生成。对象跟踪设备可通过将存储在第二数据库(DB)中的图像与第二类型输入图像进行比较来测量第二类型输入图像的可靠度。然后，在操作260中，将图像的可靠度与第二阈值进行比较。如下面进一步详细讨论的，当第二类型输入图像的可靠度低于第二阈值时，可执行操作270、操作280和操作290。与第一类型输入图像的可靠度进行比较的阈值可被称为“第一阈值”，与第二类型输入图像的可靠度进行比较的阈值可被称为“第二阈值”。
当在操作290中基于指示第二类型输入图像的可靠度低于第二阈值的结果而将当前模态从第二模态切换到第一模态时，对象跟踪设备可在操作250中跟踪第一类型输入图像中的目标对象。存储在第二DB中的图像可具有比预定阈值高的可靠度，并可包括基于第二波段的光获取的至少一个第二参考图像。因此，第二类型输入图像的可靠度可被确定为随着第二类型输入图像与所述至少一个第二参考图像的相似度增加而增加。
对象跟踪设备可基于检测信息来跟踪目标对象。如上所述，检测信息可在操作210中响应于从第二类型输入图像检测到目标对象而被生成。例如，不管在哪个模态中生成检测信息，检测信息都可被使用。例如，当检测信息在第二模态中生成时，生成的检测信息还可被用于第一模态中。当输入图像具有相同大小时，因为不管当前模态如何检测信息都可被使用，所以检测信息中的检测区域可以是预定区域。
从第一类型输入图像检测到目标对象的示例
当从第一类型输入图像检测到目标对象时，对象跟踪设备可生成包括检测区域的检测信息。在操作250中，对象跟踪设备可获取第一类型输入图像的下一帧并可跟踪获取的下一帧中的目标对象。对象跟踪设备可基于检测信息来跟踪目标对象。
对象跟踪设备可通过将存储在第一DB中的图像与第一类型输入图像进行比较，来测量第一类型输入图像的可靠度。然后，在操作260中，可将第一类型输入图像的可靠度与第一阈值进行比较。存储在第一DB中的图像可具有比预定阈值高的可靠度，并可包括基于第一波段的光获取的至少一个第一参考图像。因此，第一类型输入图像的可靠度可被确定为随着第一类型输入图像与所述至少一个第一参考图像的相似度增加而增加。
当第一类型输入图像的可靠度高于或等于第一阈值时，可再次执行操作250。例如，当第一类型输入图像的可靠度高于或等于第一阈值时，可基于第一模态保持跟踪模式。对象跟踪设备可获取第一类型输入图像的下一帧并可跟踪获取的下一帧中的目标对象。当继续测量到第一类型输入图像的高可靠度时，对象跟踪设备可继续获取第一类型输入图像的连续的帧并可继续跟踪第一类型输入图像中的目标对象。
如下面进一步详细讨论，当第一类型输入图像的可靠度低于第一阈值时，在操作270中，确定是否已经检查了所有的模态，并且操作280和操作290可被执行。所有的模态可包括第一模态和第二模态。例如，尽管基于第一模态具有低可靠度，但是可在第二模态中执行跟踪模式，而不是立即释放跟踪模式。当在第一模态和第二模态二者中测量到低可靠度时，可释放跟踪模式并且可再次执行检测模式。换句话说，当在操作270中确定所有的模态被检查时，可在操作210中再次执行检测模式。当比所有模态少的模态已经被检查时，操作280和操作290可被执行。
在操作280中，对象跟踪设备可控制光源和相机中的至少一个，在操作290中，对象跟踪设备可切换模态。例如，当第一类型输入图像的可靠度低于第一阈值时，对象跟踪设备可在操作280中激活IR光源，并可在操作290中将当前模态从第一模态切换到第二模态。上面对操作230和操作240的描述也可适用于操作280和操作290。
当在操作290中当前模态从第一模态切换到第二模态时，对象跟踪设备可从第二类型输入图像获取下一帧，并可在操作250中跟踪获取的下一帧中的目标对象。对象跟踪设备可基于检测信息来跟踪目标对象。如上所述，检测信息可在操作210中响应于在第一类型输入图像中检测到目标对象而被生成。
对象跟踪设备可通过将存储在第二DB中的图像与第二类型输入图像进行比较来测量第二类型输入图像的可靠度。然后，可在操作260中将第二类型输入图像的可靠度与第二阈值进行比较。当第二类型输入图像的可靠度低于第二阈值时，可执行操作270。当已经检查了第一模态和第二模态二者时，可释放跟踪模式并可在操作210中重复检测模式。当执行检测模式时，可保持或切换当前模态。在上面的示例中，对象跟踪设备可继续在第二模态操作，或者可通过将当前模态从第二模态切换到第一模态而在第一模态操作。因此，在操作210中，对象跟踪设备可基于当前模态从第一类型输入图像或第二类型输入图像来检测目标对象。
图3是示出根据示例性实施例的可靠度测量器310的操作的示图。参照图3，可靠度测量器310可将输入图像和存储在DB 320中的图像进行比较，从而可确定并输出输入图像的可靠度。对象跟踪设备可使用可靠度测量器310来测量输入图像的可靠度，或者可直接执行将在下面描述的可靠度测量器310的操作。
DB 320可包括第一DB 321和第二DB 323。当输入图像对应于第一模态时，可靠度测量器310可将输入图像与存储在第一DB 321中的图像进行比较。当输入图像对应于第二模态时，可靠度测量器310可将输入图像与存储在第二DB 323中的图像进行比较。存储在第一DB 321中的一个或多个图像可具有比预定阈值高的可靠度，并且可包括基于第一波段的光获取的至少一个第一参考图像。存储在第二DB 323中的一个或多个图像可具有比预定阈值高的可靠度，并且可包括基于第二波段的光获取的至少一个第二参考图像。例如，DB 320可包括由基于质量训练的***以高可靠度分类的参考图像。
图4是示出根据示例性实施例的测量输入图像的可靠度的处理的示图。可基于输入图像420的模态从第一DB或第二DB获取参考图像410。例如，当输入图像420具有第二类型时，可从第二DB获取参考图像410。例如，存储在第一DB和第二DB中的参考图像410的数量可基于对象跟踪设备的要求的跟踪准确度或期望的性能来确定。
对象跟踪设备可从参考图像410提取全局特征411和局部特征413，并可从输入图像420提取全局特征421和局部特征423。例如，假设全局特征411和全局特征421的数量由“l”表示，局部特征413和局部特征423的数量由“m”表示，以及“l+m＝n”。在这个示例中，n表示从参考图像410提取的全局特征和局部特征二者的总数量以及从输入图像420提取的全局特征和局部特征二者的总数量。此外，l、m和n可以是自然数。
对象跟踪设备可计算与全局特征411和全局特征421中的每一个以及局部特征413和局部特征423中的每一个相关联的平均值(mean)和标准值(std)。例如，对象跟踪设备可计算与全局特征411相关联的平均值G_gf1_mean至G_gfl_mean以及标准值G_gf1_std至G_gfl_std，并且可计算与全局特征421相关联的平均值I_gf1_mean至I_gfl_mean以及标准值I_gf1_std至I_gfl_std。此外，对象跟踪设备可计算与局部特征413相关联的平均值G_lf1_mean至G_lfm_mean以及标准值G_lf1_std至G_lfm_std，并且可计算与局部特征423相关联的平均值I_lf1_mean至I_lfm_mean以及标准值I_lf1_std至I_lfm_std。
对象跟踪设备可基于计算的平均值和计算的标准值来计算特征之间的距离。例如，可使用下面示出的等式1来计算距离。
[等式1]
在等式1中，d_i表示参考图像的第i特征与输入图像的第i特征之间的距离，I_gfi_mean表示输入图像的第i全局特征的平均值，I_gfi_std表示输入图像的第i全局特征的标准值，G_gfi_mean表示参考图像的第i全局特征的平均值，G_gfi_std表示参考图像的第i全局特征的标准值。此外，I_lfi_mean表示输入图像的第i局部特征的平均值，I_lfi_std表示输入图像的第i局部特征的标准值，G_lfi_mean表示参考图像的第i局部特征的平均值，G_lfi_std表示参考图像的第i局部特征的标准值。
对象跟踪设备可基于特征之间的距离来计算特征的分数。例如，可使用下面示出的等式2来计算特征的分数。
[等式2]
在等式2中，F_score_i表示第i特征的分数，d_i表示参考图像的第i特征与输入图像的第i特征之间的距离，d_i_max表示距离d_i的最大值，d_i_min表示距离d_i的最小值。
对象跟踪设备可使用特征的分数的加权平均来计算输入图像的可靠度。例如，可使用下面示出的等式3来计算输入图像的可靠度。
[等式3]
在等式3中，S表示输入图像的可靠度，F_score_k表示第k特征分数，wk表示第k权重，n表示提取的特征的数量，k表示运算索引。对象跟踪设备可使用图4的处理来测量输入图像的可靠度。
图5是示出根据示例性实施例的使用跟踪区域跟踪对象的处理的示图。为了跟踪目标对象，对象跟踪设备可确定被估计为与帧F1中的目标对象对应的检测区域。检测区域的位置和大小可被指定。例如，检测区域的大小可被预先设置，检测区域的位置可通过对象跟踪设备来确定。
对象跟踪设备可通过从帧F1中的检测区域提取目标对象的特征点来对齐目标对象。例如，对象跟踪设备可从图像的与来自帧F1的检测区域对应的部分提取表示目标对象的形状的特征点，以识别目标对象的几何结构。当目标对象被对齐时，对象跟踪设备可基于提取的特征点来确定用于跟踪目标对象的跟踪区域510。例如，对象跟踪设备可将下面的区域确定为跟踪区域：在该区域的中心部分上包括特征点。对象跟踪设备可基于跟踪区域510来跟踪帧F2中的目标对象。当帧F1的可靠度高于或等于阈值时，可在帧F2中省略对象检测。
帧F2中的目标对象可位于与帧F1中的目标对象的位置相比更向上和更向右的位置。对象跟踪设备可从帧F2中的跟踪区域510提取目标对象的特征点。对象跟踪设备可基于从跟踪区域510提取的特征点来确定帧F2中的新的跟踪区域520。例如，对象跟踪设备可将下面的区域确定为跟踪区域520：在该区域的中心部分中包括从跟踪区域510提取的特征点。与帧F2类似，在帧F3中，可从跟踪区域520提取目标对象的特征点，并且可确定新的跟踪区域530。如上所述，当输入图像的可靠度高于或等于阈值时，对象跟踪设备可在跟踪模式下继续跟踪目标对象。
对象跟踪设备可使在跟踪目标对象期间的检测器的使用最小化。如描述的，由于检测器的检测操作消耗计算资源，所以可使用对象跟踪设备来使检测器的使用最小化。由于检测器扫描输入图像的所有区域来检测目标对象，所以大量计算资源可被消耗以用于检测器的检测操作。
对象跟踪设备可在跟踪目标对象的同时输出包括在输入图像中的目标对象的位置信息。例如，目标对象的位置信息可包括用户的眼睛位置。例如，对象跟踪设备可跟踪包括在输入图像中的多个帧中的目标对象，并可输出每一帧的用户的眼睛位置。眼睛位置可由2D坐标或3D坐标来表明。
图6是示出根据示例性实施例的使用质量信息的***620的框图。参照图6，***620包括三个子***：第一***611、第二***613和第三***615。为了便于描述，在下面的描述中并且如图6所示，***620包括三个子***，然而，***620可包括两个子***或至少四个子***。可使用具有不同质量的图像来训练子***。例如，可使用高质量图像来训练第一***611，可使用中等质量图像来训练第二***613，可使用低质量图像来训练第三***615。
对象跟踪设备可测量输入图像的质量，并可将输入图像和输入图像的质量信息发送到***620。对象跟踪设备可使用质量测量器610来测量输入图像的质量。***620可从多个子***选择与输入图像的质量信息对应的子***，并将输入图像提供给选择的子***。例如，当输入图像具有高质量时，***620可将输入图像提供给使用高质量图像训练的第一***611。当输入图像被提供给子***时，子***可跟踪输入图像中目标对象。
图7是示出根据示例性实施例的训练设备700的框图。参照图7，训练设备700包括处理器710和存储器720。存储器720可包括神经网络725，并可存储由处理器710可读的指令。神经网络725可对应于检测器、***、可靠度测量器和质量测量器。当指令被处理器710执行时，处理器710可训练神经网络725。神经网络725的训练可包括训练神经网络725的参数、更新神经网络725、和/或更新神经网络725的参数。存储器720可存储训练处理和被完全训练的神经网络725所需的数据。
图8是示出根据示例性实施例的检测器的训练处理的示图。参照图8，第一样本检测器810可从第一训练数据检测目标对象，第一错误数据831可基于第一样本检测器810的输出被形成。第一训练数据可包括基于第一波段的图像(在下文中，称为“基于第一波段图像”)，第一样本检测器810可被预先训练以从基于第一波段图像检测目标对象。第二样本检测器820可从第二训练数据检测目标对象，第二错误数据833可基于第二样本检测器820的输出被形成。第二训练数据可包括基于第二波段的图像(在下文中，称为“基于第二波段图像”)，并且第二样本检测器820可被预先训练以从基于第二波段图像检测目标对象。
错误DB 830可存储第一错误数据831和第二错误数据833。错误数据可表示与相对高级别的对象检测难度对应的训练数据，检测器的检测性能可通过基于错误数据训练检测器而被提高。例如，错误数据可包括以下数据中的至少一个：训练数据之中的在目标对象的检测未完成时获得的数据和在另一对象被不正确地检测为目标对象时获得的数据。第一错误数据831可包括多个基于第一波段图像之中的具有相对高级别的对象检测难度的图像，第二错误数据833可包括多个基于第二波段图像之中的具有相对高级别的对象检测难度的图像。
可基于第一错误数据831来训练第一检测器840，可基于第二错误数据833来训练第二检测器850。因此，第一检测器840可被训练为具有从多个基于第一波段图像之中的具有相对高级别的对象检测难度的图像检测目标对象的能力，第二检测器850可被训练为具有从多个基于第二波段图像之中的具有相对高级别的对象检测难度的图像检测目标对象的能力。对象跟踪设备可使用第一检测器840从第一类型输入图像检测目标对象，并可使用第二检测器850从第二类型输入图像检测目标对象。因此，对象跟踪设备可使用针对多个不同模态中的每个模态训练的检测器，从输入图像检测目标对象。
图9是示出根据示例性实施例的训练***跟踪基于第一波段的光的输入图像中的目标对象的处理的示图。参照图9，训练数据910可被分类为高质量数据921、中等质量数据923或低质量数据925。训练数据910可包括使用第一波段的光捕捉的多个图像。训练数据910可由质量测量器进行分类。例如，清楚地表示出眼睛的图像可被分类为高质量数据921，不太清楚地表示出眼睛的图像可被分类为中等质量数据923。此外，在低照度下捕捉的图像或者不清楚地表示出眼睛的中心的图像可被分类为低质量数据925。
可基于高质量数据921来训练第一***931，可基于中等质量数据923来训练第二训练器933，可基于低质量数据925来训练第三***935。第一***931至第三***935中的每一个可被称为子***，并且已经完全训练的第一***931至第三***935可分别对应于图6的第一***611至第三***615。
为了便于描述，包括已经基于特定质量的数据训练的多个子***的***可被称为“多模型”。这样的多模型可表现出比单模型的跟踪性能高的跟踪性能。当基于多模型形成图3的第一DB 321时，可高性能地测量输入图像的可靠度。例如，多模型可测试预定的训练数据集并针对每个测试错误对训练数据集进行分类。当训练数据集被划分为具有少量错误的第一组、具有中等数量错误的第二组或具有大量错误的第三组时，第一DB 321可存储包括在第一组中的具有少量错误的数据。
图10是示出根据示例性实施例的训练***跟踪基于第二波段的光的输入图像中的目标对象的处理的示图。参照图10，训练数据1010可被分类为高质量数据1021、中等质量数据1023或低质量数据1025。训练数据1010可包括使用第二波段的光捕捉的多个图像。训练数据1010可由质量测量器进行分类。例如，清楚地表示出眼睛的图像可被分类为高质量数据1021，包括来自眼镜的弱反射的图像或者不太清楚地表示出眼睛的图像可被分类为中等质量数据1023。此外，包括来自眼镜的强反射的图像或者不清楚地表示出眼睛的中心的图像可被分类为低质量数据1025。
可基于高质量数据1021来训练第四***1031，可基于中等质量数据1023来训练第五***1033，可基于低质量数据1025来训练第六***1035。可基于包括第四***1031至第六***1035的多模型来形成图3的第二DB 323。例如，多模型可测试预定的训练数据集，并将训练数据集划分为具有少量错误的第四组、具有中等数量错误的第五组和具有大量错误的第六组，第二DB 323可存储包括在第四组中的数据。
图11是示出根据示例性实施例的使用立体相机的目标跟踪方法的流程图。立体相机可使用第一相机生成第一类型的第一输入图像，并可使用第二相机生成第一类型的第二输入图像。例如，第一相机和第二相机可在第一模态下使用第一波段的光生成第一类型的第一输入图像和第一类型的第二输入图像。操作1110、操作1111、操作1112、操作1113和操作1114可基于第一输入图像来执行，操作1120、操作1121、操作1122、操作1123和操作1124可基于第二输入图像来执行。操作1110至操作1114与操作1120至操作1124可彼此同步进行。下面将描述当前模态是第一模态的示例。
在操作1110中，对象跟踪设备获取第一输入图像并从第一输入图像检测目标对象。在操作1120中，对象跟踪设备获取第二输入图像并从第二输入图像检测目标对象。在操作1111和操作1121中，对象跟踪设备确定是否检测到目标对象。当检测到目标对象时，可执行操作1112和操作1122。当未检测到目标对象时，可执行操作1130和操作1131。当从第一输入图像或第二输入图像未检测到目标对象时，可执行操作1130和操作1131。在操作1130和操作1131中，对象跟踪设备控制光源和相机中的至少一个，并切换模态。
在操作1112中，对象跟踪设备获取第一输入图像的下一帧，并跟踪第一输入图像的下一帧中的目标对象。在操作1122中，对象跟踪设备获取第二输入图像的下一帧，并跟踪第二输入图像的下一帧中的目标对象。目标跟踪设备可基于检测信息来跟踪目标对象。
在操作1113和操作1123中，对象跟踪设备测量第一输入图像和第二输入图像中的每一个的可靠度，并将测量的可靠度与阈值进行比较。当可靠度高于或等于阈值时，可执行操作1114和操作1124。当可靠度低于阈值时，可执行操作1140和操作1141。当第一输入图像的可靠度或第二输入图像的可靠度低于阈值时，可执行操作1140和操作1141。当测量到低于阈值的可靠度时以及当检查了所有的模态时，可执行操作1110和操作1120。上面对图2的描述也可适用于图11的对象跟踪方法。
图12是示出根据示例性实施例的图像处理设备1200的框图。参照图12，图像处理设备1200包括处理器1210和存储器1220。存储器1220可包括用于对象跟踪的数据和由处理器1210可读并可执行的指令。存储器1220可包括用于启动处理器或实现被完全训练的检测器、***、可靠度测量器和质量测量的软件。当存储器1220中的指令被处理器1210执行时，处理器1210可执行用于对象跟踪的操作。例如，处理器1210可从基于第一波段的光的第一类型输入图像检测目标对象。当从第一类型输入图像检测到目标对象时，处理器1210可基于目标对象的检测信息来跟踪第一类型输入图像中的目标对象。处理器1210可通过将第一类型输入图像与第一DB进行比较来测量第一类型输入图像的可靠度。当第一类型输入图像的可靠度低于第一阈值时，处理器1210可基于检测信息来跟踪第二类型输入图像中的目标对象。第二类型输入图像可基于第二波段的光。上面对图1至图11的描述也适用于图像处理设备1200。
在此描述的示例性实施例可使用硬件组件、软件组件或它们的组合来实现。处理装置可使用一个或多个通用计算机或专用计算机(诸如，处理器、控制器和算术逻辑单元、数字信号处理器、微处理器、现场可编程阵列、可编程逻辑单元、微处理器或者能够以限定的方式响应和执行指令的任何其他装置)来实现。处理器装置可运行操作***(OS)和在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行而访问、存储、操纵、处理和创建数据。为了简明的目的，处理装置的描述用作单数；然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者一个处理器和一个控制器。此外，不同的处理配置是可以的，诸如并行处理器。
软件可包括用于单独地或共同地指示或配置处理装置按照期望的那样操作的计算机程序、代码段、指令或它们的一些组合。可以以能够向处理装置提供指令或数据或者由处理装置解释的指令或数据的任何类型的机器、组件、物理设备或虚拟设备、计算机存储介质或装置来永久地或暂时地实现软件和数据。软件还可被分布在联网计算机***上，使得软件以分布方式被存储和执行。可通过一个或多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述示例性实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现可由计算机执行的各种操作。介质还可单独地或与程序指令结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是针对示例性实施例的目的而专门设计和构建的那些程序指令，或者它们可以是对于计算机软件领域的技术人员公知和可用的程序指令。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光介质(诸如，CD-ROM盘和DVD)；磁光介质(诸如，光盘)；以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如，由编译器产生的代码)和包含可由计算机使用解释器执行的高级代码的文件二者。上述硬件装置可被配置为作为一个或多个软件模块以执行上述示例实施例的操作，反之亦然。
尽管本公开包括示例性实施例，但是本领域的普通技术人员将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例性实施例进行形式和细节的各种改变。在此描述的示例性实施例仅被认为是描述性意义，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序执行，和/或如果描述的***中的组件、架构、装置和电路以不同的方式组合和/或被其他组件或它们的等同物替换或补充，则可实现适合的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，在权利要求及其等同物的范围内的所有的变化被解释为包括在本公开中。

Claims (20)

1.一种对象跟踪方法，包括：
检测基于第一波段的光的第一类型输入图像中的目标对象；
基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；
通过将第一类型输入图像与存储在第一数据库DB中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；
当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
2.根据权利要求1所述的对象跟踪方法，其中，第一波段包括可见光波段，第二波段包括红外IR光波段。
3.根据权利要求1所述的对象跟踪方法，还包括：
在检测第一类型输入图像中的目标对象之前，使用相机和红外IR截止滤光片来获取第一类型输入图像；
当第一类型输入图像的可靠度低于第一阈值时，控制IR光源输出红外IR光并使用去除IR截止滤光片的相机获取第二类型输入图像。
4.根据权利要求3所述的对象跟踪方法，其中，第一波段包括可见光波段。
5.根据权利要求1所述的对象跟踪方法，其中，存储在第一DB中的至少一个图像包括基于第一波段的光的第一参考图像。
6.根据权利要求1所述的对象跟踪方法，还包括：
通过将第二类型输入图像与存储在第二DB中的至少一个图像进行比较，来测量第二类型输入图像的可靠度。
7.根据权利要求6所述的对象跟踪方法，其中，存储在第二DB中的至少一个图像包括基于第二波段的光的第二参考图像。
8.根据权利要求1所述的对象跟踪方法，其中，
检测第一类型输入图像中的目标对象的步骤包括：使用基于错误数据训练的第一检测器，来检测第一类型输入图像中的目标对象，
错误数据包括以下数据中的至少一个：当目标对象的检测未完成时获得的数据和当另一对象被不正确地检测为目标对象时获得的数据。
9.根据权利要求1所述的对象跟踪方法，其中，
所述检测信息包括与第一类型输入图像的第一帧中的目标对象的位置对应的检测区域，
跟踪第一类型输入图像中的目标对象的步骤包括：基于所述检测区域，跟踪第一类型输入图像的第二帧中的目标对象。
10.一种对象跟踪方法，包括：
确定是否能够在基于第一波段的光的第一类型输入图像中检测到目标对象；
如果确定能够在第一类型输入图像中检测到目标对象，则：
基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；
通过将第一类型输入图像与存储在第一数据库DB中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；
当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光；
如果确定不能在第一类型输入图像中检测到目标对象，则：
检测第二类型输入图像中的目标对象。
11.根据权利要求10所述的对象跟踪方法，还包括：
当确定不能在第一类型输入图像中检测到目标对象时：
基于在第二类型输入图像中检测到的目标对象的检测信息，跟踪第二类型输入图像中的目标对象；
通过将第二类型输入图像与存储在第二DB中的至少一个图像进行比较，来测量第二类型输入图像的可靠度。
12.一种存储指令的非暂时性计算机可读存储介质，其中，当所述指令被处理器执行时，使得处理器执行对象跟踪方法，所述对象跟踪方法包括：
检测基于第一波段的光的第一类型输入图像中的目标对象；
基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；
通过将第一类型输入图像与存储在第一数据库DB中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；
当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
13.一种对象跟踪设备，包括：
存储器，存储指令；
处理器，当处理器执行指令时，处理器被配置为：
检测基于第一波段的光的第一类型输入图像中的目标对象；
基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；
通过将第一类型输入图像与存储在第一数据库DB中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；
当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息来跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光。
14.根据权利要求13所述的对象跟踪设备，其中，第一波段包括可见光波段，第二波段包括红外IR光波段。
15.根据权利要求13所述的对象跟踪设备，还包括：
相机，被配置为：使用第一波段的光来生成第一类型输入图像并使用第二波段的光来生成第二类型输入图像；
红外IR光源，被配置为输出IR光。
16.根据权利要求15所述的对象跟踪设备，其中，处理器被配置为：当第一波段包括可见光波段时并且当第一类型输入图像的可靠度低于第一阈值时，激活IR光源。
17.根据权利要求13所述的对象跟踪设备，其中，存储在第一DB中的至少一个图像包括基于第一波段的光的第一参考图像。
18.根据权利要求13所述的对象跟踪设备，其中，处理器还被配置为：通过将第二类型输入图像与存储在第二DB中的至少一个图像进行比较，来测量第二类型输入图像的可靠度。
19.一种对象跟踪设备，包括：
存储器，存储指令；
处理器，当处理器执行指令时，处理器被配置为：
确定是否能够在基于第一波段的光的第一类型输入图像中检测到目标对象；
如果确定能够在第一类型输入图像中检测到目标对象，则：
基于目标对象的检测信息，跟踪第一类型输入图像中的目标对象；
通过将第一类型输入图像与存储在第一数据库DB中的至少一个图像进行比较，来测量第一类型输入图像的可靠度；
当第一类型输入图像的可靠度低于第一阈值时，基于所述检测信息跟踪第二类型输入图像中的目标对象，其中，第二类型输入图像基于与第一波段不同的第二波段的光；
如果确定不能在第一类型输入图像中检测到目标对象，则：
检测第二类型输入图像中的目标对象。
20.根据权利要求19所述的对象跟踪设备，其中，处理器还被配置为：
当确定不能在第一类型输入图像中检测到目标对象时：
基于在第二类型输入图像中检测到的目标对象的检测信息，跟踪第二类型输入图像中的目标对象；
通过将第二类型输入图像与存储在第二DB中的至少一个图像进行比较，来测量第二类型输入图像的可靠度。
CN201810755172.8A 2017-10-27 2018-07-11 用于跟踪对象的方法和设备 Active CN109727271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170141332A KR102495359B1 (ko) 2017-10-27 2017-10-27 객체 트래킹 방법 및 장치
KR10-2017-0141332 2017-10-27

Publications (2)

Publication Number Publication Date
CN109727271A true CN109727271A (zh) 2019-05-07
CN109727271B CN109727271B (zh) 2023-09-22

Family

ID=63113319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810755172.8A Active CN109727271B (zh) 2017-10-27 2018-07-11 用于跟踪对象的方法和设备

Country Status (5)

Country Link
US (3) US10755420B2 (zh)
EP (1) EP3477540A1 (zh)
JP (1) JP7163129B2 (zh)
KR (1) KR102495359B1 (zh)
CN (1) CN109727271B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112581507A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 目标跟踪方法、***及计算机可读存储介质
CN116912290A (zh) * 2023-09-11 2023-10-20 四川都睿感控科技有限公司 一种记忆增强的难易视频运动小目标检测方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP6725733B2 (ja) 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP2021535564A (ja) * 2018-08-27 2021-12-16 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 物体検出アルゴリズムで使用する光源を調整するためのシステム及び方法
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
KR20210073135A (ko) 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
CN112544072A (zh) * 2019-12-13 2021-03-23 深圳市大疆创新科技有限公司 设备/集成设备的工作方法、装置、可移动设备、介质
CN111815669B (zh) * 2020-06-23 2023-02-28 浙江大华技术股份有限公司 目标跟踪方法、目标跟踪装置及存储装置
CN113327273B (zh) * 2021-06-15 2023-12-19 中国人民解放***箭军工程大学 一种基于可变窗函数相关滤波的红外目标跟踪方法
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105836A (zh) * 2007-07-06 2008-01-16 哈尔滨工程大学 运动背景的红外图像实时目标识别与***及方法
US20100007764A1 (en) * 2001-03-30 2010-01-14 Fernando Martins Determining image quality for improving object trackability
CN103429142A (zh) * 2011-03-30 2013-12-04 卡尔蔡司医疗技术股份公司 使用跟踪有效获得人眼测量的***和方法
US20150220789A1 (en) * 2014-01-31 2015-08-06 The Charles Stark Draper Technology, Inc. Systems and methods for detecting and tracking objects in a video stream
WO2015139939A1 (de) * 2014-03-17 2015-09-24 Bayerische Motoren Werke Aktiengesellschaft Dynamische wellenlängenanpassung von eye-tracking beleuchtungen
US20160000409A1 (en) * 2008-01-09 2016-01-07 Cyberheart, Inc. Apparatus and method for real-time tracking of tissue structures
US20160012608A1 (en) * 2014-07-08 2016-01-14 Nec Corporation Object tracking device, object tracking method, and computer-readable medium
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法
US20160350334A1 (en) * 2015-05-29 2016-12-01 Accenture Global Services Limited Object recognition cache

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457474B2 (ja) 2000-04-04 2010-04-28 ソニー株式会社 情報記録装置、情報再生装置、情報記録方法、情報再生方法、および情報記録媒体、並びにプログラム提供媒体
JP3450801B2 (ja) 2000-05-31 2003-09-29 キヤノン株式会社 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
GB2373943A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
JP3728503B2 (ja) * 2002-03-29 2005-12-21 国土交通省国土技術政策総合研究所長 データ確信度を用いたセンサ選択方法とこれを用いた道路交通監視システム
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
JP4313717B2 (ja) * 2004-04-13 2009-08-12 本田技研工業株式会社 視線検出装置
EP1693782B1 (en) 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
EP1933694B1 (en) 2005-10-10 2020-07-22 Tobii AB Eye tracker having an extended span of operating distances
WO2008091565A1 (en) * 2007-01-23 2008-07-31 Valeo Schalter & Sensoren Gmbh Method and system for universal lane boundary detection
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
EP2793697A4 (en) * 2011-12-21 2015-08-19 Catherine M Shachaf SYSTEM FOR IMAGING LESIONS ALIGNING FABRIC SURFACES
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
EP2709060B1 (en) 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
JPWO2014084224A1 (ja) * 2012-11-27 2017-01-05 京セラ株式会社 電子機器および視線入力方法
JP2016532396A (ja) 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
US9430040B2 (en) 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160011657A1 (en) 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
KR102281149B1 (ko) 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
US10141618B2 (en) 2015-07-15 2018-11-27 Hyundai Motor Company System and method of cooling high voltage battery
JP6540330B2 (ja) * 2015-07-28 2019-07-10 日本電気株式会社 追跡システム、追跡方法および追跡プログラム
KR102415503B1 (ko) 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
JP6706625B2 (ja) * 2015-10-29 2020-06-10 株式会社Ｆｕｊｉ 基板位置検索装置、および部品実装機
JP2017084307A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
KR102476897B1 (ko) 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007764A1 (en) * 2001-03-30 2010-01-14 Fernando Martins Determining image quality for improving object trackability
CN101105836A (zh) * 2007-07-06 2008-01-16 哈尔滨工程大学 运动背景的红外图像实时目标识别与***及方法
US20160000409A1 (en) * 2008-01-09 2016-01-07 Cyberheart, Inc. Apparatus and method for real-time tracking of tissue structures
CN103429142A (zh) * 2011-03-30 2013-12-04 卡尔蔡司医疗技术股份公司 使用跟踪有效获得人眼测量的***和方法
US20150220789A1 (en) * 2014-01-31 2015-08-06 The Charles Stark Draper Technology, Inc. Systems and methods for detecting and tracking objects in a video stream
WO2015139939A1 (de) * 2014-03-17 2015-09-24 Bayerische Motoren Werke Aktiengesellschaft Dynamische wellenlängenanpassung von eye-tracking beleuchtungen
US20160012608A1 (en) * 2014-07-08 2016-01-14 Nec Corporation Object tracking device, object tracking method, and computer-readable medium
US20160350334A1 (en) * 2015-05-29 2016-12-01 Accenture Global Services Limited Object recognition cache
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H. TORRESAN 等: "Advanced Surveillance Systems:Combining Video and Thermal Imagery for Pedestrian Detection", pages 2 - 4 *
YANMING WANG: "Review on Kernel based Target Tracking for Autonomous Driving", 《JOURNAL OF INFORMATION PROCESSING》, vol. 24, no. 1 *
郑超: "基于优化协同训练理论的自适应融合跟踪", 《红外与毫米波学报》, vol. 35, no. 4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112581507A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 目标跟踪方法、***及计算机可读存储介质
CN116912290A (zh) * 2023-09-11 2023-10-20 四川都睿感控科技有限公司 一种记忆增强的难易视频运动小目标检测方法
CN116912290B (zh) * 2023-09-11 2023-12-15 四川都睿感控科技有限公司 一种记忆增强的难易视频运动小目标检测方法

Also Published As

Publication number Publication date
US20210233253A1 (en) 2021-07-29
US10755420B2 (en) 2020-08-25
US11676421B2 (en) 2023-06-13
KR102495359B1 (ko) 2023-02-02
JP2019083004A (ja) 2019-05-30
KR20190050876A (ko) 2019-05-14
EP3477540A1 (en) 2019-05-01
US10977801B2 (en) 2021-04-13
US20190130579A1 (en) 2019-05-02
CN109727271B (zh) 2023-09-22
JP7163129B2 (ja) 2022-10-31
US20200357124A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN109727271A (zh) 用于跟踪对象的方法和设备
US10380763B2 (en) Hybrid corner and edge-based tracking
EP3864491B1 (en) Method for hmd camera calibration using synchronised image rendered on external display
CN109145680B (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN105608417B (zh) 交通信号灯检测方法及装置
EP2966863B1 (en) Hmd calibration with direct geometric modeling
WO2020076396A1 (en) Real-world anchor in a virtual-reality environment
CN110520899A (zh) 标识在环境中的标记的位置
US8831337B2 (en) Method, system and computer program product for identifying locations of detected objects
CN105096307B (zh) 在成对的立体图像中检测物体的方法
US10769437B2 (en) Adaptive sampling of training views
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的***和方法
EP3153092A1 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
EP3695381B1 (en) Floor detection in virtual and augmented reality devices using stereo images
CN101246603A (zh) 基于2d拍摄图像实现3d模型生成的方法、介质及***
US10990170B2 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN103677274A (zh) 一种基于主动视觉的互动投影方法及***
US20230169686A1 (en) Joint Environmental Reconstruction and Camera Calibration
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
WO2020197655A1 (en) Action classification based on manipulated object movement
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
KR20220045862A (ko) 동적 크로스토크를 측정하는 방법 및 장치
CN105678230B (zh) 一种红外目标投影模型指导的飞机感兴趣区测谱方法
CN111753625A (zh) 一种行人检测方法、装置、设备及介质
US10268265B2 (en) Information processing method, information processing apparatus and user equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant