CN108734087B - 物体自动识别方法以及***、购物设备和存储介质 - Google Patents

物体自动识别方法以及***、购物设备和存储介质 Download PDF

Info

Publication number
CN108734087B
CN108734087B CN201810270142.8A CN201810270142A CN108734087B CN 108734087 B CN108734087 B CN 108734087B CN 201810270142 A CN201810270142 A CN 201810270142A CN 108734087 B CN108734087 B CN 108734087B
Authority
CN
China
Prior art keywords
image
feature
points
dimensional
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810270142.8A
Other languages
English (en)
Other versions
CN108734087A (zh
Inventor
刘童
刘向阳
唐小军
张治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810270142.8A priority Critical patent/CN108734087B/zh
Priority to US16/114,907 priority patent/US10872227B2/en
Publication of CN108734087A publication Critical patent/CN108734087A/zh
Application granted granted Critical
Publication of CN108734087B publication Critical patent/CN108734087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种物体自动识别方法、物体自动识别***、购物设备和计算机可读存储介质。该物体自动识别方法包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；基于所述联合特征，识别所述物体。

Description

物体自动识别方法以及***、购物设备和存储介质
技术领域
本公开的实施例涉及一种物体自动识别方法、物体自动识别***、购物设备和计算机可读存储介质。
背景技术
随着人工智能的发展，计算机视觉逐渐应用于人们的日常生活中。计算机视觉是通过对采集得到的图片和/或视频进行处理，以识别图片和/或视频中的各种物体。计算机视觉可以用于物体自动识别(例如，商品识别等)等场景。目前，物体自动识别的方法通常仅基于物体的二维图像(例如，灰度或彩色图像)，对物体做出识别。由于二维图像易受到光照、视角、噪声等因素的影响，物体自动识别的可靠性在复杂场景下不能得到保证。
发明内容
本公开至少一实施例提供一种物体自动识别方法，其包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及基于所述联合特征，识别所述物体。
例如，在本公开一些实施例提供的物体自动识别方法中，基于所述第一图像，提取所述物体的特征点，包括：获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及提取所述目标区域内的所述物体的特征点。
例如，在本公开一些实施例提供的物体自动识别方法中，获取所述第一图像的目标区域，包括：对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。
例如，在本公开一些实施例提供的物体自动识别方法中，基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及融合所述三维特征和所述特征点，以得到所述联合特征。
例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征。
例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；根据所述特征点，确定所述物体的特征表面；基于所述特征点和所述配准信息，计算所述特征表面的特征描述点的三维信息；以及基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。
例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系，包括：根据所述特征描述点的三维信息，计算在所述特征点处的法向量，所述法向量的方向作为所述三维坐标系的第一轴方向；以及根据所述法向量，得到在所述特征点处的切平面以及在所述切平面上的所述特征点的两个主曲率的主方向，所述两个主曲率的主方向相互垂直，且所述两个主曲率的主方向分别作为所述三维坐标系的第二轴方向和第三轴方向。
例如，在本公开一些实施例提供的物体自动识别方法中，根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征，包括：计算所述特征表面的特征描述点在所述三维坐标系中的坐标；以及根据所述特征点在所述三维坐标系中的坐标和所述多个特征描述点在所述三维坐标系中的坐标，计算与所述特征点对应的三维特征。
例如，在本公开一些实施例提供的物体自动识别方法中，融合所述三维特征和所述特征点，以得到所述联合特征，包括：将所述三维特征的维度和所述特征点的维度进行融合处理，以得到所述联合特征。
例如，在本公开一些实施例提供的物体自动识别方法中，基于所述联合特征，识别所述物体，包括：基于所述联合特征，利用分类器计算所述物体为不同类别时的多个得分数；以及根据所述多个得分数，确定所述物体的识别结果。
例如，本公开一些实施例提供的物体自动识别方法还包括：输出所述物体的识别结果。
例如，在本公开一些实施例提供的物体自动识别方法中，所述第一图像为彩色图像。
本公开至少一实施例还提供一种物体自动识别***，其包括：图像采集装置，被配置为获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；存储器，被配置为存储非暂时性计算机可读指令；以及处理器，被配置为运行所述非暂时性计算机可读指令，其中，所述非暂时性计算机可读指令被所述处理器运行时执行上述任一实施例所述的物体自动识别方法。
例如，在本公开一些实施例提供的物体自动识别***中，所述图像采集装置包括深度摄像头。
本公开至少一实施例还提供一种购物设备，包括载物区和上述任一实施例所述的物体自动识别***。所述物体自动识别***设置在所述载物区上。
本公开至少一实施例还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行上述任一实施例所述的物体自动识别方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为本公开一实施例提供的一种物体自动识别方法的示意性流程图；
图1B为本公开一实施例提供的一种物体自动识别方法的具体流程图；
图2为一种摄像机标定模型的坐标系示意图；
图3为本公开一实施例提供的一种物体上特征点处的三维坐标系的示意图；
图4为本公开一实施例提供的一种获取联合特征的方法的示意性流程图；
图5为本公开一实施例提供的一种物体自动识别***的示意性框图；
图6为本公开一实施例提供的一种购物设备的示意图；
图7为本公开一实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
一种基于物体的图像对该物体进行识别的方法可以包括：获取物体的彩色图像；对物体的彩色图像进行图像分割，以获得分割区域；基于分割区域，提取物体的图像特征；基于物体的图像特征，识别物体；根据识别结果，确定物体的类别。
目前，在物体自动识别技术中，基于物体的图像的识别方法存在许多问题，例如，由于光照、视角、噪声等因素的变化会造成同一类物体的图像变化较大；不同类物体间的相似度大，即不同类物体的外观相似，比如不同品牌的方便面，不同品牌的饮料等；计算复杂度大，虽然深度学习等在物体分类领域取得了较高的准确率，但深度学习的算法复杂度很高，从而增加硬件成本，同时，深度学习很难实现在终端进行运算过程，而当深度学习在服务器端执行运算过程时，则在多个物体同时需要进行识别时，服务器端的运算压力较大。如果商品自动识别技术采用简单的条码识别，则需要用户配合进行扫码操作，用户的体验性较差。
本公开的实施例提供一种物体自动识别方法、物体自动识别***、购物设备和计算机可读存储介质，其通过将物体的深度图像的深度信息与彩色或灰度图像的图像特征点相结合，以构建得到表达物体更丰富信息的联合特征，从而提高物体识别的可靠性，改善物体识别的准确率，实现在复杂场景下精确识别物体。
下面结合附图对本公开的几个实施例进行详细说明，但是本公开并不限于这些具体的实施例。
图1A为本公开一实施例提供的一种物体自动识别方法的示意性流程图，图1B为本公开一实施例提供的一种物体自动识别方法的具体流程图。
例如，如图1A所示，本公开实施例提供的物体自动识别方法可以包括以下步骤：
S10：获取第一图像和第二图像，第一图像和第二图像均包含物体，第二图像为深度图像；
S11：基于第一图像，提取所述物体的特征点；
S12：基于来自第一图像的特征点和第二图像的深度信息，以得到联合特征；
S13：基于联合特征，识别所述物体。
本公开实施例提供的物体自动识别方法可以通过将物体的深度图像的深度信息与彩色或灰度图像的图像特征(例如特征点)相结合，以构建得到表达物体更丰富信息的联合特征，从而提高物体识别的可靠性，改善物体识别的准确率，实现在复杂场景下精确识别物体。
例如，如图1B所示，物体自动识别方法的整体流程可以包括：首先，获取第一图像和第二图像，第二图像为深度图像；然后，对第一图像执行图像分割处理，以得到第一图像的目标区域；然后，基于目标区域，提取物体的特征点；然后，对第一图像和第二图像进行图像配准操作，以得到第一图像和第二图像之间的配准信息；接着，基于物体的特征点、配准信息和第二图像，计算物体的三维特征；接着，融合物体的三维特征和特征点，以得到物体的联合特征；最后，基于物体的联合特征，识别物体，并根据识别结果确定物体的类别。
例如，在步骤S10中，第一图像和第二图像均可以通过图像采集装置获得，由此，该图像采集装置可以包括深度摄像头，以获取深度图像(即第二图像)。当然，该图像采集装置也可以包括其他类型的摄像头。
例如，第一图像和第二图像可以是图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。
例如，第一图像和第二图像的尺寸相同。
例如，获取第二图像的方法可以包括被动测距传感和主动深度传感等。被动测距传感的方法包括双目立体视觉方法；主动深度传感的方法主要包括 TOF(time offlight)、结构光和激光扫描等。
例如，第一图像可以为彩色图像，也可以为灰度图像。
例如，第一图像的数量和第二图像的数量可以预先设定且相同。例如，可以从不同拍摄视角获取多张第一图像，相应地，也可以包括从不同拍摄视角获取多张第二图像，多张第一图像和多张第二图像一一对应。
例如，步骤S11可以包括：
S111：获取第一图像的目标区域，目标区域内包括物体；
S112：提取目标区域内的物体的特征点。
例如，目标区域的形状与物体的轮廓相似，此时目标区域的形状可以为不规则的形状。但不限于此，目标区域的形状可以为规则的形状，例如矩形、圆形等，此时，目标区域的尺寸大于物体的尺寸，且物体完全落入目标区域内。
例如，目标区域的尺寸不大于第一图像的尺寸。物体可以完全被第一图像捕获，第一图像可以包括物体的整体信息，例如整体形状等。或者，第一图像仅捕获了物体的一部分。本公开在此不作限定。
例如，步骤S111可以包括：对第一图像进行图像分割处理，以得到第一图像的目标区域。或者，步骤S111也可以包括：对第二图像进行图像分割处理，以得到第二图像的深度目标区域；对第一图像和第二图像进行配准操作，以得到第一图像和第二图像之间的配准信息；基于配准信息和深度目标区域，得到第一图像的目标区域。
例如，对第一图像进行图像分割的方法可以包括基于区域的分割法、基于边缘的分割法、基于阈值的分割法、基于特定理论的分割方法、基于人工神经网络的分割法、基于随机场理论的分割法等。
例如，对第二图像进行图像分割的方法可以包括基于深度信息的分割方法等。例如，在一个示例中，深度图像可以利用结构光获取，在深度图像中，每个像素点的灰阶值表示图像采集装置与该物体之间的距离，由于物体的边缘无法反射结构光，从而与物体的边缘对应的像素点的灰阶值为0。因此，可以基于深度图像中的像素点的灰阶值对第二图像进行分割，以得到第二图像的深度目标区域。
例如，第一图像和第二图像之间的配准信息包括第一图像和第二图像之间的像素对应关系。在一个示例中，第一图像和第二图像可以通过同一个图像采集装置同时获取，从而第一图像和第二图像彼此配准，即图像采集装置可以对第一图像和第二图像进行配准操作。由此，第一图像和第二图像之间的配准信息可以从该图像采集装置中获取，也就是说，图像采集装置输出第一图像和第二图像时，可以同时输出第一图像和第二图像之间的配准信息。由于第一图像和第二图像通过同一个图像采集装置同时获取，第二图像的深度目标区域和第一图像的目标区域彼此对应，从而基于配准信息和深度目标区域，即可得到第一图像的目标区域。
例如，在步骤S112中，由于目标区域的尺寸不大于第一图像的尺寸，在目标区域内执行提取物体的特征点的操作可以减少计算量，提高计算速度。按照提取特征点的算法，物体的特征点的类型可以包括尺度不变特征变换(Scale invariant feature transform，SIFT)、ORB(Oriented FAST and Rotated BRIEF)特征、加速稳健特征(Speeded Up RobustFeatures,SURF)、局部二值模式(Local Binary Pattern，LBP)特征、方向梯度直方图(Histogram of Oriented Gradient，HOG)特征等。例如，SIFT特征和ORB特征等为有方向的特征， HOG特征和LBP特征等为无方向的特征。根据特征点的性质，特征点的类型可以包括图像的纹理特征、颜色特征、形状特征等。
例如，在步骤S112中，图像的各种类型的多个特征点均可以被提取。
例如，步骤S12可以包括以下步骤：
S121：基于特征点和第二图像的深度信息，计算所述物体的三维特征；
S122：融合三维特征和特征点，以得到联合特征。
例如，第二图像的深度信息可以包括物体上的每个点与图像采集装置之间的距离。
例如，步骤S121可以包括：基于特征点和第二图像的深度信息，建立特征点的三维坐标系；根据特征点的三维坐标系，计算与特征点对应的三维特征。
例如，基于特征点和第二图像的深度信息，建立特征点的三维坐标系，包括：对第一图像和第二图像进行配准操作，以得到第一图像和第二图像之间的配准信息；根据特征点，确定物体的特征表面；基于特征点和配准信息，计算特征表面的特征描述点的三维信息；基于特征描述点的三维信息和特征点，建立特征点的三维坐标系。
例如，物体的特征表面可以根据需要预设。例如，物体的特征表面可以为特征点附近的区域，例如，特征点附近的大小为7(像素点)×7(像素点) 的区域。特征表面的特征描述点可以为特征表面的各像素点，例如，特征表面的特征描述点的数量为48个(即7×7-1＝48，其中，减去1表示不将特征点计算在特征表面的特征描述点的数量之内)。
例如，特征点可以位于与该特征点对应的特征表面的中心。
例如，每个特征点的特征表面的尺寸可以相同，也可以不同。本公开对此不作限制。
例如，特征表面的特征描述点的三维信息可以根据用深度图转点云的原理计算得到，具体的描述如下文所示。
图2为一种摄像机标定模型的坐标系示意图。例如，摄像机标定利用摄像机所拍摄到的图像来还原空间中的物体。摄像机标定可以采用针孔模型。如图2所示，在摄像机标定模型中，摄像机坐标系462(即oc-xcyczc坐标系) 是以摄像机为基准建立的坐标系。图像坐标系472(即op-xpyp坐标系)是以摄像机所采集的物体的光学图像(即第一图像)为基准建立的坐标系。世界坐标系482(即ow-xwywzw坐标系)则是以物体为基准建立的坐标系。坐标系492(即oq-uv坐标系)为光学图像(即第一图像)的像素坐标系。世界坐标系482可以根据运算需求自由放置。摄像机坐标系462的原点oc可以位于摄像机光心(即投影中心)上，图像坐标系472的原点op可以位于摄像机的光轴与成像平面的交点(u0,v0)上。摄像机坐标系462的z轴为摄像机的光轴，摄像机坐标系462的x轴、y轴分别与图像坐标系472的x轴、y轴平行。图像坐标系472的x轴、y轴也分别与像素坐标系492的u轴、v轴平行。像素坐标系492中的每个点的像素坐标(u,v)表示像素的列数和行数，且能从摄像机中得到。
例如，在坐标转换过程中，图像坐标系472下的光学图像需先转换到摄像机坐标系462中，然后转换到世界坐标系482中。由此，光学图像中的每个点可以与世界坐标系482中的相应点相对应。图像坐标系472和摄像机坐标系462通过透视投影实现相互转换，摄像机坐标系462和世界坐标系482 则通过刚体变化(旋转和平移)实现相互转换。
例如，图像坐标系472和像素坐标系492为二维坐标系，摄像机坐标系 462和世界坐标系482为三维坐标系。
例如，在本公开实施例中，特征描述点的三维信息可以表示特征描述点在世界坐标系482中的坐标信息。特征描述点的三维信息可以表示如下：
Figure BDA0001612341380000091
其中，(u,v)表示特征描述点在像素坐标系492下的坐标，即特征描述点在第一图像上的像素坐标，(u0,v0)为第一图像的中心点的坐标，(xw,yw, zw)表示该特征描述点在世界坐标系482下的坐标，即该特征描述点的三维信息，zc表示特征描述点到摄像机的距离，R,T分别为外参矩阵的3×3旋转矩阵和3×1平移矩阵，f为摄像机的焦距，Δx和Δy分别为在图像坐标系 472中第一图像的像素点在x轴和y轴方向上的物理尺寸。
例如，若世界坐标系482的坐标原点和摄像机坐标系462的坐标原点重合，则世界坐标系482和摄像机坐标系462之间没有旋转和平移。因此：
Figure BDA0001612341380000092
值得注意的是，由于世界坐标系482的坐标原点和摄像机坐标系462的坐标原点重合，则在世界坐标系482和摄像机坐标系462下，同一物体具有相同的深度，即zc＝zw。zc为特征描述点的深度信息，zc可以根据第二图像获得。
综上，求解上述方程(1)即可得到特征描述点在世界坐标系482下的坐标。像素坐标为(u,v)的特征描述点在世界坐标系482下的三个坐标值分别为：xw＝zc·(u-u0)·dx/f，yw＝zc·(v-v0)·dy/f，zw＝zc。从而，像素坐标为(u,v)的特征描述点的三维信息为(zc·(u-u0)·dx/f,zc·(v-v0)·dy/f,zc)。
例如，基于特征描述点的三维信息和特征点，建立特征点的三维坐标系，可以包括：根据特征描述点的三维信息，计算在特征点处的法向量，法向量的方向作为三维坐标系的第一轴方向；根据法向量，得到在特征点处的切平面以及在切平面上的特征点的两个主曲率的主方向，且两个主曲率的主方向分别作为三维坐标系的第二轴方向和第三轴方向。
例如，物体的各特征点的三维坐标系均不相同。在特征点的三维坐标系中，特征点可以为该三维坐标系的坐标原点。
图3为本公开一实施例提供的一种物体上特征点处的三维坐标系的示意图。例如，如图3所示，在特征点P处建立的局部三维坐标系中，特征点P 为局部三维坐标系的坐标原点，第一轴方向P1为局部三维坐标系的Z轴方向，第二轴方向P2和第三轴方向P3分别为局部三维坐标系的X轴方向和Y 轴方向。
例如，根据特征描述点的三维信息，计算在特征点处的法向量，可以包括：利用基于点云(Point Cloud Library，PCL)的曲面重建技术，根据各特征描述点，重建与各特征描述点对应的点云表面；然后根据点云表面，计算点云表面在特征点处的法向量。
例如，基于PCL的曲面重建算法可以包括泊松曲面重建、贪婪投影三角化、移动立方体等算法。
例如，点云表面的法线被定义为垂直于与点云表面相切的平面的向量。特征表面在特征点处的法向量可以垂直于与点云表面相切且包括该特征点的平面。
例如，两个主曲率的主方向相互垂直，且两个主曲率分别为最大主曲率和最小主曲率。例如，第二轴方向可以为最大主曲率的主方向，第三轴方向可以为最小主曲率的主方向。但不限于此，第二轴方向也可以为最小主曲率的主方向，而第三轴方向可以为最大主曲率的主方向。
例如，在特征点处的切平面可以表示根据特征描述点构建的点云表面在特征点处的切平面。
例如，根据特征点的三维坐标系，计算与特征点对应的三维特征，包括：计算特征表面的特征描述点在三维坐标系中的坐标；以及根据特征点在三维坐标系中的坐标和多个特征描述点在三维坐标系中的坐标，计算与特征点对应的三维特征。
例如，与特征点对应的三维特征可以包括表面形状特征描述子、3D形状上下文特征等描述子。例如，表面形状特征描述子可以为特征表面上的各特征描述点在三维坐标系中的坐标和特征点在三维坐标系中的坐标之差。当特征点为该三维坐标系的坐标原点时，表面形状特征描述子可以为特征表面上的各特征描述点在三维坐标系中的坐标值。
例如，与特征点对应的三维特征可以表示特征点与各特征描述点的相对位置关系。当物体处于不同位置时，特征点均相同，与特征点对应的三维特征也均相同。另外，根据不同时间拍摄得到的第一图像和第二图像计算得到的特征点也相同，根据不同时间拍摄得到的第一图像和第二图像计算得到的与特征点对应的三维特征也相同。
例如，步骤S122可以包括：将三维特征的维度和特征点的维度进行融合处理，以得到联合特征。
例如，物体的特征点可以表示为向量。如图3所示，在一个示例中，特征点P的维度为M。特征点P的特征表面100可以包括N1个特征描述点，由于每个特征描述点的三维特征的维度为N2，则与特征点P对应的三维特征的维度为N1×N2。由此，在特征点P处，联合特征的维度为M+N1×N2。
图4为本公开一实施例提供的一种获取联合特征的方法的示意性流程图。例如，如图4所示，获取联合特征的方法可以包括：首先，获取第一图像和第二图像，第二图像为深度图像；然后，对第一图像和第二图像进行配准操作，以得到第一图像和第二图像之间的配准信息；然后，对第一图像执行图像分割处理，以得到第一图像的目标区域；然后，基于第一图像的目标区域，提取物体的特征点；然后，根据特征点，确定物体的特征表面，基于特征点、配准信息和特征表面的深度信息，计算特征表面的特征描述点的三维信息；然后，基于特征描述点的三维信息和特征点，建立特征点的三维坐标系；接着，根据特征点的三维坐标系，计算与特征点对应的三维特征；最后，融合物体的三维特征和特征点，以得到物体的联合特征。
例如，图1A 所示的步骤S13可以包括：基于联合特征，利用分类器计算物体为不同类别时的多个得分数；根据多个得分数，确定物体的识别结果。
例如，分类器可以包括支持向量机(Support Vector Machine，SVM)分类器、SoftMax分类器以及最邻近规则(KNN)分类器等。例如，当分类器为SoftMax分类器时，SoftMax分类器具有多个类别标识，多个得分数为多个预测概率，且多个预测概率与多个类别标识相对应。多个预测概率的绝对值大小表征该物体属于不同类别时的概率大小。物体的识别结果为多个预测概率中的最大预测概率对应的类别。
例如，在一些实施例中，该物体自动识别方法还可以包括：输出物体的识别结果。
例如，物体的识别结果可以在显示器上显示，或者还可以通过扬声器进行语音输出等。
例如，该物体自动识别方法还可以包括：输出物体的相关信息。当该物体自动识别方法应用于超市自动结账***时，相关信息可以包括价格信息、原产地信息等。
图5为本公开一实施例提供的一种物体自动识别***的示意性框图。
本公开一实施例还提供一种物体自动识别***。例如，如图5所示，该物体自动识别***50可以包括图像采集装置501、存储器502和处理器503。应当注意，图5所示的物体自动识别***的组件只是示例性的，而非限制性的，根据实际应用需要，该物体自动识别***50还可以具有其他组件。
例如，图像采集装置501被配置为获取物体的第一图像和第二图像。存储器502被配置为存储非暂时性计算机可读指令。处理器503被配置为运行所述非暂时性计算机可读指令。例如，非暂时性计算机可读指令被所述处理器503运行时执行上述任一实施例所述的物体自动识别方法中的一个或多个步骤。
例如，图像采集装置501可以包括深度摄像头，由此，图像采集装置501 可以获取深度图像，例如第二图像为深度图像。
例如，图像采集装置501、存储器502和处理器503之间可以通过总线***、网络和/或其它形式的连接机构(未示出)互连。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
例如，图像采集装置501、存储器502和处理器503等组件之间可以直接或间接地互相通信。
例如，处理器503可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA) 或张量处理单元(TPU)等，处理器503可以控制背光亮度处理***中的其它组件以执行期望的功能。又例如，中央处理器(CPU)可以为X86或ARM 架构等。
例如，存储器502可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM) 和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在存储器502上可以存储一个或多个计算机指令，处理器503可以运行所述计算机指令，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
需要说明的是，关于物体自动识别方法的识别过程的详细说明可以参考物体自动识别方法的实施例中的相关描述，重复之处不再赘述。
例如，在一些实施例中，物体自动识别***50还可以包括通信装置、电源模块等组件。电源模块被配置为向物体自动识别***50中的各个组件提供稳定的电源，电源模块可以为外接的直流或交流电源，或者可以为电池，例如一次电池或二次电池。通信装置被配置为向物体自动识别***50中的各个组件提供通信信号，例如，无线信号和/或有线信号。
例如，在一些实施例中，根据实际应用需求，该物体自动识别***50 还可以包括输出设备(未示出)等。输出设备可以被配置为输出物体的识别结果。输出设备还可以被配置为输出物体的相关信息等。
例如，例如，输出设备可以为显示器、投影仪等，以显示物体的识别结果、物体的相关信息等。显示器可以为液晶显示器(LCD)、有机发光二极管显示器(OLED)等。
本公开一实施例还提供一种购物设备。图6为本公开一实施例提供的一种购物设备的示意图。例如，如图6所示，购物设备可以包括购物车。该购物车可以包括车体60和上述任一实施例所述的物体自动识别***。当然，购物设备也可以包括购物篮、购物袋、购物结账设备或其他购物设备，本公开在此不作限定。
例如，物体自动识别***可以设置在车体60上。
例如，如图6所示，车体60包括载物区，载物区被配置为放置待分类的物体。载物区具有一定容纳空间。载物区可以包括底面601和四个侧面，四个侧面分别为第一侧面602、第二侧面603、第三侧面604和第四侧面605。第一侧面602和第三侧面604彼此相对，第二侧面603和第四侧面605彼此相对。
例如，物体自动识别***包括至少一个图像采集装置。如图6所示，物体自动识别***包括四个图像采集装置，四个图像采集装置分别为第一图像采集装置611、第二图像采集装置612、第三图像采集装置613和第四图像采集装置614。例如，第一图像采集装置611设置在第一侧面602靠近第三侧面604的一侧上，第二图像采集装置612设置在第二侧面603靠近第四侧面605的一侧上，第三图像采集装置613设置在第三侧面604靠近第一侧面 602的一侧上，第四图像采集装置614设置在第四侧面605靠近第二侧面603 的一侧上。四个图像采集装置可以从不同拍摄角度获取物体的第一图像和第二图像，以获取物体更详细的形状信息，从而提高识别准确率。
例如，物体自动识别***还包括存储器615和处理器616。例如，存储器615和处理器616可以一体设置，且设置在车体601的一个侧面上，也可以设置在车体60的底面601上。
例如，购物车可以为人字购物车、美式购物车、塑料购物车等。
例如，在一个具体示例中，购物车中放置有两个商品，一个是各面对称的立体模型，另一个是该立体模型的平面海报。识别立体模型可以包括：获取立体模型的第一图像和立体模型的第二图像；然后，基于立体模型的第一图像提取立体模型的特征点；然后，基于来自立体模型的第一图像的特征点和立体模型的第二图像的深度信息，以得到立体模型的联合特征；最后，基于立体模型的联合特征，识别立体模型。识别立体模型的平面海报可以包括：获取立体模型的平面海报的第一图像和立体模型的平面海报的第二图像；然后，基于立体模型的平面海报第一图像提取立体模型的平面海报的特征点；然后，基于来自立体模型的平面海报的第一图像的特征点和立体模型的平面海报的第二图像的深度信息，以得到立体模型的平面海报的联合特征；最后，基于立体模型的平面海报的联合特征，识别立体模型的平面海报。例如，立体模型至少包括第一部分和第二部分，第一部分与图像采集装置的距离和第二部分与图像采集装置的距离不相同。在通过本公开实施例提供的物体自动识别方法对该两个商品(即，立体模型和立体模型的平面海报)进行识别时，在立体模型的第二图像上，与立体模型的第一部分对应的区域和与立体模型的第二部分对应的区域具有不同的深度信息，而在立体模型的平面海报的第二图像上，各区域的深度信息均相同，由此，即可区分立体模型和立体模型的平面海报。
本公开一实施例还提供一种计算机可读存储介质。图7为本公开一实施例提供的一种计算机可读存储介质的示意图。例如，计算机可读存储介质可以用于存储非暂时性计算机可读指令。如图7所示，在计算机可读存储介质 900上可以存储一个或多个非暂时性计算机可读指令901。例如，当所述非暂时性计算机可读指令901由计算机执行时可以执行上述任一实施例所述的物体自动识别方法中的一个或多个步骤。
例如，该计算机可读存储介质900可以应用于上述物体自动识别***中。例如，计算机可读存储介质900可以为图5所示的实施例中的物体自动识别***的存储器502。
例如，关于计算机可读存储介质900的说明可以参考图5所示的物体自动识别***200的实施例中关于存储器502的描述，重复之处不再赘述。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种物体自动识别方法，包括：
获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；
基于所述第一图像，提取所述物体的特征点；
基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及
基于所述联合特征，识别所述物体；
基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：
基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及
融合所述三维特征和所述特征点，以得到所述联合特征，
其中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：
基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及
根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征；
其中，与所述特征点对应的三维特征包括表面形状特征描述子，
根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征，包括：
根据所述特征点，确定所述物体的特征表面，其中，所述特征表面包括多个特征描述点和所述特征点，所述多个特征描述点为所述特征表面的除了所述特征点之外的像素点；
计算所述多个特征描述点在所述三维坐标系中的坐标；
计算所述特征点在所述三维坐标系中的坐标分别与所述多个特征描述点在所述三维坐标系中的坐标之间的多个差值，将所述多个差值作为所述表面形状特征描述子。
2.根据权利要求1所述的物体自动识别方法，其中，基于所述第一图像，提取所述物体的特征点，包括：
获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及
提取所述目标区域内的所述物体的特征点。
3.根据权利要求2所述的物体自动识别方法，其中，获取所述第一图像的目标区域，包括：
对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者
对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。
4.根据权利要求1所述的物体自动识别方法，其中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：
对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；
基于所述特征点和所述配准信息，计算所述特征表面的多个特征描述点的三维信息；以及
基于所述多个特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。
5.根据权利要求4所述的物体自动识别方法，其中，基于所述多个特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系，包括：
根据所述多个特征描述点的三维信息，计算在所述特征点处的法向量，所述法向量的方向作为所述三维坐标系的第一轴方向；以及
根据所述法向量，得到在所述特征点处的切平面以及在所述切平面上的所述特征点的两个主曲率的主方向，所述两个主曲率的主方向相互垂直，且所述两个主曲率的主方向分别作为所述三维坐标系的第二轴方向和第三轴方向。
6.根据权利要求1所述的物体自动识别方法，其中，融合所述三维特征和所述特征点，以得到所述联合特征，包括：
将所述三维特征的维度和所述特征点的维度进行融合处理，以得到所述联合特征。
7.根据权利要求1所述的物体自动识别方法，其中，基于所述联合特征，识别所述物体，包括：
基于所述联合特征，利用分类器计算所述物体为不同类别时的多个得分数；以及
根据所述多个得分数，确定所述物体的识别结果。
8.根据权利要求7所述的物体自动识别方法，还包括：
输出所述物体的识别结果。
9.根据权利要求1所述的物体自动识别方法，其中，所述第一图像为彩色图像。
10.一种物体自动识别***，包括：
图像采集装置，被配置为获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；
存储器，被配置为存储非暂时性计算机可读指令；以及
处理器，被配置为运行所述非暂时性计算机可读指令，其中，所述非暂时性计算机可读指令被所述处理器运行时执行根据权利要求1-9任一项所述的物体自动识别方法。
11.根据权利要求10所述的物体自动识别***，其中，所述图像采集装置包括深度摄像头。
12.一种购物设备，包括载物区和权利要求10或11所述的物体自动识别***，
其中，所述物体自动识别***设置在所述载物区上。
13.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行根据权利要求1-9任一所述的物体自动识别方法。
CN201810270142.8A 2018-03-29 2018-03-29 物体自动识别方法以及***、购物设备和存储介质 Active CN108734087B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810270142.8A CN108734087B (zh) 2018-03-29 2018-03-29 物体自动识别方法以及***、购物设备和存储介质
US16/114,907 US10872227B2 (en) 2018-03-29 2018-08-28 Automatic object recognition method and system thereof, shopping device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270142.8A CN108734087B (zh) 2018-03-29 2018-03-29 物体自动识别方法以及***、购物设备和存储介质

Publications (2)

Publication Number Publication Date
CN108734087A CN108734087A (zh) 2018-11-02
CN108734087B true CN108734087B (zh) 2022-04-29

Family

ID=63941037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270142.8A Active CN108734087B (zh) 2018-03-29 2018-03-29 物体自动识别方法以及***、购物设备和存储介质

Country Status (2)

Country Link
US (1) US10872227B2 (zh)
CN (1) CN108734087B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726555B2 (en) * 2018-06-06 2020-07-28 International Business Machines Corporation Joint registration and segmentation of images using deep learning
WO2020010620A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
US11250456B2 (en) * 2018-10-10 2022-02-15 Adroit Worldwide Media, Inc. Systems, method and apparatus for automated inventory interaction
CN109492639A (zh) * 2018-11-12 2019-03-19 北京拓疆者智能科技有限公司 装载位置三维坐标获取方法、***及图像识别设备
CN109871826A (zh) * 2019-03-14 2019-06-11 腾讯科技（深圳）有限公司 信息展示方法、装置、计算机可读存储介质和计算机设备
JP7187377B2 (ja) * 2019-04-23 2022-12-12 株式会社日立製作所 物体情報登録装置及び物体情報登録方法
CN110335297B (zh) * 2019-06-21 2021-10-08 华中科技大学 一种基于特征提取的点云配准方法
CN110220456A (zh) * 2019-06-26 2019-09-10 浙江大学 一种手持式箱体尺寸测量装置及测量方法
CN110717404B (zh) * 2019-09-17 2021-07-23 禾多科技（北京）有限公司 单目相机障碍物感知方法
CN111539357B (zh) * 2020-04-28 2024-01-23 睿魔智能科技（深圳）有限公司 人体识别模型及其训练方法、***、存储介质及设备
CN112659133A (zh) * 2020-12-31 2021-04-16 软控股份有限公司 一种基于机器视觉的抓胶方法、装置及设备
CN112819770B (zh) * 2021-01-26 2022-11-22 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168460A1 (en) * 2002-04-04 2005-08-04 Anshuman Razdan Three-dimensional digital library system
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
CN102999892B (zh) * 2012-12-03 2015-08-12 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN103295016B (zh) * 2013-06-26 2017-04-12 天津理工大学 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
CN105654103B (zh) * 2014-11-12 2020-03-24 联想(北京)有限公司 一种图像识别方法及电子设备
CN104715254B (zh) * 2015-03-17 2017-10-10 东南大学 一种基于2d和3d sift特征融合的一般物体识别方法
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及***
US20190149725A1 (en) * 2017-09-06 2019-05-16 Trax Technologies Solutions Pte Ltd. Using augmented reality for image capturing a retail unit

Also Published As

Publication number Publication date
CN108734087A (zh) 2018-11-02
US20190303650A1 (en) 2019-10-03
US10872227B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
CN108734087B (zh) 物体自动识别方法以及***、购物设备和存储介质
US10691979B2 (en) Systems and methods for shape-based object retrieval
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
US11798152B2 (en) Systems and methods for object dimensioning based on partial visual information
US11720766B2 (en) Systems and methods for text and barcode reading under perspective distortion
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
Lim et al. Real-time image-based 6-dof localization in large-scale environments
US20180046649A1 (en) Systems and methods for automatically generating metadata for media documents
WO2016050290A1 (en) Method and system for determining at least one property related to at least part of a real environment
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
Weinmann Visual features—From early concepts to modern computer vision
dos Santos Rosa et al. Sparse-to-continuous: Enhancing monocular depth estimation using occupancy maps
Zhang et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera
JP2015184054A (ja) 同定装置、方法及びプログラム
JP5349622B2 (ja) パターン識別装置
Canovas et al. Onboard dynamic RGB‐D simultaneous localization and mapping for mobile robot navigation
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
Martínez et al. Object recognition for manipulation tasks in real domestic settings: A comparative study
CN112819953A (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN112016495A (zh) 人脸识别的方法、装置和电子设备
Sharma et al. Simplicial Complex Based Point Correspondence Between Images Warped onto Manifolds
CN117576653A (zh) 目标追踪方法、装置、计算机设备和存储介质
CN115035609A (zh) 近红外双目立体人脸静态防伪方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant