CN111383256B - 图像处理方法、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111383256B
CN111383256B CN201811647485.8A CN201811647485A CN111383256B CN 111383256 B CN111383256 B CN 111383256B CN 201811647485 A CN201811647485 A CN 201811647485A CN 111383256 B CN111383256 B CN 111383256B
Authority
CN
China
Prior art keywords
image
target area
area image
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811647485.8A
Other languages
English (en)
Other versions
CN111383256A (zh
Inventor
杨武魁
吴立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811647485.8A priority Critical patent/CN111383256B/zh
Priority to JP2020556853A priority patent/JP7113910B2/ja
Priority to PCT/CN2019/107362 priority patent/WO2020134229A1/zh
Priority to US17/048,823 priority patent/US20210150745A1/en
Priority to SG11202010402VA priority patent/SG11202010402VA/en
Publication of CN111383256A publication Critical patent/CN111383256A/zh
Application granted granted Critical
Publication of CN111383256B publication Critical patent/CN111383256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种图像处理方法、电子设备和存储介质，所述方法包括：获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。本公开实施例能够减小视差预测的计算量，提高视差的预测速度。

Description

图像处理方法、电子设备及计算机可读存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
视差是观测者在两个不同位置观看同一物体的方向之差。比如，当你伸出一个手指放在眼前，先闭上右眼，用左眼看它，再闭上左眼，用右眼看它，会发现手指相对远方的物体的位置有了变化，这就是从不同角度去看同一点的视差。
基于双目摄像头采集到的两个图像之间的视差能够有效估计深度，被广泛应用于活体检测、身份认证、智能驾驶等领域。双目摄像头采集到的两个图像的视差是通过双目匹配算法进行预测的。目前的双目匹配算法一般通过匹配两个图像中的所有像素点得到两个图像的视差，计算量较大，匹配效率较低。
发明内容
本公开提出一种图像处理的技术方案。
根据本公开的第一方面，提供了一种图像处理方法，该方法包括：获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的，所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。
在一可能的实现方式中，所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，包括：获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像。
在一可能的实现方式中，所述获取目标对象的第一目标区域图像，包括：对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域；对所述第一候选区域的图像进行关键点检测，得到关键点信息；基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
在一可能的实现方式中，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
在一可能的实现方式中，所述对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差，包括：将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的视差。
在一可能的实现方式中，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果之前，所述方法还包括：基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
在一可能的实现方式中，所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果，包括：将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加，得到所述第一图像和所述第二图像之间的视差预测结果。
在一可能的实现方式中，所述方法还包括：基于所述第一图像和所述第二图像的视差预测结果，确定所述目标对象的深度信息；基于所述目标对象的深度信息，确定活体检测结果。
在一可能的实现方式中，所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。
在一可能的实现方式中，所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种：可见光图像传感器、近红外图像传感器、双通图像传感器。
在一可能的实现方式中，所述目标对象包括人脸。
根据本公开的第二方面，提供了一种图像处理方法，该方法包括：获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果。
在一可能的实现方式中，所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，包括：获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像。
在一可能的实现方式中，所述获取目标对象的第一目标区域图像，包括：对所述第一时刻对图像采集区域采集到的第一图像进行目标检测，得到第一候选区域；对所述第一候选区域的图像进行关键点检测，得到关键点信息；基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
在一可能的实现方式中，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
在一可能的实现方式中，所述对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息，包括：将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。
在一可能的实现方式中，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果之前，所述方法还包括：基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
在一可能的实现方式中，所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间光流信息预测结果，包括：将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加，得到所述第一图像和所述第二图像之间的光流信息预测结果。
根据本公开的第三方面，提供另一种图像处理方法，包括：
获取从第一图像中截取的第一目标区域图像和从第二图像中截取的第二目标区域图像；
通过对所述第一目标区域图像和所述第二目标区域图像进行处理，得到所述第一图像和所述第二图像的相对处理结果；
基于所述第一目标区域图像和第二目标区域图像的位移信息以及所述第一图像和所述图像的相对处理结果，得到所述第一图像和所述第二图像的最终处理结果。
在一可能的实现方式中，所述第一图像和所述第二图像为双目摄像头的两个图像传感器在同一时刻采集到的图像。
在一可能的实现方式中，所述相对处理结果为相对视差，所述最终处理结果为视差预测结果。
可选地，所述视差预测结果的确定流程可参照第一方面或第一方面的任意可能的实现方式中的方法。
在另一可能的实现方式中，所述第一图像和所述第二图像为摄像头在不同时刻对同一目标区域采集到的图像。
在一可能的实现方式中，所述相对处理结果为相对光流，所述最终处理结果为光流预测结果。
可选地，所述光流预测结果的确定流程可参照第二方面或第二方面的任意可能的实现方式中的方法。
根据本公开的第四方面，提供一种图像处理装置，该装置包括：
获取单元，用于获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的，所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的；
第一确定单元，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；
第二确定单元，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。
根据本公开的第五方面，提供一种图像光流信息估计装置，该装置包括：
获取单元，用于获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；
第一确定单元，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；
第二确定单元，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果。
在一可能的实现方式中，所述获取单元用于：获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像。
在一可能的实现方式中，所述获取单元包括目标检测单元，关键点检测单元，截取单元，所述目标检测单元，用于对所述第一时刻对图像采集区域采集到的第一图像进行目标检测，得到第一候选区域；所述关键点检测单元，用于对所述第一候选区域的图像进行关键点检测，得到关键点信息；所述截取单元，用于基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
在一可能的实现方式中，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
在一可能的实现方式中，所述第一确定单元用于，将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。
在一可能的实现方式中，所述装置还包括位移确定单元，所述位移确定单元用于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果之前，基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
在一可能的实现方式中，所述第二确定单元用于，将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述相对光流信息相加，得到所述第一图像和所述第二图像之间的光流信息预测结果。
根据本公开的第六方面，提供一种电子设备，包括：处理器；用于存储计算机可读指令的存储器；其中，所述处理器用于调用所述存储器存储的计算机可读指令，以执行上述第一方面所述的图像处理方法或其任意可能的实现方式。
根据本公开的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述图像处理方法或其任意可能的实现方式。
根据本公开的第八方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述图像处理方法或其任意可能的实现方式。
可选地，所述计算机程序产品包括存储所述计算机指令的计算机可读存储介质。
在本公开实施例中，获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。本公开实施例能够减少视差预测的计算量，提高视差的预测速度，有利于实现视差的实时预测。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的图像处理方法示意流程图；
图2是本公开实施例提供的双目匹配算法示意图；
图3是本公开实施例提供的目标区域位移确定方法的示例性示意图；
图4是本公开实施例提供的图像处理方法示意流程图；
图5是本公开实施例提供的图像处理装置的结构示意图；
图6是本公开实施例提供的图像处理装置的结构示意图；
图7是本公开实施例提供的图像处理装置的结构示意图；
图8是本公开实施例提供的图像处理装置的结构示意图；
图9是本公开实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本公开。如在本公开说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本公开说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本公开实施例提供的图像处理方法可以由手机、台式电脑、膝上计算机、可穿戴设备等具备图像处理功能的终端设备或服务器或其他类型的电子设备或***实现，此处不作限定。为了便于理解，下文将图像处理方法的执行主体称为图像处理装置。
请参见图1，图1是本公开实施例提供的图像处理方法的示意流程图。
101、获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像。
在本公开实施例中，将双目摄像摄像头中的两个图像传感器称为第一图像传感器和第二图像传感器。双目摄像头的两个图像传感器可以是水平排列，也可以是垂直排列，还可以是其他排列形式，本公开不作具体限定。具体地，上述第一图像传感器和第二图像传感器可以是具备拍摄功能的装置，如摄像头等。
在一种可能的实现方式中，所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种：可见光图像传感器、近红外图像传感器、双通图像传感器。本公开实施例中的第一或第二图像传感器也可以为其他类型的图像传感器，具体类型在此不做限定。
可见光图像传感器为利用可见光照射物体形成图像的图像传感器。近红外图像传感器为利用近红外线照射物体形成图像的图像传感器。双通图像传感器包括利用双通道(包括R通道)成像原理形成图像的图像传感器。双目摄像头中的两个图像传感器可以是相同类型的图像传感器，也可以是不同类型的图像传感器，即双目摄像头可以是同模态双目摄像头，也可以是跨模态双目摄像头。例如，双目摄像头A的两个图像传感器均为可见光图像传感器，双目摄像头B的两个图像传感器均为近红外图像传感器，双目摄像头C的两个图像传感器均为双通图像传感器，双目摄像头D的两个图像传感器分别为可见光图像传感器和近红外图像传感器，双目摄像头E的两个图像传感器分别为可见光图像传感器和双通图像传感器，双目摄像头F的两个图像传感器分别为近红外图像传感器和双通图像传感器，等等。可以根据实际的需求，选择双目摄像头中两个图像传感器的类型，适应范围更广，可扩展性更强。
本公开实施例提供的技术方案可以应用于目标识别、活体检测、智能交通等领域，相应地，目标对象也随着应用领域的不同而不同。其中，在目标识别领域中，所述目标对象可以为人体、人脸、口罩、耳朵、服饰等特定物体。在活体检测领域，所述目标对象可以为各种活体对象或活体对象的一部分，例如，目标对象可以为人、动物、人脸等等。在服饰识别领域中，所述目标对象可以为各种类型的服饰，例如头饰、上衣、下装、连体装等。在智能交通领域中，所述目标对象可以为道路、建筑物、行人、交通指示灯、交通工具或交通工具的指定部位等等，例如目标对象可以为自行车、轿车、巴士、货车、车头、车尾等，本公开实施例对目标对象的具体实现不做限定。
在一些实施例中，所述目标对象为人脸，相应地，第一目标区域图像和第二目标区域图像为人脸区域图像或面部区域图像。
在本公开实施例中，第一图像是通过双目摄像头的第一图像传感器采集到的，第二图像是通过双目摄像头的第二图像传感器采集到的，其中，可选地，第一图像和第二图像可以分别为左视图和右视图，或者分别为右视图和左视图，等等，本公开实施例对此不做限定。
可选地，双目摄像头可以采集静态的图像对，或者，双目摄像头采集连续的视频流，包括第一图像和第二图像的图像对是通过对双目摄像头采集到的视频流进行选帧操作得到的，相应地，第一图像和第二图像可以为静态图像或者视频帧图像，本公开实施例对此不做限定。
在本公开实施例中，可以通过多种方式获取第一目标区域图像和第二目标区域图像。
在一些实施例中，图像处理装置获取双目摄像头的第一图像传感器采集到的第一图像和所述双目摄像头的第二图像传感器采集到的第二图像，并从第一图像中截取目标对象的第一目标区域图像，从第二图像中截取所述目标对象的第二目标区域图像。
可选地，图像处理装置上设置有双目摄像头，图像处理装置通过双目摄像头进行静态图像对或视频流采集，得到包括第一图像和第二图像的图像对，本公开实施例对此不做限定。
可选地，图像处理装置接收其他设备发送的包括第一图像和第二图像的图像对，例如，该图像对可以携带在活体检测请求、身份认证请求、深度预测请求、双目匹配请求或其他消息中发送，然后分别从第一图像和第二图像中截取第一目标区域图像和第二目标区域图像，本公开实施例对此不做限定。例如，图像处理装置从设置在其他设备处的数据库获取第一图像和第二图像。再例如，图像处理装置接收设置有双目摄像头的终端设备发送的包括第一图像和第二图像的图像对，其中，可选地，终端设备可以向图像处理装置(例如服务器)发送包括第一图像和第二图像的图像对，其中，该图像对可以是终端设备通过双目摄像头采集到的静态图像对或者是从双目摄像头采集到的视频序列中选帧得到的视频帧图像对。再例如，终端设备向图像处理装置发送包括该图像对的视频序列，图像处理装置在接收到终端设备发送的视频序列之后，通过选帧得到包括第一图像和第二图像的图像对，本公开实施例对此不做限定。
在一些实施例中，图像处理装置从其他设备处获取第一目标区域图像和第二目标区域图像，其中，该第一目标区域图像和第二目标区域图像是分别从第一图像和第二图像中截取的。其中，该第一目标区域图像和第二目标区域图像可以携带在活体检测请求、身份认证请求、深度预测请求、双目匹配请求或其他消息中发送，本公开实施例对此不做限定。例如，图像处理装置从设置在其他设备处的数据库获取第一目标区域图像和第二目标区域图像。再例如，图像处理装置(例如服务器)接收设置有双目摄像头的终端设备发送的第一目标区域图像和第二目标区域图像，其中，可选地，终端设备可以通过双目摄像头采集包括第一图像和第二图像的静态图像对，并分别从第一图像和第二图像中截取第一目标区域图像和第二目标区域图像；或者，终端设备通过双目摄像头采集视频序列，对采集到的视频序列进行选帧，得到包括第一图像和第二图像的视频帧图像对。再例如，终端设备向图像处理装置发送包括该图像对的视频序列，然后分别从第一图像和第二图像中截取第一目标区域图像和第二目标区域图像，本公开实施例对此不做限定。
在本公开实施例中，可以通过多种方式进行选帧。在一些实施例中，可以对第一图像传感器采集到的视频流或视频序列进行选帧处理，得到第一图像，并从第二图像传感器采集到的视频流或视频序列中查找与第一图像对应的第二图像。在一些例子中，基于图像质量，从第一图像传感器采集到的第一视频流包括的多帧图像中选择第一图像，其中，图像质量可以基于图像清晰度、图像亮度、图像曝光度、图像对比度、人脸完整度、人脸是否有遮挡等一种或任意多种因素的组合来进行考量。在一些例子中，基于图像中包括的目标对象的人脸状态和图像质量进行选帧，例如，基于通过关键点检测得到的关键点信息确定所述第一视频流中每一帧或者间隔若干帧图像中目标对象的人脸状态，例如人脸朝向，并确定所述第一视频流中每一帧或者间隔若干帧图像的图像质量，最后，综合目标对象的人脸状态和图像质量，选择人脸状态符合预设条件(例如人脸朝向为正面朝向或者人脸朝向与正向之间的夹角低于设定阈值)且图像质量较高的一帧或者多帧图像作为所述第一图像。在一些例子中，基于图像中包括的目标对象的状态进行选帧，其中，可选帝，目标对象的状态包括以下因素中的一种或多种因素的任意组合：图像中的人脸朝向是否正面朝向、是否处于闭眼状态、是否处于张嘴状态、是否出现运动模糊或者对焦模糊等，本公开实施例对此不做限定。
在一些实施例中，可以对第一图像传感器采集到的第一视频流和第二图像传感器采集到的第二视频流进行联合选帧，得到包括第一图像和第二图像的图像对。此时，从双目摄像头采集到的视频流中选择图像对，其中，选择的图像对中包括的两个图像均满足设定条件，该设定条件的具体实现可以参见上文描述，为了简洁，这里不再赘述。
在一些实施例中，在对第一图像和第二图像进行双目匹配处理之前，还可以对第一图像和第二图像进行双目校正处理，以使得第一图像和第二图像中的对应像素点位于同一水平线上。其中，可选地，可以基于标定得到的双目摄像头的参数，对第一图像和第二图像进行双目校正处理，例如，基于第一图像传感器的内参、第二图像传感器的内参以及第一图像传感器和第二图像传感器之间的相对位置参数，对第一图像和第二图像进行双目校正处理。可选地，也可以在不依赖于双目摄像头的参数的情况下对第一图像和第二图像进行自动校正，例如，获取目标对象在第一图像中的关键点信息(即第一关键点信息)和所述目标对象在第二图像中的关键点信息(即第二关键点信息)，并基于第一关键点信息和第二关键点信息，确定目标变换矩阵，例如，利用最小二乘法确定目标变换矩阵，然后，基于目标变换矩阵对第一图像或第二图像进行变换处理，得到变换后的第一图像或第二图像，但本公开实施例对此不做限定。
在本公开实施例中，可以通过多种方式分别从第一图像和第二图像中截取第一目标区域图像和第二目标区域图像。
在一些实施例中，可以对第一图像和第二图像分别进行目标检测，得到目标对象在第一图像中的第一位置信息和所述目标对象在第二图像中的第二位置信息，并基于第一位置信息从第一图像中截取第一目标区域图像，基于第二位置信息从第二图像中截取第二目标区域图像。
其中，可选地，可以直接对第一图像和第二图像进行目标检测，或者先对第一图像和/或第二图像进行预处理，包括亮度调整、尺寸调整、平移、旋转等一项或多项处理，本公开实施例对此不做限定。
在一些实施例中，可以对第一图像和第二图像分别进行目标检测，得到第一检测框和与第一检测框对应的第二检测框，并基于第一检测框从第一图像中截取第一目标区域图像，基于第二检测框从第二图像中截取第二目标区域图像。
在一些例子中，可以从第一图像中截取第一检测框所属区域的图像作为第一目标区域图像。在一些例子中，通过对第一检测框放大一定倍数后得到第一目标区域，并从第一图像中截取第一目标区域的图像作为第一目标区域图像。在一些例子中，通过对第一检测框的图像进行关键点检测，得到第一检测框的关键点信息，并基于得到的关键点信息从第一图像中截取第一目标区域图像。
在一种可能的实现方式中，对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域；对所述第一候选区域的图像进行关键点检测，得到关键点信息；基于所述关键点信息，确定第一目标区域；基于所述第一目标区域，从所述第一图像中截取第一目标区域图像。
在一种可能的实现方式中，对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域，可以通过如下方式实现：通过图像处理技术(例如卷积神经网络)对第一图像进行目标检测，得到目标对象所属的第一候选区域，例如第一人脸框。其中，所述目标检测可以是对目标对象的大致定位，相应地，所述第一候选区域为包括目标对象的初步区域。
在一些实施例中，上述关键点检测可以通过深度神经网络实现，例如卷积神经网络、循环神经网络等，例如可以是LeNet、AlexNet、GoogLeNet、VGGNet、ResNet等任意类型的神经网络模型，或者，关键点检测也可以是基于其他机器学习方法实现，本公开实施例对关键点检测的具体实现不作限定。
可选地，关键点信息可以包括目标对象的多个关键点中每个关键点的位置信息，或者进一步包括置信度等信息，本公开实施例对此不做限定。
举例来说，在所述目标对象的为人脸的情况下，利用人脸关键点检测模型，对所述第一候选区域的图像进行人脸关键点检测，得到所述第一候选区域的图像中包括的人脸的多个关键点的信息，基于该多个关键点的信息得到人脸的位置信息，即第一目标区域，与第一候选区域相比，第一目标区域为人脸的较为准确的位置，从而有利于提高后续操作的精确度。
在上述各个实施例中对第一图像和第二图像进行的目标检测不需要确定目标对象或其所属区域的精确位置，只需要大致定位目标对象或其所属区域即可，从而降低对目标检测算法的精确度要求，提高鲁棒性和图像处理速度。
在一种可能的实现方式中，所述第二目标区域图像的截取方式与所述第一目标区域图像的截取方式可以相同，也可以不相同，本公开实施例对此不做限定。
在本公开实施例中，可选地，所述第一目标区域图像和所述第二目标区域图像的图像可以具有不同的尺寸。或者，为了降低计算复杂度，进一步提高处理速度，所述第一目标区域图像和所述第二目标区域图像的图像可以具有相同的尺寸。
在一些实施例中，可以利用相同大小的框分别从第一图像和第二图像中截取第一目标区域图像和第二目标区域图像，以使得所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。例如，在上述例子中，可以基于目标对象的第一位置信息和第二位置信息，得到完全包括目标对象的两个具有相同的截取框。再例如，在上述例子中，可以对第一图像和第二图像进行目标检测，以使得得到的第一检测框和第二检测框具有相同的大小。再例如，在上述例子中，如果第一检测框和第二检测框具有不同的大小，则分别对第一检测框和第二检测框放大不同的倍数，以使得放大处理得到的两个区域具有相同的大小。再例如，在上述例子中，基于第一图像的关键点信息和第二图像的关键点信息，确定具有相同大小的第一目标区域和第二目标区域，其中，两个目标区域完全包括目标对象，等等。
在一些实施例中，可以预先对双目摄像头的两个图像传感器进行标定，以得到第一图像传感器和第二图像传感器的参数。
在一些实施例中，第一目标区域图像和第二目标区域图像中的对应像素点位于同一水平线上。例如，可以基于第一图像传感器和第二图像传感器的参数，对第一图像和第二图像中的至少一个进行平移和/或旋转等预处理，以使得预处理后的第一图像和第二图像上的对应像素点处于统一水平线上。再例如，双目摄像头中的两个图像传感器未进行标定，此时，可以对第一图像和第二图像进行匹配检测和校正处理，以使得校正后的第一图像和第二图像中的对应像素点处于统一水平线上，本公开实施例对此不做限定。
在本公开实施例中，通过对第一图像和第二图像进行目标对象的检测，去除目标对象或目标区域以外的无关信息，从而减少后续双目匹配算法的输入图像的大小和处理的数据量，加快了图像视差的预测速度。例如，在活体检测领域中，我们通过预测图像的视差从而获取图像的深度信息，进而确定该图像包括的人脸是否为活体人脸。其中，我们只需要关注图像的人脸区域，因此如果仅仅对图像的人脸区域进行视差预测，能避免不必要的计算，从而提高视差预测的速度。
102、对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差。
在一可能的实现方式中，步骤102可以通过如下方式实现：将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像的视差。
通过双目匹配神经网络对第一目标区域图像和第二目标区域图像进行处理，得到第一目标区域图像和第二目标区域图像之间的视差并输出。
在一些例子中，将第一目标区域图像和第二目标区域图像直接输入到双目匹配神经网络中进行处理，在另一些例子中，对第一目标区域图像和/或第二目标区域图像进行预处理，例如转正处理等，然后将预处理后的第一目标区域图像和第二目标区域图像输入到双目匹配神经网络中进行处理，本公开实施例对此不做限定。
参见图2，图2是本公开实施例提供的对第一目标区域图像和第二目标区域图像进行双目匹配示例的示意图，其中，将第一目标区域图像和第二目标区域图像输入到所述双目匹配神经网络中，通过所述双目匹配神经网络，提取所述第一目标区域图像的第一特征和第二目标区域图像的第二特征，对第一特征和第二特征进行匹配代价计算，并基于得到的匹配代价确定所述第一目标区域图像和所述第二目标区域图像之间的视差。具体地，对得到的匹配代价进行特征提取，并基于提取到的特征数据确定第一目标区域图像和第二目标区域图像之间的视差。
在另一可能的实现方式中，步骤102可以通过其他基于机器学习的双目匹配算法实现，在一些例子中，所述双目匹配算法可以是如下算法中的任意一种：立体双目视觉算法(Sum of absolute differences SAD)、双向匹配算法(bidirectional matching BM)、全局匹配算法(Semi-global block matching SGBM)、图割算法(Graph cuts，GC)，本公开实施例步骤102中进行的双目匹配处理的具体实现不做限定。
103、基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。
在本公开实施例中，可以基于第一目标区域图像在第一图像中的位置和第二目标区域图像在第二图像中的位置，确定第一目标区域图像和第二目标区域图像的位移信息。可选地，该位移信息可以包括水平方向上的位移和/或垂直方向上的位置，其中，在一些实施例中，如果第一图像和第二图像中的对应像素点位于同一水平线上，则该位移信息可选地可以仅包括水平方向上的位移，但本公开实施例对此不做限定。
在一些实施例中，在执行步骤103之前，基于所述第一目标区域图像的第一中心点的位置和所述第二目标区域图像的第二中心点的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
具体来说，参见图3，图3是本公开实施例提供的目标区域位移确定方法的示例性示意图，第一图像中的第一目标区域图像的中心点a为(x1，y1)，第二图像中的第二目标区域图像的中心点b为(x2，y1)，中心点a和中心点b之间的位移即为所述第一目标区域图像和所述第一目标区域图像之间的位移信息。在另一可能的实现方式中，上述中心点可以使用目标区域图像四个顶点中任意一个顶点来代替，本公开对此不作具体限定。
在本公开实施例中，还可以通过其他方式确定第一目标区域图像和第二目标区域图像之间的位移信息，本公开实施例对此不做限定。
在步骤103中，基于第一目标区域图像和第二目标区域图像之间的视差，以及第一目标区域图像和第二目标区域图像之间的位移信息，确定第一图像和第二图像之间的视差预测结果。
在一些实施例中，将所述第一目标区域图像和所述第二目标区域图像之间的视差和位移信息相加，得到所述第一图像和所述第二图像之间的视差预测结果。例如，所述第一目标区域图像和所述第二目标区域图像之间的位移信息为x，所述第一目标区域图像和所述第二目标区域图像的视差为D(p)，将位移信息为x和视差D(p)相加或相减得到的结果，即为所述第一图像和所述第二图像之间的视差预测结果。
在一些实施例中，第一目标区域图像和第二目标区域图像之间的位移为0，此时，第一目标区域图像和第二目标区域图像之间的视差即为第一图像和第二图像之间的视差。
在一可能的实现方式中，所述位移信息的确定和所述第一目标区域图像和第二目标区域图像之间的视差的确定可以并行执行，或者以任意前后顺序执行，本公开实施例对位移信息的确定和所述第一目标区域图像和第二目标区域图像之间的视差的确定的执行顺序不做限定。
在一些实施例中，在得到第一图像和第二图像的视差预测结果之后，基于所述第一图像和所述第二图像的视差预测结果，确定所述目标对象的深度信息；基于所述目标对象的深度信息，确定活体检测结果。
在本公开图像处理方法实施例中，获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。本公开实施例能够减少视差预测的计算量，从而提高视差的预测速度，有利于实现视差的实时预测。
应理解，上文以视差预测为例对本公开实施例的技术方案进行了描述，可选地，本公开实施例的技术方案也可以应用于其他应用场景，例如，光流预测，此时，第一图像和第二图像分别为单目摄像头在不同时刻采集到的图像，等等，本公开实施例对此不做限定。
请参见图4，图4是本公开实施例提供的图像处理方法的示意流程图。该图像处理方法具体用于光流信息预测的应用场景，该方法包括：获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果。
在一些实施例中，图4描述的图像处理方法应用于光流信息预测，图1描述的图像处理方法应用于视差信息预测，两者在技术实现上基本一致，为了简洁，图4描述的图像处理方法的具体实现可以参照图1描述的图像处理方法实施例的描述，这里不再赘述。
本公开实施例还提供了图像处理装置。图5是本公开实施例提供的图像处理装置的结构示意图。该装置包括：获取单元501，第一确定单元502，第二确定单元503。
获取单元501，用于获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的，所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的；
第一确定单元502，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；
第二确定单元503，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果。
在本申请实施例中，所述获取单元501用于，获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像。
在本申请实施例中，参见图6，所述获取单元501包括目标检测单元501-1，关键点检测单元501-2，截取单元501-3，所述目标检测单元501-1，用于对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域；所述关键点检测单元501-2，用于对所述第一候选区域的图像进行关键点检测，得到关键点信息；所述截取单元501-3，用于基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
在一可能的实现方式中，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
在一可能的实现方式中，所述第一确定单元502用于，将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的视差。
在一可能的实现方式中，参见图7，所述装置还包括位移确定单元701，所述位移确定单元701用于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果之前，基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
在一可能的实现方式中，所述第二确定单元503用于，将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和第二目标区域图像之间的视差相加，得到所述第一图像和所述第二图像之间的视差预测结果。
在一可能的实现方式中，参见图7，所述装置还包括深度信息确定单元702和活体检测确定单元703，所述深度信息确定单元702，用于基于所述第一图像和所述第二图像的视差预测结果，确定所述目标对象的深度信息；所述活体检测确定单元703，用于基于所述目标对象的深度信息，确定活体检测结果。
在一可能的实现方式中，所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。
在一可能的实现方式中，所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种：可见光图像传感器、近红外图像传感器、双通图像传感器。
在一可能的实现方式中，其特征在于，所述目标对象包括人脸。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文图像处理方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供了图像处理装置。图8是本公开实施例提供的图像处理装置的结构示意图。该装置包括：获取单元801，第一确定单元802，第二确定单元803。
所述获取单元801，用于获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；
所述第一确定单元802，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；
所述第二确定单元803，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果。
在一些实施例中，图8的图像处理装置应用于光流信息预测，本公开实施例提供的装置具有的功能或包含的模块可以用于执行图4图像预测方法实施例描述的方法，其具体实现可以参照图4图像处理方法实施例的描述，为了简洁，这里不再赘述。另外，本公开实施例提供了一种电子设备，图9是本公开实施例提供的电子设备的结构框图。如图9所示，该电子设备包括：处理器901，用于存储处理器可执行指令的存储器，其中，所述处理器被配置为：执行上述图像处理方法。
可选地，所述电子设备还可以包括：一个或多个输入设备902，一个或多个输出设备903和存储器904。
上述处理器901、输入设备902、输出设备903和存储器904通过总线905连接。存储器902用于存储指令，处理器901用于执行存储器902存储的指令。其中，处理器901被配置用于调用所述程序指令执行上文图像处理方法中任一实施例，为了简洁，这里不再赘述。
应理解，上文装置实施例以视差预测为例对本公开实施例的技术方案进行了描述。可选地，本公开实施例的技术方案也可以应用于光流预测，相应地，光流预测装置同样属于本公开保护范围，光流预测装置与上文描述的图像处理装置相似，为了简洁，这里不再赘述。
应当理解，在本公开实施例中，所称处理器901可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备902可以包括移动手机、台式电脑、膝上计算机、可穿戴设备、监控图像传感器等，输出设备903可以包括显示器(LCD等)。
该存储器904可以包括只读存储器和随机存取存储器，并向处理器901提供指令和数据。存储器904的一部分还可以包括非易失性随机存取存储器。例如，存储器904还可以存储设备类型的信息。
本公开实施例中所描述的电子设备用于执行上文描述的图像处理方法，相应地，处理器901用于执行本公开实施例提供的图像处理方法的各个实施例中的步骤和/或流程，在此不再赘述。
在本公开的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上文图像处理方法中任一实施例，为了简洁，这里不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，也可执行发明实施例所描述的电子设备的实现方式，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的服务器、设备和方法，可以通过其它的方式实现。例如，以上所描述的服务器实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (30)

1.一种图像处理方法，其特征在于，包括：
获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的，所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的；所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，包括：获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像；
对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；
基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果；所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果，包括：将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加，得到所述第一图像和所述第二图像之间的视差预测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的第一目标区域图像，包括：
对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域；
对所述第一候选区域的图像进行关键点检测，得到关键点信息；
基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
3.根据权利要求1或2所述的方法，其特征在于，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差，包括：
将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的视差。
5.根据权利要求1所述的方法，其特征在于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果之前，所述方法还包括：
基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
基于所述第一图像和所述第二图像的视差预测结果，确定所述目标对象的深度信息；
基于所述目标对象的深度信息，确定活体检测结果。
7.根据权利要求1或2所述的方法，其特征在于，所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。
8.根据权利要求1或2所述的方法，其特征在于，所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种：可见光图像传感器、近红外图像传感器、双通图像传感器。
9.根据权利要求1或2所述的方法，其特征在于，
所述目标对象包括人脸。
10.一种图像处理方法，其特征在于，包括：
获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；所述获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，包括：获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像；
对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；
基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果；所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间光流信息预测结果，包括：将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述光流信息相加，得到所述第一图像和所述第二图像之间的光流信息预测结果。
11.根据权利要求10所述的方法，其特征在于，所述获取目标对象的第一目标区域图像，包括：
对所述第一时刻对图像采集区域采集到的第一图像进行目标检测，得到第一候选区域；
对所述第一候选区域的图像进行关键点检测，得到关键点信息；
基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
12.根据权利要求10或11所述的方法，其特征在于，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
13.根据权利要求10所述的方法，其特征在于，所述对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息，包括：
将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。
14.根据权利要求10所述的方法，其特征在于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果之前，所述方法还包括：
基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
15.一种图像处理装置，其特征在于，包括：
获取单元，用于获取目标对象的第一目标区域图像和所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从双目摄像头的第一图像传感器采集到的第一图像中截取的，所述第二目标区域图像是从所述双目摄像头的第二图像传感器采集到的第二图像中截取的；
所述获取单元用于：获取所述双目摄像头中的第一图像传感器采集的第一图像和所述双目摄像头中的第二图像传感器采集的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像；
第一确定单元，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的视差；
第二确定单元，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果；
所述第二确定单元用于，将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述视差相加，得到所述第一图像和所述第二图像之间的视差预测结果。
16.根据权利要求15所述的装置，其特征在于，所述获取单元包括目标检测单元，关键点检测单元，截取单元，
所述目标检测单元，用于对所述双目摄像头中的第一图像传感器采集的第一图像进行目标检测，得到第一候选区域；
所述关键点检测单元，用于对所述第一候选区域的图像进行关键点检测，得到关键点信息；
所述截取单元，用于基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
17.根据权利要求15或16所述的装置，其特征在于，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
18.根据权利要求15所述的装置，其特征在于，所述第一确定单元用于，
将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的视差。
19.根据权利要求15所述的装置，其特征在于，所述装置还包括位移确定单元，所述位移确定单元用于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的视差，得到所述第一图像和所述第二图像之间的视差预测结果之前，
基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
20.根据权利要求15或16所述的装置，其特征在于，所述装置还包括深度信息确定单元和活体检测确定单元，
所述深度信息确定单元，用于基于所述第一图像和所述第二图像的视差预测结果，确定所述目标对象的深度信息；
所述活体检测确定单元，用于基于所述目标对象的深度信息，确定活体检测结果。
21.根据权利要求15或16所述的装置，其特征在于，所述双目摄像头包括同模态双目摄像头和跨模态双目摄像头中的一种。
22.根据权利要求15或16所述的装置，其特征在于，所述第一图像传感器或所述第二图像传感器包括如下图像传感器中的其中一种：可见光图像传感器、近红外图像传感器、双通图像传感器。
23.根据权利要求15或16所述的装置，其特征在于，
所述目标对象包括人脸。
24.一种图像处理装置，其特征在于，包括：
获取单元，用于获取目标对象的第一目标区域图像以及所述目标对象的第二目标区域图像，其中，所述第一目标区域图像是从第一时刻对图像采集区域采集到的第一图像中截取的，所述第二目标区域图像是从第二时刻对所述图像采集区域采集到的第二图像中截取的；
所述获取单元用于：获取所述第一时刻对图像采集区域采集到的第一图像和所述第二时刻对所述图像采集区域采集到的第二图像；对所述第一图像和所述第二图像分别进行目标检测，得到第一目标区域图像和第二目标区域图像；
第一确定单元，用于对所述第一目标区域图像和所述第二目标区域图像进行处理，确定所述第一目标区域图像和所述第二目标区域图像之间的光流信息；
第二确定单元，用于基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果；
所述第二确定单元用于，将所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述光流信息相加，得到所述第一图像和所述第二图像之间的光流信息预测结果。
25.根据权利要求24所述的装置，其特征在于，所述获取单元包括目标检测单元，关键点检测单元，截取单元，
所述目标检测单元，用于对所述第一时刻对图像采集区域采集到的第一图像进行目标检测，得到第一候选区域；
所述关键点检测单元，用于对所述第一候选区域的图像进行关键点检测，得到关键点信息；
所述截取单元，用于基于所述关键点信息，从所述第一图像中截取第一目标区域图像。
26.根据权利要求24或25所述的装置，其特征在于，所述第一目标区域图像和所述第二目标区域图像的图像尺寸相同。
27.根据权利要求24所述的装置，其特征在于，所述第一确定单元用于，
将所述第一目标区域图像和所述第二目标区域图像输入到双目匹配神经网络中进行处理，得到所述第一目标区域图像和所述第二目标区域图像之间的光流信息。
28.根据权利要求24所述的装置，其特征在于，所述装置还包括位移确定单元，所述位移确定单元用于，在所述基于所述第一目标区域图像和所述第二目标区域图像之间的位移信息和所述第一目标区域图像和所述第二目标区域图像之间的光流信息，得到所述第一图像和所述第二图像之间的光流信息预测结果之前，
基于所述第一目标区域图像在所述第一图像中的位置和所述第二目标区域图像在所述第二图像中的位置，确定所述第一目标区域图像和所述第二目标区域图像之间的位移信息。
29.一种电子设备，其特征在于，包括：
处理器；
用于存储计算机可读指令的存储器；
其中，所述处理器用于调用所述存储器存储的计算机可读指令，以执行权利要求1-14中任一项所述的方法。
30.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-14中任一项所述的方法。
CN201811647485.8A 2018-12-29 2018-12-29 图像处理方法、电子设备及计算机可读存储介质 Active CN111383256B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811647485.8A CN111383256B (zh) 2018-12-29 2018-12-29 图像处理方法、电子设备及计算机可读存储介质
JP2020556853A JP7113910B2 (ja) 2018-12-29 2019-09-23 画像処理方法及び装置、電子機器並びにコンピュータ可読記憶媒体
PCT/CN2019/107362 WO2020134229A1 (zh) 2018-12-29 2019-09-23 图像处理方法、装置、电子设备及计算机可读存储介质
US17/048,823 US20210150745A1 (en) 2018-12-29 2019-09-23 Image processing method, device, electronic apparatus, and computer readable storage medium
SG11202010402VA SG11202010402VA (en) 2018-12-29 2019-09-23 Image processing method, device, electronic apparatus, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811647485.8A CN111383256B (zh) 2018-12-29 2018-12-29 图像处理方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111383256A CN111383256A (zh) 2020-07-07
CN111383256B true CN111383256B (zh) 2024-05-17

Family

ID=71128548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811647485.8A Active CN111383256B (zh) 2018-12-29 2018-12-29 图像处理方法、电子设备及计算机可读存储介质

Country Status (5)

Country Link
US (1) US20210150745A1 (zh)
JP (1) JP7113910B2 (zh)
CN (1) CN111383256B (zh)
SG (1) SG11202010402VA (zh)
WO (1) WO2020134229A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260711B (zh) * 2020-01-10 2021-08-10 大连理工大学 一种弱监督可信代价传播的视差估计方法
CN112016558B (zh) * 2020-08-26 2024-05-31 大连信维科技有限公司 一种基于图像质量的介质能见度识别方法
CN114298912B (zh) * 2022-03-08 2022-10-14 北京万里红科技有限公司 图像采集方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651923A (zh) * 2016-12-13 2017-05-10 中山大学 一种视频图像目标检测与分割方法及***
JP2017103695A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
CN107886120A (zh) * 2017-11-03 2018-04-06 北京清瑞维航技术发展有限公司 用于目标检测跟踪的方法和装置
CN108154520A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于光流与帧间匹配的运动目标检测方法
CN108446622A (zh) * 2018-03-14 2018-08-24 海信集团有限公司 目标物体的检测跟踪方法及装置、终端
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769461B1 (ko) * 2005-12-14 2007-10-23 이길재 스테레오 비전 시스템
US8818024B2 (en) * 2009-03-12 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for object tracking
US20170206427A1 (en) * 2015-01-21 2017-07-20 Sportstech LLC Efficient, High-Resolution System and Method to Detect Traffic Lights
JP2014099716A (ja) 2012-11-13 2014-05-29 Canon Inc 画像符号化装置及びその制御方法
US10412368B2 (en) * 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
CN104217208B (zh) 2013-06-03 2018-01-16 株式会社理光 目标检测方法和装置
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN105095905B (zh) 2014-04-18 2018-06-22 株式会社理光 目标识别方法和目标识别装置
US11501406B2 (en) * 2015-03-21 2022-11-15 Mine One Gmbh Disparity cache
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
CN108537871B (zh) * 2017-03-03 2024-02-20 索尼公司 信息处理设备和信息处理方法
JP2018189443A (ja) 2017-04-28 2018-11-29 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
JP6922399B2 (ja) 2017-05-15 2021-08-18 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN107545247B (zh) * 2017-08-23 2020-05-12 北京伟景智能科技有限公司 基于双目识别的立体认知方法
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
CN108335322B (zh) * 2018-02-01 2021-02-12 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
CN109887019B (zh) * 2019-02-19 2022-05-24 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN115222782A (zh) * 2021-04-16 2022-10-21 安霸国际有限合伙企业 对单目相机立体***中的结构光投射器的安装校准
CN115690469A (zh) * 2021-07-30 2023-02-03 北京图森智途科技有限公司 一种双目图像匹配方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103695A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
CN106651923A (zh) * 2016-12-13 2017-05-10 中山大学 一种视频图像目标检测与分割方法及***
CN107886120A (zh) * 2017-11-03 2018-04-06 北京清瑞维航技术发展有限公司 用于目标检测跟踪的方法和装置
CN108154520A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种基于光流与帧间匹配的运动目标检测方法
CN108446622A (zh) * 2018-03-14 2018-08-24 海信集团有限公司 目标物体的检测跟踪方法及装置、终端
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于鲁棒损失人脸对齐与双目测距的活体检测;李依哲;《中国学位论文全文数据库 》;正文第1.4.1节、2.2节、第3章、图4-2 *

Also Published As

Publication number Publication date
WO2020134229A1 (zh) 2020-07-02
SG11202010402VA (en) 2020-11-27
JP2021519983A (ja) 2021-08-12
US20210150745A1 (en) 2021-05-20
CN111383256A (zh) 2020-07-07
JP7113910B2 (ja) 2022-08-05

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN111383256B (zh) 图像处理方法、电子设备及计算机可读存储介质
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN111160232B (zh) 正面人脸重建方法、装置及***
EP3905104B1 (en) Living body detection method and device
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
TW200846218A (en) Device and method for detecting obstacle by stereo computer vision
CN105574525A (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
US20200279101A1 (en) Face verification method and apparatus, server and readable storage medium
WO2014180255A1 (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
CN102713975B (zh) 图像整理***、图像整理方法和计算机程序
JP2018156408A (ja) 画像認識撮像装置
TW202105329A (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
CN111383255B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2018503195A (ja) 物体検出方法及び物体検出装置
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN114743277A (zh) 活体检测方法、装置、电子设备、存储介质及程序产品
CN114387324A (zh) 深度成像方法、装置、电子设备和计算机可读存储介质
CN115049822B (zh) 三维成像方法及装置
CN116755562B (zh) 一种避障方法、装置、介质及ar/vr设备
JP2013190938A (ja) ステレオ画像処理装置
US20230222727A1 (en) Method and device for generating three-dimensional image by using plurality of cameras
CN112395912A (zh) 一种人脸分割方法、电子设备及计算机可读存储介质
CN111783501A (zh) 活体检测方法和装置以及相应的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024028

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant