CN111602139A - 图像处理方法、装置、控制终端及可移动设备 - Google Patents

图像处理方法、装置、控制终端及可移动设备 Download PDF

Info

Publication number
CN111602139A
CN111602139A CN201980008862.XA CN201980008862A CN111602139A CN 111602139 A CN111602139 A CN 111602139A CN 201980008862 A CN201980008862 A CN 201980008862A CN 111602139 A CN111602139 A CN 111602139A
Authority
CN
China
Prior art keywords
image
target object
depth information
matching
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980008862.XA
Other languages
English (en)
Inventor
蔡剑钊
赵峰
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111602139A publication Critical patent/CN111602139A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种图像处理方法、装置、控制终端及可移动设备，包括：获取包括目标物体的目标图像(101)；确定目标图像中的目标区域(102)；在目标区域中，确定目标物体的主体特征区域(103)；根据主体特征区域的初始深度信息，确定目标物体的深度信息(104)，根据深度信息确定目标物体的三维物理信息(105)。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。

Description

图像处理方法、装置、控制终端及可移动设备
技术领域
本发明属于图像处理技术领域，特别是涉及一种图像处理方法、装置、控制终端及可移动设备。
背景技术
作为智能计算的重要领域，计算机视觉技术得到了极大的开发应用。计算机视觉技术通过成像***来代替人类的视觉器官，从而实现对目标物体的跟踪定位。
在目前，实现对目标物体的跟踪定位，需要首先得知目标物体的深度信息，即获得一张用于表示目标深度信息的深度信息图(Depth Map)，目前获取深度信息图的方式有两种，方案一，参照图1，对成像***获取的包括目标物体2的图像1进行特征检测，并通过圈定一个包括目标物体2和部分背景画面4的特征框3，使得根据特征框3中的所有像素点，来计算目标物体2的深度信息，从而绘制目标物体2的深度信息图。方案二，直接采用图像语义分割(semantic segmentation)算法或语意解析(semantic parsing)算法，对图像1进行针对目标物体2的识别，从而绘制目标物体2的深度信息图。
但是，目前的方案一中，由于圈定的特征框3中包括了目标物体2以及部分背景画面4，使得利用特征框3绘制深度信息图的过程中，引入了大量无用的信息，如背景画面4的深度信息，目标物体2的一些非重要部分的深度信息等。使得最终绘制的深度信息图无法精确表达目标物体2，导致对目标物体2的跟踪定位精度较差。另外，方案二中，直接对图像1全图进行算法处理，导致需要较大的计算资源，使得处理成本较高。
发明内容
本发明提供一种图像处理方法、装置、控制终端及可移动设备，以便解决现有技术中确定物体的三维物理信息需要较大的计算资源，导致处理成本较高，且对物体的跟踪定位精度较差的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种图像处理方法，该方法可以包括：
获取包括目标物体的目标图像；
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。
第二方面，本发明实施例提供了一种图像处理装置，该图像处理装置可以包括：
所述接收器用于执行：获取包括目标物体的目标图像；
所述处理器用于执行：
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。
本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的图像处理方法的步骤。
本发明实施例的第四方面，提供了一种控制终端，其特征在于，包括所述的图像处理装置，发射装置，接收装置，所述发射装置向可移动设备发送拍摄指令，所述接收装置接收所述可移动设备拍摄的图像，所述图像处理装置对所述图像进行处理。
本发明实施例的第五方面，提供了一种可移动设备，包括拍摄装置，所述可移动设备还包括图像处理装置，所述图像处理装置接收所述拍摄装置拍摄的图像并进行图像处理。
在本发明实施例中，本发明通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
附图说明
图1是本发明实施例提供的一种图像处理方法的步骤流程图；
图2是本发明实施例提供的一种目标图像的示意图；
图3是本发明实施例提供的另一种目标图像的示意图；
图4是本发明实施例提供的一种图像处理方法的具体步骤流程图；
图5是本发明实施例提供的另一种图像处理方法的具体步骤流程图；
图6是本发明实施例提供的另一种目标图像的示意图；
图7是本发明实施例提供的一种目标物体的初始深度信息的获取场景图；
图8是本发明实施例提供的另一种目标图像的示意图；
图9是本发明实施例提供的一种时序匹配操作的的概率分布图；
图10是本发明实施例提供的一种图像处理装置的框图；
图11是本发明实施例提供的一种可移动设备的框图；
图12是本发明实施例提供的一种控制终端的硬件结构示意图。
具体实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取包括目标物体的目标图像。
在本发明实施例中，本发明实施例提供的一种图像处理方法可以应用于一种可移动设备，该可移动设备包括：无人机、无人车、无人船、手持拍摄设备等，可移动设备上通常设置有具有拍摄功能的图像处理装置，另外，可移动设备的正常工作，离不开图像处理装置对可移动设备周边物体的拍摄和处理得到的物体的深度信息。
例如，无人车在进行无人驾驶时，需要利用其上设置的图像处理装置实时采集无人车周边环境中物体的图像，并根据对该图像的进一步处理，得到该物体的深度信息，无人车可以利用深度信息，实现确定物体的方位的目的，以实现无人自动驾驶。
在该步骤中，获取包括目标物体的目标图像，具体可以通过图像处理装置中的摄像头，拍摄一张或多张画面中具有目标物体的目标图像。
步骤102、确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内。
具体的，在本发明实施例中，在获取到包括目标物体的目标图像之后，可以进一步确定目标图像中的目标区域，以达到检测目标图像中的物体的目的，其中，目标区域可以包括目标物体至少主体部分，即目标区域可以与目标物体的至少主体部分完全重叠或者部分重叠。
参照图2，其示出了本发明实施例提供的一种目标图像的示意图，其中，目标图像10中包括人物目标物体11以及背景中的两个路灯12，若直接对整个目标图像10进行扫描来确定人物目标物体11的深度信息，首先会导致计算量过大，其次在确定人物目标物体11的深度信息的过程中会引入不相关的背景以及路灯12的相关信息，导致人物目标物体11的深度信息产生误差的几率较大。
因此，在本发明实施例中，可以通过目标区域框13大致框选出人物目标物体11所在的区域，目标区域框13中可以包括整个人物目标物体11以及少部分背景区域。
另外，在目标物体的尺寸比较大或形状不规则的情况下，也可以先确定目标物体的主体部分，并使得目标区域至少包括该主体部分。
相较于直接对整个目标图像10进行扫描处理，先圈定包括整个人物目标物体11的目标区域框13，再对目标区域框13中的区域进行扫描处理，能够一定程度上降低计算量，且目标区域框13过滤掉了背景中两个不相关的路灯12，降低了在计算人物目标物体11的深度信息时产生误差的几率。
具体的，通过目标区域框13框选出人物目标物体11所在区域，具体可以采用下述两种实现方式：
方式一、通过接收用户的框选操作，产生目标区域框13，并通过目标区域框13框选出人物目标物体11所在区域。
方式二、通过深度学习，训练得到能够识别和确定目标图像10中的人物目标物体11的识别模型，使得将目标图像10输入识别模型后，识别模型可以自动输出包括人物目标物体11的目标区域框13。该方式类似于目前的人脸区域定位技术，本发明在此不做赘述。
需要说明的是，目标区域的形状优选为矩形，当然，根据实际需求不同，目标区域的形状也可以采用圆形、不规则形状等，本发明实施例对此不作限定。
步骤103，在所述目标区域中，确定所述目标物体的主体特征区域。
在本发明实施例中，主体特征区域可以精准反映目标物体所在的方位，如，在可移动设备对目标物体进行运动轨迹定位时，主体特征区域可以代表整个目标物体的质心，使得可以将主体特征区域移动所产生的轨迹确定为目标物体移动时所产生的轨迹。
具体的，根据目标物体的种类，可以实现目标物体的主体特征区域的确定。
例如，参照图2，在目标物体为人的情况下，由于人在运动的时候四肢动作幅度较大，会使得测得的深度信息方差较大，因此可以定义人的躯干部分(即图2中的区域ABCD)为主体特征区域，使得在目标区域框13中进一步圈定出主体特征区域，以降低后续计算深度信息时产生的方差。
例如，参照图3，在目标图像20中的目标物体为汽车21，且拍摄到的目标图像20存在遮挡区域22的情况下，目标区域框23圈定了整个汽车21以及部分遮挡区域22，由于汽车21为较规则形状物体，因此可以定义目标区域框23中遮挡区域22之外的汽车21所在区域为主体特征区域，以降低后续计算深度信息时遮挡区域22产生的方差。
步骤104，根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息。
在本发明实施例中，深度信息的感知是人类产生立体物体视觉的前提，深度信息是指图像中存储每个像素所用的位数，其确定了彩色图像的每个像素可能有的色彩数，或者确定灰度图像的每个像素可能有的灰度级数。
在现实中，物体在人眼的观察范围内，存在由近到远深度变化，如，一把直尺水平放置在桌面上，用户站着直尺的刻度起点一端进行观看，视觉范围内存在直尺的刻度由小变大的趋势，且随着视线向直尺的另一端移动，会有刻度之间的间隔不断缩小的感觉，这就是深度信息对人类视觉的影响。
在计算机视觉领域，物体的深度信息可以是一张灰度图，包含每个像素点的深度信息，深度信息的大小表现在灰度的深浅，灰度图通过灰度渐变表示了代表物体距摄像头的远近程度。
因此，在本发明实施例中，可以通过获取可移动设备附近物体的深度信息，来对可移动设备附近物体进行方位定位和测距等操作，从而提高可移动设备的智能化体验。
具体的，步骤103已经确定了目标物体的主体特征区域，使得进一步通过主体特征区域的初始深度信息，来确定目标物体的深度信息。
具体的，主体特征区域的初始深度信息的获取方式可以有多种，如，在一种实现方案中，目前的可移动设备可以包括双目摄像模组的配置，因此获取目标物体的深度信息可以通过被动测距传感的方法进行实现，该方法通过两个相隔一定距离的摄像头同时获取同一目标物体的两幅图像，并通过立体匹配算法找到两幅图像中主体特征区域对应的像素点，随后根据三角原理计算出视差信息，而视差信息通过转换可得到用于表征场景中主体特征区域的初始深度信息。
在另一种实现方案中，还可以通过主动测距传感的方法实现获取主体特征区域的初始深度信息，主动测距传感相比较于被动测距传感最明显的特征是：利用设备本身发射的能量来完成初始深度信息的采集，这也就保证了深度图像的获取独立于彩色图像的获取，因此，在本发明实施例中，可以通过可移动设备对目标物体发射连续的近红外脉冲，然后利用可移动设备的传感器接收由目标物体反射回的光脉冲，通过比较发射光脉冲与经过目标物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到目标物体相对于发射器的距离，最终得到一幅包含了目标物体的主体特征区域对应的初始深度信息的深度图像。
进一步的，在确定了主体特征区域的初始深度信息之后，可以通过对主体特征区域的初始深度信息求平均值，得到对应目标物体的深度信息，在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了深度信息的精度，另外，本发明实施例是针对目标图像中局部的主体特征区域进行扫描和处理，得到对应目标物体的深度信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
步骤105，根据所述深度信息确定所述目标物体的三维物理信息。
在该步骤中，若要对目标物体进行跟踪，必须获取到目标物体的三维物理信息，因此，可以进一步根据目标物体的深度信息，确定目标物体的三维物理信息，目标物体的三维物理信息可以用于表明目标物体的方位和运动时的运动轨迹。
具体的，物体的深度信息可以是一张灰度图，包含每个像素点的深度信息，深度信息的大小表现在灰度的深浅，灰度图通过灰度渐变表示了代表物体距摄像头的远近程度。可以将目标物体的深度信息转化为一张灰度图，并通过计算灰度图中的灰度渐变值，利用灰度渐变值与距离之间的对应关系，确定出目标物体与可移动设备之间的间距，确定目标物体在不同时刻下的位置坐标，另外，可以将目标物体在不同时刻下的位置坐标与对应的时刻关联起来，得到目标物体的三维物理信息。另外，也可以将目标物体在不同时刻下的位置坐标与对应的时刻关联起来，并体现在具体的地图上，得到目标物体的三维物理信息。
综上，本发明实施例提供的一种图像处理方法，通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
图4是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图4所示，该方法可以包括：
步骤201、获取包括目标物体的目标图像。
该步骤具体可以参照上述步骤101，此处不再赘述。
步骤202、确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内。
该步骤具体可以参照上述步骤102，此处不再赘述。
步骤203、通过提取所述目标区域的边缘特征，将所述目标区域划分为多个子区域。
在本发明实施例中，边缘特征用于表示一张图像中有明显变化的边缘或者不连续的区域，由于边缘是一幅图像中不同区域之间的边界线，所以一个边缘图像可以是一个二值图像，边缘检测的目的是捕捉亮度急剧变化的区域。在理想情况下，对目标区域进行边缘检测，可以在目标区域中得到由一系列连续的曲线组成的边缘特征，用于表示对象的边界，各个边缘特征之间通过相交，可以将整个目标区域划分为多个子区域。
步骤204、通过分类模型，确定多个所述子区域的分类类别。
可选的，所述步骤204还可以通过卷积神经网络模型，确定多个所述子区域的分类类别或，通过分类器，确定多个所述子区域的分类类别的方式来实现。
基于深度学习，可以利用训练数据集训练得到分类模型，分类模型用于对各个子区域的所属类别进行划分，具体的，对分类模型的训练过程可以包括：采用预设图案的区域与该预设图案的所属分类之间的对应关系，对分类模型进行训练，使得分类模型能够达到输入某一区域，输出该区域对应的所属分类的目的。
在该步骤中，可以将目标区域的多个子区域输入训练好的分类模型，该分类模型会输出每个子区域的分类类别。
步骤205、在多个所述子区域中，合并与目标分类类别对应的子区域，得到所述主体特征区域。
在该步骤中，可以先确定与主体特征区域匹配的目标分类类别，之后将目标分类类别所对应的子区域进行连接，得到主体特征区域。
例如，在目标物体为人的情况下，由于人在运动的时候四肢动作幅度较大，会使得测得的深度信息方差较大，因此可以定义人体躯干部分为主体特征区域，并确定目标分类类别为人体躯干类别，将人体躯干类别对应的子区域进行合并，可以得到所述主体特征区域。
可选的，当所述目标物体处于受力或运动状态时，所述主体特征区域的轮廓的偏移量小于或等于预设阈值。
具体的，对主体特征区域的定义是，在目标物体处于受力或运动状态时，主体特征区域的轮廓的偏移量小于或等于预设阈值，即目标物体的主体特征区域在目标物体运动或受力状态下，能够保持一个相对较为稳定的状态，以避免后期计算目标物体的深度信息时，引入过多无用信息。
另外，对主体特征区域的轮廓的偏移量的测定，具体可以包括：在固定拍摄视角下，获取连续多帧包括目标物体的帧图像，并将相邻帧图像中主体特征区域的轮廓的位移差记录为偏移量，或者，将一帧图像中主体特征区域的轮廓与若干帧之前的帧图像的主体特征区域的轮廓之间的位移差，记录为偏移量。
步骤206、根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息。
该步骤具体可以参照上述步骤104，此处不再赘述。
步骤207、根据所述深度信息，确定所述目标物体在不同时刻下的位置坐标。
在本发明实施例中，物体的深度信息可以是一张灰度图，包含每个像素点的深度信息，深度信息的大小表现在灰度的深浅，灰度图通过灰度渐变表示了代表物体距摄像头的远近程度。
因此，可以将目标物体的深度信息转化为一张灰度图，并通过计算灰度图中的灰度渐变值，利用灰度渐变值与距离之间的对应关系，确定出目标物体与可移动设备之间的间距。目标物体在运动的时候，会不断的更新深度信息，因此能够根据更新的深度信息得到新的灰度图，从而根据目标物体在不同时刻下与可移动设备之间的间距，确定目标物体在不同时刻下的位置坐标。
步骤208、根据所述目标物体在不同时刻下的位置坐标，确定所述目标物体的三维物理信息。
在本发明实施例中，可以将目标物体在不同时刻下的位置坐标与对应的时刻关联起来，得到目标物体的三维物理信息。另外，也可以将目标物体在不同时刻下的位置坐标与对应的时刻关联起来，并体现在具体的地图上，得到目标物体的三维物理信息。
综上所述，本发明实施例提供的图像处理方法，通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
图5是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图5所示，该方法可以包括：
步骤301、在预设时刻，通过双目摄像模组获取所述目标物体的第一图像以及第二图像。
在本发明实施例中，可以采用双目摄像模组实现目标物体的初始深度信息的确定，双目摄像模组包括两台光心固定且关心间距固定的第一摄像头和第二摄像头，是一种基于双目视差原理并由多幅图像获取目标物体的三维几何信息的装置。具体的，参照图6，其示出了本发明实施例提供的一种目标图像的示意图，可以在预设时刻T1，由双目摄像模组的第一摄像头获取目标物体的第一图像30，同时由双目摄像模组的第二摄像头获取目标物体的第二图像40。
步骤302、确定第一图像以及第二图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内。
在该步骤中，参照图6，可以确定第一图像30中的第一目标区域31，并确定第二图像40中的第二目标区域41，具体的，确定图像中目标区域的方法可以参照上述步骤102，此处不再赘述。
步骤303、在所述目标区域中，确定所述目标物体的主体特征区域。
在该步骤中，参照图6，可以确定第一目标区域31中的第一主体特征区域EFGH，并确定第二目标区域41中的第二主体特征区域E’F’G’H’，具体的，在所述目标区域中，确定所述目标物体的主体特征区域的方法可以参照上述步骤103，此处不再赘述。
步骤304、将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息。
利用双目摄像模组获取目标物体的初始深度信息实际操作包括4个步骤：相机标定—双目校正—双目匹配—计算深度信息。
相机标定：其中，相机标定是对摄像头由于光学透镜的特性使得成像存在的畸变的消除过程，通过相机标定，可以得到双目摄像模组第一摄像头和第二摄像头的内外参数以及畸变参数。
双目校正：在第获取到第一图像和第二图像后，利用相机标定得出的第一摄像头和第二摄像头的内外参数以及畸变参数，对第一图像和第二图像进行畸变消除和行对准处理，得到无畸变的第一图像和第二图像。
双目匹配：将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理。
具体的，参照图6，可以将第一主体特征区域EFGH中的像素点与整个第二图像40中的像素点进行匹配处理，也可以将第二主体特征区域E’F’G’H’中的像素点与整个第一图像30中的像素点进行匹配处理，另外也可以既将第一主体特征区域EFGH中的像素点与整个第二图像40中的像素点进行匹配处理，又将第二主体特征区域E’F’G’H’中的像素点与整个第一图像30中的像素点进行匹配处理。双目匹配的作用是把同一场景在左右视图(即第一图像和第二图像)上对应的像素点匹配起来，这样做的目的是为了得到视差值。得到视差值后，可以进一步进行计算深度信息的操作。
在本发明实施例中，由于已经确定了能够精确反应目标物体的质心的主体特征区域，则可以将第一图像的第一主体特征区域与第二图像进行匹配处理，和/或将第二图像的第二主体特征区域与第一图像进行匹配处理，该两种方式都能够达到双目匹配的目的。同时针对主体特征区域进行双目匹配处理，相较于直接对整个第一图像和第二图像进行双目匹配，减少了计算量，提高了处理效率。
可选的，步骤304具体可以包括：
子步骤3041、将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配，得到视差值。
在该步骤中，可以执行确定深度信息中的计算深度信息操作，计算深度信息首先需要计算第一摄像头和第二摄像头之间的视差值，具体包括：
在该步骤中，参照图7，示出了本发明实施例提供的一种目标物体的初始深度信息的获取场景图，其中，P是目标物体的主体特征区域中某一点，OR与OT分别是第一摄像头和第二摄像头的光心，点P在两个第一摄像头和第二摄像头的感光器上的成像点分别为P和P’(摄像头的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，设点P到点P’之间的视差值为dis，则：视差值dis＝B-(Xr-Xt)。
可选的，将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配，具体可以通过将从所述第一特征区域中提取到的特征像素点在所述第二图像中进行匹配处理；和/或将从所述第二主体特征区域中提取到的特征像素点在所述第一图像中进行匹配处理的方式进行实现。
可选的，所述特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点。
在本发明实施例中，为了进一步降低初始深度信息计算过程中的数据处理量，还可以进一步将从第一特征区域中提取到的特征像素点在第二图像中进行匹配处理；和/或进一步将从第二主体特征区域中提取到的特征像素点在第一图像中进行匹配处理。其中，特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点，该特征像素点可以为目标物体的拐角点，边界点等一些具有剧烈变化特征的点。
例如，参照图6，第一特征区域中提取到的特征像素点可以为人体躯干的四个边角点E、F、G、H，第二特征区域中提取到的特征像素点可以为人体躯干的四个边角点E’、F’、G’、H’。
子步骤3042、根据所述视差值，计算得到所述初始深度信息。
在该步骤中，参照图7，假设初始深度信息为Z，则在求得视差值dis＝B-(Xr-Xt)之后，可以再根据相似三角形原理:B-(Xr-Xt)/B＝(Z-f)/Z，可以得到初始深度信息Z＝(fB)/(Xr-Xt)。
因此，根据双目摄像模组的焦距、第一摄像头和第二摄像头的光心间距和视差值，可以计算得到目标物体的初始深度信息。
可选的，在步骤301之后，还可以包括：
步骤305、在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像。
在本发明实施例中，还可以通过时序匹配操作，确定主体特征区域中的关键特征像素点，并按照关键特征像素点的置信度，为关键特征像素点添加对应的权重值，在根据初始深度信息计算目标物体的深度信息的过程中，可以将权重值加权在初始深度信息中，使得计算得到的目标物体的深度信息更加稳定和准确。
具体的，关键特征像素点可以为不同时刻相对较为稳定且不易发生相对位置变化的点。因此，在该步骤中，首先需要通过双目摄像模组在多个时刻，获取目标物体的第一图像以及第二图像。
例如，参照图8，其示出了本发明实施例提供的一种目标图像的示意图，可以在时刻T1，由双目摄像模组的第一摄像头获取目标物体的第一图像30，同时双目摄像模组的第二摄像头获取目标物体的第二图像40；并在时刻T2，由双目摄像模组的第一摄像头获取目标物体的第三图像50，同时由双目摄像模组的第二摄像头获取目标物体的第四图像60。
进一步的，可以确定第一图像30中的第一目标区域31，确定第二图像40中的第二目标区域41，确定第三图像50中的第三目标区域51，并确定第四图像60中的第四目标区域61。
进一步的，可以确定第一目标区域31中的第一主体特征区域EFGH，确定第二目标区域41中的第二主体特征区域E’F’G’H’，确定第三目标区域51中的第三主体特征区域IJKL，并确定第四目标区域61中的第四主体特征区域I’J’K’L’。
步骤306、将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理。
在该步骤中，在同一时刻，可以对第一摄像头获取的图像与第二摄像头获取的图像进行匹配操作，来判断同一时刻下第一摄像头获取的图像与第二摄像头获取的图像中是否存在较为稳定的关键特征像素点，具体的，可以将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理。参照图8，可以将第一主体特征区域EFGH中的像素点与整个第二图像40中的像素点进行匹配处理，也可以将第二主体特征区域E’F’G’H’中的像素点与整个第一图像30中的像素点进行匹配处理，另外也可以既将第一主体特征区域EFGH中的像素点与整个第二图像40中的像素点进行匹配处理，又将第二主体特征区域E’F’G’H’中的像素点与整个第一图像30中的像素点进行匹配处理。
步骤307、确定所述匹配处理的第一匹配成功次数。
在该步骤中，若第一摄像头获取的图像中的一个像素点相较于与第二摄像头获取的图像中的对应像素点位置坐标未发生改变，即可确定在该时刻下，该像素点匹配成功，增加该像素点作为关键特征像素点的置信度。通过对每个时刻的像素点针对匹配处理的匹配结果进行统计，可以得到第一匹配成功次数。
例如，参照图8，若第一主体特征区域EFGH中的像素点E、F、G、H的位置与第二主体特征区域E’F’G’H’中的像素点E’、F’、G’、H’的位置未发生相对变化，则为像素点E、F、G、H增加一次第一匹配成功次数。
步骤308、将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理。
在该步骤中，可以对不同时刻下第一图像中的特征区域之间进行匹配处理。
例如，参照图8，可以将T1时刻下第一主体特征区域EFGH中的像素点与T2时刻下第三主体特征区域IJKL中的像素点进行匹配处理。
步骤309、确定所述匹配处理的第二匹配成功次数。
例如，参照图8，若第一主体特征区域EFGH中的像素点E、F、G、H的位置与第三主体特征区域IJKL中的像素点I、J、K、L的位置未发生相对变化，则为像素点E、F、G、H增加一次第二匹配成功次数。
可选的，在步骤304和步骤309之后，还可以包括：
步骤310、根据所述第一匹配成功次数和所述第二匹配成功次数，为所述初始深度信息设置权重值，所述权重值的大小随着所述匹配次数正相关。
在该步骤中，可以根据如下公式1，实现根据第一匹配成功次数c1和第二匹配成功次数c2，确定的初始深度信息对应的权重值Pt：
Figure BDA0002588508020000161
具体的参照图7，在时刻T1，针对于第一图像30中的点E，根据点E与第二图像中的点E’之间的匹配操作，可以得出第一匹配成功次数c1，同时能够通过双目匹配计算得到点E的初始深度信息Ed，设定点E的初始置信度为
Figure BDA0002588508020000162
在时刻T2，针对于第一图像30中的点E，根据点E与第三图像中的点I之间的匹配操作，可以得出第二匹配成功次数c2，并根据上述公式1，计算得到点E的权重值Pt。
按照同样的方式，可以得到点F、点G、点H的的权重值Pt。需要说明的是，公式1中的参数60和参数5可以依据经验和需求进行更新设定，本发明实施例对此不做限定。
步骤311、根据所述初始深度信息，以及所述初始深度信息对应的权重值，进行加权平均计算，得到所述目标物体的深度信息。
在对主体特征区域的初始深度信息求平均值，得到对应目标物体的深度信息的过程中，将点E的权重值Pt加权到主体特征区域中点E对应的初始深度信息上，达到按照像素点的置信度实现加权平均的目的，使得计算得到的目标物体的深度信息更加稳定和准确。
例如，参照图8，假设确定了第一主体特征区域EFGH中的像素点E、F、G、H为特征像素点，且针对点E计算得到了权重值Pt1以及点E的初始深度信息Ed，针对点F计算得到了权重值Pt2以及点E的初始深度信息Fd，针对点G计算得到了权重值Pt3以及点E的初始深度信息Gd，针对点H计算得到了权重值Pt4以及点E的初始深度信息Hd，则通过加权平均计算，最终可以计算得到目标物体的
Figure BDA0002588508020000171
进一步的，在实际应用中，参照图9，示出了本发明实施例提供的一种时序匹配操作的的概率分布图，其中，横坐标为帧数，该帧数用于表示通过双目摄像模组获取的目标物体的连续多帧第一图像以及第二图像，在多个时刻中的一个时刻，通过双目摄像模组获取的目标物体的第一图像以及第二图像可以视为一帧。纵坐标为概率，用于表示置信度的大小，在将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理的过程中，匹配连续成功，置信度就越高，占得权重就越高；反之，匹配失败就会逐渐降低置信度，从而降低其权重。如图9所示，在连续匹配成功后，置信度逐渐上升，直到最高100％，而一旦出现匹配失败，则渐渐下降置信概率，直到0％。
步骤312、根据所述深度信息确定所述目标物体的三维物理信息。
该步骤具体可以参照上述步骤105，此处不再赘述。
综上所述，本发明实施例提供的图像处理方法，通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
图10是本发明实施例提供的一种图像处理装置的框图，如图10所示，该图像处理装置400可以包括：接收器401和处理器402；
所述接收器401用于执行：获取包括目标物体的目标图像；
所述处理器402用于执行：
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。
可选的，所述处理器402还用于执行：
通过提取所述目标区域的边缘特征，将所述目标区域划分为多个子区域；
通过分类模型，确定多个所述子区域的分类类别；
在多个所述子区域中，合并与目标分类类别对应的子区域，得到所述主体特征区域。
可选的，当所述目标物体处于受力或运动状态时，所述主体特征区域的轮廓的偏移量小于或等于预设阈值。
可选的，所述处理器402还用于执行：
通过卷积神经网络模型，确定多个所述子区域的分类类别；
或，通过分类器，确定多个所述子区域的分类类别。
可选的，所述接收器401还用于执行：
在预设时刻，通过双目摄像模组获取所述目标物体的第一图像以及第二图像。
可选的，所述处理器402还用于执行：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息；
根据所述初始深度信息，确定所述目标物体的深度信息。
可选的，所述处理器402还用于执行：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，得到视差值；
根据所述视差值，计算得到所述初始深度信息。
可选的，所述处理器402还用于执行：
将从所述第一特征区域中提取到的特征像素点在所述第二图像中进行匹配处理；和/或将从所述第二主体特征区域中提取到的特征像素点在所述第一图像中进行匹配处理。
可选的，所述特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点。
可选的，所述接收器401还用于执行：
在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像。
可选的，所述处理器402还用于执行：
将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理；
确定所述匹配处理的第一匹配成功次数。
可选的，所述处理器402还用于执行：
将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理；
确定所述匹配处理的第二匹配成功次数。
可选的，所述处理器402还用于执行：
根据所述第一匹配成功次数和所述第二匹配成功次数，为所述初始深度信息设置权重值，所述权重值的大小随着所述匹配次数正相关；
根据所述初始深度信息，以及所述初始深度信息对应的权重值，进行加权平均计算，得到所述目标物体的深度信息。
可选的，所述处理器402还用于执行：
根据所述深度信息，确定所述目标物体在不同时刻下的位置坐标；
根据所述目标物体在不同时刻下的位置坐标，确定所述目标物体的三维物理信息。
综上，本发明实施例提供的图像处理装置，通过获取包括目标物体的目标图像；确定目标图像中的目标区域，目标物体至少主体部分位于目标区域内；在目标区域中，确定目标物体的主体特征区域；根据主体特征区域的初始深度信息，确定目标物体的深度信息，根据深度信息确定目标物体的三维物理信息。本发明在得到深度信息的过程中，由于去除了目标图像中的背景、遮挡物、目标物体的非主体部分的干扰，所以降低了在计算深度信息的过程中引入无用信息的几率，提高了三维物理信息的精度，另外，本发明是针对主体特征区域进行扫描和处理，从而得到对应目标物体的三维物理信息，相较于直接对整个目标图像进行扫描和处理，减少了计算量，提高了处理效率。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法的步骤。
本发明实施例还提供一种控制终端，其特征在于，包括所述的图像处理装置，发射装置，接收装置，所述发射装置向可移动设备发送拍摄指令，所述接收装置接收所述可移动设备拍摄的图像，所述图像处理装置对所述图像进行处理。
参照图11，本发明实施例还提供一种可移动设备500，包括拍摄装置501，还包括图10所述的图像处理装置400，所述图像处理装置400接收所述拍摄装置501拍摄的图像并进行图像处理。
可选的，所述可移动设备500还包括控制器502以及动力***503，所述控制器502根据所述图像处理装置400处理的处理结果，控制所述动力***503的动力输出。
具体的，动力***包括驱动桨的电机以及驱动云台动作的电机，故控制器502可以根据图像处理结果可以改变可移动设备500的姿态或云台朝向(即拍摄装置501朝向)。
可选的，所述图像处理装置400集成于所述控制器502中。
可选的，所述可移动设备500包括无人机、无人车、无人船、手持拍摄设备中的至少一种。
图12为实现本发明各个实施例的一种控制终端的硬件结构示意图，该控制终端600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610、以及电源611等部件。本领域技术人员可以理解，图12中示出的控制终端结构并不构成对控制终端的限定，控制终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，控制终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
应理解的是，本发明实施例中，射频单元601可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器610处理；另外，将上行的数据发送给基站。通常，射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元601还可以通过无线通信***与网络和其他设备通信。
控制终端通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元603还可以提供与控制终端600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。
输入单元604用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获控制终端(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元606上。经图形处理器6041处理后的图像帧可以存储在存储器609(或其它存储介质)中或者经由射频单元601或网络模块602进行发送。麦克风6042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元601发送到移动通信基站的格式输出。
控制终端600还包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度，接近传感器可在控制终端600移动到耳边时，关闭显示面板6061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别控制终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板6061。
用户输入单元607可用于接收输入的数字或字符信息，以及产生与控制终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板6071附近的操作)。触控面板6071可包括触摸检测控制终端和触摸控制器两个部分。其中，触摸检测控制终端检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测控制终端上接收触摸信息，并将它转换成触点坐标，再送给处理器610，接收处理器610发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板6071。除了触控面板6071，用户输入单元607还可以包括其他输入设备6072。具体地，其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板6071可覆盖在显示面板6061上，当触控面板6071检测到在其上或附近的触摸操作后，传送给处理器610以确定触摸事件的类型，随后处理器610根据触摸事件的类型在显示面板6061上提供相应的视觉输出。虽然触控面板6071与显示面板6061是作为两个独立的部件来实现控制终端的输入和输出功能，但是在某些实施例中，可以将触控面板6071与显示面板6061集成而实现控制终端的输入和输出功能，具体此处不做限定。
接口单元608为外部控制终端与控制终端600连接的接口。例如，外部控制终端可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的控制终端的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部控制终端的输入(例如，数据信息、电力等等)并且将接收到的输入传输到控制终端600内的一个或多个元件或者可以用于在控制终端600和外部控制终端之间传输数据。
存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器609可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器610是控制终端的控制中心，利用各种接口和线路连接整个控制终端的各个部分，通过运行或执行存储在存储器609内的软件程序和/或模块，以及调用存储在存储器609内的数据，执行控制终端的各种功能和处理数据，从而对控制终端进行整体监控。处理器610可包括一个或多个处理单元；优选的，处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。
控制终端600还可以包括给各个部件供电的电源611(比如电池)，优选的，电源611可以通过电源管理***与处理器610逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外，控制终端600包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种控制终端，包括处理器610，存储器609，存储在存储器609上并可在所述处理器610上运行的计算机程序，该计算机程序被处理器610执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
参照图12，本发明实施例还提供一种可移动设备，包括拍摄装置，还包括图10所述的图像处理装置，所述图像处理装置接收所述拍摄装置拍摄的图像并进行图像处理。
可选的，所述可移动设备还包括控制器以及动力***，所述控制器根据所述图像处理装置处理的处理结果，控制所述动力***的动力输出。
可选的，所述图像处理装置集成于所述控制器中。
可选的，所述可移动设备包括无人机、无人车、无人船、手持拍摄设备中的至少一种。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、控制终端、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的控制终端。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令控制终端的制造品，该指令控制终端实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种应用的图标的处理方法及控制终端，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (35)

1.一种图像处理方法，其特征在于，所述方法包括：
获取包括目标物体的目标图像；
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。
2.根据权利要求1所述的方法，其特征在于，所述在所述目标区域中，确定所述目标物体的主体特征区域的步骤，包括：
通过提取所述目标区域的边缘特征，将所述目标区域划分为多个子区域；
通过分类模型，确定多个所述子区域的分类类别；
在多个所述子区域中，合并与目标分类类别对应的子区域，得到所述主体特征区域。
3.根据权利要求1至2任一所述的方法，其特征在于，当所述目标物体处于受力或运动状态时，所述主体特征区域的轮廓的偏移量小于或等于预设阈值。
4.根据权利要求2所述的方法，其特征在于，所述通过分类模型，确定多个所述子区域的分类类别的步骤，包括：
通过卷积神经网络模型，确定多个所述子区域的分类类别；
或，通过分类器，确定多个所述子区域的分类类别。
5.根据权利要求1所述的方法，其特征在于，所述获取包括目标物体的目标图像的步骤，包括：
在预设时刻，通过双目摄像模组获取所述目标物体的第一图像以及第二图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述主体特征区域中像素点的初始深度信息，确定所述目标物体的深度信息的步骤，包括：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息；
根据所述初始深度信息，确定所述目标物体的深度信息。
7.根据权利要求6所述的方法，将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息，具体包括：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，得到视差值；
根据所述视差值，计算得到所述初始深度信息。
8.根据权利要求6或7所述的方法，将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理具体包括：
将从所述第一特征区域中提取到的特征像素点在所述第二图像中进行匹配处理；和/或将从所述第二主体特征区域中提取到的特征像素点在所述第一图像中进行匹配处理。
9.根据权利要求8所述的方法，所述特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点。
10.根据权利要求6所述的方法，在将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息之后，还包括：
在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像。
11.根据权利要求10所述的方法，在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像之后，还包括：
将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理；
确定所述匹配处理的第一匹配成功次数。
12.根据权利要求11所述的方法，其特征在于，在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像之后，还包括：
将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理；
确定所述匹配处理的第二匹配成功次数。
13.根据权利要求12所述的方法，所述根据所述初始深度信息，确定所述目标物体的深度信息，具体包括：
根据所述第一匹配成功次数和所述第二匹配成功次数，为所述初始深度信息设置权重值，所述权重值的大小随着所述匹配次数正相关；
根据所述初始深度信息，以及所述初始深度信息对应的权重值，进行加权平均计算，得到所述目标物体的深度信息。
14.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息确定所述目标物体的三维物理信息，包括：
根据所述深度信息，确定所述目标物体在不同时刻下的位置坐标；
根据所述目标物体在不同时刻下的位置坐标，确定所述目标物体的三维物理信息。
15.一种图像处理装置，其特征在于，所述装置包括：接收器和处理器；
所述接收器用于执行：获取包括目标物体的目标图像；
所述处理器用于执行：
确定所述目标图像中的目标区域，所述目标物体至少主体部分位于所述目标区域内；
在所述目标区域中，确定所述目标物体的主体特征区域；
根据所述主体特征区域的初始深度信息，确定所述目标物体的深度信息；
根据所述深度信息确定所述目标物体的三维物理信息。
16.根据权利要求15所述的装置，其特征在于，所述处理器还用于执行：
通过提取所述目标区域的边缘特征，将所述目标区域划分为多个子区域；
通过分类模型，确定多个所述子区域的分类类别；
在多个所述子区域中，合并与目标分类类别对应的子区域，得到所述主体特征区域。
17.根据权利要求15至16任一所述的装置，其特征在于，当所述目标物体处于受力或运动状态时，所述主体特征区域的轮廓的偏移量小于或等于预设阈值。
18.根据权利要求16所述的装置，其特征在于，所述处理器还用于执行：
通过卷积神经网络模型，确定多个所述子区域的分类类别；
或，通过分类器，确定多个所述子区域的分类类别。
19.根据权利要求15所述的装置，其特征在于，所述接收器还用于执行：
在预设时刻，通过双目摄像模组获取所述目标物体的第一图像以及第二图像。
20.根据权利要求19所述的装置，其特征在于，所述处理器还用于执行：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，计算得到所述初始深度信息；
根据所述初始深度信息，确定所述目标物体的深度信息。
21.根据权利要求20所述的装置，其特征在于，所述处理器还用于执行：
将所述第一图像的所述第一主体特征区域与所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与所述第一图像进行匹配处理，得到视差值；
根据所述视差值，计算得到所述初始深度信息。
22.根据权利要求20或21所述的装置，其特征在于，所述处理器还用于执行：
将从所述第一特征区域中提取到的特征像素点在所述第二图像中进行匹配处理；和/或将从所述第二主体特征区域中提取到的特征像素点在所述第一图像中进行匹配处理。
23.根据权利要求22所述的装置，其特征在于，所述特征像素点为图像中灰度值变化大于预设阈值或图像边缘上曲率大于预设曲率值的像素点。
24.根据权利要求20所述的装置，其特征在于，所述接收器还用于执行：
在多个时刻，通过所述双目摄像模组获取所述目标物体的第一图像以及第二图像。
25.根据权利要求24所述的装置，其特征在于，所述处理器还用于执行：
将所述第一图像的所述第一主体特征区域与对应时刻获取的所述第二图像进行匹配处理，和/或将所述第二图像的所述第二主体特征区域与对应时刻获取的所述第一图像进行匹配处理；
确定所述匹配处理的第一匹配成功次数。
26.根据权利要求25所述的装置，其特征在于，所述处理器还用于执行：
将不同时刻获取的多个所述第一图像中的特征区域之间进行匹配处理；
确定所述匹配处理的第二匹配成功次数。
27.根据权利要求26所述的装置，其特征在于，所述处理器还用于执行：
根据所述第一匹配成功次数和所述第二匹配成功次数，为所述初始深度信息设置权重值，所述权重值的大小随着所述匹配次数正相关；
根据所述初始深度信息，以及所述初始深度信息对应的权重值，进行加权平均计算，得到所述目标物体的深度信息。
28.根据权利要求15所述的装置，其特征在于，所述处理器还用于执行：
根据所述深度信息，确定所述目标物体在不同时刻下的位置坐标；
根据所述目标物体在不同时刻下的位置坐标，确定所述目标物体的三维物理信息。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的图像处理方法的步骤。
30.一种控制终端，其特征在于，包括权利要求15至28任一所述的图像处理装置，发射装置，接收装置，所述发射装置向可移动设备发送拍摄指令，所述接收装置接收所述可移动设备拍摄的图像，所述图像处理装置对所述图像进行处理。
31.根据权利要求30所述的控制终端，其特征在于，所述可移动设备包括无人机、无人车、无人船、手持拍摄设备中的至少一种。
32.一种可移动设备，包括拍摄装置，其特征在于，所述可移动设备还包括权利要求15至28任一所述的图像处理装置，所述图像处理装置接收所述拍摄装置拍摄的图像并进行图像处理。
33.根据权利要求32所述的可移动设备，其特征在于，所述可移动设备还包括控制器以及动力***，所述控制器根据所述图像处理装置处理的处理结果，控制所述动力***的动力输出。
34.根据权利要求33所述的可移动设备，其特征在于，所述图像处理装置集成于所述控制器中。
35.根据权利要求32所述的可移动设备，其特征在于，所述可移动设备包括无人机、无人车、无人船、手持拍摄设备中的至少一种。
CN201980008862.XA 2019-05-31 2019-05-31 图像处理方法、装置、控制终端及可移动设备 Pending CN111602139A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089425 WO2020237611A1 (zh) 2019-05-31 2019-05-31 图像处理方法、装置、控制终端及可移动设备

Publications (1)

Publication Number Publication Date
CN111602139A true CN111602139A (zh) 2020-08-28

Family

ID=72191934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008862.XA Pending CN111602139A (zh) 2019-05-31 2019-05-31 图像处理方法、装置、控制终端及可移动设备

Country Status (2)

Country Link
CN (1) CN111602139A (zh)
WO (1) WO2020237611A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970568A (zh) * 2020-08-31 2020-11-20 上海松鼠课堂人工智能科技有限公司 交互式视频播放的方法和***
CN111984017A (zh) * 2020-08-31 2020-11-24 苏州三六零机器人科技有限公司 清扫设备控制方法、装置、***及计算机可读存储介质
CN112163562A (zh) * 2020-10-23 2021-01-01 珠海大横琴科技发展有限公司 一种影像重叠区域计算方法、装置、电子设备及存储介质
CN112433529A (zh) * 2020-11-30 2021-03-02 东软睿驰汽车技术（沈阳）有限公司 运动物体确定方法、装置及设备
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及***
CN112967249A (zh) * 2021-03-03 2021-06-15 南京工业大学 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
TWI831183B (zh) * 2022-04-18 2024-02-01 瑞昱半導體股份有限公司 影像物件標籤方法與電路系統

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213364A1 (zh) * 2021-04-09 2022-10-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质
CN113610033A (zh) * 2021-08-16 2021-11-05 明见(厦门)软件开发有限公司 一种双手脱离方向盘监测方法、终端设备及存储介质
CN114281096A (zh) * 2021-11-09 2022-04-05 中时讯通信建设有限公司 基于目标检测算法的无人机追踪控制方法、设备及介质
CN116246235B (zh) * 2023-01-06 2024-06-11 吉咖智能机器人有限公司 基于行泊一体的目标检测方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN105786016A (zh) * 2016-03-31 2016-07-20 深圳奥比中光科技有限公司 无人机以及rgbd图像的处理方法
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573715B (zh) * 2014-12-30 2017-07-25 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置
US9896205B1 (en) * 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
CN106887018B (zh) * 2015-12-15 2021-01-05 株式会社理光 立体匹配方法、控制器和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN105786016A (zh) * 2016-03-31 2016-07-20 深圳奥比中光科技有限公司 无人机以及rgbd图像的处理方法
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970568A (zh) * 2020-08-31 2020-11-20 上海松鼠课堂人工智能科技有限公司 交互式视频播放的方法和***
CN111984017A (zh) * 2020-08-31 2020-11-24 苏州三六零机器人科技有限公司 清扫设备控制方法、装置、***及计算机可读存储介质
CN111970568B (zh) * 2020-08-31 2021-07-16 上海松鼠课堂人工智能科技有限公司 交互式视频播放的方法和***
CN112163562A (zh) * 2020-10-23 2021-01-01 珠海大横琴科技发展有限公司 一种影像重叠区域计算方法、装置、电子设备及存储介质
CN112433529A (zh) * 2020-11-30 2021-03-02 东软睿驰汽车技术（沈阳）有限公司 运动物体确定方法、装置及设备
CN112433529B (zh) * 2020-11-30 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 运动物体确定方法、装置及设备
CN112967249A (zh) * 2021-03-03 2021-06-15 南京工业大学 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN112967249B (zh) * 2021-03-03 2023-04-07 南京工业大学 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN112598698A (zh) * 2021-03-08 2021-04-02 南京爱奇艺智能科技有限公司 长时间单目标跟踪方法及***
TWI831183B (zh) * 2022-04-18 2024-02-01 瑞昱半導體股份有限公司 影像物件標籤方法與電路系統

Also Published As

Publication number Publication date
WO2020237611A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111602139A (zh) 图像处理方法、装置、控制终端及可移动设备
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN111223143B (zh) 关键点检测方法、装置及计算机可读存储介质
CN108989678B (zh) 一种图像处理方法、移动终端
CN109151442B (zh) 一种图像拍摄方法及终端
CN109685915B (zh) 一种图像处理方法、装置及移动终端
CN109241832B (zh) 一种人脸活体检测的方法及终端设备
CN107730460B (zh) 一种图像处理方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
CN109272473B (zh) 一种图像处理方法及移动终端
CN110930329A (zh) 星空图像处理方法及装置
CN109544445B (zh) 一种图像处理方法、装置及移动终端
CN113280752A (zh) 一种凹槽深度测量方法、装置、***及激光测量设备
CN109246351B (zh) 一种构图方法及终端设备
CN111008929B (zh) 图像矫正方法及电子设备
CN109840476B (zh) 一种脸型检测方法及终端设备
CN110944112A (zh) 一种图像处理方法及电子设备
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN111080747A (zh) 一种人脸图像处理方法及电子设备
CN107798662B (zh) 一种图像处理方法及移动终端
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN108960097B (zh) 一种获取人脸深度信息的方法及装置
CN110930372A (zh) 一种图像处理方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200828