CN106934828A - 深度图像处理方法及深度图像处理*** - Google Patents

深度图像处理方法及深度图像处理*** Download PDF

Info

Publication number
CN106934828A
CN106934828A CN201610031364.5A CN201610031364A CN106934828A CN 106934828 A CN106934828 A CN 106934828A CN 201610031364 A CN201610031364 A CN 201610031364A CN 106934828 A CN106934828 A CN 106934828A
Authority
CN
China
Prior art keywords
image
feature
depth image
depth
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610031364.5A
Other languages
English (en)
Other versions
CN106934828B (zh
Inventor
谢升宪
郑凯中
黄钰文
林子尧
刘品宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN106934828A publication Critical patent/CN106934828A/zh
Application granted granted Critical
Publication of CN106934828B publication Critical patent/CN106934828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出一种深度图像处理方法及深度图像处理***。深度图像处理方法包括：提取第一图像及第二图像；进行特征比对以获得第一图像及第二图像之间的多个特征对，其中每一特征对包括第一图像中的特征及第二图像中的对应特征；计算此些特征对的视差；当此些特征对的视差皆小于视差阈值时，藉由第一图像及第二图像计算深度图像。

Description

深度图像处理方法及深度图像处理***
技术领域
本发明涉及一种图像处理方法及图像处理***，且特别涉及一种深度图像处理方法及深度图像处理***。
背景技术
近年来，随着使用者体验需求的提高，深度图像技术逐渐变得热门。计算深度图像的方法包括使用结构光、时差测距(Time Of Flight；TOF)法、立体匹配(Stereo Matching)法等方法。立体匹配法是以左右图像的其中一张为基础，并且在另一张图像中寻找偏移量。例如，以左图像一个高度的框架为基础，并在右图像同样高度的位置将框架从最左边开始每次位移一个像素到最右边以逐一比对框架中的图像，再由比对结果中找出相似度最高者，求得左右图像框架的偏移量，再通过这些图像框架的偏移量来计算出深度图像。
由于上述方法需要将框架从图像的最左边移动到最右边，可能进行几百甚至上千次的计算之后才会得到一个偏移量，效率相当差，因此便产生了先将降低图像的解析度(down scale)再计算深度方法，例如将800*600的图像解析度降低到400*300再计算深度值。虽然此方法可减少计算量，但会造成远距离物体偏移量误差值的增大，导致无法分辨远距离物体在深度图像中的深度值。
另外，在数字相机中，如果拍摄的物体距离太近，会造成左右图像的视差较大，使得***必须花费很多时间才能计算出深度图像。如此一来会造成使用者等待时间过长而降低使用者体验。因此，如何能在减少计算深度值的计算量的前提下同时能分辨远距离物体的深度值，以及当拍摄物体距离太近时自动进行判断并不进行深度图像的制作以减少使用者等待时间，是本领域技术人员所应致力的目标。
发明内容
本发明提出一种深度图像处理方法及深度图像处理***，在减少深度图像计算时间的同时能保留远距离物体的细节，并防止拍摄物体距离过近而造成使用者浪费过长时间等待制作出具有破碎物体的深度图像。
本发明的一范例实施例提出一种深度图像处理方法，包括：提取第一图像及第二图像；进行特征比对以获得第一图像及第二图像之间的多个特征对，其中每一特征对包括第一图像中的特征及第二图像中的对应特征；计算此些特征对的视差；当此些特征对的视差皆小于视差阈值时，藉由第一图像及第二图像计算深度图像。
在本发明的一范例实施例中，上述特征对是选自对应于第一图像及第二图像的至少一感兴趣区域。
在本发明的一范例实施例中，上述的深度图像处理方法还包括计算对应第一图像的第三图像及对应第二图像的第四图像，其中第一图像及第二图像具有第一解析度，第三图像及第四图像具有第二解析度，且第二解析度小于第一解析度。
在本发明的一范例实施例中，上述的深度图像处理方法还包括：对第三图像及第四图像进行特征比对以获得第一深度图像，其中第一深度图像包括近距离特征及远距离特征，其中近距离特征的视差大于比对次数下限。
在本发明的一范例实施例中，上述对第三图像及第四图像进行特征比对以获得第一深度图像的步骤包括：对第三图像及第四图像进行特征比对以获得低解析深度图像，并藉由低解析深度图像获得具有第一解析度的第一深度图像。
在本发明的一范例实施例中，进行特征比对以获得第一图像及第二图像之间的多个特征对的步骤还包括在视差阈值内进行特征比对以获得第一图像及第二图像的远距离特征，并藉由第一图像及第二图像计算第二深度图像。
在本发明的一范例实施例中，上述的深度图像处理方法还包括：若第一深度图像的远距离特征的视差等于零，利用第二深度图像的远距离特征填补第一深度图像的远距离特征。
在本发明的一范例实施例中，进行特征比对以获得第一图像及第二图像的上述特征对的步骤还包括：获得第一图像的多个第一特征及第二图像的多个第二特征；若上述第一特征中的第三特征与上述第二特征中的第四特征的相似度大于相似度阈值，将第三特征与第四特征加入上述特征对；若上述特征对的数量大于数量阈值，则判断上述特征对的视差是否大于视差阈值；以及若上述特征对的其中之一的视差大于视差阈值，不藉由第一图像及第二图像计算深度图像并发出警示信号。
在本发明的一范例实施例中，上述的深度图像处理方法还包括藉由比较第三特征与第四特征的多个特征向量来计算第三特征与第四特征的相似度。
在本发明的一范例实施例中，上述提取第一图像及第二图像的步骤还包括对第一图像及第二图像进行校正，以消除第一图像及第二图像之间多个坐标轴的旋转差及部分上述坐标轴的位移差。
本发明的一范例实施例提出一种深度图像处理***，包括摄像模块及处理模块。摄像模块包括第一镜头及第二镜头，其中第一镜头用以提取第一图像且第二镜头用以提取第二图像。处理模块耦接摄像模块，处理模块进行特征比对以获得第一图像及第二图像之间的多个特征对，并计算此些特征对的视差，当此些特征对的视差皆小于视差阈值时，处理模块藉由第一图像及第二图像计算深度图像，其中每一特征对包括第一图像中的特征及第二图像中的对应特征。
在本发明的一范例实施例中，上述特征对是选自对应于第一图像及第二图像的至少一感兴趣区域。
在本发明的一范例实施例中，上述的处理模块计算对应第一图像的第三图像及对应第二图像的第四图像，其中第一图像及第二图像具有第一解析度，第三图像及第四图像具有第二解析度，且第二解析度小于第一解析度。
在本发明的一范例实施例中，上述的处理模块对第三图像及第四图像进行特征比对以获得第一深度图像，其中第一深度图像包括近距离特征及远距离特征，其中近距离特征的视差大于比对次数下限。
在本发明的一范例实施例中，上述的处理模块对第三图像及第四图像进行特征比对以获得低解析深度图像，并藉由低解析深度图像获得具有第一解析度的第一深度图像。
在本发明的一范例实施例中，上述的处理模块在视差阈值内进行特征比对以获得第一图像及第二图像的远距离特征，并藉由第一图像及第二图像计算第二深度图像。
在本发明的一范例实施例中，若第一深度图像的远距离特征的视差等于零，处理模块利用第二深度图像的远距离特征填补第一深度图像的远距离特征。
在本发明的一范例实施例中，上述的处理模块获得第一图像的多个第一特征及第二图像的多个第二特征。若上述第一特征中的第三特征与上述第二特征中的第四特征的相似度大于相似度阈值，处理模块将第三特征与第四特征加入上述特征对。若上述特征对的数量大于数量阈值，则处理模块判断上述特征对的视差是否大于视差阈值。若上述特征对的其中之一的视差大于视差阈值，处理模块不藉由第一图像及第二图像计算深度图像并发出警示信号。
在本发明的一范例实施例中，上述的处理模块藉由比较第三特征与第四特征的多个特征向量来计算第三特征与第四特征的相似度。
在本发明的一范例实施例中，上述的处理模块对第一图像及第二图像进行校正，以消除第一图像及第二图像之间多个坐标轴的旋转差及部分上述坐标轴的位移差。
在本发明的一范例实施例中，上述的第一镜头、第二镜头及处理模块设置于深度图像处理装置中。
在本发明的一范例实施例中，上述的第一镜头及处理模块设置于深度图像处理装置中，且第二镜头设置于电子装置中，其中深度图像处理装置可拆卸地设置于电子装置上。
基于上述，本发明的深度图像处理方法及深度图像处理***会先将左右图像解析度缩小以取得第一深度图像，并利用原始解析度的左右图像取得第二深度图像，再将第二深度图像的远距离物体填补至第一深度图像中。如此一来可同时缩短深度图像计算时间又不会失去深度图像中远距离物体的细节。此外，本发明的深度图像处理方法及深度图像处理***还会在相似度高的特征对的视差大于视差阈值时发出警示信号给使用者，以提醒使用者拍摄距离过近，进而避免使用者浪费过长时间等待制作出具有破碎物体的深度图像。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本发明一范例实施例所绘示的深度图像处理***的方块图。
图2是根据本发明另一范例实施例所绘示的深度图像处理***的方块图。
图3是根据本发明一范例实施例所绘示的深度图像处理方法的流程图。
图4A到图4C是根据本发明一范例实施例所绘示的深度图像处理方法的示意图。
图5是根据本发明另一范例实施例所绘示的深度图像处理方法的流程图。
图6是根据本发明另一范例实施例所绘示的深度图像处理方法的示意图。
【符号说明】
100、200：深度图像处理***
101、201：深度图像处理装置
110、210：处理模块
120、220：摄像模块
121、221：第一镜头
122、222：第二镜头
231：第一传输模块
232：第二传输模块
S301、S303、S305、S307、S309、S311、S313、S315：深度图像处理方法的步骤
411：近距离物体
412：远距离物体
410：第一图像
420：第二图像
430：第三图像
440：第四图像
450：低解析度深度图像
460：第一深度图像
470：第二深度图像
S501、S503、S505、S507、S509、S511：深度图像处理方法的步骤
610：第一图像
620：第二图像
630：搜寻范围
1、4、5、6：第一特征
1’、4’、5’、6’：第二特征
具体实施方式
图1是根据本发明一范例实施例所绘示的深度图像处理***的方块图。请参照图1，本发明一范例实施例的深度图像处理***100为一深度图像处理装置101。深度图像处理装置101例如是数字相机或其他图像提取装置，深度图像处理装置101包括处理模块110及耦接于处理模块110的摄像模块120。处理模块110例如是微处理器，用以处理摄像模块120所拍摄的图像数据，摄像模块120例如是互补式金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)图像传感器或感光耦合元件(Charged-Couple Device，CCD)图像传感器。摄像模块120具有第一镜头121及第二镜头122。第一镜头121及第二镜头122设置于同一个水平面上以同时提取左图像及右图像。而处理模块110可藉由左图像及右图像来制作出立体深度图像。深度图像处理装置101还可包括存储模块(未绘示于图中)，用以存储左图像、右图像及立体深度图像。
图2是根据本发明另一范例实施例所绘示的深度图像处理***的方块图。请参照图2，本发明另一范例实施例的深度图像处理***200包括深度图像处理装置201及电子装置202。深度图像处理装置201例如是数字相机或其他小型图像提取装置。电子装置202例如是智能手机、平板计算机或其他具有照相功能的手持式电子装置。深度图像处理装置201及电子装置202可藉由第一传输模块231及第二传输模块232可拆卸地彼此耦接。第一传输模块231及第二传输模块232例如是通用串行总线(Universal Serial Bus，USB)、小型通用串行总线(Mini Universal Serial Bus，Mini USB)、微型通用串行总线(Micro Universal Serial Bus，Micro USB)、或其他传输接口。摄像模块220包括第一镜头221及第二镜头222。第一镜头221及第二镜头222例如是互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor；CMOS)图像传感器或感光耦合元件(Charged-Couple Device；CCD)图像传感器。第二镜头222可为电子装置202的前镜头或后镜头。当使用者提取图像数据时，处理模块210会同时从第一镜头221及第二镜头222接收到左图像及右图像并藉由左图像及右图像来制作出立体深度图像。在下文中为了方便说明，皆以处理模块110、第一镜头121第二镜头122进行说明。
图3是根据本发明一范例实施例所绘示的深度图像处理方法的流程图。图4A到图4C是根据本发明一范例实施例所绘示的深度图像处理方法的示意图。
请参照图3，在步骤S301中，摄像模块120分别使用第一镜头121及第二镜头122提取具有第一解析度的第一图像410(或称为左图像)及第二图像420(或称为右图像)。在图4A中，第一图像410及第二图像420具有第一解析度。为了方便说明，在本范例实施例中假设第一解析度为800*600，但本发明并不以此为限。在另一范例实施例中，第一解析度也可以是1280*720、1920*1080或其他解析度。为了方便说明，假设在对应于第一图像410及第二图像420至少一个感兴趣区域(Region Of Interest；ROI)中，有一个近距离物体411及一个远距离物体412。第二图像420中的虚线部分表示第一图像中的近距离物体411及远距离物体412在第二图像420中的对应位置。在本范例实施例中，假设在第一图像410及第二图像420中的近距离物体411的视差为”40”，此视差”40”表示近距离物体在第一图像410及第二图像420中的对应水平位置差距为40个像素，且远距离物体412的视差为1。
在步骤S303中，处理模块110获得具有第二解析度且分别对应第一图像410及第二图像420的第三图像430及第四图像440。例如，在图4B中，处理模块110计算对应第一图像410的第三图像430及对应第二图像420的第四图像440，其中第三图像430及第四图像440具有小于第一解析度的第二解析度。在本范例实施例中假设第二解析度为400*300，但本发明并不以此为限。在另一范例实施例中，第二解析度也可以是小于第一解析度的任何解析度，例如是第一解析度的1/4、1/16等等。由于第三图像430及第四图像440横轴及纵轴的解析度都是第一图像410及第二图像440的1/2，因此在第三图像430及第四图像440中，近距离物体411的视差为40的1/2，也就是20，而远距离物体412的视差则会变为0。
在步骤S305中，处理模块110根据第三图像430及第四图像440计算具有第二解析度的低解析度深度图像450。接着在步骤S307中，处理模块110将低解析度深度图像450转换成具有第一解析度的第一深度图像460。具体来说，本范例实施例的深度图像处理方法会先设定一个视差阈值以根据左右图像计算深度图像，若左右图像中的物体视差大于视差阈值，则根据左右图像计算出的深度图像中的物体会呈现破碎形态。例如，在此假设图4C中的视差阈值为30。在处理模块110根据第三图像430及第四图像440计算低解析度深度图像450时，处理模块110会先从第四图像440中判断出多个特征并在第三图像430中对应于第四图像440每个特征位置的右侧30个像素的范围内寻找相似度大于相似度阈值的对应特征，以获得第三图像430及第四图像440之间的多个特征对，并且根据这些特征对的视差来判断近距离物体411及远距离物体412，其中近距离物体411(或称为近距离特征)及远距离物体412(或称为远距离特征)可包括一到多个特征对。如此一来，处理模块110可由这些特征对获得视差为20的近距离物体411及视差为0的远距离物体412，从而计算出低解析度深度图像450。接着，处理模块110再将解析度为400*300的低解析度深度图像450转换成解析度为800*600的第一深度图像460。在第一深度图像460中，近距离物体411的视差为40且远距离物体412的视差为0。
值得注意的是，处理模块110在计算第一深度图像460时还可以设定一个比对次数下限(例如，15)以专注取得近距离物体411的视差。具体来说，处理模块110在每次寻找特征对时不需要在第三图像430中对应于第四图像440每个特征位置的右侧30个像素的范围内寻找相似度大于相似度阈值的对应特征，而只要在第三图像430中对应于第四图像440每个特征位置的右侧15到30个像素的范围内寻找相似度大于相似度阈值的对应特征，如此可大幅缩短计算时间。
在步骤S309中，处理模块110根据第一图像410及第二图像420计算出第二深度图像470。例如，在图4A中，由于近距离物体411的视差为40，大于视差阈值30，因此在第二深度图像470中的近距离物体411会呈现破碎状态，而第二深度图像470中的远距离物体412则是正常呈现，并且其视差为1。
在步骤S311中，处理模块110判断第一深度图像460中的远距离物体412的视差是否为0。若第一深度图像460中的远距离物体412的视差不为0，在步骤S313中，处理模块110将第一深度图像460作为完整深度图像。若第一深度图像460中的远距离物体412的视差为0，在步骤S315中，处理模块110利用第二深度图像470中的远距离物体412填补第一深度图像460中的远距离物体412并将填补后的第一深度图像460作为完整深度图像。
值得注意的是，虽然在本范例实施例中处理模块110会先计算出第一深度图像460及第二深度图像470再进行步骤S311的比较，但本发明并不以此为限。例如，在另一范例实施例中，处理模块110也可以先不进行第二深度图像470的计算，而是在判断第一深度图像460中的远距离物体412的视差为0之后再进行第二深度图像470的计算并利用第二深度图像470中的远距离物体412填补第一深度图像460中的远距离物体412，以节省本发明的深度图像处理方法的计算时间。
图5是根据本发明另一范例实施例所绘示的深度图像处理方法的流程图。图6是根据本发明另一范例实施例所绘示的深度图像处理方法的示意图。
请参照图5，在步骤S501中，摄像模块120分别使用第一镜头121及第二镜头122提取第一图像610(或称为左图像)及第二图像620(或称为右图像)并对第一图像610及第二图像620进行校正，以消除第一图像及第二图像之间X、Y、Z坐标轴的旋转差及Y、Z坐标轴的位移差，使得第一图像610及第二图像620只剩下X坐标轴的位移差。值得注意的是，虽然上述说明了第一图像及第二图像分别为左图像及右图像，但第一图像及第二图像也可分别为右图像及左图像。
在步骤S503中，处理模块110获得第一图像610的多个第一特征及第二图像620的多个第二特征，其中第一特征及第二特征为图像中的角点或颜色值及灰阶值与周围像素差异较大的点。在本范例实施例中，会在第一图像610及第二图像620中定义相同的搜寻范围630(或感兴趣区域)并在各搜寻范围630中标记第一特征1、4、5、6及第二特征1’、4’、5’、6’。搜寻范围可以是使用者选择的范围、图像中人脸的范围、或是取得图像时自动对焦的范围。
在步骤S505中，若第一特征中的第三特征与第二特征中的第四特征的相似度大于相似度阈值，处理模块110将第三特征与第四特征加入特征对。例如，在图6中，假设第一特征中的1、4、6与第二特征中的1’、4’、6’的相似度大于相似度阈值，则将1-1’、4-4’、6-6’加入特征对。
在步骤S507中，处理模块110判断特征对的数量是否大于数量阈值。具体来说，在本范例实施例中，处理模块110会将数量阈值设定为第一特征或第二特征总数的特定百分比，例如第一特征总数为1000个且第二特征总数为900个，则可以将第二特征总数的30％，也就是270设定成数量阈值。若特征对的数量不大于数量阈值，则回到步骤S501重新截取第一图像610及第二图像620。
若特征对的数量大于数量阈值，在步骤S509中，处理模块110进一步判断特征对的其中之一的视差是否大于视差阈值。若特征对的其中之一的视差大于视差阈值，则处理模块110不藉由第一图像610及第二图像620计算深度图像并发出警示信号，接着回到步骤S501重新截取第一图像610及第二图像620。例如，在图6中，假设视差阈值为30，由于特征对1-1’的视差为80，大于视差阈值30，在此条件下计算出的深度图像会产生图像破碎的情况，因此***可自动发出警示信号以告知使用者拍摄距离过近。
若所有特征对的视差皆不大于视差阈值，则在步骤S511中，处理模块110藉由第一图像610及第二图像620计算深度图像。
值得注意的是，在本范例实施例中，当特征对的其中之一的视差大于视差阈值就视为拍摄物体距离过近而不制作深度图像，但本发明并不以此为限。例如，在另一范例实施例中，也可在一预定比例的特征对的视差大于视差阈值才视为拍摄物体距离过近而不制作深度图像。
此外，由于本发明的深度图像处理方法会在搜寻范围，也就是照相标的中寻找过近的照相标的。因此，若在更近的地方存在其他物体，即使此物体的深度图像超过视差阈值而呈现破碎形态，由于此物体并非照相标的，***并不会发出警示讯息以提醒使用者。
综上所述，本发明的深度图像处理方法及深度图像处理***会先将左右图像解析度缩小以取得第一深度图像，并利用原始解析度的左右图像取得第二深度图像，再将第二深度图像的远距离物体填补至第一深度图像中。如此一来可同时缩短深度图像计算时间又不会失去深度图像中远距离物体的细节。此外，本发明的深度图像处理方法及深度图像处理***还会在相似度高的特征对的视差大于视差阈值时发出警示信号给使用者，以提醒使用者拍摄距离过近，进而避免使用者浪费过长时间等待制作出具有破碎物体的深度图像。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (22)

1.一种深度图像处理方法，包括：
提取第一图像及第二图像；
进行特征比对以获得该第一图像及该第二图像之间的多个特征对，其中每一这些特征对包括该第一图像中的特征及该第二图像中的对应特征；
计算这些特征对的视差；以及
当这些特征对的视差皆小于视差阈值时，藉由该第一图像及该第二图像计算深度图像。
2.如权利要求1所述的深度图像处理方法，其中这些特征对是选自对应于该第一图像及该第二图像的至少一感兴趣区域。
3.如权利要求1所述的深度图像处理方法，还包括：
计算对应该第一图像的第三图像及对应该第二图像的第四图像，其中该第一图像及该第二图像具有第一解析度，该第三图像及该第四图像具有第二解析度，且该第二解析度小于该第一解析度。
4.如权利要求3所述的深度图像处理方法，还包括：
对该第三图像及该第四图像进行该特征比对以获得第一深度图像，其中该第一深度图像包括近距离特征及远距离特征，其中该近距离特征的视差大于比对次数下限。
5.如权利要求4所述的深度图像处理方法，其中对该第三图像及该第四图像进行该特征比对以获得该第一深度图像的步骤包括：
对该第三图像及该第四图像进行该特征比对以获得低解析深度图像，并藉由该低解析深度图像获得具有该第一解析度的该第一深度图像。
6.如权利要求4所述的深度图像处理方法，其中进行该特征比对以获得该第一图像及该第二图像之间的多个特征对的步骤还包括：
在该视差阈值内进行该特征比对以获得该第一图像及该第二图像的该远距离特征，并藉由该第一图像及该第二图像计算第二深度图像。
7.如权利要求6所述的深度图像处理方法，还包括：
若该第一深度图像的该远距离特征的视差等于零，利用该第二深度图像的该远距离特征填补该第一深度图像的该远距离特征。
8.如权利要求1所述的深度图像处理方法，其中进行该特征比对以获得该第一图像及该第二图像的这些特征对的步骤还包括：
获得该第一图像的多个第一特征及该第二图像的多个第二特征；
若这些第一特征中的第三特征与这些第二特征中的第四特征的相似度大于相似度阈值，将该第三特征与该第四特征加入这些特征对；
若这些特征对的数量大于数量阈值，则判断这些特征对的视差是否大于该视差阈值；以及
若这些特征对的其中之一的视差大于该视差阈值，不藉由该第一图像及该第二图像计算该深度图像并发出警示信号。
9.如权利要求8所述的深度图像处理方法，还包括：
藉由比较该第三特征与该第四特征的多个特征向量来计算该第三特征与该第四特征的相似度。
10.如权利要求1所述的深度图像处理方法，其中提取该第一图像及该第二图像的步骤还包括：
对该第一图像及该第二图像进行校正，以消除该第一图像及该第二图像之间多个坐标轴的旋转差及部分这些坐标轴的位移差。
11.一种深度图像处理***，包括：
摄像模块，包括第一镜头及第二镜头，其中该第一镜头用以提取第一图像且该第二镜头用以提取第二图像；以及
处理模块，耦接该摄像模块，该处理模块进行特征比对以获得该第一图像及该第二图像之间的多个特征对，并计算这些特征对的视差，当这些特征对的视差皆小于视差阈值时，该处理模块藉由该第一图像及该第二图像计算深度图像，其中每一这些特征对包括该第一图像中的特征及该第二图像中的对应特征。
12.如权利要求11所述的深度图像处理***，其中这些特征对是选自对应于该第一图像及该第二图像的至少一感兴趣区域。
13.如权利要求11所述的深度图像处理***，其中该处理模块计算对应该第一图像的第三图像及对应该第二图像的第四图像，其中该第一图像及该第二图像具有第一解析度，该第三图像及该第四图像具有第二解析度，且该第二解析度小于该第一解析度。
14.如权利要求13所述的深度图像处理***，其中该处理模块对该第三图像及该第四图像进行该特征比对以获得第一深度图像，其中该第一深度图像包括近距离特征及远距离特征，其中该近距离特征的视差大于比对次数下限。
15.如权利要求14所述的深度图像处理***，其中该处理模块对该第三图像及该第四图像进行该特征比对以获得低解析深度图像，并藉由该低解析深度图像获得具有该第一解析度的该第一深度图像。
16.如权利要求14所述的深度图像处理***，其中该处理模块在该视差阈值内进行该特征比对以获得该第一图像及该第二图像的该远距离特征，并藉由该第一图像及该第二图像计算第二深度图像。
17.如权利要求16所述的深度图像处理***，其中若该第一深度图像的该远距离特征的视差等于零，该处理模块利用该第二深度图像的该远距离特征填补该第一深度图像的该远距离特征。
18.如权利要求11所述的深度图像处理***，其中：
该处理模块获得该第一图像的多个第一特征及该第二图像的多个第二特征，
若这些第一特征中的第三特征与这些第二特征中的第四特征的相似度大于相似度阈值，该处理模块将该第三特征与该第四特征加入这些特征对，
若这些特征对的数量大于数量阈值，则该处理模块判断这些特征对的视差是否大于该视差阈值，
若这些特征对的其中之一的视差大于该视差阈值，该处理模块不藉由该第一图像及该第二图像计算该深度图像并发出警示信号。
19.如权利要求18所述的深度图像处理***，其中该处理模块藉由比较该第三特征与该第四特征的多个特征向量来计算该第三特征与该第四特征的相似度。
20.如权利要求11所述的深度图像处理***，其中该处理模块对该第一图像及该第二图像进行校正，以消除该第一图像及该第二图像之间多个坐标轴的旋转差及部分这些坐标轴的位移差。
21.如权利要求11所述的深度图像处理***，其中该第一镜头、该第二镜头及该处理模块设置于深度图像处理装置中。
22.如权利要求11所述的深度图像处理***，其中该第一镜头及该处理模块设置于深度图像处理装置中，且该第二镜头设置于电子装置中，其中该深度图像处理装置可拆卸地设置于该电子装置上。
CN201610031364.5A 2015-12-28 2016-01-18 深度图像处理方法及深度图像处理*** Active CN106934828B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104144098 2015-12-28
TW104144098A TWI553591B (zh) 2015-12-28 2015-12-28 深度影像處理方法及深度影像處理系統

Publications (2)

Publication Number Publication Date
CN106934828A true CN106934828A (zh) 2017-07-07
CN106934828B CN106934828B (zh) 2019-12-06

Family

ID=57848278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031364.5A Active CN106934828B (zh) 2015-12-28 2016-01-18 深度图像处理方法及深度图像处理***

Country Status (3)

Country Link
US (2) US9905023B2 (zh)
CN (1) CN106934828B (zh)
TW (1) TWI553591B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN110651467A (zh) * 2017-07-26 2020-01-03 谷歌有限责任公司 基于非视觉姿势数据的深度数据调整

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
CN111626929B (zh) * 2020-04-28 2023-08-08 Oppo广东移动通信有限公司 深度图像的生成方法及装置、计算机可读介质和电子设备
US11797603B2 (en) * 2020-05-01 2023-10-24 Magic Leap, Inc. Image descriptor network with imposed hierarchical normalization
TWI833238B (zh) * 2022-06-08 2024-02-21 凌華科技股份有限公司 資料結構以及人工智能推論系統及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN102387374A (zh) * 2010-08-30 2012-03-21 三星电子株式会社 用于获得高精度深度图的设备和方法
TW201306559A (zh) * 2011-07-29 2013-02-01 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9565415B2 (en) * 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
TWI450024B (zh) * 2012-06-05 2014-08-21 Wistron Corp 立體深度影像建立系統及其方法
EP2973476A4 (en) * 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
TWI498526B (zh) * 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
TWI535263B (zh) * 2013-06-20 2016-05-21 國立成功大學 ３ｄ影像深度圖之產生方法
TW201514926A (zh) * 2013-10-11 2015-04-16 Novatek Microelectronics Corp 視差計算方法及其立體匹配系統
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置
TWI536206B (zh) * 2013-11-05 2016-06-01 緯創資通股份有限公司 操作體的定位方法及裝置以及深度判定方法及裝置
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
US10771714B2 (en) * 2014-02-25 2020-09-08 Ams Sensors Singapore Pte. Ltd. Image sensor modules including primary high-resolution imagers and secondary imagers
TWI545936B (zh) * 2014-02-25 2016-08-11 華晶科技股份有限公司 電子裝置及其校正方法
TWI538476B (zh) * 2014-03-24 2016-06-11 立普思股份有限公司 立體攝影系統及其方法
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9661298B2 (en) * 2015-08-06 2017-05-23 Intel Corporation Depth image enhancement for hardware generated depth images
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN102387374A (zh) * 2010-08-30 2012-03-21 三星电子株式会社 用于获得高精度深度图的设备和方法
TW201306559A (zh) * 2011-07-29 2013-02-01 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110651467A (zh) * 2017-07-26 2020-01-03 谷歌有限责任公司 基于非视觉姿势数据的深度数据调整
US10992916B2 (en) 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备

Also Published As

Publication number Publication date
US9905023B2 (en) 2018-02-27
US20180137636A1 (en) 2018-05-17
TWI553591B (zh) 2016-10-11
CN106934828B (zh) 2019-12-06
US20170186171A1 (en) 2017-06-29
TW201724018A (zh) 2017-07-01
US10529081B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
CN106934828A (zh) 深度图像处理方法及深度图像处理***
EP3528209A1 (en) Method and device for determining external parameter of stereoscopic camera
US8588516B2 (en) Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program
US8482599B2 (en) 3D modeling apparatus, 3D modeling method, and computer readable medium
CN111345029B (zh) 一种目标追踪方法、装置、可移动平台及存储介质
CN106485753B (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
WO2015199899A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN111630524B (zh) 测量物体参数的方法及装置
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN109247068A (zh) 用于滚动快门补偿的方法和设备
EP3026631A1 (en) Method and apparatus for estimating depth of focused plenoptic data
EP2662833A2 (en) Light source data processing device, method and program
CN115588052A (zh) 视线方向数据采集方法、装置、设备及存储介质
EP3496042A1 (en) System and method for generating training images
CN113077523A (zh) 一种标定方法、装置、计算机设备及存储介质
CN111292234B (zh) 一种全景图像生成方法及装置
CN105488845B (zh) 产生三维图像的方法及其电子装置
CN113538538B (zh) 双目图像对齐方法、电子设备和计算机可读存储介质
CN116704111A (zh) 图像处理方法和设备
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN108234988A (zh) 视差图生成方法、装置和计算机可读存储介质
CN110245618B (zh) 3d识别装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant