CN109274951A - 深度计算方法及其装置 - Google Patents
深度计算方法及其装置 Download PDFInfo
- Publication number
- CN109274951A CN109274951A CN201710571870.8A CN201710571870A CN109274951A CN 109274951 A CN109274951 A CN 109274951A CN 201710571870 A CN201710571870 A CN 201710571870A CN 109274951 A CN109274951 A CN 109274951A
- Authority
- CN
- China
- Prior art keywords
- diamond
- pixel
- shaped area
- depth
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
一种深度计算方法，包括以下步骤：接收双视角影像中的第一时序图像信息组(包括第一视角图像信息及第二视角图像信息)；以第一视角图像中的第一像素点为中心点建立一第一菱形区域；计算第一菱形区域中的像素点的像素值总和；根据预设深度阶层及所述第一像素点在第二视角图像中建立一像素区域，并以像素区域中的每一像素点为中心点分别建立一第二菱形区域；计算每一第二菱形区域中的像素点的像素值总和；及将第一菱形区域中的像素值总和分别与每一第二菱形区域中的像素值总和进行比较，以计算第一时序图像深度信息。本发明还提供一种深度计算设置。上述深度计算方法及其装置，运算复杂度低，计算速度快且具有良好的深度计算准确率。
Description
技术领域
本发明涉及图像深度计算技术领域，尤其涉及一种利用立体匹配(StereoMatching)技术的深度计算方法及其装置。
背景技术
在科技发展日新月异的现今时代中，立体影像多媒体***逐渐被业界所重视。在立体影像的应用中，双视角影像比对处理技术是目前业界最常用的立体影像处理技术。在现有技术中，双视角影像比对技术是先根据双视角影像计算出影像深度分布图，双视角影像比对技术具有计算复杂度较高之问题。因此，如何设计出具有计算复杂度较低之双视角影像比对的深度计算方法为业界不断致力的方向之一。
发明内容
有鉴于此，有必要提供一种深度计算方法及其装置，其运算量小，计算速度快。
本发明一实施方式提供一种深度计算方法，所述深度计算方法包括：接收双视角影像中的第一时序图像信息组，所述第一时序图像信息组包括第一视角图像信息及第二视角图像信息；以所述第一视角图像中的第一像素点为中心点建立一第一菱形区域；计算所述第一菱形区域中的像素点的像素值总和；根据预设深度阶层及所述第一像素点在所述第二视角图像中建立一像素区域，所述像素区域包括多个第二像素点，并以所述每一第二像素点为中心点分别建立一第二菱形区域；计算所述每一第二菱形区域中的像素点的像素值总和；及将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以计算第一时序图像深度信息；其中，所述第一菱形区域与所述第二菱形区域的大小及形状均相同。
本发明一实施方式提供一种深度计算装置，用于对双视角影像进行深度计算。所述深度计算装置包括：存储器；至少一个处理器；及一个或多个模块，所述一个或多个模块存储在所述存储器中，并由所述至少一个处理器执行。所述一个或多个模块包括：接收模块，用于接收所述双视角影像中的第一时序图像信息组，所述第一时序图像信息组包括第一视角图像信息及第二视角图像信息；第一建立模块，用于以所述第一视角图像中的第一像素点为中心点建立一第一菱形区域；第一计算模块，用于计算所述第一菱形区域中的像素点的像素值总和；第二建立模块，用于根据预设深度阶层及所述第一像素点在所述第二视角图像中建立一像素区域，所述像素区域包括多个第二像素点，并以所述每一第二像素点为中心点分别建立一第二菱形区域；第二计算模块，用于计算所述每一第二菱形区域中的像素点的像素值总和；及深度计算模块，用于将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以计算第一时序图像深度信息；其中，所述第一菱形区域与所述第二菱形区域的大小及形状均相同。
与现有技术相比，上述深度计算方法及其装置，运算复杂度低，计算速度快且具有良好的深度计算准确率。
附图说明
图1是本发明一实施方式的深度计算装置的运用环境图。
图2是本发明一实施方式的深度计算装置的功能模块图。
图3A是本发明一实施方式的以像素点为中心点在第一视角图像中建立菱形区域的示意图。
图3B是本发明一实施方式的以像素点为中心点在第二视角图像中建立菱形区域的示意图。
图4是本发明另一实施方式的深度计算装置的功能模块图。
图5是本发明一实施方式的深度计算方法的步骤流程图。
图6是本发明另一实施方式的深度计算方法的步骤流程图。
主要元件符号说明
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1-2，在一实施方式中，一种深度计算装置100用于对输入的双视角影像200(Binocular Video)进行深度信息计算。输入的双视角影像200包括多个双视角图像信息组。该多个双视角图像信息组可与各个时序相对应，每一双视角图像信息组包括两组对应至不同视角的图像信息。
举例而言，输入的双视角影像200中对应至第一时序的第一时序图像信息组(第一时序图像所包含的相关信息)包括第一视角图像信息V1_t1及第二视角图像信息V2_t1。输入的双视角影像200中对应至第二时序的第二时序图像信息组(第二时序图像所包含的相关信息)包括第一视角图像信息V1_t2及第二视角图像信息V2_t2。其中，第一视角图像信息V1_t1及V1_t2可以分别是第一时序、第二时序的左眼视角图像信息；第二视角图像信息V2_t1及V2_t2可以分别是第一时序、第二时序的右眼视角图像信息。第一时序与第二时序可以是互相邻近的时间点。
深度计算装置100包括存储器10及至少一个处理器20。存储器10存储有一个或多个模块，所述一个或多个模块由至少一个处理器20执行。所述一个或多个模块为程序化代码并可由处理器20执行，以完成本发明提供的功能。
所述一个或多个模块可以包括接收模块11、第一建立模块12、第一计算模块13、第二建立模块14、第二计算模块15及深度计算模块16。本发明所称的模块可以是完成一特定功能的程序段。
接收模块11接收输入的双视角影像200中的第一时序图像信息组。第一时序图像信息组包括第一视角图像信息V1_t1及第二视角图像信息V2_t1。第一视角图像I1_t1与第二视角图像I2_t1均包括多个像素点，每一像素点可以通过XY坐标点来表示。第一视角图像I1_t1与第二视角图像I2_t1的左下角像素点可以定义为XY坐标的原点。进而，第一视角图像信息V1_t1可以包括第一视角图像I1_t1中的每一像素点的坐标信息，第二视角图像信息V2_t1可以包括第二视角图像I2_t1中的每一像素点的坐标信息。
在一实施方式中，由于影像传输基本是通过影像压缩的方式进行传输，以提高传输速度。接收模块11可以通过解压缩器来实现将输入的双视角影像200进行解压缩操作，以获取原始未压缩的双视角影像200中的第一时序所对应的第一时序图像信息组。
请同时参阅图3A与图3B，第一建立模块12以第一视角图像I1_t1中的第一像素点P1为中心点建立一第一菱形区域RA1(如图3所示)。在本实施方式中，第一像素点P1的坐标以(400，200)为例进行举例说明。第一视角图像I1_t1与第二视角图像I2_t1的分辨率以1024*768为例进行举例说明。
在一实施方式中，第一菱形区域RA1的两条对角线的长度相等，且对角线的长度优选为100个像素点长度。即第一菱形区域RA1包括5000个像素点([100*100]/2＝5000)。
第一计算模块13用于计算第一菱形区域RA1中的像素点的像素值总和。由于第一菱形区域RA1包括5000个像素点，即第一计算模块13优选用于计算5000个像素点的像素值总和。具体地，第一计算模块13可以通过加5000个像素点的像素值进行加法运算即可获得像素值总和。
第二建立模块14根据预设深度阶层及第一像素点P1在第二视角图像I2_t1中建立一像素区域，所述像素区域包括多个第二像素点P2，并以所述每一第二像素点P2为中心点建立一第二菱形区域RA2(如图3所示)。
举例而言，预设深度阶层为256阶层(可以根据实际需求进行设定)，第一像素点P1对照到第二视角图像I2_t1的坐标同样是(400，200)，第二建立模块14建立的像素区域包括的像素坐标点的范围是[400-256/2，200]～[400+256/2，200]。即，多个第二像素点P2(256个第二像素点)的坐标分别为(272，200)、(273，200)、(274，200)…(527，200)、(528，200)。第二建立模块14再分别以256个第二像素点P2为中心点建立256个第二菱形区域RA2。其中，第一菱形区域RA1与第二菱形区域RA2的大小及形状均相同。每一第二菱形区域RA2同样包括5000个像素点。
第二计算模块15用于计算每一第二菱形区域RA2中的像素点的像素值总和，其计算方式与第一计算模块13相同。第二计算模块15在计算完成后可以获得256组像素值总和。
深度计算模块16用于将第一菱形区域RA1中的像素值总和分别与每一第二菱形区域RA2中的像素值总和进行比较，以计算第一时序图像深度信息。具体地，深度计算模块16将第一菱形区域RA1中的像素值总和分别与256组第二菱形区域RA2中的像素值总和进行比较，从中查找出与第一菱形区域RA1中的像素值总和差距最小的第二菱形区域RA2，进而可根据查找结果来计算第一时序图像深度信息。
举例而言，深度计算模块16经过比较得出第二视角图像I2_t1中的像素点(315，200)对应的第二菱形区域RA2的像素值总和与第一菱形区域RA1中的像素值总和最接近，则第一像素点P1(400，200)的深度信息为315-272＝43，单位为像素点之间的距离，即第一时序图像的第一像素点P1(400，200)的深度信息等于43个像素点长度。
需要说明的是，本发明的第一建立模块12进一步以第一视角图像I1_t1中的其余像素点为中心点来建立一菱形区域，进而可以根据上述描述的模块计算得出第一时序图像的其余像素点的深度信息，并可汇总得出第一时序图像深度信息。
在一实施方式中，为了进一步提升运算速度，第一计算模块13及第二计算模块15可以采用隔点取值方式来分别计算第一菱形区域RA1、第二菱形区域RA2中相间隔的像素点的像素值总和。例如，像素点编号是1、2、3、4、5、6…，运算时只采集1、3、5…(或2、4、6…)的像素点做加总运算，从而使得只需要计算5000个像素点中的2500个像素点的像素值总和，降低加总的像素点个数，提高了计算速度，又不影响深度信息计算的准确率。
请同时参阅图4，在一实施方式中，与图2的区别之处在于，深度计算装置100还包括移动向量获取模块17。接收模块11还用于接收双视角影像200中的第二时序图像信息组，移动向量获取模块17用于找出所述第二时序图像信息组相对于所述第一时序图像信息组的移动向量信息，深度计算模块16还用于根据所述移动向量信息及所述第一时序图像深度信息来计算第二时序图像深度信息。
在一实施方式中，移动向量获取模块17可以包括均值滤波器，实现对移动向量信息进行影像处理操作。由于第一时序与第二时为相互邻近的时序点，输入的双视角影像200在第一时序、第二时序中具有线性变化特性的深度分布图形，深度计算模块16可以根据第一时序图像深度信息及移动向量信息来估算得到第二时序图像深度信息。本发明通过同样的方式亦可得出输入的双视角影像200的其他时序所对应的图像深度信息，在此不再赘述。
图5为本发明一实施方式中深度计算方法的流程图。本方法可以使用在图2或图4所示的深度计算装置100中。
步骤S500，接收模块11接收输入的双视角影像200中的第一时序图像信息组，所述第一时序图像信息组包括第一视角图像信息V1_t1及第二视角图像信息V2_t1。
步骤S502，第一建立模块12以第一视角图像I1_t1中的第一像素点P1为中心点建立一第一菱形区域RA1。
步骤S504，第一计算模块13计算第一菱形区域RA1中的像素点的像素值总和。
步骤S506，第二建立模块14根据预设深度阶层及第一像素点P1在第二视角图像I2_t1中建立一像素区域，所述像素区域包括多个第二像素点P2，第二建立模块14还以所述每一第二像素点P2为中心点分别建立一第二菱形区域RA2，其中第二菱形区域RA2与第一菱形区域RA1的大小及形状均相同。
步骤S508，第二计算模块15计算每一第二菱形区域RA2中的像素点的像素值总。
步骤S510，深度计算模块16将第一菱形区域RA1中的像素值总和分别与每一第二菱形区域RA2中的像素值总和进行比较，以计算第一时序图像深度信息。
在一实施方式中，第一计算模块13及第二计算模块15可以采用隔点取值方式来分别计算第一菱形区域RA1、第二菱形区域RA2中相间隔的像素点的像素值总和。
在一实施方式中，第一菱形区域RA1与第二菱形区域RA2的大小及形状均相同。假设预设深度阶层为256阶层，第二建立模块14分别以256个第二像素点P2为中心点建立256个第二菱形区域RA2。深度计算模块16将第一菱形区域RA1中的像素值总和分别与256组第二菱形区域RA2中的像素值总和进行比较，从中查找出与第一菱形区域RA1中的像素值总和差距最小的第二菱形区域RA2，进而可根据查找结果来计算第一时序图像深度信息。
请同时参阅图6，在一实施方式中，所述深度计算方法还包括步骤S512及步骤S514。在步骤S500中，接收模块11还接收输入的双视角影像200中的第二时序图像信息组。步骤S512，移动向量获取模块17找出所述第二时序图像信息组相对于所述第一时序图像信息组的移动向量信息。步骤S514，深度计算模块16还根据所述移动向量信息及所述第一时序图像深度信息来计算第二时序图像深度信息。
需要说明的是，步骤S512可以在步骤S510之后执行，也可以在步骤S500之后执行。
上述深度计算方法及其装置，运算复杂度低，计算速度快且具有良好的深度计算准确率。
对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。
Claims (10)
1.一种深度计算方法，其特征在于，所述深度计算方法包括：
接收双视角影像中的第一时序图像信息组，所述第一时序图像信息组包括第一视角图像信息及第二视角图像信息；
以所述第一视角图像中的第一像素点为中心点建立一第一菱形区域；
计算所述第一菱形区域中的像素点的像素值总和；
根据预设深度阶层及所述第一像素点在所述第二视角图像中建立一像素区域，所述像素区域包括多个第二像素点，并以所述每一第二像素点为中心点分别建立一第二菱形区域；
计算所述每一第二菱形区域中的像素点的像素值总和；及
将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以计算第一时序图像深度信息；
其中，所述第一菱形区域与所述第二菱形区域的大小及形状均相同。
2.如权利要求1所述的深度计算方法，其特征在于，所述深度计算方法还包括：
接收双视角影像中的第二时序图像信息组，并找出所述第二时序图像信息组相对于所述第一时序图像信息组的移动向量信息；及
根据所述移动向量信息及所述第一时序图像深度信息来计算第二时序图像深度信息。
3.如权利要求1所述的深度计算方法，其特征在于，所述计算所述第一菱形区域中的像素点的像素值总和的步骤包括：
利用隔点取值方式计算所述第一菱形区域中相间隔的像素点的像素值总和。
4.如权利要求3所述的深度计算方法，其特征在于，所述计算所述每一第二菱形区域中的像素点的像素值总和的步骤包括：
利用隔点取值方式计算所述每一第二菱形区域中相间隔的像素点的像素值总和。
5.如权利要求1所述的深度计算方法，其特征在于，所述将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以计算所述第一时序图像深度信息的步骤包括：
将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以查找与所述第一菱形区域中的像素值总和最接近的第二菱形区域，并根据查找结果计算所述第一时序图像深度信息。
6.一种深度计算装置，用于对双视角影像进行深度计算，其特征在于，所述深度计算装置包括：
存储器；
至少一个处理器；及
一个或多个模块，所述一个或多个模块存储在所述存储器中，并由所述至少一个处理器执行，其特征在于，所述一个或多个模块包括：
接收模块，用于接收所述双视角影像中的第一时序图像信息组，所述第一时序图像信息组包括第一视角图像信息及第二视角图像信息；
第一建立模块，用于以所述第一视角图像中的第一像素点为中心点建立一第一菱形区域；
第一计算模块，用于计算所述第一菱形区域中的像素点的像素值总和；
第二建立模块，用于根据预设深度阶层及所述第一像素点在所述第二视角图像中建立一像素区域，所述像素区域包括多个第二像素点，并以所述每一第二像素点为中心点分别建立一第二菱形区域；
第二计算模块，用于计算所述每一第二菱形区域中的像素点的像素值总和；及
深度计算模块，用于将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以计算第一时序图像深度信息；
其中，所述第一菱形区域与所述第二菱形区域的大小及形状均相同。
7.如权利要求6所述的深度计算装置，其特征在于，所述深度计算装置还包括移动向量获取模块，所述接收模块还用于接收所述双视角影像中的第二时序图像信息组，所述移动向量获取模块用于找出所述第二时序图像信息组相对于所述第一时序图像信息组的移动向量信息，所述深度计算模块还用于根据所述移动向量信息及所述第一时序图像深度信息来计算第二时序图像深度信息。
8.如权利要求6所述的深度计算装置，其特征在于，所述第一计算模块用于利用隔点取值方式计算所述第一菱形区域中相间隔的像素点的像素值总和。
9.如权利要求8所述的深度计算装置，其特征在于，所述第二计算模块用于利用隔点取值方式计算所述每一第二菱形区域中相间隔的像素点的像素值总和。
10.如权利要求6所述的深度计算装置，其特征在于，所述深度计算模块用于将所述第一菱形区域中的像素值总和分别与所述每一第二菱形区域中的像素值总和进行比较，以查找与所述第一菱形区域中的像素值总和最接近的第二菱形区域，并根据查找结果计算所述第一时序图像深度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710571870.8A CN109274951B (zh) | 2017-07-13 | 2017-07-13 | 深度计算方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710571870.8A CN109274951B (zh) | 2017-07-13 | 2017-07-13 | 深度计算方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109274951A true CN109274951A (zh) | 2019-01-25 |
| CN109274951B CN109274951B (zh) | 2020-11-10 |
Family
ID=65147631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710571870.8A Active CN109274951B (zh) | 2017-07-13 | 2017-07-13 | 深度计算方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109274951B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102694998A (zh) * | 2011-03-24 | 2012-09-26 | 三星电子株式会社 | 深度传感器、深度信息误差补偿方法及信号处理*** |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、***及其方法 |
| WO2013023325A1 (zh) * | 2011-08-18 | 2013-02-21 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| CN103237214A (zh) * | 2013-04-12 | 2013-08-07 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
| CN104821008A (zh) * | 2014-02-03 | 2015-08-05 | 汤姆逊许可公司 | 用于处理三维场景的几何图像的方法和设备 |
-
2017
- 2017-07-13 CN CN201710571870.8A patent/CN109274951B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102694998A (zh) * | 2011-03-24 | 2012-09-26 | 三星电子株式会社 | 深度传感器、深度信息误差补偿方法及信号处理*** |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、***及其方法 |
| WO2013023325A1 (zh) * | 2011-08-18 | 2013-02-21 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| CN103237214A (zh) * | 2013-04-12 | 2013-08-07 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
| CN104821008A (zh) * | 2014-02-03 | 2015-08-05 | 汤姆逊许可公司 | 用于处理三维场景的几何图像的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109274951B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11315328B2 (en) | Systems and methods of rendering real world objects using depth information | |
| US9525858B2 (en) | Depth or disparity map upscaling | |
| WO2012094076A1 (en) | Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image | |
| TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
| KR20180136873A (ko) | 전방향 이미지를 프로세싱하기 위한 방법 및 장치 | |
| US20120176367A1 (en) | Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image | |
| US20120113221A1 (en) | Image processing apparatus and method | |
| US10482671B2 (en) | System and method of providing a virtual environment | |
| TWI622022B (zh) | 深度計算方法及其裝置 | |
| US20120062699A1 (en) | Detecting stereoscopic images | |
| CN109274951A (zh) | 深度计算方法及其装置 | |
| Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
| Liu et al. | Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications | |
| WO2014105219A2 (en) | Target image generation utilizing a functional based on functions of information from other images | |
| WO2013145326A1 (ja) | 決定装置、決定プログラムおよび決定方法 | |
| Rodrigo et al. | Real-time 3-D HDTV depth cue conflict optimization | |
| Kim et al. | Object-based stereoscopic conversion of MPEG-4 encoded data | |
| US20240236288A9 (en) | Method And Apparatus For Generating Stereoscopic Display Contents | |
| Sharma et al. | Parameterized variety based view synthesis scheme for multi-view 3DTV | |
| Lin et al. | Sprite generation for hole filling in depth image-based rendering | |
| TWI825892B (zh) | 立體格式影像偵測方法與使用該方法的電子裝置 | |
| Cai et al. | Intermediate view synthesis based on edge detecting | |
| Kim et al. | A study on real-time implementation of the view interpolation system | |
| Yamazoe | Geometrical and temporal calibration of multiple cameras using blinking calibration patterns | |
| JP5987899B2 (ja) | 生成装置、生成プログラムおよび生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |