CN103814306B - 深度测量质量增强 - Google Patents
深度测量质量增强 Download PDFInfo
- Publication number
- CN103814306B CN103814306B CN201280030960.1A CN201280030960A CN103814306B CN 103814306 B CN103814306 B CN 103814306B CN 201280030960 A CN201280030960 A CN 201280030960A CN 103814306 B CN103814306 B CN 103814306B
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- relevant
- value
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000007547 defect Effects 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 abstract description 11
- 230000002950 deficient Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
此处公开的是一种用于修正深度图图像中的缺陷深度值的方法。缺陷值对应于位于连续的平的表面上的“噪声像素”和位于沿前景对象和背景对象之间的边缘的内插的“飞行像素”。该方法包括如下步骤:评估包括前景和背景对象的场景的深度图;使用一方法来检测并标识该深度图内的噪声和内插的深度测量;使用特定地定义的加权的修正因子来定义修正并将该修正应用于每一个所检测到的缺陷的噪声和内插的深度测量。通过在深度图图像中提供经修正的缺陷深度值,边缘在深度上被锐化且连续平面被平坦化,能获得进一步图像处理的更高效率和稳健性。
Description
技术领域
本发明涉及距离测定测量(诸如包含“三维点云”数据信息的深度图或图像)的质量增强,且更特定地涉及与所成像的三维景象中的前景对象和背景对象之间的边缘对应的像素相关联的深度测量的去噪和有问题的内插深度值的修正。
背景技术
深度测量相机***是新近的距离测定设备,由于被用于消费电子***和控制台游戏中的姿势识别和人体骨架追踪的技术,该设备变得越发常用。
主要地,存在两种类型的环境照明独立的深度感测或三维(3D)相机技术适于这样的应用。一种类型的3D相机技术是结构光3D相机,例如,由PrimeSense所提供、用于微软的Xbox360的Kinect(称为Kinect)视频游戏控制台中的姿势识别。(微软、Kinect、和Xbox360的Kinect是微软公司的商标)。第二种类型的3D感测相机技术是由数个独立公司研发和制造的飞行时间(ToF)相机且被用于例如汽车工业或在包括人机交互的各种环境(包括视频游戏、机器人、家庭自动化等)中用于姿势识别和人体骨架追踪。
题名为“BoundaryArtifactReductioninViewSynthesisof3DVideo:FromPerspectiveofTexture-DepthAlignment(3D视频的视图合成中的边界伪像减少:从文本深度对齐的角度)”、YinZhao等人发表在IEEETransactionsonBroadcasting,IEEEServiceCenter,Piscataway,NJ,US,57卷,第2期,2011年6月1日,510-522页的文章,公开了一种使用术语表达为不对齐抑制和对齐增强(SMART)的过程来修正视图合成的深度图的方法。该过程要求在预处理步骤中使用深度信息以及文本来在从至少两个立体声图像中创建的虚拟视图中提供孔洞填充。对于前景-背景边界,使用将被修正的像素一侧的两个像素获得导数且将这些值与阈值比较来确定该像素落在前景内还是背景内。边缘点和深度边缘点之间的距离被平均来提供与深度或文本边缘平行的平滑曲线。
在名为“Spatial-DepthSuperResolutionforRangeImages(距离图像的空间深度超级分辨率)”、QingxiongYang等人发表在CVPR’07,IEEEConferenceonComputerVisionandPatternRecognition,18-23June2007,Minneapolis,MN,USA,IEEEPiscataway,NJ,US,57卷,第2期,2007年6月1日,1-8页)的文章中,描述了后处理技术,其中通过对深度或然率的3D体(称为成本体(costvolume))的片段迭代地应用双边滤波器来产生新的成本体(该新的成本体被用于限制一般的两视图立体声视觉问题的深度分辨率),从而处理深度或然率的3D体。后处理的步骤包括将低分辨率深度图上采样至与高分辨率相机图像相同大小、基于经上采样的深度图来建立成本体、并向该成本体的片段应用双边滤波器来产生新的成本提,受限的深度图是基于该新的成本体的。
名为“RobustFeature-PreservingMeshDenoisingBasedonConsistentSubneighborhoods(基于一致的子相邻进行的稳健的特征保持的网格去噪)”,由HanqiFan等人发表于IEEETransactionsonVisualizationandComputerGraphics,IEEEServiceCenter,LosAlamitos,CA,US,16卷,第2期,2010年3月1日,公开了使用基于密度的聚簇算法来逐个标识平滑的子相邻的方法。通过拟合二次模型来确定顶点正向和曲率张量的初始估算,然后被滤波从而平滑正向场和曲率张量场。然后使用第二双边滤波来保持曲率细节并减轻去噪过程的体积缩减。
在名为“TemporalConsistencyEnhancementonDepthSequences(对于深度序列的时间一致性增强)”,由DeliangFu等人发表于PictureCodingSymposium2010;Nagoya,2010年12月8日,公开了深度过滤算法来移除深度序列中的时间不一致。
US-B-6577307描述了防混叠过程,其中使用加权值用最相邻的色彩来混合前景色彩。每一个像素的加权值表示该像素的覆盖百分比。
然而,无论3D感测相机的类型如何,提供包括多个像素的场景的图像,该图像的每一个像素包含至少与所成像的对象与该相机之间的距离有关的信息,这样的信息是测得的深度值。内嵌有至少深度测量信息的这样的图像用术语表达为“深度图(depthmap)”。其他类型的图像也可包括内嵌的深度测量信息,例如,“3D点云”数据矩阵,其中图像包括相对于相机坐标***或相对于虚拟环境坐标***的内嵌的信息。在这样的图像中,x和y分别对应于水平和垂直轴且z-轴对应于深度。从相机坐标***到虚拟环境坐标***的转换是投影的问题,且这样的变换一般称为“场景校准”。
使用提供深度测量的图像的任何应用或***从而依赖于在分辨率、噪声、准确度、稳健性、和可重复性方面的测量质量。特定地,当主要考虑3DToF相机技术时,场景对象边缘周围的深度测量已知会展现出也被称为“飞行像素”的卷积和/或内插伪像,这可影响单个自然锐利边缘的至少一个像素半径的深度数据。这样的“飞行像素”是空间伪像,其发生在对象边缘处的位置中的且独立于任何可能的运动模糊,且其需要在景象中被移除和/或恢复至对应于新计算的深度值的正确位置,该新计算的深度值将该“飞行像素”合适地分配至前景对象或分配至背景对象。这样的恢复的目的是在于显著改进之后的对象检测置信度并增强3D景象中对象的深度信息质量。
发明内容
因此本发明的目的在于,通过检测可能形式为噪声像素值和/或形式为内插的“飞行像素”值的缺陷像素,来提供增强距离测定测量的质量的方法与***,例如诸如以深度图或以3D点云的形式来提供的测量。特定地,噪声像素值涉及整个深度图。然而,它们易于减少平且连续的表面的质量。“飞行像素”值涉及深度图中或对应的3D点云中表示的3D对象的边缘,这些边缘被定义为位于不同深度的前景对象和背景对象之间的界限。
根据本发明的一个方面,提供了三维图像的缺陷像素值的深度图质量增强的方法,该方法包括如下步骤:
a)确定与一场景有关的深度测量数据;
b)检测该深度测量数据中的缺陷;
c)定义每一个检测到的缺陷像素的深度修正;和
d)向每一个检测到的缺陷像素的深度测量数据应用该深度修正;
其特征在于,其中步骤c)优选地包括,对于每一个所标识的缺陷像素,进行如下步骤:
c1)确定与所述深度方向导数有关的向量;
c2)确定所确定的向量的法向;
c3)使用所确定的向量和所确定的向量的法向的至少一个结果结合数据参数来确定加权因子参数,所述参数的值与由像素宽度表示的实空间中的度量大小相关;和
c4)使用所述加权因子和与相邻像素有关的信息中的至少一个来确定修正因子。
通过使用本发明的方法,可获得深度图或3D点云图像质量的显著增强,同时可特定地减少深度测量噪声。特定地,在位于对象边缘处的内插的“飞行像素”内包含的信息被恢复且然后这些边缘因此被锐化从而使得它们对于进一步的信号处理方法相关且有用。
此外,本发明的一个结果在于极大地改进用户和对象检测、标识、追踪、以及运动相关的数据分析(诸如在三维景象中的感兴趣的对象上执行的姿势识别之类),因为这类方法依赖于深度图深度数据值质量。作为另一个结果,可以更好的可靠性和准确度来进行与景象内用户形状和对象形状有关的图像提取。
此外,改进的对象检测还提供3D景象内的用户和对象的显著更好的建模,特定地,由于最小化了用户身体部分与对象或与其本身的融合,还显著改进了人体骨架适配和追踪,且可更为准确地建模用户的身体形状。
在一个实施例中,步骤c4)可进一步包括使用相邻像素的深度值、加权因子、和修正因子中的至少一个。可选地或附加地,步骤c4)可包括使用与相邻像素有关的信息的统计学众数。
有利地,步骤c4)仅使用有效的相邻像素。
步骤c4)还可包括使用从在相邻像素上确定的回归面所提取的深度信息。
在本发明的一个实施例中,缺陷像素可包括位于三维图像中前景对象和背景对象之间的边缘处的内插的像素数据值。在这个情况下,步骤b)还可包括,当像素的至少一个深度方向导数大于预定阈值且如果至少两个相继的方向导数具有相同正负号,则使用深度相关的方向导数来标识位于边缘处的像素的缺陷深度测量。这提供了如上所述的“飞行像素”的测试。
除了修正“飞行像素”外,本发明的方法还修正了“噪声像素”。在这个情况下,步骤b)包括确定三维图像中连续表面上的像素的缺陷测量。
在这个情况下,步骤b)还包括,当像素的至少一个深度方向导数大于预定阈值且当该像素的另一个深度方向导数也大于预定阈值且这两个方向导数具有相反的正负号时,使用深度相关的方向导数来标识连续表面上的像素的缺陷深度测量。
当缺陷像素是“噪声像素”时,步骤c)还可包括,对于每一个所标识的缺陷像素,进行如下步骤:
c5)使用两个正交的轴来确定与深度方向导数数据值有关的向量;
c6)使用所确定的向量的半径值、所确定的向量的法向信息、和由像素表示的场景中的实际宽度中的至少一个来确定加权因子参数;和
c7)使用所确定的加权因子参数组合与相邻像素有关的信息来应用修正因子。
在一个实施例中,使用至少两个正交的轴来确定深度相关的方向导数。在另一个实施例中,使用法线图(normalmap)来确定深度相关的方向导数。在另一个优选实施例中,可使用深度相关的方向导数来确定法线图(normalmap)。
在本发明的一个实施例中,使用本方法来修正“飞行像素”和“噪声像素”中的至少一个,且在优选实施例中,本方法修正“飞行像素”且修正“噪声像素”。
步骤a)可包括估算由3D感测设备或相机提供的或来自存储介质的形式为深度图、3D点云或任何其他形式的深度测量数据。
附图说明
为了更好地理解本发明,现在将仅以示例的方式参考附图,在附图中:
图1示出三维景象的示意性二维俯视图;
图2示出图1的三维场景的示意性二维相机前视图;
图3示出图1的二维俯视图的三维数据测量的示意性表示;
图4示出深度值信号和像素位置的示意性表示;
图5类似于图4,但是示出了根据本发明修正后的深度值信号和像素位置;
图6示出根据本发明的深度图去噪和边缘修正方法的步骤的流程图;
图7示出中心在“飞行像素”上的3x3内核,其中相邻像素位于两个正交的轴;和
图8示出中心在“飞行像素”上的3x3内核,其中相邻像素被确定为有效且形成前景或背景对象图像的一部分。
具体实施方式
将针对特定实施例并参考特定附图来描述本发明,但是本发明不限于此。所描述的附图只是示意性的和非限制性的。在附图中,出于说明的目的,一些元件的尺寸可被夸大且不按比例地绘制。
要理解,术语“垂直的”和“水平的”在本文中指附图的具体取向,并且这些术语不对本文描述的具体实施例构成限制。
对于典型的飞行时间(ToF)3D相机,使用TOF原理计算距离或深度数据的过程涉及具有模拟和数字处理单元的光学和电子装置的组合。一般而言,通过内嵌在ToF相机设备中的照明***,发送出调幅(AM)红外(IR)信号至场景处。因变于相位,专用传感器同时记录场景中对象反射回来的IR强度。然后随时间积分来自传感器的信号,且利用相位延迟计算来估算每一个像素的深度值测量。ToF3D图像可受限于根据传感器分辨率和透镜景深所确定的它们的分辨率、根据光的调制频率所确定的它们的深度测量准确度、由场景所反射的光量、以及与成像***关联的参数(例如,光学引擎质量),还有光、电子、和信号处理装置的组合,该组合基本上在测量中产生量化伪像和噪声,并且更成问题的是,产生基本导致深度图中的“模糊”边缘的某些内插的深度测量。“模糊”边缘中的这样的像素还被称为“飞行像素”。
本发明涉及用于解决“噪声”和“飞行像素”(统称为“缺陷像素”)的方法与***,从而将深度图中的它们的深度测量值修正为尽可能对应于场景中出现的情况。该方法与***具有输入,该输入包括由3D感测相机、介质存储设备、或经由因特网的介质所提供的内嵌了深度相关的测量(形式为相位图、深度图、或3D点云)的图像。向输入的3D图像的深度数据应用特定的信号处理来相对于一些特定深度梯度测量、向量、和几何约束的计算、阈值、且更特定地是加权的卷积,来修正“噪声”和内插的“飞行像素”。所得输出提供重建的深度图图像,其包括较少噪声,并且在具有边缘的场景图像周围、沿z-轴或深度轴的内插的“飞行像素”显著较少。然后意在由3D成像应用来使用该增强的和/或修正的图像而不是使用由3D相机设备或其他3D成像***提供的原始输出3D图像,此举实现了所述应用的更好的操作性和有效性。
一开始参看图1,在x-z平面中示出场景的二维(2D)俯视图。相机10具有由虚线12、14所定义的景深,其中呈现了前景对象16和背景对象18。前景对象16的边缘20可生成相对于背景对象18的“飞行像素”,这将相对于图3而描述。
图2是图1中定义的3D场景的2D相机前视图,其中前景对象16和背景对象18位于x-y平面内。在这个视图中,边缘20被良好地定义在前景对象16和背景对象18之间且该边缘是锐利的。尽管仅示出了边缘20,可理解的是,前景对象16与背景对象18重叠的情况下,“飞行像素”还可出现在顶部和底部边缘22、24处。此外,应理解,对象16和18的平的连续表面也可表现出由于相机传感器性能引起的一些噪声像素。
图3按照与图1中所示图像对应的像素来示出前景对象32和背景对象34。如图所示,两个“飞行像素”36、38位于前景对象32和背景对象34之间。这两个“飞行像素”可均属于前景对象32或背景对象34、或者仅一个属于前景对象32且一个属于背景对象34。前景对象32是连续的平的表面对象,且其测量示出至少一个噪声像素37。
图4类似于图3,但是示出涉及深度图的信号40。如图所示,在信号40中,下方的线对应于由像素42所表示的前景对象,上方的线对应于由像素44所表示的背景对象,且下方和上方线之间的斜线对应于“飞行像素”46、48。下方线中的小点对应于由像素42表示的前景对象中的“噪声像素”43。
在根据本发明处理后,如图5中所示,“噪声像素”43和“飞行像素”46、48被修正。如图5中所示,信号50更为明确,具有对应于像素52的直的下方线和对应于像素54的直的上方线。图4中图示为43的“噪声像素”现在如像素53所示地被修正,且“飞行像素”46、48已经被修正地分配给对应于前景对象的像素52(像素56)和对应于背景对象的像素54(像素58)。
在图6中,示出流程图,其示出本发明的方法的一个实施例的主要步骤。在步骤60中,获得输入的深度图或3D点云。可直接从3D相机、从介质存储设备、或从因特网获得该深度图或3D点云。在步骤62中,检测到“噪声像素”和内插的“飞行像素”,并称为“缺陷像素”。对于已经被确定为“噪声像素”的每一个像素确定去噪声修正因子,并且,相对于相邻像素来应用该修正因子,步骤64。然后执行并应用对于已被确定为“缺陷像素”的每个像素的修正因子的确定,步骤66。在步骤66中,相对于前景对象和背景对象深度值来执行修正。在步骤64和66中,这样的修正因子的确定可包括使用统计学模型,其中根据相邻像素的平均、中值、和/或众数值(modevalue)中的至少一个而确定分配给该像素的值。然后输出经恢复的深度图或3D点云(步骤68)。可在其中要求或优选准确且可靠的深度图的任何应用中使用来自步骤68的输出。
本发明的方法包括两个主要步骤,即,检测“噪声像素”和内插的“飞行像素”、以及修正所检测到的“噪声像素”以及“飞行像素”二者。
对于“噪声像素”和内插的“飞行像素”二者的检测,第一个步骤使用点周围的方向导数来决定像素是否是“噪声的”或是否是“飞行的”,该点对应于被评估的像素。优选地,评估所有的深度图像像素。这些方向导数可以是多方向的,但是为便于描述,下文仅描述垂直和水平方向。然而将理解的是相同原理应用于其他方向。此外,可使用其他方法替代使用方向导数。
如果“P”是深度图中被评估的像素,且“a”是平面中所选的方向,则da(P)是像素“P”在方向“a”的导数值。如果方向导数的绝对值|da(P)|和|da+π(P)|超过方向“a”中的预定阈值且如果da(P)|和|da+π(P)|的正负号相同,则像素被宣告为“飞行的”。如果一像素具有与所有相邻像素显著不同的深度值,特定地,如果至少一个方向导数超过预定阈值且如果至少两个方向导数具有相反的正负号,则该像素被宣告为“噪声的”。可对于每一个像素的任意数量的方向来执行“噪声像素”测试或“飞行像素”测试。理想地,这些方向应该覆盖单位圆,即,一个像素半径的圆。一般而言,可按下式使用一组方向{a_i},其中i=1到n:
a_i=(i-1)*π/n
可简单地由有限差来估算方向导数。在图7中,像素70是被评估的像素“P”,且像素72、74、76、78对应于像素“P”的顶部“T”、左边“L”、右边“R”、和底部“B”像素。在两个方向,即0°和π/2角度(水平和垂直方向),可使用像素72、74、76、78的值来确定像素是否是“飞行的”或者像素是否是“噪声的”。
对于这两个方向,“噪声像素”测试简化至
(|R-P|<Th且|L-P|<Th)或(|T-P|<Th且|B-P|<Th)
且
正负号(R-P)≠正负号(P–L)或正负号(T–P)≠正负号(P–B)
“飞行像素”测试简化为
(|R-P|>kTh且|L-P|>kTh)或(|T-P|>kTh且|B-P|>kTh)
且
正负号(R-P)=正负号(P–L)或正负号(T–P)=正负号(P–B)
其中Th是所施加的阈值,且k是预定加权因子。例如,可使用0.08m的Th值,但是将理解的是可使用任何其他合适的值。作为上述给出的“飞行像素”测试和“噪声像素”测试的可选方案,可替代使用下式:
|L–R|>Th且|T–B|>Th
在该后者的情况下,阈值的值可大于之前的测试中所给出的,因为它使用了在围绕所评估的像素的两个像素之间的值。
已经标识出“噪声像素”和“飞行像素”,第二个步骤估算新的深度值,用于对每一个所标识的“噪声像素”或“飞行像素”应用独立修正。可在单个过程中以单程处理执行修正。为了更好地理解,相对于时间顺序地描述修正步骤。
所有的“飞行像素”和“噪声像素”首先被标记为无效。特定地,当使用ToF相机时,还可将由于其他理由(例如,较差的置信度、较低的IR照明)被判断(即,使用阈值)为不可靠的其他像素也标记为不可靠,且也可使用本发明的方法来重新估算它们的深度。
原理在于使用无效像素的有效周围像素来估算该无效像素的新的深度。这被图示于图8中,其中相对于由像素对82、84所示的周围有效像素来评估像素80。尽管图示出像素对用于评估,将理解的是可使用任何合适数量的有效像素用于确定。
在图8中,围绕无效“飞行像素”、“P”的有效像素,被表示为“V”。然而,为了这个估算,仅使用前景的有效像素(由82表示)或背景的有效像素(由84表示),且不是使用前景和背景的有效像素的组合。像素82将具有小于“P”的深度值,且像素84将具有大于“P”的深度值。
对于“噪声像素”,该像素是有效的但是已经被标识为“噪声”,在“噪声像素”上执行上述对于“飞行像素”的相同过程。
选择哪些有效像素用于估算评估了该无效点是在前景对象中或是在背景对象中的首选项。例如,可通过根据“飞行像素”的深度值所需要的最小修正量来映射“飞行像素”以确定首选项模式,如果与相机的距离超过预定阈值则将“飞行像素”设置为前景对象、或如果与相机的记录小于预定阈值则将将“飞行像素”设置为背景对象。如果使用前景对象的首选项,且有效前景对象像素组不为空,则仅基于这些有效的前景对象像素来估算“P”的新的深度值。如果有效的前景对象像素组为空且有效背景对象像素组不为空,则将仅基于有效的背景对象像素来估算“P”的新的深度值。如果有关有效的前景和背景对象像素的组都为空,则不可修正该像素且该像素保持无效。类似地,如果使用背景对象的首选项,如果有效背景对象像素组不为空,则仅基于这些有效的背景对象像素来估算“P”的新的深度值。如果有效的背景对象像素组为空且有效前景对象像素组不为空,则将仅基于有效的前景对象像素来估算“P”的新的深度值。如果有关有效的背景和前景对象像素的组都为空,则不可修正该像素且该像素保持无效。
可通过各种方式来从一组周围像素(来自前景对象或背景对象)中确定“P”的深度值,这些方式包括应用加权因子、使用统计学确定或使用回归面的任何内插方法。
在本发明的一个实施例中,使用了基于有效前景像素的回归面。在点p处回归面的深度值被分配为像素“p”的新的深度值。
在另一个实施例中,确定前景对象中有效像素的平均深度值并将其分配为像素“P”的新的深度值。作为可选方案,可使用有效前景对象像素和/或有效背景对象像素的深度值的最小、最大、中值、或众数。可对于有效前景对象像素组和有效背景对象像素组使用不同估算方法。例如,如果该估算依赖于有效前景对象像素,则可使用该组中的有效像素的最大深度值,且如果该估算依赖于有效背景像素,则可使用该组中的有效像素的最小深度值。
所有通过本方法已经成功地估算了其深度值的无效像素(即,所有具有至少一个有效相邻像素的无效像素)被标记为有效。倘若在该过程的开始时有至少一个像素被标记为有效,则可迭代地重复本方法来允许重建深度图内的所有无效像素。
然而,为了改进“飞行像素”标识和修正的可靠性,需要从深度图中移除由相机产生的噪声。通过首先确定每一个像素的ωi且然后对于每一个像素使用3x3加权的ωi内核,来实现此举。可在重新计算或不重新计算内核ωi参数的情况下,应用多程处理。
再次参看图8,可使用下述式子来从景深中确定法向角:
dz=√(dx2+dy2)/4(3)
dw=P的宽度(4)
r=√(dz2+dw2)(5)
式(1)和(2)涉及梯度和且式(3)以梯度形式提供半径。式(4)给出如所述的像素“P”的宽度,且式(5)和(6)分别提供法向半径和法向角。
可使用其他方法来计算、估算、或取得该法向角,例如,如果可以的话从相机取得,取决于相机、信号、和平台特性也可使用其他方法。
例如,对于计算效率,来自深度图的可确定为:
一般而言,函数被称为窗函数。
在噪声移除过程后,计算场梯度且将二次导数d2z的正负号用作局部分离参数(disjunctionparameter)。部分二级导数d2z被计算为在投影空间中的梯度向量的两个末端处的导数dz之间的差异。
然后在n程处理中应用加权的双极内核。该分离参数用作内核中的组标识;且具有相同正负号的像素值将被取平均,同时忽略具有相反正负号的像素值。
改进了这个原理来允许分离参数的没有正负号(即,等于0)的值以使这些点可与两种正负号一起被平均。这个改进允许向分离参数施加阈值,例如,使用或其他数据,诸如IR功率,来努力减少由该分离参数引入输出信号的噪声。
可多次应用该内核来产生期望效果。一般而言,当前TOF信号最佳地受益于两程处理。
为了加速这个分离和/或避免多程处理,可构建梯度方向的位移图来创建局部扩展。可使用独立深度值以及局部最小和/或最大值。然而,输出信号中的噪声和所期望的分离速率将决定使用哪个扩展方法。
Claims (10)
1.一种用于三维成像***产生的三维图像中的缺陷像素深度数据值的深度图质量增强的方法,所述方法包括如下步骤:
a)确定与场景有关的深度测量数据;
b)通过对于每一个像素确定并使用在至少一个方向中的深度相关的方向导数来检测所述深度测量数据中的缺陷像素;
c)定义每一个检测到的缺陷像素的深度修正;且
d)向每一个检测到的缺陷像素的深度测量数据应用所述深度修正;
其特征在于,所述缺陷像素包括位于三维图像中前景对象和背景对象之间的边缘处的内插的像素数据值,且其中步骤b)还包括,当像素的至少一个深度方向导数大于预定阈值且如果至少两个相继的方向导数具有相同正负号,则使用深度相关的方向导数来标识位于边缘处的像素的缺陷深度测量;且其中步骤c)包括,对于每一个所标识的缺陷像素,进行如下步骤:
c1)确定与至少一个所述深度相关的方向导数有关的向量;
c2)确定所确定的向量的法向;
c3)使用所确定的向量和所确定的向量的法向的至少一个结果结合数据参数来确定加权因子参数,所述参数的值与由像素宽度表示的实空间中的度量大小相关;和
c4)使用所述加权因子和与相邻像素有关的信息中的至少一个来确定修正因子。
2.如权利要求1所述的方法,其特征在于,所述缺陷像素包括位于所述三维图像的连续表面内的噪声像素数据值,且步骤b)还包括,当像素的至少一个深度方向导数大于另一个预定阈值且当所述像素的另一个深度方向导数也大于另一个预定阈值且这两个方向导数具有相反的正负号时,使用深度相关的方向导数来标识连续表面上的像素的缺陷深度测量。
3.如权利要求1所述的方法,其特征在于,步骤c)还包括,对于每一个所标识的缺陷像素,进行如下步骤:
c5)使用两个正交的轴来确定与所述深度相关的方向导数数据值有关的向量;
c6)使用所确定的向量的半径值、所确定的向量的法向信息、和由像素表示的场景中的实际宽度中的至少一个来确定加权因子;和
c7)使用所确定的加权因子结合与相邻像素有关的信息来应用修正因子。
4.如权利要求1-3中任一项所述的方法,其特征在于,步骤c4)仅使用有效相邻像素的数据值。
5.如权利要求1-3中任一项所述的方法,其特征在于,步骤c4)还包括使用所述相邻像素的深度值、加权因子、和修正因子中的至少一个。
6.如权利要求1-3中任一项所述的方法,其特征在于,步骤c4)包括使用与相邻像素有关的信息的统计众数。
7.如权利要求1-3中任一项所述的方法,其特征在于,步骤c4)还包括使用从在所述相邻像素上所确定的回归面中提取的深度信息。
8.如权利要求1-3中任一项所述的方法,其特征在于,使用至少两个正交的轴来确定所述深度相关的方向导数。
9.如权利要求1-3中任一项所述的方法,其特征在于,使用法线图来确定所述深度相关的方向导数。
10.如权利要求1-3中任一项所述的方法,其特征在于,使用所述深度相关的方向导数来确定法线图。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11171408 | 2011-06-24 | ||
EP11171408.5 | 2011-06-24 | ||
PCT/EP2012/062174 WO2012175731A1 (en) | 2011-06-24 | 2012-06-22 | Depth measurement quality enhancement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103814306A CN103814306A (zh) | 2014-05-21 |
CN103814306B true CN103814306B (zh) | 2016-07-06 |
Family
ID=46275736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280030960.1A Active CN103814306B (zh) | 2011-06-24 | 2012-06-22 | 深度测量质量增强 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9426444B2 (zh) |
EP (1) | EP2538242B1 (zh) |
JP (2) | JP6143747B2 (zh) |
KR (1) | KR101554241B1 (zh) |
CN (1) | CN103814306B (zh) |
TW (1) | TWI536318B (zh) |
WO (1) | WO2012175731A1 (zh) |
Families Citing this family (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8908995B2 (en) | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
US20140104413A1 (en) | 2012-10-16 | 2014-04-17 | Hand Held Products, Inc. | Integrated dimensioning and weighing system |
EP2750391B1 (en) * | 2012-12-31 | 2017-03-22 | Nokia Technologies Oy | Method, apparatus and computer program product for processing of images |
KR20150117662A (ko) | 2013-02-12 | 2015-10-20 | 톰슨 라이센싱 | 깊이 맵의 컨텐츠를 강화하기 위한 방법 및 디바이스 |
US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
US9860510B2 (en) * | 2013-03-15 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Depth based modification of captured images |
US9729860B2 (en) * | 2013-05-24 | 2017-08-08 | Microsoft Technology Licensing, Llc | Indirect reflection suppression in depth imaging |
US9584790B2 (en) * | 2013-06-03 | 2017-02-28 | Microsoft Technology Licensing, Llc | Edge preserving depth filtering |
US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
US9418309B2 (en) * | 2013-09-17 | 2016-08-16 | Motion Metrics International Corp. | Method and apparatus for performing a fragmentation assessment of a material |
KR20150037366A (ko) * | 2013-09-30 | 2015-04-08 | 삼성전자주식회사 | 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치 |
US9582887B2 (en) | 2013-10-09 | 2017-02-28 | Sony Corporation | Methods and apparatus for determining field of view dependent depth map correction values |
CN103927782A (zh) * | 2014-01-06 | 2014-07-16 | 河南科技大学 | 一种用于深度图像曲面拟合的方法 |
US9418432B2 (en) | 2014-03-28 | 2016-08-16 | Sony Corporation | Imaging system with depth estimation mechanism and method of operation thereof |
US9098754B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
AU2014218390B2 (en) * | 2014-08-27 | 2017-01-12 | Canon Kabushiki Kaisha | Method, system and apparatus for forming a high resolution depth map |
US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
JP6017735B2 (ja) * | 2014-10-14 | 2016-11-02 | オリンパス株式会社 | 撮像システム |
US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
CN104378619B (zh) * | 2014-11-12 | 2016-09-28 | 合肥工业大学 | 一种基于前后景梯度过渡的快速高效的空洞填补算法 |
CN104778673B (zh) * | 2015-04-23 | 2018-11-09 | 上海师范大学 | 一种改进的高斯混合模型深度图像增强方法 |
GB2541153A (en) * | 2015-04-24 | 2017-02-15 | Univ Oxford Innovation Ltd | Processing a series of images to identify at least a portion of an object |
GB2537831A (en) * | 2015-04-24 | 2016-11-02 | Univ Oxford Innovation Ltd | Method of generating a 3D representation of an environment and related apparatus |
US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
US10677924B2 (en) | 2015-06-23 | 2020-06-09 | Mezmeriz, Inc. | Portable panoramic laser mapping and/or projection system |
US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
EP3118576B1 (en) | 2015-07-15 | 2018-09-12 | Hand Held Products, Inc. | Mobile dimensioning device with dynamic accuracy compatible with nist standard |
US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
CN105374019B (zh) * | 2015-09-30 | 2018-06-19 | 华为技术有限公司 | 一种多深度图融合方法及装置 |
US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
CN105445751B (zh) * | 2015-11-18 | 2018-09-07 | 国家***第一海洋研究所 | 一种浅水区域水深比值遥感反演方法 |
US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
JP6583527B2 (ja) * | 2016-02-22 | 2019-10-02 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
JP6431495B2 (ja) * | 2016-03-25 | 2018-11-28 | 本田技研工業株式会社 | 教師データ生成方法 |
CN108885265A (zh) * | 2016-03-31 | 2018-11-23 | 富士胶片株式会社 | 距离图像处理装置、距离图像获取装置及距离图像处理方法 |
US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
US10165168B2 (en) | 2016-07-29 | 2018-12-25 | Microsoft Technology Licensing, Llc | Model-based classification of ambiguous depth image data |
KR102561099B1 (ko) | 2016-09-23 | 2023-07-28 | 삼성전자주식회사 | ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 |
US10451714B2 (en) | 2016-12-06 | 2019-10-22 | Sony Corporation | Optical micromesh for computerized devices |
US10536684B2 (en) | 2016-12-07 | 2020-01-14 | Sony Corporation | Color noise reduction in 3D depth map |
US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
US10178370B2 (en) | 2016-12-19 | 2019-01-08 | Sony Corporation | Using multiple cameras to stitch a consolidated 3D depth map |
US10181089B2 (en) * | 2016-12-19 | 2019-01-15 | Sony Corporation | Using pattern recognition to reduce noise in a 3D map |
EP3340629A1 (en) * | 2016-12-21 | 2018-06-27 | Thomson Licensing | Method and apparatus for embedding key information in an image |
KR101865821B1 (ko) * | 2016-12-30 | 2018-06-08 | 동의대학교 산학협력단 | 깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치 |
US10495735B2 (en) | 2017-02-14 | 2019-12-03 | Sony Corporation | Using micro mirrors to improve the field of view of a 3D depth map |
US10795022B2 (en) | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
CN106981081A (zh) * | 2017-03-06 | 2017-07-25 | 电子科技大学 | 一种基于深度信息提取的墙面平整度检测方法 |
US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
US10979687B2 (en) | 2017-04-03 | 2021-04-13 | Sony Corporation | Using super imposition to render a 3D depth map |
CN108234858B (zh) | 2017-05-19 | 2020-05-01 | 深圳市商汤科技有限公司 | 图像虚化处理方法、装置、存储介质及电子设备 |
JP6813436B2 (ja) * | 2017-06-16 | 2021-01-13 | 株式会社東芝 | 情報処理装置、移動体、情報処理方法、およびプログラム |
CA3009798A1 (en) * | 2017-07-12 | 2019-01-12 | General Electric Company | Graphic overlay for measuring dimensions of features using a video inspection device |
US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
EP3438699A1 (de) * | 2017-07-31 | 2019-02-06 | Hexagon Technology Center GmbH | Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen |
WO2019047982A1 (zh) * | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
EP3462415A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | Method and device for modifying attributes of points of a 3d scene |
US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
US11393114B1 (en) * | 2017-11-08 | 2022-07-19 | AI Incorporated | Method and system for collaborative construction of a map |
WO2019162564A1 (en) * | 2018-02-22 | 2019-08-29 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
US10477220B1 (en) | 2018-04-20 | 2019-11-12 | Sony Corporation | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling |
US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
JP7117914B2 (ja) | 2018-06-29 | 2022-08-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020010146A (ja) | 2018-07-05 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020013291A (ja) * | 2018-07-18 | 2020-01-23 | コニカミノルタ株式会社 | 物体検出システム及び物体検出プログラム |
CN110956603B (zh) * | 2018-09-25 | 2023-04-21 | Oppo广东移动通信有限公司 | 深度图像边缘飞点的检测方法、装置及电子设备 |
CN110956657B (zh) * | 2018-09-26 | 2023-06-30 | Oppo广东移动通信有限公司 | 深度图像获取方法及装置、电子设备及可读存储介质 |
TWI687708B (zh) * | 2018-10-09 | 2020-03-11 | 大陸商光寶電子(廣州)有限公司 | 誤差校正系統及其方法 |
CN112184603B (zh) * | 2019-07-04 | 2022-06-24 | 浙江商汤科技开发有限公司 | 一种点云融合方法、装置、电子设备和计算机存储介质 |
CN110400340B (zh) * | 2019-07-11 | 2022-03-22 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
CN110400343B (zh) * | 2019-07-11 | 2021-06-18 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
CN112241015B (zh) * | 2019-07-19 | 2023-03-24 | 北醒(北京)光子科技有限公司 | 一种单点激光雷达去除拖点的方法 |
JP2021051015A (ja) * | 2019-09-25 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、並びにプログラム |
US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
CN114450550A (zh) * | 2019-10-02 | 2022-05-06 | 富士通株式会社 | 校正方法、校正程序以及信息处理*** |
CN111045030B (zh) * | 2019-12-18 | 2022-09-13 | 奥比中光科技集团股份有限公司 | 一种深度测量装置和方法 |
US11295521B2 (en) * | 2020-03-25 | 2022-04-05 | Woven Planet North America, Inc. | Ground map generation |
CN111443357A (zh) * | 2020-05-19 | 2020-07-24 | 炬佑智能科技(苏州)有限公司 | 一种测距方法及测距*** |
CN111709940B (zh) * | 2020-06-19 | 2023-06-27 | 湖南恒岳重钢钢结构工程有限公司 | 一种基于机器视觉的电容缺陷检测方法 |
KR102385076B1 (ko) * | 2020-07-10 | 2022-04-11 | 주식회사 메디트 | 데이터 잠금 시스템 및 데이터 잠금 방법 |
CN111833370A (zh) * | 2020-07-22 | 2020-10-27 | 浙江光珀智能科技有限公司 | 一种飞行像素滤除方法及*** |
JP2022083913A (ja) * | 2020-11-25 | 2022-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN117042696A (zh) | 2021-03-17 | 2023-11-10 | 富士胶片株式会社 | 信息处理装置、信息处理方法、程序及放射线摄影*** |
US20240169572A1 (en) * | 2021-03-25 | 2024-05-23 | Sony Semiconductor Solutions Corporation | Information processing device, information processing method, and program |
CN113379847B (zh) * | 2021-05-31 | 2024-02-13 | 上海集成电路制造创新中心有限公司 | 异常像素的修正方法及设备 |
CN113222862A (zh) * | 2021-06-04 | 2021-08-06 | 黑芝麻智能科技(上海)有限公司 | 图像畸变校正方法、装置、电子设备和存储介质 |
CN113313658B (zh) * | 2021-07-29 | 2021-11-30 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2023224326A1 (ko) * | 2022-05-18 | 2023-11-23 | 삼성전자 주식회사 | 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법 |
US20230394691A1 (en) * | 2022-06-07 | 2023-12-07 | Toyota Research Institute, Inc. | Depth estimation with sparse range sensor depth and uncertainty projection |
KR102567379B1 (ko) * | 2022-07-18 | 2023-08-17 | 주식회사 호인스컴퍼니 | 3d 모델링 자동 보정을 통한 실감 오브젝트 생성 시스템 |
WO2024116631A1 (ja) * | 2022-11-29 | 2024-06-06 | ソニーセミコンダクタソリューションズ株式会社 | 検出装置及び検出方法 |
KR102525570B1 (ko) * | 2022-11-30 | 2023-04-25 | 주식회사 테스트웍스 | 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 |
EP4386449A1 (fr) * | 2022-12-14 | 2024-06-19 | Stmicroelectronics (Grenoble 2) Sas | Obtention d'une carte de profondeur |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751290A (en) * | 1996-09-20 | 1998-05-12 | Industrial Technology Research Institute | Three dimensional graphics system and method with correction to z buffer value errors |
US6577307B1 (en) * | 1999-09-20 | 2003-06-10 | Silicon Integrated Systems Corp. | Anti-aliasing for three-dimensional image without sorting polygons in depth order |
CN101443817A (zh) * | 2006-03-22 | 2009-05-27 | 皮尔茨公司 | 用于确定对应关系、优选用于场景的三维重建的方法和装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2807137B2 (ja) * | 1992-12-15 | 1998-10-08 | 松下電工株式会社 | 立体形状検出方法 |
JPH0934932A (ja) * | 1995-07-20 | 1997-02-07 | Matsushita Electric Ind Co Ltd | 3次元データの凹凸検出方法および凹凸検出装置 |
JPH09161072A (ja) * | 1995-12-13 | 1997-06-20 | Tsushin Hoso Kiko | 映像信号の構造情報を抽出する映像処理装置 |
JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
JPH11120359A (ja) * | 1997-10-21 | 1999-04-30 | Sony Corp | 画像処理装置および方法、並びに伝送媒体 |
JP2004297267A (ja) * | 2003-03-26 | 2004-10-21 | Sharp Corp | 画素欠陥処理装置 |
JP2006191454A (ja) * | 2005-01-07 | 2006-07-20 | Sony Corp | ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法 |
JP2008243184A (ja) * | 2007-02-26 | 2008-10-09 | Fujifilm Corp | 濃淡画像の輪郭補正処理方法及びその装置 |
EP2095296B1 (en) * | 2007-04-20 | 2014-01-01 | Softkinetic Software | A method and system for providing a three-dimensional model of an object of interest. |
EP2201784B1 (en) * | 2007-10-11 | 2012-12-12 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
JP5448617B2 (ja) * | 2008-08-19 | 2014-03-19 | パナソニック株式会社 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
US9488721B2 (en) * | 2009-12-25 | 2016-11-08 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, computer program, and movable body |
KR20110135786A (ko) * | 2010-06-11 | 2011-12-19 | 삼성전자주식회사 | 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법 |
JP5150698B2 (ja) * | 2010-09-30 | 2013-02-20 | 株式会社東芝 | デプス補正装置及び方法 |
US9123115B2 (en) * | 2010-11-23 | 2015-09-01 | Qualcomm Incorporated | Depth estimation based on global motion and optical flow |
-
2012
- 2012-06-22 EP EP12173316.6A patent/EP2538242B1/en active Active
- 2012-06-22 US US14/127,827 patent/US9426444B2/en active Active
- 2012-06-22 KR KR1020147001039A patent/KR101554241B1/ko active IP Right Grant
- 2012-06-22 JP JP2014516383A patent/JP6143747B2/ja active Active
- 2012-06-22 CN CN201280030960.1A patent/CN103814306B/zh active Active
- 2012-06-22 WO PCT/EP2012/062174 patent/WO2012175731A1/en active Application Filing
- 2012-06-25 TW TW101122621A patent/TWI536318B/zh active
-
2016
- 2016-06-23 JP JP2016124730A patent/JP6244407B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751290A (en) * | 1996-09-20 | 1998-05-12 | Industrial Technology Research Institute | Three dimensional graphics system and method with correction to z buffer value errors |
US6577307B1 (en) * | 1999-09-20 | 2003-06-10 | Silicon Integrated Systems Corp. | Anti-aliasing for three-dimensional image without sorting polygons in depth order |
CN101443817A (zh) * | 2006-03-22 | 2009-05-27 | 皮尔茨公司 | 用于确定对应关系、优选用于场景的三维重建的方法和装置 |
Non-Patent Citations (2)
Title |
---|
Boundary Artifact Reduction in View Synthesis of 3D Video: From Perspective of Texture-Depth Alignment;Yin Zhao et al.;《Broadcasting, IEEE Transactions on》;20110523;第57卷(第2期);510-522 * |
Robust Feature-Preserving Mesh Denoising Based on Consistent Subneighborhoods;Hanqi Fan et al.;《Visualization and Computer Graphics, IEEE Transactions on》;20090626;第16卷(第2期);312-324 * |
Also Published As
Publication number | Publication date |
---|---|
EP2538242B1 (en) | 2014-07-02 |
US20140253679A1 (en) | 2014-09-11 |
JP6244407B2 (ja) | 2017-12-06 |
TWI536318B (zh) | 2016-06-01 |
KR20140027468A (ko) | 2014-03-06 |
TW201308252A (zh) | 2013-02-16 |
CN103814306A (zh) | 2014-05-21 |
WO2012175731A1 (en) | 2012-12-27 |
JP6143747B2 (ja) | 2017-06-07 |
JP2016201117A (ja) | 2016-12-01 |
KR101554241B1 (ko) | 2015-09-18 |
JP2014524016A (ja) | 2014-09-18 |
EP2538242A1 (en) | 2012-12-26 |
US9426444B2 (en) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103814306B (zh) | 深度测量质量增强 | |
CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
US11461964B2 (en) | Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations | |
CN110622213B (zh) | 利用3d语义地图进行深度定位和分段的***和方法 | |
KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
Cornelis et al. | 3d urban scene modeling integrating recognition and reconstruction | |
US20180322646A1 (en) | Gaussian mixture models for temporal depth fusion | |
CN106910242B (zh) | 基于深度相机进行室内完整场景三维重建的方法及*** | |
US9483703B2 (en) | Online coupled camera pose estimation and dense reconstruction from video | |
Taneja et al. | City-scale change detection in cadastral 3D models using images | |
CN104574393B (zh) | 一种三维路面裂缝图像生成***和方法 | |
Yang et al. | Near Real-time Stereo for Weakly-Textured Scenes. | |
CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
US20140112542A1 (en) | System and method for recognizing parking space line markings for vehicle | |
JP2004117078A (ja) | 障害物検出装置及び方法 | |
Kuschk | Large scale urban reconstruction from remote sensing imagery | |
Wang et al. | Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes | |
JP2010055340A (ja) | 走行路推定装置及びプログラム | |
Loktev et al. | Image Blur Simulation for the Estimation of the Behavior of Real Objects by Monitoring Systems. | |
Fan et al. | Collaborative three-dimensional completion of color and depth in a specified area with superpixels | |
Nicosevici et al. | Efficient 3D scene modeling and mosaicing | |
Ouma | On the use of low-cost RGB-D sensors for autonomous pothole detection with spatial fuzzy c-means segmentation | |
Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
Farenzena et al. | Towards unsupervised reconstruction of architectural models. | |
CN118089753B (zh) | 基于三维目标的单目语义slam定位方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |