CN110956603A - 深度图像边缘飞点的检测方法、装置及电子设备 - Google Patents

深度图像边缘飞点的检测方法、装置及电子设备 Download PDF

Info

Publication number
CN110956603A
CN110956603A CN201811113998.0A CN201811113998A CN110956603A CN 110956603 A CN110956603 A CN 110956603A CN 201811113998 A CN201811113998 A CN 201811113998A CN 110956603 A CN110956603 A CN 110956603A
Authority
CN
China
Prior art keywords
vector
depth image
points
point
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811113998.0A
Other languages
English (en)
Other versions
CN110956603B (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811113998.0A priority Critical patent/CN110956603B/zh
Priority to PCT/CN2019/098399 priority patent/WO2020063093A1/en
Priority to EP19190186.7A priority patent/EP3629288B1/en
Priority to US16/535,835 priority patent/US11170510B2/en
Publication of CN110956603A publication Critical patent/CN110956603A/zh
Application granted granted Critical
Publication of CN110956603B publication Critical patent/CN110956603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度图像边缘飞点的检测方法、装置及电子设备，其中，深度图像边缘飞点的检测方法包括：采集深度图像的图像数据；根据图像数据计算出深度图像中每个像素点的法向量；根据法向量，利用边缘检测算子计算出深度图像的边缘点；将边缘点作为种子点，并判断种子点是否满足生长条件；如果满足生长条件，则确定种子点为飞点。本发明实施例的深度图像边缘飞点的检测方法、装置及电子设备，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。

Description

深度图像边缘飞点的检测方法、装置及电子设备
技术领域
本发明涉及图像处理领域，尤其涉及一种深度图像边缘飞点的检测方法、装置及电子设备。
背景技术
3D立体图像的生成，主要采用基于飞行时间(TOF，Time of Flight)技术，通过测量红外光发射到物体表面后反射回来的时间差计算出物体表面的距离信息，可以实时地采集到物体表面的三维几何信息，从而生成物体的深度图像。但是，在采用TOF技术时，在图像边缘处会产生飞点效应，即由景深相差较大造成的深度测量非连续的情况。飞点效应会对于点云模型生成的质量有较大影响，同时也会影响三维深度图像输出的质量。目前，主要通过采用如sobel、canny、拉普拉斯等算子，对图像进行卷积操作得到边缘轮廓，将落在边缘轮廓内的像素点视为深度不连续的飞点进行剔除。但是，该方法计算得到的边缘轮廓的像素宽度难以通过sobel、canny等算子的参数进行有效调控，造成过多有效像素被误剔除。而通常对像素点的剔除应不大于总像素数的1％，因此误判率过高，不符合用户需求。此外，该方法对图像结构特征也有一定的影响，造成图像细节的模糊。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本发明的第一个目的在于提出一种深度图像边缘飞点的检测方法，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。
本发明的第二个目的在于提出一种深度图像边缘飞点的检测装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种深度图像边缘飞点的检测方法，包括：
采集深度图像的图像数据；
根据所述图像数据计算出所述深度图像中每个像素点的法向量；
根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点；
将所述边缘点作为种子点，并判断所述种子点是否满足生长条件；
如果满足所述生长条件，则确定所述种子点为飞点。
可选的，采集深度图像的图像数据，包括：
利用红外发射器发射红外信号，并记录第一时间点；
利用红外接收器接收反射的红外信号，并记录第二时间点；
计算所述第一时间点和所述第二时间点的差值；
根据所述差值获得所述图像数据。
可选的，根据所述图像数据计算出所述深度图像中每个像素点的法向量，包括：
获取所述图像数据中每个像素点的第一向量；
获取所述每个像素点的相邻像素点的第二向量和第三向量；
根据所述第一向量、所述第二向量和所述第三向量计算出所述每个像素点的法向量。
可选的，所述第二向量和所述第三向量通过图形处理器的线程序号查询获得。
可选的，所述边缘检测算子包括sobel算子。
可选的，将所述边缘点作为种子点，并判断所述种子点是否满足生长条件，包括：
获取所述种子点的第一法向量；
获取与所述种子点相邻的像素点的第二法向量；
计算出所述第一法向量和所述第二法向量的乘积的绝对值；
判断所述第一法向量和所述第二法向量的乘积的绝对值是否小于预设阈值。
可选的，方法还包括：
在确定所述种子点为飞点之后，剔除所述飞点，并根据剔除飞点后的图像数据输出所述深度图像。
本发明实施例的深度图像边缘飞点的检测方法，通过采集深度图像的图像数据，并根据所述图像数据计算出所述深度图像中每个像素点的法向量，然后根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点，再将所述边缘点作为种子点，并判断所述种子点是否满足生长条件，如果满足所述生长条件，则确定所述种子点为飞点，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。
为达上述目的，本发明第二方面实施例提出了一种深度图像边缘飞点的检测装置，包括：
采集模块，用于采集深度图像的图像数据；
第一计算模块，用于根据所述图像数据计算出所述深度图像中每个像素点的法向量；
第二计算模块，用于根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点；
判断模块，用于将所述边缘点作为种子点，并判断所述种子点是否满足生长条件；
确定模块，用于如果满足所述生长条件，则确定所述种子点为飞点。
可选的，所述采集模块，用于：
利用红外发射器发射红外信号，并记录第一时间点；
利用红外接收器接收反射的红外信号，并记录第二时间点；
计算所述第一时间点和所述第二时间点的差值；
根据所述差值获得所述图像数据。
可选的，所述第一计算模块，用于：
获取所述图像数据中每个像素点的第一向量；
获取所述每个像素点的相邻像素点的第二向量和第三向量；
根据所述第一向量、所述第二向量和所述第三向量计算出所述每个像素点的法向量。
可选的，所述第二向量和所述第三向量通过图形处理器的线程序号查询获得。
可选的，所述边缘检测算子包括sobel算子。
可选的，所述判断模块，用于：
获取所述种子点的第一法向量；
获取与所述种子点相邻的像素点的第二法向量；
计算出所述第一法向量和所述第二法向量的乘积的绝对值；
判断所述第一法向量和所述第二法向量的乘积的绝对值是否小于预设阈值。
可选的，装置还包括：
输出模块，用于在确定所述种子点为飞点之后，剔除所述飞点，并根据剔除飞点后的图像数据输出所述深度图像。
本发明实施例的深度图像边缘飞点的检测装置，通过采集深度图像的图像数据，并根据所述图像数据计算出所述深度图像中每个像素点的法向量，然后根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点，再将所述边缘点作为种子点，并判断所述种子点是否满足生长条件，如果满足所述生长条件，则确定所述种子点为飞点，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。
为达上述目的，本发明第三方面实施例提出了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器用于执行第一方面实施例所述的深度图像边缘飞点的检测方法。
为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面实施例所述的深度图像边缘飞点的检测方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一实施例提出的深度图像边缘飞点的检测方法的流程图；
图2为本发明另一实施例提出的深度图像边缘飞点的检测方法的流程图；
图3为本发明一实施例提出的深度图像边缘飞点的检测装置的结构框图；
图4为本发明另一实施例提出的深度图像边缘飞点的检测装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的深度图像边缘飞点的检测方法、装置及电子设备。
图1为本发明一实施例提出的深度图像边缘飞点的检测方法的流程图。
如图1所示，深度图像边缘飞点的检测方法，包括：
S101，采集深度图像的图像数据。
其中，图像数据用于表示被摄物表面到成像平面的距离。在本实施例中，可通过红外阵列来采集被摄物的深度图像的图像数据。具体来说，可利用红外发射器发射红外信号，同时记录第一时间点。红外光照射到被摄物表面后，经过反射再由红外接收器接收反射的红外信号，并记录第二时间点。然后，计算第一时间点和第二时间点的差值，即红外信号从发出到被反射回接收到的飞行时间。最后，根据差值获得图像数据。也就是说，每对红外发射器和红外接收器对应的是一个像素点，一个时间的差值可以计算出被摄物上一个像素点到成像平面的距离。而将多个像素点的数据组合在一起，便组成了被摄物的图像数据。
S102，根据图像数据计算出深度图像中每个像素点的法向量。
具体地，可获取图像数据中每个像素点的第一向量Vk(u,v)。其中，u和v分别表示像素点的二维坐标和三维坐标，V表示向量。
然后，获取每个像素点的相邻像素点的第二向量Vk(u+1,v)和第三向量Vk(u,v+1)。其中，第二向量和第三向量可通过图形处理器的线程序号查询获得。也就是说，向量可以通过GPU的线程ID直接查询获得，即每个向量均对应各自的一个线程，通过多线程并行的方式可以有效提高计算效率。
在此之后，可根据第一向量、第二向量和第三向量计算出每个像素点的法向量。在本实施例中，可基于公式1计算出法向量：
Nk(u)＝m[(Vk(u+1,v)-Vk(u,v))×(Vk(u,v+1)-Vk(u,v))]公式1
其中，Vk(u+1,v)-Vk(u,v)为当前像素点及其邻域像素转换为三维空间点后计算出的空间向量，再通过空间向量的叉乘得到法向量Nk(u)。其中，Vk(u)＝K-1u，K为相机内部参数，为预先设置的。m(x)＝x/||x||2。
S103，根据法向量，利用边缘检测算子计算出深度图像的边缘点。
其中，边缘检测算子可包括sobel算子。
S104，将边缘点作为种子点，并判断种子点是否满足生长条件。
具体地，可获取种子点的第一法向量n，再获取与种子点相邻的像素点的第二法向量。其中，与种子点相邻，在方向上分，可分为八个方向的相邻，即上、右上、右、右下、下、左下、左、左上。因此，本实施例中，与种子点相邻的像素点的第二法向量为八个，可用
Figure BDA0001809994810000051
表示。
然后，计算出第一法向量和第二法向量的乘积的绝对值，即
Figure BDA0001809994810000052
最后，判断第一法向量和第二法向量的乘积的绝对值是否小于预设阈值。也就是说，第一法向量和第二法向量的乘积的绝对值小于预设阈值，为满足生长条件；反之，则不满足生长条件。
S105，如果满足生长条件，则确定种子点为飞点。
也就是说，第一法向量和第二法向量的乘积的绝对值小于预设阈值，那么可确定该种子点为飞点。
本发明实施例的深度图像边缘飞点的检测方法，通过采集深度图像的图像数据，并根据图像数据计算出深度图像中每个像素点的法向量，然后根据法向量，利用边缘检测算子计算出深度图像的边缘点，再将边缘点作为种子点，并判断种子点是否满足生长条件，如果满足生长条件，则确定种子点为飞点，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。
在本发明的另一个实施例中，如图2所示，深度图像边缘飞点的检测方法，还包括：
S106，在确定种子点为飞点之后，剔除飞点，并根据剔除飞点后的图像数据输出深度图像。
在三维场景重建中，通过对飞点的剔除，可以避免在墙壁、地面等平坦区域的边缘处出现的拖尾现象，从而形成不正确的集合拓扑关系，影响输出的深度图像的质量。
在三维人脸重建中，可避免单个视角下的人脸轮廓处的拖尾现象，输出真实、精确的人脸模型。
在背景虚化场景中，可以得到更高精度的边缘轮廓信息，降低人像和背景分割的像素级误差。
为实现上述实施例，本发明还提出一种深度图像边缘飞点的检测装置。
图3为本发明一实施例提出的深度图像边缘飞点的检测装置的结构框图。
如图3所示，深度图像边缘飞点的检测装置可包括采集模块310、第一计算模块320、第二计算模块330、判断模块340以及确定模块350。
采集模块310，用于采集深度图像的图像数据；
第一计算模块320，用于根据图像数据计算出深度图像中每个像素点的法向量；
第二计算模块330，用于根据法向量，利用边缘检测算子计算出深度图像的边缘点；
判断模块340，用于将边缘点作为种子点，并判断种子点是否满足生长条件；
确定模块350，用于如果满足生长条件，则确定种子点为飞点。
在本发明的另一个实施例中，如图4所示，深度图像边缘飞点的检测装置，还包括输出模块360。
输出模块360，用于在确定种子点为飞点之后，剔除飞点，并根据剔除飞点后的图像数据输出深度图像。
需要说明的是，前述对深度图像边缘飞点的检测方法的解释说明，也适用于本发明实施例的深度图像边缘飞点的检测装置，本发明实施例中未公布的细节，在此不再赘述。
本发明实施例的深度图像边缘飞点的检测装置，通过采集深度图像的图像数据，并根据图像数据计算出深度图像中每个像素点的法向量，然后根据法向量，利用边缘检测算子计算出深度图像的边缘点，再将边缘点作为种子点，并判断种子点是否满足生长条件，如果满足生长条件，则确定种子点为飞点，能够有效、准确地检测出影响深度图像的飞点，保留了有效的像素点，提高了检测的准确率。
为实现上述实施例，本发明还提出了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器用于执行第一方面实施例的深度图像边缘飞点的检测方法。
为实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面实施例的深度图像边缘飞点的检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种深度图像边缘飞点的检测方法，其特征在于，包括：
采集深度图像的图像数据；
根据所述图像数据计算出所述深度图像中每个像素点的法向量；
根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点；
将所述边缘点作为种子点，并判断所述种子点是否满足生长条件；
如果满足所述生长条件，则确定所述种子点为飞点。
2.如权利要求1所述的方法，其特征在于，采集深度图像的图像数据，包括：
利用红外发射器发射红外信号，并记录第一时间点；
利用红外接收器接收反射的红外信号，并记录第二时间点；
计算所述第一时间点和所述第二时间点的差值；
根据所述差值获得所述图像数据。
3.如权利要求1所述的方法，其特征在于，根据所述图像数据计算出所述深度图像中每个像素点的法向量，包括：
获取所述图像数据中每个像素点的第一向量；
获取所述每个像素点的相邻像素点的第二向量和第三向量；
根据所述第一向量、所述第二向量和所述第三向量计算出所述每个像素点的法向量。
4.如权利要求3所述的方法，其特征在于，所述第二向量和所述第三向量通过图形处理器的线程序号查询获得。
5.如权利要求1所述的方法，其特征在于，所述边缘检测算子包括sobel算子。
6.如权利要求1所述的方法，其特征在于，将所述边缘点作为种子点，并判断所述种子点是否满足生长条件，包括：
获取所述种子点的第一法向量；
获取与所述种子点相邻的像素点的第二法向量；
计算出所述第一法向量和所述第二法向量的乘积的绝对值；
判断所述第一法向量和所述第二法向量的乘积的绝对值是否小于预设阈值。
7.如权利要求1所述的方法，其特征在于，还包括：
在确定所述种子点为飞点之后，剔除所述飞点，并根据剔除飞点后的图像数据输出所述深度图像。
8.一种深度图像边缘飞点的检测装置，其特征在于，包括：
采集模块，用于采集深度图像的图像数据；
第一计算模块，用于根据所述图像数据计算出所述深度图像中每个像素点的法向量；
第二计算模块，用于根据所述法向量，利用边缘检测算子计算出所述深度图像的边缘点；
判断模块，用于将所述边缘点作为种子点，并判断所述种子点是否满足生长条件；
确定模块，用于如果满足所述生长条件，则确定所述种子点为飞点。
9.如权利要求8所述的装置，其特征在于，所述采集模块，用于：
利用红外发射器发射红外信号，并记录第一时间点；
利用红外接收器接收反射的红外信号，并记录第二时间点；
计算所述第一时间点和所述第二时间点的差值；
根据所述差值获得所述图像数据。
10.如权利要求8所述的装置，其特征在于，所述第一计算模块，用于：
获取所述图像数据中每个像素点的第一向量；
获取所述每个像素点的相邻像素点的第二向量和第三向量；
根据所述第一向量、所述第二向量和所述第三向量计算出所述每个像素点的法向量。
11.如权利要求10所述的装置，其特征在于，所述第二向量和所述第三向量通过图形处理器的线程序号查询获得。
12.如权利要求8所述的装置，其特征在于，所述边缘检测算子包括sobel算子。
13.如权利要求8所述的装置，其特征在于，所述判断模块，用于：
获取所述种子点的第一法向量；
获取与所述种子点相邻的像素点的第二法向量；
计算出所述第一法向量和所述第二法向量的乘积的绝对值；
判断所述第一法向量和所述第二法向量的乘积的绝对值是否小于预设阈值。
14.如权利要求8所述的装置，其特征在于，还包括：
输出模块，用于在确定所述种子点为飞点之后，剔除所述飞点，并根据剔除飞点后的图像数据输出所述深度图像。
15.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器用于执行如权利要求1-7任一项所述的深度图像边缘飞点的检测方法。
16.一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的深度图像边缘飞点的检测方法。
CN201811113998.0A 2018-09-25 2018-09-25 深度图像边缘飞点的检测方法、装置及电子设备 Active CN110956603B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811113998.0A CN110956603B (zh) 2018-09-25 2018-09-25 深度图像边缘飞点的检测方法、装置及电子设备
PCT/CN2019/098399 WO2020063093A1 (en) 2018-09-25 2019-07-30 Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium
EP19190186.7A EP3629288B1 (en) 2018-09-25 2019-08-06 Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium
US16/535,835 US11170510B2 (en) 2018-09-25 2019-08-08 Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811113998.0A CN110956603B (zh) 2018-09-25 2018-09-25 深度图像边缘飞点的检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110956603A true CN110956603A (zh) 2020-04-03
CN110956603B CN110956603B (zh) 2023-04-21

Family

ID=67551129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811113998.0A Active CN110956603B (zh) 2018-09-25 2018-09-25 深度图像边缘飞点的检测方法、装置及电子设备

Country Status (4)

Country Link
US (1) US11170510B2 (zh)
EP (1) EP3629288B1 (zh)
CN (1) CN110956603B (zh)
WO (1) WO2020063093A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800890A (zh) * 2021-01-18 2021-05-14 上海大学 一种基于表面法向量的道路障碍检测方法
CN113126944A (zh) * 2021-05-17 2021-07-16 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022082238A (ja) * 2020-11-20 2022-06-01 富士通株式会社 機械学習プログラム，機械学習方法および出力装置
CN113706505A (zh) * 2021-08-24 2021-11-26 凌云光技术股份有限公司 一种去除深度图像中局外点的圆柱拟合方法和装置
CN113920059A (zh) * 2021-09-08 2022-01-11 索菲亚家居股份有限公司 一种直线封边板件控制方法、装置、设备及介质
CN113855249B (zh) * 2021-12-02 2022-02-22 极限人工智能有限公司 一种机器控制方法、装置、手术机器人及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050105826A1 (en) * 2003-11-18 2005-05-19 Yang Seong-Joon Edge detection apparatus and method
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
EP2538242A1 (en) * 2011-06-24 2012-12-26 Softkinetic Software Depth measurement quality enhancement.
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
CN107169933A (zh) * 2017-04-14 2017-09-15 杭州光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
CN107292826A (zh) * 2016-03-31 2017-10-24 富士通株式会社 图像处理设备、图像处理方法以及图像处理装置
CN107633523A (zh) * 2016-07-18 2018-01-26 巧夺天宫（深圳）科技有限公司 基于点云的提取建筑特征线方法和***
CN107862749A (zh) * 2017-11-27 2018-03-30 华南理工大学 一种点云几何细节特征去除方法
CN108241434A (zh) * 2018-01-03 2018-07-03 广东欧珀移动通信有限公司 基于景深信息的人机交互方法、装置、介质及移动终端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623201B2 (ja) 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2394236B1 (en) * 2009-02-04 2013-11-06 Datalogic ADC, Inc. Systems and methods for selectively masking a scan volume of a data reader
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
US9247874B2 (en) * 2013-02-01 2016-02-02 Carl Zeiss Meditec, Inc. Systems and methods for sub-aperture based aberration measurement and correction in interferometric imaging
WO2015171815A1 (en) * 2014-05-06 2015-11-12 Nant Holdings Ip, Llc Image-based feature detection using edge vectors
CN104683783B (zh) * 2015-01-08 2017-03-15 电子科技大学 一种自适应深度图滤波方法
CN104780355B (zh) * 2015-03-31 2017-01-04 浙江大学 一种视点合成中基于深度的空洞修复方法
EP3493160A4 (en) * 2016-07-29 2019-06-05 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10417533B2 (en) 2016-08-09 2019-09-17 Cognex Corporation Selection of balanced-probe sites for 3-D alignment algorithms
CN107274446B (zh) 2017-06-05 2020-11-20 河海大学 一种利用法向一致性的尖锐几何边缘点识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050105826A1 (en) * 2003-11-18 2005-05-19 Yang Seong-Joon Edge detection apparatus and method
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
CN102567986A (zh) * 2010-10-21 2012-07-11 索尼公司 3d飞行时间相机和方法
EP2538242A1 (en) * 2011-06-24 2012-12-26 Softkinetic Software Depth measurement quality enhancement.
CN107292826A (zh) * 2016-03-31 2017-10-24 富士通株式会社 图像处理设备、图像处理方法以及图像处理装置
CN107633523A (zh) * 2016-07-18 2018-01-26 巧夺天宫（深圳）科技有限公司 基于点云的提取建筑特征线方法和***
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
CN107169933A (zh) * 2017-04-14 2017-09-15 杭州光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
CN107862749A (zh) * 2017-11-27 2018-03-30 华南理工大学 一种点云几何细节特征去除方法
CN108241434A (zh) * 2018-01-03 2018-07-03 广东欧珀移动通信有限公司 基于景深信息的人机交互方法、装置、介质及移动终端

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALEXANDER SABOV 等: "Identification and Correction of Flying Pixels in Range Camera Data", 《SCCG 2008》 *
TAO HUANG 等: "All Pixels Calibration for ToF Camera" *
TAO HUANG 等: "All Pixels Calibration for ToF Camera", 《2ND INTERNATIONAL SYMPOSIUM ON RESOURCE EXPLORATION AND ENVIRONMENTAL SCIENCE》 *
YANN CHÉNÉ 等: "On the use of depth camera for 3D phenotyping of entire plants", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE 》 *
刘娇丽 等: "基于 TOF 与立体匹配相融合的高分辨率深度获取", 《信息技术》 *
肖方生 等: "一种基于字典学习的深度图像超分辨率重建方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800890A (zh) * 2021-01-18 2021-05-14 上海大学 一种基于表面法向量的道路障碍检测方法
CN113126944A (zh) * 2021-05-17 2021-07-16 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
CN113313658B (zh) * 2021-07-29 2021-11-30 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3629288B1 (en) 2021-09-01
US11170510B2 (en) 2021-11-09
US20200098111A1 (en) 2020-03-26
WO2020063093A1 (en) 2020-04-02
CN110956603B (zh) 2023-04-21
EP3629288A1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
CN110956603B (zh) 深度图像边缘飞点的检测方法、装置及电子设备
CN109188448B (zh) 点云非地面点过滤方法、装置及存储介质
CN110378945B (zh) 深度图处理方法、装置和电子设备
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
EP2538242B1 (en) Depth measurement quality enhancement.
EP2848002B1 (en) Apparatus and method for processing 3d information
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
CN109949347B (zh) 人体跟踪方法、装置、***、电子设备和存储介质
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN110084133B (zh) 障碍物检测方法、装置、车辆、计算机设备和存储介质
CN105627932A (zh) 一种基于双目视觉的测距方法及装置
CN110400342B (zh) 深度传感器的参数调整方法、装置以及电子设备
CN109300104B (zh) 角点检测方法、装置
KR20090062440A (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20220084225A1 (en) Depth Map Processing Method, Electronic Device and Readable Storage Medium
CN110659547A (zh) 物体识别方法、装置、车辆和计算机可读存储介质
US20200334832A1 (en) Method of detecting moving objects from a temporal sequence of images
CN112771575A (zh) 距离确定方法、可移动平台及计算机可读存储介质
JP2020013573A (ja) 車両の三次元画像再構成方法
Fischer et al. Combination of time-of-flight depth and stereo using semiglobal optimization
CN110068826B (zh) 一种测距的方法及装置
EP3588437B1 (en) Apparatus that generates three-dimensional shape data, method and program
US11047673B2 (en) Method, device, apparatus and storage medium for detecting a height of an obstacle
CN113065483A (zh) 一种定位方法、装置、电子设备、介质及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021034

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant