CN113126944B - 深度图的显示方法、显示装置、电子设备及存储介质 - Google Patents

深度图的显示方法、显示装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113126944B
CN113126944B CN202110535531.0A CN202110535531A CN113126944B CN 113126944 B CN113126944 B CN 113126944B CN 202110535531 A CN202110535531 A CN 202110535531A CN 113126944 B CN113126944 B CN 113126944B
Authority
CN
China
Prior art keywords
pixel
depth map
normal vector
depth
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110535531.0A
Other languages
English (en)
Other versions
CN113126944A (zh
Inventor
户磊
曹天宇
王亚运
季栋
薛远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110535531.0A priority Critical patent/CN113126944B/zh
Publication of CN113126944A publication Critical patent/CN113126944A/zh
Application granted granted Critical
Publication of CN113126944B publication Critical patent/CN113126944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明实施方式涉及图像处理领域，公开了一种深度图的显示方法、显示装置、电子设备及存储介质。本发明的部分实施方式中，深度图的显示方法包括：获取深度图中各像素的法向量；基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数；根据每个像素的强度系数，显示深度图。该实施方式使得可以展示深度变化相对较小的区域细节。

Description

深度图的显示方法、显示装置、电子设备及存储介质
技术领域
本发明实施方式涉及图像处理领域，特别涉及一种深度图的显示方法、显示装置、电子设备及存储介质。
背景技术
目前，通常通过深度值到灰度值的映射或者通过深度值到色彩空间的映射，来展示深度图。具体地，深度图中像素值的含义是场景中各点距离传感器的距离值。通过深度值到灰度值的映射显示深度图的过程中，将距离值映射为灰度值，即可显示深度图。然而，在较高精度的场景下，使用毫米作为距离单位，利用灰度图像来展现深度图时，常规的显示器无法显示超过256灰阶，具有很大的局限性；对深度变化相对较小的区域细节的展示较弱，可视化效果在某些场景下不理想。而通过深度值到色彩空间的映射显示深度图的过程中，将一定范围的深度值映射到色彩空间中，使用彩色图像来展现深度图。这样可以展现更多不同的深度值，同时引入色彩信息可以将深度值相差较大的区域呈现为完全不同的颜色，结果更为直观。然而，通过深度值到色彩空间的映射显示深度图的过程中，由于对深度变化相对较小的区域细节的展示较弱，可视化效果在某些场景下不理想。
因此，目前的深度图显示方法，对深度变化相对较小的区域细节的展示都比较弱，这样的可视化往往只能用于观察较大区域的深度信息，无法直观地在深度变化相对较小的区域内观察细节。
发明内容
本发明实施方式的目的在于提供一种深度图的显示方法、显示装置、电子设备及存储介质，使得可以展示深度变化相对较小的区域细节。
为解决上述技术问题，本发明的实施方式提供了一种深度图的显示方法，包括：获取深度图中各像素的法向量；基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数；根据每个像素的强度系数，显示深度图。
本发明的实施方式还提供了一种深度图的显示装置，包括：获取模块、计算模块和显示模块；获取模块用于获取深度图中各像素的法向量；计算模块用于基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数；显示模块用于根据每个像素的强度系数，显示深度图。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的深度图的显示方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的深度图的显示方法。
本发明实施方式提供的深度图的显示方法、显示装置、电子设备及存储介质，基于光照模型，根据深度图中像素的法向量计算像素的强度系数。参考各像素的强度系数显示深度图，可以强化深度变化，进而更好地展示深度变化相对较小的区域细节。
另外，获取深度图中各像素的法向量，包括：获取每个像素的初始法向量；针对每个像素，根据像素的初始法向量和像素的领域像素的初始法向量，计算像素的法向量。
另外，获取深度图中各像素的法向量，包括：针对每个像素，根据像素的深度值与像素的预设区域内的邻域像素的深度值，计算像素的法向量，其中，预设区域的边长大于像素的直径的3倍。
另外，针对每个像素，根据像素的深度值与像素的预设区域内的邻域像素的深度值，计算像素的法向量，包括：针对每个像素，根据像素的深度值与像素的预设区域内的邻域像素的深度值，计算像素的初始法向量；根据像素的初始法向量，以及像素的预设区域内的邻域像素的初始法向量，计算像素的法向量。
另外，在获取深度图中各像素的法向量之前，深度图的显示方法还包括：调用不同的处理线程分别读取深度图的深度值，以并行计算深度图的各像素的法向量。
另外，基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数，包括：获取光照模型对应的模拟光源在像素上的光线方向向量；根据像素的光线方向向量和像素的法向量，计算像素的强度系数。
另外，根据像素的光线方向向量和像素的法向量，计算像素的强度系数，包括：计算像素的光线方向向量和像素的法向量的数量积，作为像素的强度系数。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明的第一实施方式的深度图的显示方法的流程图；
图2是图1所示的深度图的显示方法实施过程中构建的三维模型的示意图；
图3是本发明的第一实施方式中利用灰度图像展示深度图时展示效果的示意图；
图4是通过图1所示的深度图的显示方法展示深度图时展示效果的示意图；
图5a和图5b是本发明的第一实施方式中利用灰度图像展示深度图时另一展示效果的示意图；
图6a和图6b是通过图1所示的深度图的显示方法展示深度图时另一展示效果的示意图；
图7是本发明的第二实施方式的深度图的显示方法的流程图；
图8是本发明的第二实施方式的第i行第j列的像素的邻域像素的位置示意图；
图9是本发明的第二实施方式的第i行第j列的像素的第二区域内像素的位置示意图；
图10是本发明的第二实施方式的第i行第j列的像素的预设区域内像素的位置示意图；
图11是本发明的第二实施方式的通过两级优化后的深度图；
图12是本发明的第二实施方式的4个处理线程并行处理时读取像素的信息的示意图；
图13是本发明的第三实施方式的深度图的显示方法的示意图；
图14是本发明的第三实施方式的模拟光源的光线和三维模型的位置关系的示意图；
图15是本发明的第四实施方式的深度图的显示装置的结构示意图；
图16是本发明的第五实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施方式的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施方式在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种深度图的显示方法，包括以下步骤：获取深度图中各像素的法向量；基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数；根据每个像素的强度系数，显示深度图。该实施方式中，基于光照模型，根据深度图中像素的法向量计算像素的强度系数。参考各像素的强度系数显示深度图，可以强化深度变化，进而更好地展示深度变化相对较小的区域细节。
下面对本实施方式的深度图的显示方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本实施方式中的深度图的显示方法应用于电子设备。其中，电子设备可以是终端、服务器、云端服务器等。如图1所示，深度图的显示方法具体包括以下步骤：
步骤101：获取深度图中各像素的法向量。
具体地，在光照模型中，物体表面的法向量是一个重要的变量。本实施方式中，电子设备可以将深度图以宽、高、深度值三个维度建立空间直角坐标系O-WHD，深度图上第i行第j列像素pij对应在O-WHD中可以表示为(j，i，pij)。深度图中的所有像素在O-WHD以柱状形式组成空间中一个三维模型，如图2所示。像素的法向量即为该像素对应在三维模型上的法向量，其可以根据该像素的深度值与该像素的邻域像素深度值计算。
步骤102：基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数。
具体地，光照模型是指在计算机中利用现实中光的一些物理规律设计出的计算模型，它可以将三维模型模拟出符合观感习惯的图像出来。基于光照模型计算像素的强度系数，可以强化深度图中的深度变化，显著提升人眼对深度相机所拍摄内容的认知体验。
步骤103：根据每个像素的强度系数，显示深度图。
具体地，按照每个像素的强度系数，将各强度系数映射到用于显示深度图的灰度图像或彩色图像中，得到加入光照模型的灰度图像或彩色图像，可以更好地展示深度变化较小的区域的细节。
在一个例子中，电子设备在灰度图像G上一点Gij或者彩色图像C上一点Cij乘以基于光照模型的像素强度系数mij，便可以改进通过深度值到灰度值的映射或者通过深度值到色彩空间的映射展示深度图时的展示效果，得到加入光照模型的G′和C′，可以更好地展示深度变化较小的区域的细节。
例如，当通过深度值到灰度值的映射展示深度图时，即利用灰度图像展示深度图时，深度图的展示效果如图3所示。当使用本实施方式提及的深度图的显示方法展示深度图时，即对图3所示的灰度图像中的各像素，按照公式a重新计算各像素的灰度值，并展示深度图时，深度图的展示效果如图4所示。
公式a：G′ij＝Gij*mij；
其中，G′ij表示改进后的深度图(即优化后的灰度图像)中第i行第j列的像素的灰度值，Gij表示深度图(即通过深度值到灰度值的映射得到的灰度图像)中第i行第j列的像素的灰度值，mij表示深度图的第i行第j列的像素的强度系数。
对比图3和图4可知，本实施方式是一种基于光照模型的，可以在利用灰度图展示深度图或利用彩色图像展示深度图的技术的基础上进行改进的深度图的可视化方法。按照本实施方式提及的深度图的显示方法显示的深度图像可以更好的显示深度变化较小的区域的细节。此外，本实施方式提及的深度图的显示方法计算量较小，可以用于实时显示。在需要观察深度相机拍摄内容时，本实施方式提及的深度图的显示方法显著提升了人眼对于深度相机所拍摄内容的认知体验。
此外，针对相同场景，不同深度感知***得到的深度图，可以用本实施方式提及的深度图的显示方法来观察不同深度感知***的性能。例如，如图5a和图5b，仅通过深度值到灰度值的映射展示深度图，即通过灰度图像来展示深度图时，很难观察出图5a和图5b对应深度感知***的深度图性能。而使用本实施方式提及的深度图的显示方式时，深度图的显示效果分别为图6a和图6b，可以明显观察到图6a对应深度感知***得到的数据精度高，而图6b对应深度感知***得到的数据精度较低。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的深度图的显示方法，基于光照模型，根据深度图中像素的法向量计算像素的强度系数。参考各像素的强度系数显示深度图，可以强化深度变化，进而更好地展示深度变化相对较小的区域细节。
本发明的第二实施方式涉及一种深度图的显示方法。本实施方式是对第一实施方式的细化举例，举例说明了深度图中各像素的法向量的一种获取方法。
具体地，如图7所示，在本实施方式中，深度图的显示方法包括步骤201至步骤204，其中，步骤203和步骤204分别与第一实施方式的步骤102和步骤103大致相同，此处不再赘述，下面主要介绍不同之处：
步骤201：获取每个像素的初始法向量。
具体地，针对每个像素，电子设备可以按照公式b，计算像素的初始法向量。
公式b：
Figure BDA0003069474930000051
其中，
Figure BDA0003069474930000052
表示第i行第j列的像素的初始向量，
Figure BDA0003069474930000053
的计算方式如下：
公式c：
Figure BDA0003069474930000054
其中，K表示像素的第一区域内邻域像素的个数，Pij表示第i行第j列的像素，pk为pij的第k个邻域像素，其中，pk到pk+1相对于pij的位置变化为固定方向。
例如，以pk到pk+1相对于pij的位置变化为逆时针方向，第i行第j列的像素的第一区域为以第i行第j列的像素为中心，半径为1的圆形区域为例，第i行第j列的像素pij的邻域像素的位置示意图如图8所示。其中，单位长度为单个像素的边长，第一区域内的邻域像素是指中心位于第一区域内的除第i行第j列以外的其他像素，K＝4。即第i行第j列的像素pij的邻域像素包括p1、p2、p3和p4。
需要说明的是，本领域技术人员可以理解，实际应用中，第一区域的大小可以根据项目需求、电子设备的计算能力等确定，本实施方式不做限制。
步骤202：针对每个像素，根据像素的初始法向量和像素的领域像素的初始法向量，计算像素的法向量。
具体地，发明人发现，当使用初始法向量作为像素的法向量，执行后续操作时，由于整形精度问题，在深度变化较小的区域会产生如图4中的分层效果。其中，分层是指对数值进行观察，不同区域下的数值集中性地表现一致，不同的数值之间存在可观测尺度的明显断层，即不够平滑，过度不够自然。为优化深度图的显示效果，发明人在求得初始法向量图后，以
Figure BDA0003069474930000069
为中心，将
Figure BDA0003069474930000061
与
Figure BDA0003069474930000062
的某指定范围内的初始法向量共同求得新的法向量，作为后续操作中像素的法向量。
例如，第i行第j列的像素的第二区域为以第i行第j列的像素为中心，大小为3*3的正方形区域，单位长度为单个像素的边长。第i行第j列的像素的第二区域内像素的位置示意图如图9所示。其中，
Figure BDA0003069474930000063
为第i行第j列的像素的初始法向量，
Figure BDA0003069474930000064
和
Figure BDA0003069474930000065
为第i行第j列的像素的第二区域内的邻域像素的初始法向量。
需要说明的是，本领域技术人员可以理解，实际应用中，第二区域的大小可以根据项目需求、电子设备的计算能力等确定，本实施方式不做限制。
需要说明的是，本领域技术人员可以理解，第一区域的大小和第二区域的大小可以相同，也可以不同，本实施方式不做限制。
在一个例子中，按照公式d，根据像素的初始法向量，以及该像素的第二区域内的邻域像素的初始法向量，计算像素的法向量。
公式d：
Figure BDA0003069474930000066
其中，
Figure BDA0003069474930000067
表示像素的法向量，L表示第i行第j列的像素的第二区域内像素的个数，
Figure BDA0003069474930000068
为第二区域内第l个像素的初始法向量。
需要说明的是，本领域技术人员可以理解，实际应用中，还可以基于其他约束关系计算新的法向量，本实施方式仅为举例说明，对像素的初始法向量和后续操作中使用的像素的法向量的约束关系不起限定作用。
需要说明的是，本领域技术人员可以理解，实际应用中，也可以通过其他方式计算像素的法向量，本实施方式仅为举例说明。
在另一个实施方式中，为减弱分层程度，电子设备采用其他方式计算像素的法向量，例如，电子设备根据针对每个像素，根据像素的深度值与像素的预设区域内的邻域像素的深度值，计算像素的法向量，其中，预设区域的边长大于像素的直径的3倍。具体地，在计算像素的法向量或初始法向量时，将pij的邻域半径增大，邻域像素的数量K增加，以减小法向量在连续区域的抖动幅度，增强其稳定性。例如，如图10所示，预设区域为以第i行第j列的像素为中心，大小为5*5的正方形区域，单位长度为单个像素的边长，p1到p23均为第i行第j列的像素的邻域像素，其数量增加到23个，以减小法向量在连续区域的抖动幅度，增强其稳定性。
可选择的，电子设备可以分两级优化显示效果。具体地，电子设备针对每个像素，根据像素的深度值与像素的预设区域内的邻域像素的深度值，计算像素的初始法向量；根据像素的初始法向量，以及像素的预设区域内的邻域像素的初始法向量，计算像素的法向量。其中，根据像素的初始法向量和像素的邻域像素的初始法向量计算像素最终的法向量的方式可以参考公式d的描述，此处不再赘述。通过两级优化后的深度图如图11所示，由图11可知，对深度图的显示效果进行两级优化后，分层现象明显减少，使得显示的深度图更平滑。
需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要选择任一实施方式，以减弱分层程度。
在一个例子中，电子设备在获取深度图中各像素的法向量之前，深度图的显示方法还包括：调用不同的处理线程分别读取深度图的深度值，以并行计算深度图的各像素的法向量。电子设备有着浏览和观察大量深度图、处理较大分辨率的深度图、频繁缩放深度图和显示深度图的需求。这些需求需要较大的计算量，一般是先批量处理完以后以新文件的形式占用存储设备，再对新文件进行实时浏览。本实施方式提出一种并行实现方法，以达到实时浏览的体验。具体地，电子设备是在像素网格上进行计算并得到基于光照模型的可视化的深度图。由于每步操作中，像素中数值的计算不依赖于相邻像素的该步计算结果，只对用于计算的值进行只读操作，故本实施方式提出了并行处理方案。具体地，电子设备中设有多个处理线程。每条处理线程负责一个单位像素中数值的计算结果。全图范围内，所有处理线程在同一步计算时是互不依赖的。根据部署平台的实际情况，可以对若干处理线程并行处理，以实现实时处理。例如，以4个处理线程并行处理为例，如图12所示，4个处理线程T1、T2、T3和T4正在同时进行同一步的计算，计算灰色底纹所示像素上的结果。像素网格中的文字表示该处理线程会读取该像素当前数据，由于T1和T2进行只读操作，即使两者有重叠，不影响并行。
步骤203：基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数。
步骤204：根据每个像素的强度系数，显示深度图。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
与现有技术相比，本实施方式中提供的深度图的显示方法，基于光照模型，根据深度图中像素的法向量计算像素的强度系数。参考各像素的强度系数显示深度图，可以强化深度变化，进而更好地展示深度变化相对较小的区域细节。除此之外，根据像素的初始法向量，以及各像素的邻域像素的初始法向量，计算像素的法向量，减小法向量在连续区域的抖动幅度，增强其稳定性，进而减弱分层程度，优化显示效果。
本发明的第三实施方式涉及一种深度图的显示方法。本实施方式是对第一实施方式的细化举例，举例说明了深度图中各像素的法向量的另一种获取方法。
具体地，如图13所示，本实施方式中，深度图的显示方法包括步骤301至步骤304，其中，步骤301和步骤304分别与第一实施方式的步骤101和步骤103大致相同，此处不再赘述，下面主要介绍不同之处：
步骤301：获取深度图中各像素的法向量。其中，获取各像素的法向量的过程可以参考第二实施方式的描述，此处不再赘述。
步骤302：获取光照模型对应的模拟光源在像素上的光线方向向量。
具体地，可以在相机坐标系上设置模拟光源，模拟光源可以是点光源也可以是平行光源。针对每个像素，根据模拟光源和该像素的相对位置信息，计算模拟光源在像素上的光线方向向量。
步骤303：根据像素的光线方向向量和像素的法向量，计算像素的强度系数。
在一个例子中，计算像素的光线方向向量和像素的法向量的数量积，作为像素的强度系数。
以下以在相机坐标系中设置垂直于XOY平面指向物体的平行光源为例，对计算像素的强度系数进行举例说明。如图14所示，平行光源的光线方向向量为
Figure BDA0003069474930000083
已知深度图上一点pij对应法向量
Figure BDA0003069474930000081
则可以按照公式e：
Figure BDA0003069474930000082
计算该像素的强度系数mij。在计算完所有像素的强度系数后，将mij映射到灰度图像或彩色图像中即可。
需要说明的是，本领域技术人员可以理解，实际应用中，还可以使用其他现有的更复杂的光照模型，从而得到不同风格的基于光照模型的深度图可视化效果。本实施方式不限制具体使用的光照模型。
步骤304：根据每个像素的强度系数，显示深度图。
与现有技术相比，本实施方式中提供的深度图的显示方法，基于光照模型，根据深度图中像素的法向量计算像素的强度系数。参考各像素的强度系数显示深度图，可以强化深度变化，进而更好地展示深度变化相对较小的区域细节。除此之外，通过扩大邻域范围，减小法向量在连续区域的抖动幅度，增强其稳定性，进而减弱分层程度，优化显示效果。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第四实施方式涉及一种深度图的显示装置，如图15所示，包括：获取模块401、计算模块402和显示模块403。获取模块401用于获取深度图中各像素的法向量；计算模块402用于基于预设的光照模型，对每个像素的法向量所表征的深度信息进行增强，得到每个像素的强度系数；显示模块403用于根据每个像素的强度系数，显示深度图。
不难发现，本实施方式为与第一实施方式至第三实施方式相对应的***实施方式，本实施方式可与第一实施方式至第三实施方式互相配合实施。第一实施方式至第三实施方式中提到的相关技术细节在本实施方式至第三实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式至第三实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明的第五实施方式涉及一种电子设备，如图16所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的深度图的显示方法。
该电子设备包括：一个或多个处理器501以及存储器502，图16中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图16中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述深度图的显示方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的深度图的显示方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明的第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施方式。
即，本领域技术人员可以理解，实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种深度图的显示方法，其特征在于，包括：
获取深度图中各像素的法向量；
基于预设的光照模型，对每个所述像素的法向量所表征的深度信息进行增强，得到每个所述像素的强度系数；
根据每个所述像素的强度系数，显示所述深度图；
所述基于预设的光照模型，对每个所述像素的法向量所表征的深度信息进行增强，得到每个所述像素的强度系数包括：
获取所述光照模型对应的模拟光源在所述像素上的光线方向向量；
根据所述像素的光线方向向量和所述像素的法向量，计算所述像素的强度系数。
2.根据权利要求1所述的深度图的显示方法，其特征在于，所述获取深度图中各像素的法向量，包括：
获取每个所述像素的初始法向量；
针对每个所述像素，根据所述像素的初始法向量和所述像素的领域像素的初始法向量，计算所述像素的法向量。
3.根据权利要求1所述的深度图的显示方法，其特征在于，所述获取深度图中各像素的法向量，包括：
针对每个所述像素，根据所述像素的深度值与所述像素的预设区域内的邻域像素的深度值，计算所述像素的法向量，其中，所述预设区域的边长大于所述像素的直径的3倍。
4.根据权利要求3所述的深度图的显示方法，其特征在于，针对每个所述像素，所述根据所述像素的深度值与所述像素的预设区域内的邻域像素的深度值，计算所述像素的法向量，包括：
针对每个所述像素，根据所述像素的深度值与所述像素的预设区域内的邻域像素的深度值，计算所述像素的初始法向量；
根据所述像素的初始法向量，以及所述像素的预设区域内的邻域像素的初始法向量，计算所述像素的法向量。
5.根据权利要求1至4中任一项所述的深度图的显示方法，其特征在于，在所述获取深度图中各像素的法向量之前，所述深度图的显示方法还包括：
调用不同的处理线程分别读取所述深度图的深度值，以并行计算所述深度图的各像素的法向量。
6.根据权利要求1所述的深度图的显示方法，其特征在于，所述根据所述像素的光线方向向量和所述像素的法向量，计算所述像素的强度系数，包括：
计算所述像素的光线方向向量和所述像素的法向量的数量积，作为所述像素的强度系数。
7.一种深度图的显示装置，其特征在于，包括：获取模块、计算模块和显示模块；
所述获取模块用于获取深度图中各像素的法向量；
所述计算模块用于基于预设的光照模型，对每个所述像素的法向量所表征的深度信息进行增强，得到每个所述像素的强度系数；
所述显示模块用于根据每个所述像素的强度系数，显示所述深度图；
所述计算模块具体用于获取所述光照模型对应的模拟光源在所述像素上的光线方向向量；根据所述像素的光线方向向量和所述像素的法向量，计算所述像素的强度系数。
8.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的深度图的显示方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的深度图的显示方法。
CN202110535531.0A 2021-05-17 2021-05-17 深度图的显示方法、显示装置、电子设备及存储介质 Active CN113126944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535531.0A CN113126944B (zh) 2021-05-17 2021-05-17 深度图的显示方法、显示装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535531.0A CN113126944B (zh) 2021-05-17 2021-05-17 深度图的显示方法、显示装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113126944A CN113126944A (zh) 2021-07-16
CN113126944B true CN113126944B (zh) 2021-11-09

Family

ID=76782088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535531.0A Active CN113126944B (zh) 2021-05-17 2021-05-17 深度图的显示方法、显示装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113126944B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881878B (zh) * 2022-05-12 2023-07-18 厦门微图软件科技有限公司 深度图像增强方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288721B1 (en) * 1999-07-07 2001-09-11 Litton Systems, Inc. Rendering process and method for digital map illumination intensity shading
CN107169933A (zh) * 2017-04-14 2017-09-15 杭州光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN111563950A (zh) * 2020-05-07 2020-08-21 贝壳技术有限公司 纹理映射策略确定方法、装置及计算机可读存储介质
CN112070889A (zh) * 2020-11-13 2020-12-11 季华实验室 一种三维重构方法、装置、***、电子设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298376B2 (en) * 2003-07-28 2007-11-20 Landmark Graphics Corporation System and method for real-time co-rendering of multiple attributes
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
AU2014270405B2 (en) * 2013-05-23 2018-10-04 bioMérieux Method, system and computer program product for producing a raised relief map from images of an object
CN103400351B (zh) * 2013-07-30 2015-12-23 武汉大学 基于kinect深度图的低光照图像增强方法及***
TWI546769B (zh) * 2015-04-10 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與影像處理方法
CN106408524B (zh) * 2016-08-17 2020-04-28 南京理工大学 基于二维图像辅助的深度图像增强方法
CN107807806A (zh) * 2017-10-27 2018-03-16 广东欧珀移动通信有限公司 显示参数调整方法、装置及电子装置
CN108335267A (zh) * 2017-12-29 2018-07-27 上海玮舟微电子科技有限公司 一种深度图像的处理方法、装置、设备和存储介质
CN109118582B (zh) * 2018-09-19 2020-06-16 东北大学 一种商品三维重建***及重建方法
CN110956603B (zh) * 2018-09-25 2023-04-21 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN109816781B (zh) * 2019-02-01 2020-07-24 武汉大学 一种基于图像细节和结构增强的多视图立体几何方法
CN110211061A (zh) * 2019-05-20 2019-09-06 清华大学 基于神经网络的单深度相机深度图实时增强方法及装置
CN110378945B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN112258565B (zh) * 2019-07-22 2023-03-28 华为技术有限公司 图像处理方法以及装置
CN110544233B (zh) * 2019-07-30 2022-03-08 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法
CN111145119B (zh) * 2019-12-25 2023-06-02 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN111145094A (zh) * 2019-12-26 2020-05-12 北京工业大学 一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法
CN111402392A (zh) * 2020-01-06 2020-07-10 香港光云科技有限公司 光照模型计算方法、材质参数的处理方法及其处理装置
CN111402313B (zh) * 2020-03-13 2022-11-04 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质
CN112489103B (zh) * 2020-11-19 2022-03-08 北京的卢深视科技有限公司 一种高分辨率深度图获取方法及***
CN112801907B (zh) * 2021-02-03 2024-04-16 北京字节跳动网络技术有限公司 深度图像的处理方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288721B1 (en) * 1999-07-07 2001-09-11 Litton Systems, Inc. Rendering process and method for digital map illumination intensity shading
CN107169933A (zh) * 2017-04-14 2017-09-15 杭州光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN111563950A (zh) * 2020-05-07 2020-08-21 贝壳技术有限公司 纹理映射策略确定方法、装置及计算机可读存储介质
CN112070889A (zh) * 2020-11-13 2020-12-11 季华实验室 一种三维重构方法、装置、***、电子设备及存储介质

Also Published As

Publication number Publication date
CN113126944A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US10529117B2 (en) Systems and methods for rendering optical distortion effects
CN111369655B (zh) 渲染方法、装置和终端设备
EP2973423B1 (en) System and method for display of a repeating texture stored in a texture atlas
US20190318530A1 (en) Systems and Methods for Reducing Rendering Latency
CN111640180B (zh) 一种三维重建方法、装置及终端设备
US10699467B2 (en) Computer-graphics based on hierarchical ray casting
CN111047506B (zh) 环境图生成和孔填充
US20190318529A1 (en) Systems and Methods for Rendering Foveated Effects
JP2019536162A (ja) シーンのポイントクラウドを表現するシステム及び方法
US11579466B2 (en) Method, device, apparatus and computer readable storage medium of simulating volumetric 3D display
US10217259B2 (en) Method of and apparatus for graphics processing
CN109979013B (zh) 三维人脸贴图方法及终端设备
JP2013105188A (ja) 画像処理装置、画像処理方法、および画像ファイルのデータ構造
CN110428504B (zh) 文本图像合成方法、装置、计算机设备和存储介质
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN110458954B (zh) 一种等高线生成方法、装置及设备
CN113126944B (zh) 深度图的显示方法、显示装置、电子设备及存储介质
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN113129420B (zh) 一种基于深度缓冲加速的光线追踪渲染方法
CN107464278B (zh) 全视向的球体光场渲染方法
KR101658852B1 (ko) 3차원 화상 생성 장치 및 3차원 화상 생성 방법
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质
US11636578B1 (en) Partial image completion
CN112634439B (zh) 一种3d信息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210716

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Depth map display method, display device, electronic equipment and storage medium

Granted publication date: 20211109

License type: Exclusive License

Record date: 20220523

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Depth map display method, display device, electronic equipment and storage medium

Effective date of registration: 20220525

Granted publication date: 20211109

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PE01 Entry into force of the registration of the contract for pledge of patent right
TR01 Transfer of patent right

Effective date of registration: 20230404

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20211109

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PC01 Cancellation of the registration of the contract for pledge of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720

EC01 Cancellation of recordation of patent licensing contract