CN113989376B - 室内深度信息的获取方法、装置和可读存储介质 - Google Patents

室内深度信息的获取方法、装置和可读存储介质 Download PDF

Info

Publication number
CN113989376B
CN113989376B CN202111584698.2A CN202111584698A CN113989376B CN 113989376 B CN113989376 B CN 113989376B CN 202111584698 A CN202111584698 A CN 202111584698A CN 113989376 B CN113989376 B CN 113989376B
Authority
CN
China
Prior art keywords
target
camera
indoor
mask
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111584698.2A
Other languages
English (en)
Other versions
CN113989376A (zh
Inventor
周杰
胡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202111584698.2A priority Critical patent/CN113989376B/zh
Publication of CN113989376A publication Critical patent/CN113989376A/zh
Application granted granted Critical
Publication of CN113989376B publication Critical patent/CN113989376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开实施例公开了一种室内深度信息的获取方法、装置和可读存储介质，其中，该获取方法包括：对目标室内全景图进行语义分割，得到目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜；基于地面掩膜、天花板掩膜和墙面掩膜，结合目标室内全景图的图像参数和相机距离地面的距离可以得到地面区域、天花板区域和墙面区域的深度图；对各深度图进行合并处理，得到目标室内全景深度图。本公开实施例仅通过室内全景图像中的各个掩膜结合室内全景图像的参数，即可得到室内全景深度图，因此可以在移动终端上实时获取到室内的深度信息。

Description

室内深度信息的获取方法、装置和可读存储介质
技术领域
本公开涉及三维重建技术领域，尤其是一种室内深度信息的获取方法、装置和可读存储介质。
背景技术
通过室内的全景深度图可以获取房屋结构和室内物品的深度信息，进而可以对室内进行三维场景重建。
相关技术中，利用深度神经网络以单张全景图作为输入并直接输出对应的全景深度图。但是由于终端设备性能的原因，移动终端难以提供深度神经网络所需的计算资源，且在移动终端上保存用于训练深度神经网络所需的大量室内样本图像，使得大量室内样本图像的安全性难以保证。因此在某些受限场景下难以在移动设备上实时获取到室内的深度信息。
发明内容
本公开实施例提供一种室内深度信息的获取方法、装置和可读存储介质，可以在移动设备上实时获取到室内的深度信息。
本公开实施例的第一方面，提供一种室内深度信息的获取方法，包括：
对目标室内全景图进行语义分割，得到所述目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜；
基于所述地面掩膜、所述目标室内全景图的图像宽度、相机距离地面的给定高度和所述目标室内全景图中的地面区域的像素坐标，确定所述地面区域的深度图，其中，所述目标室内全景图是通过所述相机采集的；
基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的高度、所述目标室内全景图的图像宽度、给定的所述相机与天花板之间的虚拟高度、所述相机与墙面之间的给定垂直距离，以及所述目标室内全景图中的天花板区域的像素坐标，确定所述天花板区域的深度图；
基于所述墙面掩膜、所述地面掩膜、所述天花板掩膜和所述目标室内全景图中的墙面区域的像素坐标，确定所述墙面区域的深度图；
对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图。
根据本公开的一个实施例，在所述对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图之前，还包括：
基于室内物品的掩膜、所述地面掩膜和所述目标室内全景图中的室内物品的像素坐标，确定所述室内物品的深度图，其中，所述室内物品的掩膜是对所述目标室内全景图进行语义分割得到的；
其中，所述对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图，包括：
对所述地面区域的深度图、所述天花板区域的深度图、所述墙面区域的深度图和所述室内物品的深度图进行合并处理，得到目标室内全景深度图。
根据本公开的一个实施例，所述基于所述地面掩膜、所述目标室内全景图的图像宽度、相机距离地面的给定高度和所述目标室内全景图中的地面区域的像素坐标，确定所述地面区域的深度图，包括：
对所述目标室内全景图进行球面映射，得到目标球面图；
基于所述地面掩膜、所述目标室内全景图与所述目标球面图之间的映射关系、所述相机距离地面的给定高度和所述地面区域的像素坐标，以及所述目标室内全景图的图像宽度进行深度计算，得到所述地面区域的深度图。
根据本公开的一个实施例，所述基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、所述目标室内全景图的图像宽度、给定的所述相机与天花板之间的虚拟高度、所述相机与目标墙面之间的距离，以及所述天花板区域的像素坐标，确定所述天花板区域的深度图，包括：
根据所述天花板掩膜、所述目标室内全景图的图像宽度、所述相机与天花板之间的虚拟高度，以及所述天花板区域的像素坐标进行深度计算，得到所述天花板区域的虚拟深度图；
基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的高度、以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度；
基于所述变换尺度对所述天花板区域的虚拟深度图进行尺度调整，得到所述天花板区域的深度图。
根据本公开的一个实施例，所述基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度，以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度，包括：
获取所述目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，其中，所述目标室内全景图上设置有所述平面坐标系；
对所述目标室内全景图在多个横坐标上的变换尺度进行最近邻聚类处理，得到所述虚拟高度与真实高度之间的变换尺度。
根据本公开的一个实施例，所述获取所述目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，包括：
在所述多个横坐标中选择一个横坐标，通过预设的变换尺度获取方式得到所述目标室内全景图在选择的横坐标上的变换尺度；
对所述多个横坐标中除了所述选择的横坐标以外的剩余横坐标，通过所述预设的变换尺度获取方式得到所述目标室内全景图在所述剩余横坐标上的变换尺度；
其中，所述预设的变换尺度获取方式，包括：
基于所述天花板掩膜在选择的横坐标上对应像素的深度信息确定第一目标像素点坐标，并基于所述地面掩膜在选择的横坐标上对应像素的深度信息确定第二目标像素点坐标，其中，所述第一目标像素点坐标为在选择的横坐标上天花板与墙面的交界点的像素坐标，所述第二目标像素点坐标为在选择的横坐标上地面与墙面的交界点的像素坐标；
基于所述第一目标像素点坐标、所述相机距离地面的给定高度和所述相机与目标墙面之间的给定垂直距离，确定所述相机与所述第一目标像素点坐标之间的垂直距离，其中，所述相机与所述第一目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第一目标像素在地面的投影点之间的距离；
基于所述第二目标像素点坐标、所述相机距离地面的给定高度和所述相机与目标墙面之间的给定垂直距离，确定所述相机与所述第二目标像素点坐标之间的垂直距离，其中，所述相机与所述第二目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第二目标像素点在地面的投影点之间的距离；
基于所述相机与所述第一目标像素点坐标之间的垂直距离，以及所述相机与所述第二目标像素点坐标之间的垂直距离，确定在选择的横坐标上的变换尺度。
根据本公开的一个实施例，所述基于所述墙面掩膜、所述地面掩膜、所述天花板掩膜和所述目标室内全景图中的墙面区域的像素坐标，确定所述墙面区域的深度图，包括：
基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，其中，所述第三目标像素点坐标为天花板与墙面的交界点的像素坐标，所述第四目标像素点坐标为地面与墙面的交界点的像素坐标；
基于在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离；
对在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离进行取最大值处理，确定在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离；
基于在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图。
根据本公开的一个实施例，所述基于室内物品的掩膜、所述地面掩膜和所述目标室内全景图中的室内物品的像素坐标，确定所述室内物品的深度图，包括：
基于所述室内物品的掩膜和所述地面掩膜之间的豪斯多夫距离，确定所述室内物品的放置位置；
若基于所述室内物品的放置位置确定所述室内物品放置在地面上，则基于所述地面掩膜，确定在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，其中，所述第五目标像素点坐标为地面与墙面的交界点的像素坐标；
基于在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离；
基于在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离，以及所述室内物品的像素坐标，确定所述室内物品的深度图。
本公开实施例的第二方面，提供一种室内深度信息的获取装置，包括：
语义分割模块，用于对目标室内全景图进行语义分割，得到所述目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜；
第一深度图确定模块，用于基于所述地面掩膜、所述目标室内全景图的图像宽度、相机距离地面的给定高度和所述目标室内全景图中的地面区域的像素坐标，确定所述地面区域的深度图，其中，所述目标室内全景图是通过所述相机采集的；
第二深度图确定模块，用于基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、所述目标室内全景图的图像宽度、给定的所述相机与天花板之间的虚拟高度、所述相机与墙面之间的距离，以及所述目标室内全景图中的天花板区域的像素坐标，确定所述天花板区域的深度图；
第三深度图确定模块，用于基于所述墙面掩膜、所述地面掩膜、所述天花板掩膜和所述目标室内全景图中的墙面区域的像素坐标，确定所述墙面区域的深度图；
合并模块，用于对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图。
根据本公开的一个实施例，室内深度信息的获取装置还包括：
第四深度图确定模块，用于基于室内物品的掩膜、所述地面掩膜和所述目标室内全景图中的室内物品的像素坐标，确定所述室内物品的深度图，其中，所述室内物品的掩膜是对所述目标室内全景图进行语义分割得到的；所述合并模块具体用于对所述地面区域的深度图、所述天花板区域的深度图、所述墙面区域的深度图和所述室内物品的深度图进行合并处理，得到目标室内全景深度图。
根据本公开的一个实施例，所述第一深度图确定模块用于对所述目标室内全景图进行球面映射，得到目标球面图；所述第一深度图确定模块还用于基于所述地面掩膜、所述目标室内全景图与所述目标球面图之间的映射关系、所述相机距离地面的给定高度和所述地面区域的像素坐标，以及所述目标室内全景图的图像宽度进行深度计算，得到所述地面区域的深度图。
根据本公开的一个实施例，所述第二深度图确定模块用于根据所述天花板掩膜、所述目标室内全景图的图像宽度、所述相机与天花板之间的虚拟高度，以及所述天花板区域的像素坐标进行深度计算，得到所述天花板区域的虚拟深度图；所述第二深度图确定模块还用于基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度；所述第二深度图确定模块还用于基于所述变换尺度对所述天花板区域的虚拟深度图进行尺度调整，得到所述天花板区域的深度图。
根据本公开的一个实施例，所述第二深度图确定模块用于获取所述目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，其中，所述目标室内全景图上设置有所述平面坐标系；所述第二深度图确定模块还用于对所述目标室内全景图在多个横坐标上的变换尺度进行最近邻聚类处理，得到所述虚拟高度与真实高度之间的变换尺度。
根据本公开的一个实施例，所述第二深度图确定模块用于在所述多个横坐标中选择一个横坐标，通过预设的变换尺度获取方式得到所述目标室内全景图在选择的横坐标上的变换尺度；所述第二深度图确定模块还用于对所述多个横坐标中除了所述选择的横坐标以外的剩余横坐标，通过所述预设的变换尺度获取方式得到所述目标室内全景图在所述剩余横坐标上的变换尺度；
其中，所述预设的变换尺度获取方式，包括：
基于所述天花板掩膜在选择的横坐标上对应像素的深度信息确定第一目标像素点坐标，并基于所述地面掩膜在选择的横坐标上对应像素的深度信息确定第二目标像素点坐标，其中，所述第一目标像素点坐标为在选择的横坐标上天花板与墙面的交界点的像素坐标，所述第二目标像素点坐标为在选择的横坐标上地面与墙面的交界点的像素坐标；
基于所述第一目标像素点坐标、所述相机距离地面的给定高度和所述相机与目标墙面之间的给定垂直距离，确定所述相机与所述第一目标像素点坐标之间的垂直距离，其中，所述相机与所述第一目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第一目标像素在地面的投影点之间的距离；
基于所述第二目标像素点坐标、所述相机距离地面的给定高度和所述相机与目标墙面之间的给定垂直距离，确定所述相机与所述第二目标像素点坐标之间的垂直距离，其中，所述相机与所述第二目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第二目标像素点在地面的投影点之间的距离；
基于所述相机与所述第一目标像素点坐标之间的垂直距离，以及所述相机与所述第二目标像素点坐标之间的垂直距离，确定在选择的横坐标上的变换尺度。
根据本公开的一个实施例，所述第三深度图确定模块用于基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，其中，所述第三目标像素点坐标为天花板与墙面的交界点的像素坐标，所述第四目标像素点坐标为地面与墙面的交界点的像素坐标；所述第三深度图确定模块还用于基于在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离；所述第三深度图确定模块还用于对在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离进行取最大值处理，确定在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离；所述第三深度图确定模块还用于基于在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图。
根据本公开的一个实施例，所述第四深度图确定模块用于基于所述室内物品的掩膜和所述地面掩膜之间的豪斯多夫距离，确定所述室内物品的放置位置；所述第四深度图确定模块还用于若基于所述室内物品的放置位置确定所述室内物品放置在地面上，则基于所述地面掩膜，确定在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，其中，所述第五目标像素点坐标为地面与墙面的交界点的像素坐标；所述第四深度图确定模块还用于基于在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离；所述第四深度图确定模块还用于基于在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离，以及所述室内物品的像素坐标，确定所述室内物品的深度图。
本公开实施例的第三方面，提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面所述的室内深度信息的获取方法。
本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述第一方面所述的室内深度信息的获取方法。
本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述第一方面所述的室内深度信息的获取方法。
本公开实施例的室内深度信息的获取方法、装置和可读存储介质，通过对室内全景图进行语义分割，可以得到室内的地面掩膜、天花板掩膜和墙面掩膜，然后基于地面掩膜、室内全景图的图像宽度和相机距离地面的给定高度和室内全景图中的地面区域的像素坐标，可以确定地面区域的深度图，并基于天花板掩膜、地面掩膜、相机距离地面的给定高度、目标室内全景图的图像宽度、给定的相机与天花板之间的虚拟高度、相机与墙面之间的给定垂直距离，以及室内全景图中的天花板区域的像素坐标，可以确定天花板区域的深度图，并基于墙面掩膜、地面掩膜、天花板掩膜和室内全景图中的墙面区域的像素坐标，可以确定墙面区域的深度图，最终对室内地面区域的深度图、天花板区域的深度图和墙面区域的深度图进行合并处理，得到室内全景深度图。在本公开实施例中，无需使用深度神经网络，也无需使用其他室内样本图像，仅通过室内全景图像中的各个掩膜结合室内全景图像的参数，即可得到室内全景深度图，因此可以在移动终端上实现实时获取到室内的深度信息。本公开实施例生成的室内全景深度图可以在一定的精度范围内表示室内地面区域、墙面区域、天花板区域和室内物品的结构化信息。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开一个实施例中室内深度信息的获取方法的流程图；
图2为本公开一个示例中目标球面图的某个截面的示意图；
图3为本公开一个示例中在目标全景图的某个横坐标上确定墙面与天花板交界的像素点、墙面与地面交界的像素点的示意图；
图4为本公开一个实施例中室内深度信息的获取装置的结构框图；
图5为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
图1为本公开一个实施例中室内深度信息的获取方法的流程图。如图1所示，在本实施例中，室内深度信息的获取方法，包括：
S1：对目标室内全景图进行语义分割，得到目标室内全景图的地面掩膜、天花板掩膜、墙面掩膜和室内物品的掩膜。
在本实施例中，目标室内全景图为针对某个户型内部拍摄的全景图，例如使用全景相机在某个拍摄点对该户型拍摄全景图片，从而得到目标室内全景图。
在其中一些实施方式中，可以将目标室内全景图输入到预先训练好的语义分割模型中，利用预先训练好的语义分割模型对目标全景图进行语义分割，得到目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜。其中，语义分割模型是根据样本室内全景图进行训练得到的。
S2：基于地面掩膜、目标室内全景图的图像宽度、相机距离地面的给定高度和和目标室内全景图中的地面区域的像素坐标，确定地面区域的深度图。其中，目标室内全景图是通过该相机采集的。
在本实施例中，通过地面掩膜可以确定目标室内全景图中的地面区域，对目标室内全景图中的地面区域的每个像素的像素坐标，结合目标室内全景图的图像宽度和相机距离地面的给定高度，可以计算出地面区域的每个像素的深度值，进而可以得到地面区域的深度图。
S3：基于天花板掩膜、地面掩膜、相机距离地面的高度、目标室内全景图的图像宽度、给定的相机与天花板之间的虚拟高度、相机与墙面之间的给定垂直距离和目标室内全景图中的天花板区域的像素坐标，确定天花板区域的深度图。
在本实施例中，设定墙体连接地面和天花板，并且墙体保持竖直，则基于天花板掩膜和地面掩膜，可以确定目标室内全景图中，墙体与天花板之间的交界，以及墙体与地面之间的交界。由于相机与天花板之间的距离未知，因此本实施例基于相机距离地面的高度、给定的相机与天花板之间的虚拟高度、目标室内全景图的图像宽度，以及相机与墙面之间的距离，可以计算出相机与天花板之间的真实高度。基于天花板掩膜和天花板区域的像素坐标，结合相机与天花板之间的真实高度，可以计算出目标室内全景图中的天花板区域的每个像素的深度值，进而得到天花板区域的深度图。
S4：基于墙面掩膜、地面掩膜、天花板掩膜和目标室内全景图中的墙面区域的像素坐标，确定墙面区域的深度图。
在本实施例中，通过墙面掩膜可以得到目标室内全景图中的墙面与地面的交界，墙面与天花板之间的交界。但是地面和天花板都有可能被室内物品（例如沙发、床或灯具等等）遮挡导致分割边界不准确，因此本实施例基于墙面掩膜和墙面区域的像素坐标，结合地面掩膜和天花板掩膜，可以计算出墙面区域内每个像素的深度值，进而可以得到墙面区域的深度图。
S5：对地面区域的深度图、天花板区域的深度图和墙面区域的深度图进行合并处理，得到目标室内全景深度图。
本实施例中，无需使用深度神经网络，也无需使用其他室内样本图像，仅通过目标室内全景图像中的各个掩膜结合目标室内全景图像的参数，即可得到目标室内全景深度图，因此可以在移动终端上实现实时获取到目标室内的深度信息。本实施例生成的室内全景深度图可以在一定的精度范围内表示室内地面区域、墙面区域和天花板区域的结构化信息。
在本公开的一个实施例中，在步骤S5之前，还包括：基于室内物品的掩膜、地面掩膜和目标室内全景图中的室内物品的像素坐标，确定室内物品的深度图。其中，室内物品的掩膜是对目标室内全景图进行语义分割得到的。
相对应地，步骤S5具体包括：对地面区域的深度图、天花板区域的深度图、墙面区域的深度图和室内物品的深度图进行合并处理，得到目标室内全景深度图。
当目标室内放置有室内物品时，则在步骤S1中进行语义分割时，还可以得到室内物品的掩膜。由于室内物品（例如沙发、桌子和柜子等等）通常设置在地面上，因此根据室内物品的掩膜，结合地面掩膜可以确定出室内物品与地面之间的交界，结合目标室内全景图中的室内物品的像素坐标可以得到室内物品所在区域中每个像素的深度值，最终可以得到室内物品的深度图。
在本实施例中，可以在目标室内放置有室内物品时，可以基于室内物品的掩膜、地面掩膜和目标室内全景图中的室内物品的像素坐标，得到室内物品的深度图，进而可以生成包括有室内物品深度图在内的目标室内全景深度图。
在本公开的一个实施例中，步骤S2可以包括：
S2-1：对目标室内全景图进行球面映射，得到目标球面图。其中，可以将相机所在位置作为球体的中心，基于球体的中心对目标室内全景图进行球面映射。
图2为本公开一个示例中目标球面图的某个截面的示意图。如图2所示，圆形的中心点为相机的拍摄点，拍摄点距离地面之间的给定高度为h，拍摄点距离右侧墙面（图2中所有方向的右侧墙面）之间的距离为l。记I W 和I H 分别为目标室内全景图的宽度和高度，u i 和u j 为在目标室内全景图中某个给定某像素的图像坐标，球面坐标（p x , p y , p z ）由如下公式计算：
Figure 894970DEST_PATH_IMAGE001
Figure 546531DEST_PATH_IMAGE002
。
S2-2：基于地面掩膜、目标室内全景图与目标球面图之间的映射关系、相机距离地面的给定高度，以及目标室内全景图的图像宽度进行深度计算，得到地面区域的深度图。
在其中一些实施方式中，可以根据语义分割得到的地面掩膜，给定的相机距地面高度h，根据如下公式计算地面部分对应的全景图的深度；
Figure 60689DEST_PATH_IMAGE003
Figure 190319DEST_PATH_IMAGE004
其中，y为地面掩膜中任一像素点的纵坐标，ω为拍摄点垂直地面的连线，与拍摄点和该像素点之间连线，两条连线之间的夹角，rows为图像宽度，给定任一地面像素均可以计算地面像素对应的深度值d f ，由此得到地面区域的深度图。
在本实施例中，将目标室内全景图映射为目标球面图后，基于地面掩膜可以确定在目标室内全景图中地面区域的像素坐标，结合目标室内全景图与目标球面图之间的映射关系可以得到地面区域的球面坐标，进而根据地面区域的球面坐标，相机距离地面之间高度，以及目标室内全景图的图像宽度进行深度计算，可以准确地计算出地面区域的每个像素的深度值，进而可以得到地面区域的深度图。
在本公开的一个实施例中，步骤S3可以包括：
S3-1：根据天花板掩膜、目标室内全景图的图像宽度、相机与天花板之间的虚拟高度，以及天花板区域的像素坐标进行深度计算，得到天花板区域的虚拟深度图。
请参考图2，根据语义分割得到的天花板掩膜，固定相机距天花板的虚拟高度为c，根据如下公式计算天花板区域的虚拟深度图：
Figure 739112DEST_PATH_IMAGE005
Figure 295996DEST_PATH_IMAGE006
其中，y为天花板掩膜M c 中任一像素的纵坐标，
Figure 297450DEST_PATH_IMAGE007
为拍摄点垂直天花板的连线，与拍摄点和该像素点之间连线，两条连线之间的夹角，给定任一天花板像素均可以计算像素对应的深度值d c ，由此得到天花板的虚拟深度图。
S3-2：基于天花板掩膜、地面掩膜、相机距离地面的给定高度、以及相机与墙面之间的给定垂直距离，确定虚拟高度与真实高度之间的变换尺度。
S3-3：基于变换尺度对天花板区域的虚拟深度图进行尺度调整，得到天花板区域的深度图。其中，将天花板区域的虚拟深度图的每一个像素深度，同时乘以虚拟高度与真实高度之间的变换尺度，得到天花板区域的深度图，即天花板的虚拟深度图*r。
在本实施例中，基于相机距离地面的高度、给定的相机与天花板之间的虚拟高度、目标室内全景图的图像宽度、相机与墙面之间的给定垂直距离和天花板区域的像素坐标，可以计算出相机与天花板之间的虚拟高度与真实高度之间的变换尺度，进而基于虚拟高度与真实高度之间的变换尺度对天花板区域的虚拟深度图进行合理调整，可以准确得到天花板区域的深度图。
在本公开的一个实施例中，步骤S3-2可以包括：
S3-2-1：获取目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度。其中，目标室内全景图上设置有该平面坐标系，可以将目标室内全景图中的某个像素所在位置作为平面坐标系的原点，以像素为平面坐标系的单位建立平面坐标系。例如可以将目标室内全景图的第1行第1列的像素所在位置作为平面坐标系的原点，则第1行第2列像素点的像素坐标为（1，0），第1行第3列像素点的像素坐标为（2，0），…，第2行第1列像素点的像素坐标为（0，1），第2行第2列像素点的像素坐标为（1，1），依次类推，可以得到目标室内全景图上每个像素点的像素坐标。
请参考图2，在结构化的假设下，墙体连接地面和天花板，并且保持竖直，相机重力方向与所有墙面平行，l表示相机所在位置到墙面的给定垂直距离。当横坐标为x时，l保持不变。
对于横坐标x，则存在一个变换尺度，使得在横坐标x的虚拟高度乘以变换尺度得到横坐标x下的真实高度。
S3-2-2：对目标室内全景图在多个横坐标上的变换尺度进行最近邻聚类处理，得到虚拟高度与真实高度之间的变换尺度。其中，通过最近邻聚类选择出最大的分组，并以分组的均值作为r的最优估计，即虚拟高度与真实高度之间的变换尺度。其中，假设所有变换尺度的集合为{R}，计算{R}中两两元素之间的距离，距离定义为d = |R i–R j|，R i和R j为{r}中的元素；给定距离的阈值dt，如果d<dt，则将R i和R j关联，在R i和R j之间连接一条边。当{R}中所有元素按照上述方式计算两两元素之间的距离且根据阈值dt选择性地连接边在以后，根据连通性选择{R}中的最大连通子图，作为最近邻聚类的最大分组。
在本实施例中，基于相机距离地面的给定高度、给定的相机与天花板之间的虚拟高度、目标室内全景图的图像宽度，以及相机与墙面之间的给定垂直距离，可以计算出在目标室内全景图的多个横坐标上变换尺度，通过将多个横坐标上变换尺度进行最近邻聚类可以得到虚拟高度与真实高度之间的变换尺度，以便后续步骤可以基于虚拟高度与真实高度之间的变换尺度对天花板区域的虚拟深度图进行合理调整，进而可以准确得到天花板区域的深度图。
在本公开的一个实施例中，步骤S3-2-1可以包括：
S3-2-1-1：在多个横坐标中选择一个横坐标，通过预设的变换尺度获取方式得到目标室内全景图在选择的横坐标上的变换尺度。其中，预设的变换尺度获取方式，包括：
S3-2-1-1-1：基于天花板掩膜在选择的横坐标上对应像素的深度信息确定第一目标像素点坐标，并基于地面掩膜在选择的横坐标上对应像素的深度信息确定第二目标像素点坐标。其中，第一目标像素点坐标为在选择的横坐标上天花板与墙面的交界点的坐标，第二目标像素点坐标为在选择的横坐标上地面与墙面的交界点的坐标。
图3为本公开一个示例中在目标全景图的某个横坐标上确定墙面与天花板交界的像素点、墙面与地面交界的像素点的示意图。如图3所示，图中Cm和Fm所在的竖线包括给定横坐标对应的所有像素。给定一个横坐标x，可以得到一组天花板像素和一组地面像素。在天花板像素和地面像素中分别选择深度值最大的像素点坐标Cm和Fm，分别表示天花板与墙体交界的像素点坐标（即第一目标像素点坐标），以及地面与墙体交界的像素点坐标（即第二目标像素点坐标）。
S3-2-1-1-2：基于第一目标像素点坐标、相机距离地面的给定高度和相机与目标墙面之间的给定垂直距离，确定相机与第一目标像素点坐标之间的垂直距离。其中，相机与第一目标像素点坐标之间的垂直距离为相机在地面的投影点与第一目标像素在地面的投影点之间的距离。
S3-2-1-1-3：基于第二目标像素点坐标、相机距离地面的给定高度和相机与墙面之间的给定垂直距离，确定相机与第二目标像素点坐标之间的垂直距离。其中，相机与第二目标像素点坐标之间的垂直距离为相机在地面的投影点与第二目标像素点在地面的投影点之间的距离。
请参考图2，基于像素点坐标Cm和Fm，通过以下公式可以分别计算出对应的垂直距离：
Figure 496350DEST_PATH_IMAGE008
其中，l f 为相机与第一目标像素点坐标之间的垂直距离，l c 为相机与第二目标像素点坐标之间的垂直距离。
S3-2-1-1-4：基于相机与第一目标像素点坐标之间的垂直距离，以及相机与第二目标像素点坐标之间的垂直距离，确定在选择的横坐标上的变换尺度。
在其中一些实施方式中，可以设定相机距离地面的高度h为常量，则存在一个的变换尺度R，使得l f =R*l c 。
S3-2-1-2：对多个横坐标中除了选择的横坐标以外的剩余横坐标，通过预设的变换尺度获取方式得到目标室内全景图在剩余横坐标上的变换尺度。
在本实施例中，基于天花板掩膜，可以确定在目标室内全景图的某个横坐标上，天花板与墙面交界的像素点坐标，并基于地面掩膜，可以确定在目标室内全景图的某个横坐标上，地面与墙面交界的像素点坐标。进而根据在目标室内全景图的某个横坐标上，天花板与墙面交界的像素点坐标，以及地面与墙面交界的像素点坐标，可以确定该横坐标上的变换尺度，通过同样的方式可以准确获取在目标室内全景图的多个横坐标上的变换尺度，以便后续步骤基于多个横坐标上的变换尺度，可以准确地确定出虚拟高度和真实高度之间的变换尺度。
在本公开的一个实施例中，步骤S4可以包括：
S4-1：基于地面掩膜和天花板掩膜，确定在目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标。其中，第三目标像素点坐标为天花板与墙面的交界点的像素坐标，第四目标像素点坐标为地面与墙面的交界点的像素坐标。
在其中一些实施方式中，可以采用与S3-2-1-1-1相同的方式确定一个横坐标上的第三目标像素点坐标和第四目标像素点坐标，进而对多个横坐标均采用相同地方式，从而可以确定在目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标。其中，第三目标像素点坐标对应S3-2-1-1-1中的第一目标像素点坐标，第四目标像素点坐标对应S3-2-1-1-1中的第二目标像素点坐标。
S4-2：基于在目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，确定在目标室内全景图的多个横坐标上，相机与第三目标像素点坐标之间的垂直距离以及相机与第四目标像素点坐标之间的垂直距离。
在其中一些实施方式中，可以采用与S3-2-1-1-2相同的方式确定一个横坐标x下的l f 和l c 。其中，l f 对应相机与第三目标像素点坐标之间的垂直距离，l c 对应相机与第四目标像素点坐标之间的垂直距离。对多个横坐标均采用相同地方式，确定在多个横坐标的每个横坐标中的l f 和l c 。
S4-3：对在目标室内全景图的多个横坐标上，相机与第三目标像素点坐标之间的垂直距离以及相机与第四目标像素点坐标之间的垂直距离进行取最大值处理，确定在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离。
在其中一些实施方式中，可以对于多个横坐标中的任意一个横坐标上的l f 和l c ，取l f 和l c 中的最大值，作为在该横坐标下相机与墙面之间的垂直距离l。将多个横坐标下对应的相机与墙面之间的垂直距离l保存为查找表。由于地面、天花板都有可能被其他物品遮挡导致分割边界不准确，本步骤选择其中的最大值作为最终的垂直距离l,让天花板和地面数据在遮挡存在时可以相互补偿，从而可以在即使由物品遮挡的情况下，仍然可以准确地确定在每个横坐标上相机与墙面之间的垂直距离，以便基于在每个横坐标上确定出相机与墙面之间的垂直距离，结合在每个横坐标上像素的纵坐标，可以准确地计算出每个横坐标上像素的深度值。
S4-4：基于在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离，以及墙面掩膜进行深度计算，得到目标室内全景图的墙面区域的深度图。
在其中一些实施方式中，可以基于墙面掩膜确定目标室内全景图中墙面区域的像素坐标。对于墙面区域的任一像素，通过查找表确定该像素的横坐标对应的垂直距离l，根据下式计算像素该像素对应的深度d w ，从而得到整张照片对应的墙面深度图D w ：
Figure 617758DEST_PATH_IMAGE009
。
在本实施例中，基于墙面掩膜和天花板掩膜可以确定在目标室内全景图中天花板与墙面交界的像素点坐标，以及地面与墙面交界的像素点坐标，进而可以确定相机与墙面之间的垂直距离。基于墙面掩膜和墙面区域的像素点坐标，结合在相机与墙面之间的垂直距离，可以准确地计算出目标全景深度图的墙面区域的每个像素的深度值，得到墙面区域的深度图。
在本公开的一个实施例中，基于室内物品的掩膜、地面掩膜和目标室内全景图中的室内物品的像素坐标，确定室内物品的深度图，可以包括：
基于室内物品的掩膜和地面掩膜之间的豪斯多夫距离，确定室内物品的放置位置。其中，室内物品的掩膜和地面掩膜之间的豪斯多夫距离，可以理解为室内物品区域的像素点与地面区域的像素点之间的最小间距。如果室内物品的掩膜和地面掩膜之间的豪斯多夫距离小于设定的邻接距离，则确定室内物品放置于地面上。
S5-2：若基于室内物品的放置位置确定室内物品放置在地面上，则基于地面掩膜，确定在目标室内全景图的多个横坐标上的第五目标像素点坐标。其中，第五目标像素点坐标为地面与墙面的交界点的坐标。
S5-3：基于在目标室内全景图的多个横坐标上的第五目标像素点坐标，确定在目标室内全景图的多个横坐标上，相机与室内物品之间的垂直距离。
S5-4：基于在目标室内全景图的多个横坐标上，相机与室内物品之间的垂直距离，以及室内物品的像素坐标，确定室内物品的深度图。
在其中一些实施方式中，可以采用与步骤S4类似的方式计算出物品的深度图。唯一不同的是，物品的垂直距离不需要使用天花板数据补偿，l直接取地面计算得到的数据，即l = l f 。在本步骤中，由于地面的边界有可能被放置在地面上的物品遮挡导致分割边界不准确，本步骤选择相机到地面的垂直距离作为最终的垂直距离l,从而可以在即使由物品遮挡的情况下，仍然可以准确地确定在每个横坐标上相机与墙面之间的垂直距离，以便基于在每个横坐标上确定出相机与墙面之间的垂直距离，结合在每个横坐标上室内物品的像素纵坐标，可以准确地计算出每个横坐标上室内物品的像素深度值。
在本实施例中，可以基于室内物品的掩膜与地面掩膜之间的豪斯多夫距离判定物品是否放置在地面上，在确定物品放置在地面上以后，可以基于室内物品的像素点坐标，结合物品的垂直距离可以计算出室内物品像素点的深度值，进而可以准确得到室内物品的深度图。
图4为本公开一个实施例中室内深度信息的获取装置的结构框图。如图4所示，在本实施例中，室内深度信息的获取装置，包括：语义分割模块100、第一深度图确定模块200、第二深度图确定模块300、第三深度图确定模块400和合并模块500。
其中，语义分割模块100用于对目标室内全景图进行语义分割，得到目标室内全景图的地面掩膜、天花板掩膜、墙面掩膜和室内物品的掩膜。第一深度图确定模块200用于基于地面掩膜、目标室内全景图的图像宽度和相机距离地面的给定高度和目标室内全景图中的地面区域的像素坐标，确定地面区域的深度图，其中，目标室内全景图是通过相机采集的；第二深度图确定模块300用于基于天花板掩膜、地面掩膜、相机距离地面的给定高度、目标室内全景图的图像宽度、给定的相机与天花板之间的虚拟高度、相机与墙面之间的给定垂直距离，以及目标室内全景图中的天花板区域的像素坐标，确定天花板区域的深度图；第三深度图确定模块400用于基于墙面掩膜、地面掩膜、天花板掩膜和目标室内全景图中的墙面区域的像素坐标，确定墙面区域的深度图；合并模块500用于对地面区域的深度图、天花板区域的深度图和墙面区域的深度图进行合并处理，得到目标室内全景深度图。
在本公开一个实施例中，室内深度信息的获取装置还包括：
第四深度图确定模块，用于基于室内物品的掩膜、地面掩膜和目标室内全景图中的室内物品的像素坐标，确定室内物品的深度图。其中，室内物品的掩膜是对目标室内全景图进行语义分割得到的。
合并模块500具体用于对地面区域的深度图、天花板区域的深度图、墙面区域的深度图和室内物品的深度图进行合并处理，得到目标室内全景深度图。
在本公开的一个实施例中，第一深度图确定模块200用于对目标室内全景图进行球面映射，得到目标球面图，进而基于地面掩膜、目标室内全景图与目标球面图之间的映射关系、相机距离地面的给定高度和地面区域的像素坐标，以及目标室内全景图的图像宽度进行深度计算，得到地面区域的深度图。
在本公开的一个实施例中，第二深度图确定模块300用于根据天花板掩膜、目标室内全景图的图像宽度，以及相机与天花板之间的虚拟高度进行深度计算，得到天花板区域的虚拟深度图；第二深度图确定模块300还用于基于天花板掩膜、地面掩膜、相机距离地面的给定高度、以及相机与墙面之间的给定垂直距离，确定虚拟高度与真实高度之间的变换尺度；第二深度图确定模块300还用于基于变换尺度对天花板区域的虚拟深度图进行尺度调整，得到天花板区域的深度图。
在本公开的一个实施例中，第二深度图确定模块300用于获取目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，进而对目标室内全景图在多个横坐标上的变换尺度进行最近邻聚类处理，得到虚拟高度与真实高度之间的变换尺度。其中，目标室内全景图上设置有该平面坐标系。
在本公开的一个实施例中，第二深度图确定模块300用于在多个横坐标中选择一个横坐标，通过预设的变换尺度获取方式得到目标室内全景图在选择的横坐标上的变换尺度，进而对多个横坐标中除了选择的横坐标以外的剩余横坐标，通过预设的变换尺度获取方式得到目标室内全景图在剩余横坐标上的变换尺度；
其中，预设的变换尺度获取方式，包括：
基于天花板掩膜在选择的横坐标上对应像素的深度信息确定第一目标像素点坐标，并基于地面掩膜在选择的横坐标上对应像素的深度信息确定第二目标像素点坐标，其中，第一目标像素点坐标为在选择的横坐标上天花板与墙面的交界点的坐标，第二目标像素点坐标为在选择的横坐标上地面与墙面的交界点的坐标；
基于第一目标像素点坐标、相机距离地面的给定高度和相机与墙面之间的给定垂直距离，确定相机与第一目标像素点坐标之间的垂直距离，其中，相机与第一目标像素点坐标之间的垂直距离为相机在地面的投影点与第一目标像素在地面的投影点之间的距离；
基于第二目标像素点坐标、相机距离地面的给定高度和相机与墙面之间的给定垂直距离，确定相机与第二目标像素点坐标之间的垂直距离，其中，相机与第二目标像素点坐标之间的垂直距离为相机在地面的投影点与第二目标像素点在地面的投影点之间的距离；
基于相机与第一目标像素点坐标之间的垂直距离，以及相机与第二目标像素点坐标之间的垂直距离，确定在选择的横坐标上的变换尺度。
在本公开的一个实施例中，第三深度图确定模块400用于基于地面掩膜和天花板掩膜，确定在目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，其中，第三目标像素点坐标为天花板与墙面的交界点的像素坐标，第四目标像素点坐标为地面与墙面的交界点的像素坐标；第三深度图确定模块400还用于基于在目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，确定在目标室内全景图的多个横坐标上，相机与第三目标像素点坐标之间的垂直距离以及相机与第四目标像素点坐标之间的垂直距离；第三深度图确定模块400还用于对在目标室内全景图的多个横坐标上，相机与第三目标像素点坐标之间的垂直距离以及相机与第四目标像素点坐标之间的垂直距离进行取最大值处理，确定在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离；第三深度图确定模块400还用于基于在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离，以及墙面掩膜进行深度计算，得到墙面区域的深度图。
在本公开的一个实施例中，第四深度图确定模块用于基于室内物品的掩膜和地面掩膜之间的豪斯多夫距离，确定室内物品的放置位置；第四深度图确定模块还用于若基于室内物品的放置位置确定室内物品放置在地面上，则基于地面掩膜，确定在目标室内全景图的多个横坐标上的第五目标像素点坐标，其中，第五目标像素点坐标为地面与墙面的交界点的像素坐标；第四深度图确定模块还用于基于在目标室内全景图的多个横坐标上的第五目标像素点坐标，确定在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离；第四深度图确定模块还用于基于在目标室内全景图的多个横坐标上，相机与墙面之间的垂直距离，以及室内物品的像素坐标，确定室内物品的深度图。
需要说明的是，本公开实施例的室内深度信息的获取装置的具体实施方式与本公开实施例的室内深度信息的获取方法的具体实施方式类似，具体参见室内深度信息的获取方法部分的描述，为了减少冗余，不作赘述。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的室内深度信息的获取方法。
图5为本公开电子设备一个应用实施例的结构示意图。下面，参考图5来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图5所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的室内深度信息的获取方法以及/或者其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线***和/或其他形式的连接机构（未示出）互连。
此外，该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
本公开的实施例还公开一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的室内深度信息的获取方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以包括计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的室内深度信息的获取方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种室内深度信息的获取方法，其特征在于，包括：
对目标室内全景图进行语义分割，得到所述目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜；
对所述目标室内全景图进行球面映射，得到目标球面图；基于所述地面掩膜、所述目标室内全景图与所述目标球面图之间的映射关系、所述相机距离地面的给定高度和所述地面区域的像素坐标，以及所述目标室内全景图的图像宽度进行深度计算，得到所述地面区域的深度图，其中，所述目标室内全景图是通过所述相机采集的；
根据所述天花板掩膜、所述目标室内全景图的图像宽度、所述相机与天花板之间的虚拟高度，以及所述天花板区域的像素坐标进行深度计算，得到所述天花板区域的虚拟深度图；基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度；基于所述变换尺度对所述天花板区域的虚拟深度图进行尺度调整，得到所述天花板区域的深度图；
基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的墙面分别与天花板和地面之间的交界点的像素坐标；基于所述交界点的像素坐标，确定所述相机与所述交界点的像素坐标之间的垂直距离；基于所述相机与所述交界点的像素坐标之间的垂直距离，确定所述相机与墙面之间的垂直距离；基于所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图；
对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图。
2.根据权利要求1所述的室内深度信息的获取方法，其特征在于，在所述对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图之前，还包括：
基于室内物品的掩膜、所述地面掩膜和所述目标室内全景图中的室内物品的像素坐标，确定所述室内物品的深度图，其中，所述室内物品的掩膜是对所述目标室内全景图进行语义分割得到的；
其中，所述对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图，包括：
对所述地面区域的深度图、所述天花板区域的深度图、所述墙面区域的深度图和所述室内物品的深度图进行合并处理，得到目标室内全景深度图。
3.根据权利要求1所述的室内深度信息的获取方法，其特征在于，所述基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度，以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度，包括：
获取所述目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，其中，所述目标室内全景图上设置有所述平面坐标系；
对所述目标室内全景图在多个横坐标上的变换尺度进行最近邻聚类处理，得到所述虚拟高度与真实高度之间的变换尺度。
4.根据权利要求3所述的室内深度信息的获取方法，其特征在于，所述获取所述目标室内全景图在预先设置的平面坐标系的多个横坐标上的变换尺度，包括：
在所述多个横坐标中选择一个横坐标，通过预设的变换尺度获取方式得到所述目标室内全景图在选择的横坐标上的变换尺度；
对所述多个横坐标中除了所述选择的横坐标以外的剩余横坐标，通过所述预设的变换尺度获取方式得到所述目标室内全景图在所述剩余横坐标上的变换尺度；
其中，所述预设的变换尺度获取方式，包括：
基于所述天花板掩膜在选择的横坐标上对应像素的深度信息确定第一目标像素点坐标，并基于所述地面掩膜在选择的横坐标上对应像素的深度信息确定第二目标像素点坐标，其中，所述第一目标像素点坐标为在选择的横坐标上天花板与墙面的交界点的像素坐标，所述第二目标像素点坐标为在选择的横坐标上地面与墙面的交界点的像素坐标；
基于所述第一目标像素点坐标、所述相机距离地面的给定高度和所述相机与墙面之间的给定垂直距离，确定所述相机与所述第一目标像素点坐标之间的垂直距离，其中，所述相机与所述第一目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第一目标像素点在地面的投影点之间的距离；
基于所述第二目标像素点坐标、所述相机距离地面的给定高度和所述相机与墙面之间的给定垂直距离，确定所述相机与所述第二目标像素点坐标之间的垂直距离，其中，所述相机与所述第二目标像素点坐标之间的垂直距离为所述相机在地面的投影点与所述第二目标像素点在地面的投影点之间的距离；
基于所述相机与所述第一目标像素点坐标之间的垂直距离，以及所述相机与所述第二目标像素点坐标之间的垂直距离，确定在选择的横坐标上的变换尺度。
5.根据权利要求1或3所述的室内深度信息的获取方法，其特征在于，所述基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的墙面分别与天花板和地面之间的交界点的像素坐标；基于所述交界点的像素坐标，确定所述相机与所述交界点的像素坐标之间的垂直距离；基于所述相机与所述交界点的像素坐标之间的垂直距离，确定所述相机与墙面之间的垂直距离；基于所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图，包括：
基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，其中，所述第三目标像素点坐标为天花板与墙面的交界点的像素坐标，所述第四目标像素点坐标为地面与墙面的交界点的像素坐标；
基于在所述目标室内全景图的多个横坐标上的第三目标像素点坐标和第四目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离；
对在所述目标室内全景图的多个横坐标上，所述相机与所述第三目标像素点坐标之间的垂直距离以及所述相机与所述第四目标像素点坐标之间的垂直距离进行取最大值处理，确定在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离；
基于在所述目标室内全景图的多个横坐标上，所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图。
6.根据权利要求2所述的室内深度信息的获取方法，其特征在于，所述基于室内物品的掩膜、所述地面掩膜和所述目标室内全景图中的室内物品的像素坐标，确定所述室内物品的深度图，包括：
基于所述室内物品的掩膜和所述地面掩膜之间的豪斯多夫距离，确定所述室内物品的放置位置；
若基于所述室内物品的放置位置确定所述室内物品放置在地面上，则基于所述地面掩膜，确定在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，其中，所述第五目标像素点坐标为地面与墙面的交界点的像素坐标；
基于在所述目标室内全景图的多个横坐标上的第五目标像素点坐标，确定在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离；
基于在所述目标室内全景图的多个横坐标上，所述相机与室内物品之间的垂直距离，以及所述室内物品的像素坐标，确定所述室内物品的深度图。
7.一种室内深度信息的获取装置，其特征在于，包括：
语义分割模块，用于对目标室内全景图进行语义分割，得到所述目标室内全景图的地面掩膜、天花板掩膜和墙面掩膜；
第一深度图确定模块，用于基于所述地面掩膜、所述目标室内全景图的图像宽度、相机距离地面的给定高度和所述目标室内全景图中的地面区域的像素坐标，确定所述地面区域的深度图，其中，所述目标室内全景图是通过所述相机采集的；
第二深度图确定模块，用于基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、所述目标室内全景图的图像宽度、给定的所述相机与天花板之间的虚拟高度、所述相机与墙面之间的距离，以及所述目标室内全景图中的天花板区域的像素坐标，确定所述天花板区域的深度图；
第三深度图确定模块，用于基于所述墙面掩膜、所述地面掩膜、所述天花板掩膜和所述目标室内全景图中的墙面区域的像素坐标，确定所述墙面区域的深度图；
合并模块，用于对所述地面区域的深度图、所述天花板区域的深度图和所述墙面区域的深度图进行合并处理，得到目标室内全景深度图；
其中，所述第一深度图确定模块用于对所述目标室内全景图进行球面映射，得到目标球面图；所述第一深度图确定模块还用于基于所述地面掩膜、所述目标室内全景图与所述目标球面图之间的映射关系、所述相机距离地面的给定高度和所述地面区域的像素坐标，以及所述目标室内全景图的图像宽度进行深度计算，得到所述地面区域的深度图；
其中，所述第二深度图确定模块用于根据所述天花板掩膜、所述目标室内全景图的图像宽度、所述相机与天花板之间的虚拟高度，以及所述天花板区域的像素坐标进行深度计算，得到所述天花板区域的虚拟深度图；所述第二深度图确定模块还用于基于所述天花板掩膜、所述地面掩膜、所述相机距离地面的给定高度、以及所述相机与墙面之间的给定垂直距离，确定所述虚拟高度与真实高度之间的变换尺度；所述第二深度图确定模块还用于基于所述变换尺度对所述天花板区域的虚拟深度图进行尺度调整，得到所述天花板区域的深度图；
其中，所述第三深度图确定模块用于基于所述地面掩膜和所述天花板掩膜，确定在所述目标室内全景图的墙面分别与天花板和地面之间的交界点的像素坐标；基于所述交界点的像素坐标，确定所述相机与所述交界点的像素坐标之间的垂直距离；基于所述相机与所述交界点的像素坐标之间的垂直距离，确定所述相机与墙面之间的垂直距离；基于所述相机与墙面之间的垂直距离，以及所述墙面区域的像素坐标进行深度计算，得到所述墙面区域的深度图。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-6任一所述的室内深度信息的获取方法。
CN202111584698.2A 2021-12-23 2021-12-23 室内深度信息的获取方法、装置和可读存储介质 Active CN113989376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111584698.2A CN113989376B (zh) 2021-12-23 2021-12-23 室内深度信息的获取方法、装置和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111584698.2A CN113989376B (zh) 2021-12-23 2021-12-23 室内深度信息的获取方法、装置和可读存储介质

Publications (2)

Publication Number Publication Date
CN113989376A CN113989376A (zh) 2022-01-28
CN113989376B true CN113989376B (zh) 2022-04-26

Family

ID=79734045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111584698.2A Active CN113989376B (zh) 2021-12-23 2021-12-23 室内深度信息的获取方法、装置和可读存储介质

Country Status (1)

Country Link
CN (1) CN113989376B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612544B (zh) * 2022-03-11 2024-01-02 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN116542659B (zh) * 2023-04-10 2024-06-04 北京城市网邻信息技术有限公司 资源分配方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337072B (zh) * 2013-06-19 2016-02-10 北京航空航天大学 一种基于纹理与几何属性联合模型的室内对象解析方法
CN103914875B (zh) * 2014-04-17 2016-07-06 中国科学院深圳先进技术研究院 室内场景的功能性建模方法
CN104077611B (zh) * 2014-07-14 2017-06-09 南京原觉信息科技有限公司 类地重力场环境下室内场景单目视觉空间识别方法
CN104732587B (zh) * 2015-04-14 2019-02-01 中国科学技术大学 一种基于深度传感器的室内3d语义地图构建方法
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN109816768B (zh) * 2017-11-21 2024-04-26 百度在线网络技术（北京）有限公司 一种室内重建方法、装置、设备和介质
CN107862738B (zh) * 2017-11-28 2019-10-11 武汉大学 一种基于移动激光测量点云进行室内结构化三维重建方法
CN110349247B (zh) * 2018-04-08 2022-10-14 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN109147030B (zh) * 2018-07-05 2020-06-30 厦门大学 基于线特征的室内外场景联合建模方法
CN110197529B (zh) * 2018-08-30 2022-11-11 杭州维聚科技有限公司 室内空间三维重建方法
CN109887082A (zh) * 2019-01-22 2019-06-14 武汉大学 一种基于点云数据的室内建筑三维建模方法及装置
CN110009727B (zh) * 2019-03-08 2023-04-18 深圳大学 一种具有结构语义的室内三维模型自动重构方法及***
CN111080804B (zh) * 2019-10-23 2020-11-06 贝壳找房(北京)科技有限公司 三维图像生成方法及装置
CN110782524B (zh) * 2019-10-25 2023-05-23 重庆邮电大学 基于全景图的室内三维重建方法
CN111445518B (zh) * 2020-03-25 2023-04-18 如你所视(北京)科技有限公司 图像转换方法和装置、深度图预测方法和装置
CN111161336B (zh) * 2019-12-18 2021-01-29 北京城市网邻信息技术有限公司 三维重建方法、三维重建装置和计算机可读存储介质
CN111915730B (zh) * 2020-07-20 2023-05-19 北京建筑大学 一种顾及语义从点云自动生成室内三维模型的方法及***
CN111986086B (zh) * 2020-08-27 2021-11-09 贝壳找房(北京)科技有限公司 三维图像优化生成方法及***

Also Published As

Publication number Publication date
CN113989376A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN111815755B (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN113989376B (zh) 室内深度信息的获取方法、装置和可读存储介质
CN109523581B (zh) 一种三维点云对齐的方法和装置
WO2017092251A1 (zh) 实时虚拟场景中圆柱碰撞体与凸体碰撞探测的方法、终端和存储介质
JP4916548B2 (ja) 画像のドミナントライン（ｄｏｍｉｎａｎｔｌｉｎｅ）の確定及び使用
US10957062B2 (en) Structure depth-aware weighting in bundle adjustment
CN114399597B (zh) 场景空间模型的构建方法、装置以及存储介质
CN111563950A (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
WO2022237026A1 (zh) 平面信息检测方法及***
CN112734827B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
CN112037279B (zh) 物品位置识别方法和装置、存储介质、电子设备
CN111415420A (zh) 空间信息确定方法、装置及电子设备
US20240202975A1 (en) Data processing
JP2023172893A (ja) 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体
JP2024508024A (ja) 画像データの処理方法及び装置
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
CN112465971B (zh) 模型中点位的引导方法和装置、存储介质、电子设备
CN114066999A (zh) 基于三维建模的目标定位***及方法
CN113592706A (zh) 调整单应性矩阵参数的方法和装置
CN113724332B (zh) 相机相对位姿的确定方法、电子设备和存储介质
WO2022041119A1 (zh) 三维点云处理方法及装置
CN112328150B (zh) 自动截图方法、装置以及设备、存储介质
CN112184662B (zh) 应用于无人机图像拼接中的相机外参数初始方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant