CN113269877A - 获取房间布局平面图的方法和电子设备 - Google Patents

获取房间布局平面图的方法和电子设备 Download PDF

Info

Publication number
CN113269877A
CN113269877A CN202110573320.6A CN202110573320A CN113269877A CN 113269877 A CN113269877 A CN 113269877A CN 202110573320 A CN202110573320 A CN 202110573320A CN 113269877 A CN113269877 A CN 113269877A
Authority
CN
China
Prior art keywords
electronic device
determining
pixel
pixel points
boundary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110573320.6A
Other languages
English (en)
Other versions
CN113269877B (zh
Inventor
刘娟
王华鑫
尹锡彦
吴龙海
陈洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202110573320.6A priority Critical patent/CN113269877B/zh
Publication of CN113269877A publication Critical patent/CN113269877A/zh
Priority to EP22811493.0A priority patent/EP4298610A1/en
Priority to PCT/KR2022/005776 priority patent/WO2022250300A1/en
Priority to US17/748,378 priority patent/US20220383635A1/en
Application granted granted Critical
Publication of CN113269877B publication Critical patent/CN113269877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种获取房间布局平面图的方法和电子设备，所述方法包括：获取房间内部的深度图以及二维图像；在获取的二维图像中识别天花板与墙壁的交界线；根据第一预设规则确定所述交界线上的像素点中的有效像素点；识别房间内的电子装置并确定电子装置的位置；通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间布局平面图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。

Description

获取房间布局平面图的方法和电子设备
技术领域
本申请涉及数据处理技术领域，更具体地，涉及一种获取房间布局平面图的方法和电子设备。
背景技术
随着越来越多的物联网(IoT)设备被应用在日常生活中，如何方便的管理这些IoT设备变得越来越重要。目前现有室内定位技术大都通过终端接收到的IoT设备的信号(wifi信号和/或蓝牙信号)的强弱来判断IoT设备相对于终端的位置，例如三星电视中的DigitalButler应用可以使得用户通过电视可视地管理房间内的IoT设备(例如，空调、冰箱、洗衣机等)，但是这些IoT设备以同心圆的方式显示在电视屏幕上，例如，参照图5所示的三星Digital Butler应用界面，当同一类型的设备在多个房间都出现的时候，由于电视上显示的IoT设备的相对位置可能与IoT设备在房间中的真实相对位置存在较大差别，用户可能无法准确地分辨各个房间中的IoT设备，从而会给用户带来不好的操作体验。
发明内容
本发明的目的在于提供一种获取房间布局平面图的方法和电子设备，以准确地绘制房间布局平面图，使得在房间布局平面图中准确地反映IoT设备在房间中的真实相对位置，使得用户可方便地对IoT设备进行控制，从而提高用户的操作体验。
根据本公开的实施例，提供了一种获取房间布局平面图的方法，所述方法包括：获取房间内部的深度图以及二维图像；在获取的二维图像中识别天花板与墙壁的交界线；根据第一预设规则确定所述交界线上的像素点中的有效像素点；识别房间内的电子装置并确定电子装置的位置；通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。
根据本公开的实施例，通过准确地确定房间中天花板与墙壁的交界线，可以绘制更精确到房间布局平面图，并且使得电子装置在房间布局平面图中的相对位置更加真实地反映电子装置在房间中的实际相对位置。
可选地，根据第一预设规则确定所述交界线上的像素点中的有效像素点的步骤包括：基于所述深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及交界线附近的像素点对应的实际点的三维坐标，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点；根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中；顺序确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值；当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点；当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点，其中，当当前像素点对应的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效像素点作为与当前像素点相邻的像素点，其中，已经被确定为有效像素点的像素点不被确定为无效像素点。
可选地，识别房间内的电子装置并确定电子装置的位置的步骤包括：判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于或等于第二阈值；响应于确定所述距离大于或等于第二阈值，确定当前识别的电子装置为新的电子装置；响应于确定所述距离小于第二阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
可选地，识别房间内的电子装置并确定电子装置的位置的步骤还包括：响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将所述同一电子装置的最新确定的坐标作为所述同一电子装置的坐标。
可选地，所述方法还包括：识别房间内的家具和所述家具的位置，通过将所述家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。
根据本公开的实施例，提供了一种控制电子装置的方法，所述方法包括：在电子终端上显示由如上所述的获取房间布局平面图的方法确定的房间布局平面图；建立电子终端与所述电子装置之间的通信，其中，与所述电子装置相应的所述图标用于控制所述电子装置。
根据本公开的实施例，提供了一种获取房间布局平面图的电子设备，所述电子设备包括：图像获取单元，被配置为获取房间内部的深度图以及二维图像；识别单元，被配置为在获取的二维图像中识别天花板与墙壁的交界线；确定单元，被配置为根据第一预设规则确定所述交界线上的像素点中的有效像素点；识别确定单元，被配置为识别房间内的电子装置并确定电子装置的位置；生成单元，被配置为通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。
可选地，确定单元被配置为：基于所述深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及交界线附近的像素点对应的实际点的三维坐标，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点；根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中；顺序确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值；当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点；当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点，其中，当当前像素点的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效像素点作为与当前像素点相邻的像素点，其中，已经被确定为有效像素点的像素点不被确定为无效像素点。
可选地，识别确定单元被配置为：判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于或等于第二阈值；响应于确定所述距离大于或等于第二阈值，确定当前识别的电子装置为新的电子装置；响应于确定所述距离小于第二阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
可选地，识别确定单元还被配置为：响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将所述同一电子装置的最新确定的坐标作为所述同一电子装置的坐标。
可选地，识别确定单元还被配置为：识别房间内的家具和并确定所述家具的位置。
可选地，生成单元还被配置为：通过将所述家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。
根据本公开的实施例，提供了一种控制电子装置的电子终端，所述电子终端包括：显示单元，被配置为显示由如上所述的获取房间布局平面图的方法确定的房间布局平面图；通信单元，建立电子终端与所述电子装置之间的通信，其中，与所述电子装置相应的所述图标用于控制所述电子装置。
根据本公开的实施例，提供了一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现如上所述的获取房间布局平面图的方法。
根据本公开的实施例，提供了一种电子设备，其中，所述电子设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现上所述的获取房间布局平面图的方法。
附图说明
通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
图1是示出根据本公开的实施例的获取房间布局平面图的方法的流程图；
图2是示出识别图像中的天花板和墙壁的交界线的示例的示意图；
图3是示出根据本公开的实施例的根据第一预设规则确定交界线上的像素点中的有效像素点的流程图；
图4示出了根据本公开的实施例的获取房间布局平面图的电子设备400的框图；
图5是三星Digital Butler应用界面的示例的示图；
图6是示出根据本公开的示例性实施例的一种用于获取房间布局平面图的电子设备的结构框图。
具体实施方式
在下文中，参照附图对本公开的各种实施例进行描述，其中，相同的标号用于表示相同或相似的元件、特征和结构。然而，不旨在由本文所述的各种实施例将本公开限制于具体实施例，并且旨在于：本公开覆盖本公开的所有修改、等同物和/或替代物，只要它们在所附权利要求及其等同物的范围内。在以下说明书和权利要求书中使用的术语和词语不限于它们的词典含义，而是仅被用于使得能够清楚和一致地理解本公开。因此，对于本领域技术人员应显而易见的是：提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求和它们的等同物限定的本公开的目的。
应理解，除非上下文另外明确指出，否则单数形式包括复数形式。本文使用的术语“包括”、“包含”和“具有”指示公开的功能、操作或元件的存在，但不排除其它功能、操作或元件。
例如，表述“A或B”、或“A和/或B中的至少一个”可指示A和B、A或者B。例如，表述“A或B”或“A和/或B中的至少一个”可指示(1)A、(2)B或(3)A和B两者。
在本公开的各种实施例中，意图是：当组件(例如，第一组件)被称为与另一组件(例如，第二组件)“耦接”或“连接”或者被“耦接”或者“连接”到另一组件(例如，第二组件)时，所述组件可被直接连接到所述另一组件，或者可通过另一组件(例如，第三组件)被连接。相比之下，当组件(例如，第一组件)被称为与另一组件(例如，第二组件)“直接耦接”或“直接连接”或者被直接耦接到或直接连接到另一组件(例如，第二组件)时，在所述组件和所述另一组件之间不存在另一组件(例如，第三组件)。
在描述本公开的各种实施例中使用的表述“被配置为”可以例如根据情况与诸如“适用于”、“具有…的能力”、“被设计为”、“适合于”、“被制造为”和“能够”的表述互换使用。术语“被配置为”可不一定指示按照硬件“被专门设计为”。相反，在一些情况下的表述“被配置为...的装置”可指示所述装置和另一装置或者部分“能够…”。例如，表述“被配置为执行A、B和C的处理器”可指示用于执行相应操作的专用处理器(例如，嵌入式处理器)或用于通过执行存储在存储器装置中的至少一个软件程序来执行相应的操作的通用处理器(例如，中央处理单元CPU或应用处理器(AP))。
本文使用的术语在于描述本公开的某些实施例，但并不旨在限制其它实施例的范围。除非本文另外指出，否则本文使用的所有术语(包括技术或科学术语)可具有与本领域技术人员通常理解的含义相同含义。通常，词典中定义的术语应被视为具有与相关领域中的上下文含义相同的含义，并且，除非本文明确地定义，否则不应被不同地理解或被理解为具有过于正式的含义。在任何情况下，本公开中定义的术语也不旨在被解释为排除本公开的实施例。
图1是示出根据本公开的实施例的获取房间布局平面图的方法的流程图。
参照图1，在步骤S101，获取房间内部的深度图以及二维图像。
作为示例，可以通过相机或包括相机的电子装置获取房间内部的深度图以及二维图像。通过获取的房间内部的深度图以及二维图像，可以确定房间内部对象的三维坐标。由于基于对象的深度图和二维图像确定对象的三维坐标为公知的现有技术，在此不做赘述。
在步骤S102，识别获取的二维图像中天花板与墙壁的交界线。
作为示例，可以通过训练好的神经网络模型来识别二维图像中的天花板与墙壁的交界线。例如，通过将包括天花板与墙壁的交界线的图片训练神经网络模型，使得网络模型能够准确地确定图片中的天花板与墙壁的交界线。本领域技术人员应当理解，在获取的二维图像中确定交界线，即确定二维图像中的哪些像素代表天花板与墙壁的交界线。
作为示例，可以仅获取天花板与墙壁交接线以及交接线附近位置的深度图和二维图像。例如，可以利用相机仅拍摄天花板与墙壁的交界线区域的二维图像和深度图，而无需获取房间内部的全景二维图像和深度图。
图2是示出识别图像中的天花板和墙壁的交界线的示例的示意图。
参照图2，图2中的(a)为获取的包括天花板与墙壁交界区域的房间内部的二维图像，通过将获得房间内部的二维图像输入训练好的神经网络模型，可以确定如图2中的(b)所示的二维图像中的交界线。
继续参照图1，在步骤S103，根据第一预设规则确定所述交界线上的像素点中的有效像素点。
由于交界线是基于二维图像识别出来的，因此，与识别出的交界线上的像素点相应的实际点可能并不在天花板与墙壁的交界处，因此，需要对识别的交界线上的像素点进行筛选，以确定识别出的交界线上的像素点中的对应的实际点在天花板和墙壁的交界处的像素点，将这样的像素点作为有效像素点。
图3是示出根据本公开的实施例的根据第一预设规则确定交界线上的像素点中的有效像素点的流程图。
参照图3，在步骤S301，基于深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及交界线附近的像素点对应的实际点的三维坐标，，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点。如前所述，通过深度图以及每个像素点在二维图像中的坐标即可获得每个像素点对应的真实点的三维坐标。
在步骤S302，根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中。作为示例，第二预设规则可以是在距离所述每个像素点对应的实际点预定距离范围内随机选择两个实际点。本领域人员应当理解，第二预设规则不限于此，例如，可以选择所述预定距离范围内的预定方向上的两个点。
在步骤S303，顺序确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值。
为了便于说明，以交界线上的顺序排列的第一像素点、第二像素点、第三像素点以及第四像素点为例进行说明。
可确定与第一像素点、第二像素点、第三像素点以及第四像素点分别相应的第一平面、第二平面、第三平面和第四平面，并确定第一平面、第二平面、第三平面和第四平面的各自的方向。例如，对于第一像素点，确定第一像素点对应的实际点的三维坐标，选择距离与第一像素对应的实际点预定距离内的两个实际点，与第一像素对应的实际点以及选择两个实际点构成的平面即为第一平面，通过这三个实际点的坐标即可确定第一平面的方向。其它像素对应的平面以及平面的方向可通过类似的方式确定。
在步骤S304，当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点。例如，若第一方向和第二方向之间的差值小于或等于阈值，则第一像素点和第二像素点为有效像素点；若第三方向与第二方向的差值小于或等于阈值，则第二像素点和第三像素点为有效像素点。
在步骤S305，当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点。例如，若第一方向和第二方向之间的差值大于阈值，则确定第一像素点和第二像素点为无效像素点；若第三方向与第二方向的差值大于阈值，则第二像素点和第三像素点为无效像素点。
作为示例，当当前像素点的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效像素点作为与当前像素点相邻的像素点，已经被确定为有效像素点的像素点不被确定为无效像素点。
例如，若第一方向和第二方向之间的差值小于或等于阈值，并且第三方向与第二方向之间的差值大于阈值，则仅将第三像素点确定为无效像素点，因为第一像素点和第二像素点已经被确定为了有效像素点。
例如，若第一像素点和第二像素点被确定为有效像素点，第三像素点被确定为无效像素点时，将第二像素点确定为第四像素点邻近的像素点，确定第四像素点对应的第四平面的方向与第二方向的差值是否小于或等于阈值，若是，则第四像素点为有效像素点，若否，则第四像素点为无效像素点。
根据该实施例所述的第一预设规则，可以确定识别出的交界线上的所有有效像素点。本领域技术人员应当理解，该实施例所述的第一预设规则仅是示例，可以基于任何合适的规则来对交界线上的像素点进行筛选。
再次返回图1，在步骤S104，识别房间内的电子装置并确定电子装置的位置。
作为示例，可通过电子终端识别房间内的电子装置并基于SLAM定位技术确定电子装置的位置。作为示例，可基于训练好的物体识别神经网络识别房间内的电子装置，物体识别技术以及SLAM定位技术为公知的现有技术，在此不做赘述。
作为示例，在通过电子终端识别房间内的电子装置时，可在电子终端的屏幕上显示识别出的电子装置的类型(例如，电视、冰箱、洗衣机等)，用户可通过屏幕确定识别结果是否正确、修改识别结果或者为识别出的电子装置添加备注信息。
作为示例，除了识别房间内的电子装置并确定电子装置的位置之外，还可以识别房间内家具并确定家具的位置。作为示例，房间内的电子装置包括诸如电视、冰箱、吸尘器等的家用电器，家具包括诸如床、沙发、椅子等不具有电子功能的物体。在步骤S105，通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。也就是说，房间布局平面图为有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标的俯视图。
作为示例，还可以将家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。这样，由于房间布局平面图中也包括家具的图标，因此获取到的房间布局平面图使能用户能够方便地知晓电子装置和/或家具在房间内的相对位置。
本领域技术人员应当理解，获取房间内部深度图和二维图像的所采用的坐标系应当与确定房间内的电子装置和/或家具的位置采用的坐标系一致。当不一致时，应当将两个坐标系进行统一，然后基于统一后的实际点的三维坐标获取房间布局的平面图。例如，将交接线上的实际点坐标以及电子装置和/或家具的位置的左边变换为全局坐标系下的坐标。
作为示例，判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于阈值；响应于确定所述距离大于或等于阈值，确定当前识别的电子装置为新的电子装置；响应于确定所述距离小于阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
作为示例，判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；响应于已经识别出的电子装置不包括与当前识别出的电子装置的类型相同类型的电子装置，可确定当前识别出的装置为新的电子装置。
作为示例，响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将当前识别出的电子装置的坐标作为所述同一电子装置的坐标。也就是说，将同一电子装置的最新确定的坐标作为该电子装置的坐标。
以上实施例给出了如何区分当前识别的电子装置是新的电子装置还是之前已经识别出的电子装置的示例，针对家具的识别，可以以类似的方式确定当前识别出的家具是新的家具还是之前已经识别出的家具。
作为示例，可在电子终端上显示由如上所述的方法确定的房间布局平面图；建立电子终端与所述电子装置之间的通信，其中，与所述电子装置相应的图标用于控制所述电子装置。也就说，可将房间布局平面图上的用于表示电子装置的位置和类型的图标建立与电子装置的关联，基于建立的电子终端与电子装置之间的通信，通过对图标执行相应的操作来控制电子装置。作为示例，可以在获取到的户型布局平面图中添加新的设备(例如，家用电器和/或家具)。例如，确定新设备的类型和位置，基于新设备的位置的坐标将表示新设备的类型和位置的图标显示在房间布局户型图中。作为示例，也可以从户型布局平面图中删除与电子装置和/或家具相应的图标。
作为示例，可通过移动终端(例如，手机)拍摄房间中每一面墙的边界线以及房间中的电子装置和/或家具的图片。
在移动终端上显示基于拍摄的图片生成的房间布局平面图。该房间布局平面图可以由手机生成也可以通过将移动终端拍摄的图片发送到服务器，服务器基于拍摄的图片生成房间布局平面图并发送到移动终端。通过建立移动终端与电子装置的通信，可通过房间布局平面中的表示电子装置的图标对电子装置进行控制。
本领域技术人员应当理解，用于对电子装置进行控制的图标与所述电子装置相关联，移动终端响应于用户对所述图标的操作，向电子装置发送控制指令，电子装置根据接收到的控制指令执行相应的操作。
作为示例，可由移动终端将户型布局图发送到其他设备(例如，电视)，通过建立电视与电子装置之间的通信，并将户型布局图中的表示电子装置的图标与电子装置进行关联，可以通过电视对电子装置进行控制。例如，用户正在看电视，发现房间光线太暗，空气干燥，用户可以通过与该房间吊灯相应的图标以及与空气加湿器相应的图标打开吊灯和空气加湿器。本领域技术人员应当理解，通过图标对电子装置进行控制仅是示例，也可以通过其他方式经由显示户型布局图的设备控制房间内的电子装置，例如通过语音。
由于本方案基于天花板与墙壁的交界线确定房间布局平面图，因此，本发明技术方案对于矩形户型以及不规则户型(例如，凹型、L型户型)均可适用。
以上参照图1至图3描述根据本公开的实施例的获取房间布局平面图的方法，下面参照附图4对根据本公开的实施例的获取房间布局平面图的电子设备进行描述。
图4示出了根据本公开的实施例的获取房间布局平面图的电子设备400的框图。
参照图4，电子设备400可包括图像获取单元401、识别单元402、确定单元403、识别确定单元404、生成单元405。本领域技术人员应当理解，电子设备400可另外地包括其他组件，电子设备400中包括组件中的一部分可被组合或者可被拆分，在组合或者拆分前后能够实现相同的功能。
作为示例，图像获取单元401可被配置为获取房间内部的深度图以及二维图像。
识别单元402可被配置为在获取的二维图像中识别天花板与墙壁的交界线。
确定单元403可被配置为根据第一预设规则确定所述交界线上的像素点中的有效像素点。
识别确定单元404可被配置为识别房间内的电子装置并确定电子装置的位置。
识别确定单元404还可被配置为识别房间内的家具并确定家具的位置。
生成单元405可被配置为通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。
生成单元405还可通过将所述家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。作为示例，确定单元403可被配置为：基于所述深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及交界线附近的像素点对应的实际点的三维坐标，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点；根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中；确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值；当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点；当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点，其中，当当前像素点的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效点作为与当前像素点相邻的像素点，其中，已经被确定为有效像素点的像素点不被确定为无效像素点。
作为示例，识别确定单元404可被配置为：判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于或等于第二阈值；响应于确定所述距离大于或等于第二阈值阈值，确定当前识别的电子装置为新的电子装置；响应于确定所述距离小于第二阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
作为示例，识别确定单元404还被配置为：响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将所述同一电子装置的最新确定的坐标作为所述同一电子装置的坐标。
根据本公开的实施例，提供一种控制电子装置的电子终端，所述电子终端包括：显示单元，被配置为显示由如权利要求1所述的方法确定的房间布局平面图；通信单元，建立电子终端与所述电子装置之间的通信，其中，与所述电子装置相应的所述图标用于控制所述电子装置。
根据本公开的实施例，提供了一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现如上所述的获取房间布局平面图的方法。
根据本公开的实施例，提供了一种电子设备，其中，所述电子设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现上所述的获取房间布局平面图的方法。
图6是示出根据本公开的示例性实施例的一种用于获取房间布局平面图的电子设备的结构框图。该电子设备600例如可以是：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本公开的训练回声消除模型和/或消除回声延迟的方法。
在一些实施例中，电子设备600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609。
***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置在电子设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位电子设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源609用于为电子设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的获取房间布局平面图的方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机***上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成获取房间布局平面图的方法。
根据本公开的实施例的获取房间布局平面图的方法、装置、电子设备、计算机可读存储介质能够更准确地绘制房间布局平面图。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种获取房间布局平面图的方法，所述方法包括：
获取房间内部的深度图以及二维图像；
在获取的二维图像中识别天花板与墙壁的交界线；
根据第一预设规则确定所述交界线上的像素点中的有效像素点；
识别房间内的电子装置并确定电子装置的位置；
通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。
2.如权利要求1所述的方法，其中，根据第一预设规则确定所述交界线上的像素点中的有效像素点的步骤包括：
基于所述深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及在交界线附近的像素点对应的实际点的三维坐标，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点；
根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中；
顺序确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值；
当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点；
当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点，
其中，当当前像素点的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效像素点作为与当前像素点相邻的像素点，
其中，已经被确定为有效像素点的像素点不被确定为无效像素点。
3.如权利要求1所述的方法，识别房间内的电子装置并确定电子装置的位置的步骤包括：
判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；
响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于或等于第二阈值；
响应于确定所述距离大于或等于第二阈值，确定当前识别的电子装置为新的电子装置；
响应于确定所述距离小于第二阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
4.如权利要求3所述的方法，其中，识别房间内的电子装置并确定电子装置的位置的步骤还包括：响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将所述同一电子装置的最新确定的坐标作为所述同一电子装置的坐标。
5.如权利要求1所述的方法，还包括：
识别房间内的家具和所述家具的位置，通过将所述家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。
6.一种控制电子装置的方法，所述方法包括：
在电子终端上显示由如权利要求1所述的方法确定的房间布局平面图；
建立电子终端与所述电子装置之间的通信，
其中，与所述电子装置相应的所述图标用于控制所述电子装置。
7.一种获取房间布局平面图的电子设备，所述电子设备包括：
图像获取单元，被配置为获取房间内部的深度图以及二维图像；
识别单元，被配置为在获取的二维图像中识别天花板与墙壁的交界线；
确定单元，被配置为根据第一预设规则确定所述交界线上的像素点中的有效像素点；
识别确定单元，被配置为识别房间内的电子装置并确定电子装置的位置；
生成单元，被配置为通过将有效像素点对应的实际点的三维坐标以及获取的电子装置的位置的三维坐标在水平面上进行投影获取房间布局平面图，其中，所述房间平面布局图包括有效像素点对应的实际点的三维坐标的投影的连线以及用于表示所述电子装置的类型和位置的图标，其中，有效像素点对应的实际点的三维坐标基于所述深度图和所述二维图像确定。
8.如权利要求7所述的电子设备，其中，确定单元被配置为：
基于所述深度图确定所述交界线上的每个像素点对应的实际点的三维坐标以及交界线附近的像素点对应的实际点的三维坐标，其中，在交界线附近的像素点包括在所述二维图像中，其中，在交接线附近的像素点为距离交界线预设距离内的像素点；
根据第二预设规则，针对所述交界线上的每个像素点对应的实际点确定距离所述每个像素点对应的实际点预定距离范围内的两个实际点，并确定由所述每个像素点对应的实际点与确定的所述两个实际点构成的平面的方向，其中，所述两个实际点包括在交界线附近的像素点对应的实际点中；
顺序确定所述交界线上任何相邻的两个像素点分别对应的所述平面的方向之间的差值；
当所述差值小于或等于第一阈值时，确定与所述差值相应的所述交界线上的像素点为有效像素点；
当所述差值大于第一阈值时，确定与所述差值相应的所述交界线上的像素点为无效像素点，
其中，当当前像素点的前一像素点被确定为无效像素点时，将前面被确定为有效像素点中的距离当前像素点最近的有效点作为与当前像素点相邻的像素点，
其中，已经被确定为有效像素点的像素点不被确定为无效像素点。
9.如权利要求7所述的电子设备，识别确定单元被配置为：
判断已经识别出的电子装置中是否包括与当前识别出的电子装置的类型相同类型的电子装置；
响应于已经识别出的电子装置包括与当前识别出的电子装置的类型相同类型的电子装置，确定当前识别出的电子装置的位置与所述相同类型的电子装置之间的距离是否大于或等于第二阈值；
响应于确定所述距离大于或等于第二阈值阈值，确定当前识别的电子装置为新的电子装置；
响应于确定所述距离小于第二阈值，确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置。
10.如权利要求9所述的电子设备，其中，识别确定单元还被配置为：响应于确定当前识别出的电子装置与所述相同类型的电子装置为同一电子装置，将所述同一电子装置的最新确定的坐标作为所述同一电子装置的坐标。
11.如权利要求9所述的电子设备，其中，识别确定单元还被配置为：识别房间内的家具和并确定所述家具的位置，
其中，生成单元还被配置为：通过将所述家具的位置的三维坐标在水平面上进行投影获得所述家具在所述房间布局平面图中的位置，其中，所述房间布局平面图包括用于表示所述家具的类型和位置的图标。
12.一种控制电子装置的电子终端，所述电子终端包括：
显示单元，被配置为显示由如权利要求1所述的方法确定的房间布局平面图；
通信单元，建立电子终端与所述电子装置之间的通信，
其中，与所述电子装置相应的所述图标用于控制所述电子装置。
13.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时实现如权利要求1-5中的任一项所述的获取房间布局平面图的方法。
14.一种电子设备，其中，所述电子设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5中的任一项所述的获取房间布局平面图的方法。
CN202110573320.6A 2021-05-25 2021-05-25 获取房间布局平面图的方法和电子设备 Active CN113269877B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110573320.6A CN113269877B (zh) 2021-05-25 2021-05-25 获取房间布局平面图的方法和电子设备
EP22811493.0A EP4298610A1 (en) 2021-05-25 2022-04-22 A method and an electronic apparatus for acquiring a floor map of a room layout
PCT/KR2022/005776 WO2022250300A1 (en) 2021-05-25 2022-04-22 A method and an electronic apparatus for acquiring a floor map of a room layout
US17/748,378 US20220383635A1 (en) 2021-05-25 2022-05-19 Method and an electronic apparatus for acquiring a floor map of a room layout

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573320.6A CN113269877B (zh) 2021-05-25 2021-05-25 获取房间布局平面图的方法和电子设备

Publications (2)

Publication Number Publication Date
CN113269877A true CN113269877A (zh) 2021-08-17
CN113269877B CN113269877B (zh) 2023-02-21

Family

ID=77232802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573320.6A Active CN113269877B (zh) 2021-05-25 2021-05-25 获取房间布局平面图的方法和电子设备

Country Status (2)

Country Link
CN (1) CN113269877B (zh)
WO (1) WO2022250300A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN116704129A (zh) * 2023-06-14 2023-09-05 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480333A (zh) * 2017-07-12 2017-12-15 深圳市彬讯科技有限公司 一种基于房间拼接的户型绘制方法
CN111984171A (zh) * 2020-07-15 2020-11-24 北京城市网邻信息技术有限公司 一种生成家具移动轨迹的方法和装置
CN112037279A (zh) * 2020-09-04 2020-12-04 贝壳技术有限公司 物品位置识别方法和装置、存储介质、电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254128A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 平面図生成装置及び平面図生成方法
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和***
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
KR20190012599A (ko) * 2017-07-28 2019-02-11 주식회사 엘지유플러스 전자 장치를 제어하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480333A (zh) * 2017-07-12 2017-12-15 深圳市彬讯科技有限公司 一种基于房间拼接的户型绘制方法
CN111984171A (zh) * 2020-07-15 2020-11-24 北京城市网邻信息技术有限公司 一种生成家具移动轨迹的方法和装置
CN112037279A (zh) * 2020-09-04 2020-12-04 贝壳技术有限公司 物品位置识别方法和装置、存储介质、电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN114529566B (zh) * 2021-12-30 2022-11-22 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN116704129A (zh) * 2023-06-14 2023-09-05 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质
CN116704129B (zh) * 2023-06-14 2024-01-30 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113269877B (zh) 2023-02-21
WO2022250300A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
CN110971930B (zh) 虚拟形象直播的方法、装置、终端及存储介质
KR102593824B1 (ko) 카메라를 제어하기 위한 방법 및 그 전자 장치
CN108401124B (zh) 视频录制的方法和装置
CN109246123B (zh) 媒体流获取方法及装置
WO2019242418A1 (zh) 相机定位方法、装置、终端及存储介质
CN112492097B (zh) 音频播放方法、装置、终端及计算机可读存储介质
KR20150092964A (ko) 지문 처리 방법 및 그 전자 장치
CN110134744B (zh) 对地磁信息进行更新的方法、装置和***
CN110740340B (zh) 视频直播方法及装置、存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN113269877B (zh) 获取房间布局平面图的方法和电子设备
CN109618192B (zh) 播放视频的方法、装置、***和存储介质
CN110570465A (zh) 实时定位与地图构建方法、装置及计算机可读存储介质
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN111857793B (zh) 网络模型的训练方法、装置、设备及存储介质
CN111897465A (zh) 弹窗显示方法、装置、设备及存储介质
CN111192072A (zh) 用户分群方法及装置、存储介质
CN108509127B (zh) 启动录屏任务的方法、装置及计算机设备
CN111753606A (zh) 一种智能模型的升级方法及装置
CN110134902B (zh) 资料信息生成方法、装置及存储介质
CN111324293B (zh) 一种存储***、存储数据的方法、读取数据的方法及装置
CN112181915A (zh) 执行业务的方法、装置、终端和存储介质
WO2021218926A1 (zh) 图像显示方法、装置和计算机设备
CN114594885A (zh) 应用图标的管理方法、装置、设备及计算机可读存储介质
CN110471613B (zh) 存储数据的方法、读取数据的方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant