CN114626116A - 建筑空间的模型生成***及模型建构方法 - Google Patents

Abstract

本发明提供一种建筑空间的模型生成***及模型建构方法。取得扫描图像。扫描图像是对建筑空间扫描所生成。识别扫描图像中的标记的识别信息和标记在建筑空间中的位置关系。根据识别信息和位置关系建构建筑空间的三维模型。标记对应于三维模型中的物体。藉此，可快速建模及定位，并可精准辨识物体，且提供家具或电器摆设预览功能。

Description

建筑空间的模型生成***及模型建构方法

技术领域

本发明涉及一种模拟仿真技术，且特别是有关于一种建筑空间的模型生成***及模型建构方法。

背景技术

当今，例如虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)等用于模拟感觉、感知和/或环境的扩展现实(extendedreality，XR)技术受到欢迎。上述技术可应用于多种领域中，例如游戏、军事训练、医疗保健、远程工作等。

又例如，住户打算装潢毛胚屋时，通常无法身历其境，并只能靠着想象来规划格局或安排家具位置。而现有AR技术可帮助用户将沙发或其他家具模型摆放到屋内，以模拟家具摆放情形。然而，若欲进一步预览墙的颜色、地板磁砖的样式、门材质、窗框样式、窗帘样式、天花板崁灯的光线、厨具位置、冷气位置等微调，现有技术仍有困难。

发明内容

本发明是针对一种建筑空间的模型生成***及模型建构方法，结合建模、定位及物体辨识技术，以提供用户更多元化的建筑空间规划功能。

根据本发明的实施例，建筑空间的模型建构方法包括(但不限于)下列步骤：取得扫描图像。扫描图像是对建筑空间扫描所生成。识别扫描图像中的标记的识别信息和标记在建筑空间中的位置关系。根据识别信息和位置关系建构建筑空间的三维模型。标记对应于三维模型中的物体。

根据本发明的实施例，建筑空间的模型生成***包括(但不限于)。图像捕获设备、存储器及处理器。图像捕获设备用以捕获图像。存储器用以存储用于模型生成***的模型建构方法所对应的程序代码。处理器耦接图像捕获设备与存储器，并经配置用以执行程序代码。模型建构方法包括下列步骤：通过图像捕获设备取得扫描图像。扫描图像是对建筑空间扫描所生成。识别扫描图像中的标记的识别信息和标记在建筑空间中的位置关系。根据识别信息和位置关系建构建筑空间的三维模型。标记对应于三维模型中的物体。

基于上述，本发明实施例建筑空间的模型生成***及模型建构方法，根据置于实际建筑空间中的真实标记，通过图像识别得知标记对应物体(例如，墙、门、窗、家具等)的识别信息及其于空间中的所处位置，并据以建构建筑空间的三维模型。藉此，可快速建模及定位。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1为依据本发明实施例的建筑空间的模型生成***的组件方块图；

图2为依据本发明实施例的建筑空间的模型建构方法的流程图；

图3为建筑空间的实例；

图4A及图4B为标记的实例；

图5A及图5B为具方向性的标记的实例。

附图标号说明

100：模型生成***；

110：图像捕获设备；

130：存储器；

150：显示器；

170：处理器；

S210～S250：步骤；

w1～w3：墙；

d1：门；

f1：地板；

m1～m8：标记；

b1、b2：床。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。

图1为依据本发明实施例的建筑空间的模型生成***100的组件方块图。请参照图1，模型生成***100包括但不限于：图像捕获设备110、存储器130、显示器150及处理器170。模型生成***100可以是一台或更多台智能手机、平板、VR/AR眼镜或头戴式显示器(head-mounted display,HMD)等电子装置。

图像捕获设备110可以是单色照相机或彩色照相机、立体照相机、数字摄像机、深度摄影机、飞行时间(Time-of-Flight,ToF)探测器或其他能够捕获图像的传感器。在一实施例中，图像捕获设备110用以捕获图像。

存储器130可以是任何类型的固定的或可移动的随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪速存储器、相似装置或者以上装置的组合。在一实施例中，存储器130用以记录程序代码、装置配置、缓冲数据或永久数据(例如图像数据、物体数据、识别信息、位置关系、三维模型、标记特征、图像捕获设备110的内部参数等)，且稍后将介绍这些数据。

显示器150可以是液晶显示器(liquid-crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器或其他显示器。在一实施例中，显示器150用于显示图像。应注意，在一些实施例中，显示器150可为外部装置(例如智能手机、平板、计算机等)的显示器，且外部装置可放置在头戴式显示器的主体或桌面上。

处理器170耦接图像捕获设备110、存储器130及显示器150，且处理器170被配置成加载并执行存储在存储器130中的程序代码，以执行本发明示例性实施例的过程。

在一些实施例中，处理器170的功能可使用例如中央处理单元(centralprocessing unit，CPU)、微处理器、微控制器、数字信号处理(digital signalprocessing，DSP)芯片、现场可编程门阵列(field programmable gate array，FPGA)等可编程单元来实施。处理器170的功能也可通过独立的电子装置或集成电路(integratedcircuit，IC)来实施，且处理器170的操作也可通过软件来实施。

应注意，处理器170可不与图像捕获设备110和/或显示器150设置在同一设备。然而，分别配备有图像捕获设备110、显示器150及处理器170的设备可进一步包括具有兼容通信技术的通信收发器(例如蓝牙、无线保真(wireless fidelity，Wi-Fi)、红外线(IR)或物理传输线)，以彼此相互传送或接收数据。例如，存储器130及处理器170可能被独立出来而成为运算装置。这运算装置可以是桌面计算机、膝上型电脑、服务器、智能手机、或平板的装置。而图像捕获设备110和显示器150也被独立出来成为另一台电子装置(例如智能手机或平板)，两装置可通过无线或有线方式通信。

下文中，将搭配模型生成***100中的各项组件和模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。

图2为依据本发明实施例的建筑空间的模型建构方法的流程图。请参照图2，处理器170可通过图像捕获设备110取得一张或更多张扫描图像(步骤S210)。具体而言，假设用户将安装有图像捕获设备110的VR/AR眼镜或HMD佩戴在他/她的头部上，或者手持安装有图像捕获设备110的扫描仪。用户可移动或旋转图像捕获设备110，使得图像捕获设备110可朝向指定方向进行捕获，以扫描建筑空间(例如房间、办公室等)，并据生成扫描图像。举例而言，图3为建筑空间的实例。请参照图3，用户可使用像捕获设备110拍摄建筑空间中的墙w1～w3、门d1和地板f1。

在本发明的实施例中，由图像捕获设备110捕捉其视场(field of view，FoV)内真实环境的图像将被称为扫描图像，但并非仅限于此。

在一实施例中，用户可带着图像捕获设备110在建筑空间中任意或根据预设路线走动。

在一些实施例中，如果图像捕获设备110的主体每次旋转某一角度(例如沿x轴、y轴或z轴旋转10度、20度或30度，其中x轴、y轴及z轴彼此垂直)，或者如果每预设时间间隔到期，则处理器170可触发图像捕获设备110捕获场景图像。例如，关于360度虚拟环境的构建，假设每一场景图像的视角远离相邻的场景图像30度。用户可利用图像捕获设备110水平地进行360度旋转，且然后可从图像捕获设备110获得12张或更多张扫描图像。

处理器170可识别扫描图像中的标记的识别信息和标记在建筑空间中的位置关系(步骤S230)。具体而言，标记是印上一个或更多个文字、符号、图案、形状和/或颜色所形成的实体物(例如，纸、塑料板等)。

图4A及图4B为标记的实例。请参照图4A，标记是QR码。请参照图4B，标记是章鱼图案。需说明的是，应用者可自行确定标记的外观。

此外,用户可自行将标记黏贴在建筑空间中的指定位置。值得注意的是，各标记代表一种物体。物体例如是墙、柱、梁、门、窗、家具、家电或其他建筑空间中可能存在的物体。以图3为例，标记m1～m6分别黏贴在墙w1～w3、地板f1和门d1上。

在一实施例中，标记的识别信息包括物体类型和/或编号。物体类型即是标记所放置物体的类型。物体类型例如是墙、柱、梁、门、窗、家具、家电等。处理器170可解译标记的外观以识别物体类型。标记的外观可能是由文字、符号、图案、形状和/或颜色所形成。而编号可用于区别相同物体类型的多个物体。不同外观可代表不同物体类型和/或编号。以图3为例，对应于墙w1～w3的标记m1～m3的外观不同。或者，不同的墙面，需要贴不同的标记，例如，客厅墙贴“墙1”的标记m1，主卧贴“墙2”的标记m2。以图4A及图4B为例，QR码用于墙w1，章鱼图案或其他动物图案用于家具。

在一些实施例中，标记的识别信息可经编码。例如QR码、条形码、序号等。处理器170可基于对应的编码模式对标记译码。

在另一实施例中，标记的识别信息还包括标记的朝向。标记的朝向代表对应物体在建筑空间中的朝向。即，物体具方向性。值得注意的是，大部分家具或家电(例如，冰箱、电视、沙发、床等)甚至门或窗都具方向性。方向性相关于物体的正面、背面、顶侧或其他面向在建筑空间中的朝向。例如，电视和冰箱背对墙面。

举例而言，图5A及图5B为具方向性的标记的实例。请参照图5A，标记m7指示床b1的床头朝向西北方。请参照图5B，标记m7指示床b2的床头朝向北方。又例如，图3中的标记m5、m6指示门d1的顶侧及底侧是以垂直于地面方向设置。

另一方面，诸如地板、天花板、墙可能不具有方向性，用户可不用考虑标记的朝向，并可随意黏贴在物体上。

在一些实施例中，标记的识别信息须经译码以取得物体在建筑空间中的朝向。例如，“S”代表冰箱正面朝向南方。

在一实施例中，处理器170可根据扫描图像中的深度信息确定标记在建筑空间中的坐标。例如，扫描图像中特定像素/块的深度信息获得特征(例如颜色、线条、图案等)。这些像素/块的特征将根据对应的深度及位置被映像到空白虚拟环境中的特定三维空间坐标中。

在另一实施例中，标记具有特定的大小和特征点。处理器170可根据标记的大小和特征点确定标记在建筑空间中的朝向、以及获取这扫描图像当下用户与标记之间的相对位置和/或方向。处理器170可基于影像辨识技术(例如尺度不变特征转换(scale-invariantfeature transform，SIFT)、haar特征、Adaboost、支持向量机器(SVM)、或神经网络等算法)取得扫描图像中的特征信息。特征信息可以是特征点和其位置、尺度、旋转不变数、灰阶度、色彩、方向或其他特征提取(feature extraction)所设定的信息。处理器170可与数据库中对应于不同位置和/或方向的预存特征比对，并据以得出相似性较高的位置和/或方向来作为标记的位置和/或方向。或者，处理器170可将扫描图像所提取的特征信息输入至基于前述数据库所训练的机器学习模型，并据以推论标记的位置和/或方向。

在一实施例中，处理器170可根据标记的特征点通过运动推断结构(Structurefrom Motion，SfM)得出建筑空间三维结构。例如，对序列的扫描图像之间的特征点进行匹配，并据以预估三维结构。

值得注意的是，为了确保任一张扫描图像捕捉到两个以上的标记，在一实施例中，可预先定义标记的间距。处理器170可根据图像捕获设备110的规格(例如，视场、焦距等)和建筑空间的大小提供关于多个相邻标记相隔的间距的提示。即，标记的间距相关于图像捕获设备110在一张扫描图像所能拍摄到建筑空间的范围。在扫瞄的过程中,处理器170可通过显示器150呈现提示(例如，向墙面前进或后退、或转向特定角度等)，让图像捕获设备110每次都能捕捉到两个以上的标记，进而得到足够的特征点。

需说明的是，为了避免标记贴太靠近，在一些实施例中，可提供特殊胶带连接相邻标记。这胶带上有特殊图案，以辅助SfM。胶带需要贴在图像捕获设备110可能扫过的地方，以帮助定位。

在一实施例中，处理器170可根据标记的朝向确定用户在建筑空间中获取扫描图像当下的位置和用户观看标记的视角。而用户的位置和视角是供后续浏览三维模型所用，并待后文说明。

此外，处理器170可进一步基于那些标记的坐标得出标记之间的相对位置关系(或是坐标关系)。

在一实施例中，标记的位置可代表物体的端点、中心、边缘或其上的任一个位置。以图3为例，标记m5、m6指示门d1的顶侧及底侧的位置。

在另一实施例中，处理器170可根据标记对应的物体类型确定对应物体的在建筑空间中的延伸性。延伸性相关于由标记所在位置向外延伸的特征。诸如地板、天花板、墙、梁、柱等物体类型的面积可能远大于标记的面积，通过延伸性的特征的定义可辅助模型生成***100确定物体的边界。向外延伸可以是水平面的任一方向、垂直面的任一方向或指定方向。以图3为例，标记m1指示墙w1是由标记1所处位置的水平面(即，墙面)朝任一方向延伸。延伸性是供后续建模所用，并待后文说明。

处理器170可根据识别信息和位置关系建构建筑空间的三维模型(步骤S250)。具体而言，标记的位置可代表物体的位置，且部分物体类型还具有方向性和/或延伸性。处理器170可利用SfM推估三维模型的结构，或者生成三维模型的点云图。

除了结构，处理器170可进一步得出结构中各位置的物体类型及其所在面积和/或朝向。在一实施例中，针对延伸性，处理器170可根据延伸性确定维模型中对应物体的边界。具有延伸性的物体表示其所处范围是由标记位置向外延伸。而针对墙、梁等物体可形成封闭回路(close loop)，并可保留建筑空建中的地板。

在一实施例中，标记包括第一标记和第二标记，第一标记的物体类型为墙、地面或天花板(即，具有延伸性的标记)。处理器170可根据第一标记和第二标记的物体类型确定第一标记延伸的终止处(即，某一侧的边界)。第一标记相邻于第二标记，且第一标记延伸的终止处相关于第一标记延伸后和第二标记的交会处。

在一实施例中，第二标记也是具有延伸性的标记(即，其物体类型对应到延伸性特征)。以图3为例，两相邻标记都是墙w1、w2，两墙w1、w2自其标记m1、m2所处位置相向延伸直到交会，则交会处即是两墙w1、w2延伸终止处。

在另一实施例中，第二标记是终止符号(即，其物体类型对应到延伸终止)。由第一标记延伸至第二标记所处位置即停止。

又一实施例中，第二标记不具有延伸性(即，其物体类型不对应到延伸性特征)。以图3为例，标记m1朝图面左边延伸可避开门d1但延伸不中止。

针对未具有延伸性的标记，其所处位置即代表对应物体的位置(例如，左上角、中心、右下角等)。处理器170可在结构中注记这些物体的位置。

此外，针对具有方向性的标记，处理器170可在结构中注记这些物体的朝向。

三维模型建构之后，处理器170可通过显示器150呈现三维模型。例如，用户可通过计算机或手机预览三维模型。在一实施例中，由于用户拍摄扫描图像的位置和视角已得知(即，已定位)，因此用户配戴装置有显示器150的AR/VR眼镜或HMD可在实际的建筑空间内走动和/或转向，并据以浏览三维模型。

在一实施例中，处理器170可通过显示器150提供用户界面以通过输入设备(例如，触控面板、鼠标、或键盘等)接收用户的调整操作。用户界面可包括改变物体的样式、材质、花纹、颜色、和/或类型的选项和数值。调整操作即是相关于选择选项及改变数值。处理器170可根据调整操作变更三维模型中的指定物体的样式、颜色、材质、和/或花纹。

在一些实施例中，模型生成***100还能提供声控调整。例如，图3的墙m1改变为黄色，门d1由木质门改成钢门。在另一些实施例中，模型生成***100还能提供眼球关注功能。例如，置换用户眼前注视的物体(盯着眼前的电视柜，按下切换钮，即可切换成下一组电视柜)。

在实际应用上，用户可对诸如天花板、地板、墙面、柱、门、窗等结构相关物体贴上对应标记，以帮助三维模型的结构(即，毛胚屋)确定。接着，用户可预想家具(例如，床、沙发、桌等)或电器(例如，冰箱、洗衣机、厨具等)的位置，并将对应标记贴在墙上或地板上。接着，用户可通过装潢软件(标记的标识符链接到软件中的物体)改变墙的油漆颜色或其贴面材质，改变门的材质或花纹，或改变窗的样式或窗帘。此外，用户亦可改变沙发的样式(例如，三人沙发、L型沙发等)，改变冰箱的厂牌或容量大小，改变冷气的类型(例如，分离式或独立式)。

综上所述，在本发明实施例建筑空间的模型生成***及模型建构方法中，标记可置于建筑空间中已存在物体(例如，墙、天花板等)或未存在物体(例如，预想的家具、电器等)上，通过图像扫描得出这些标记对应的识别信息(例如，类型、方向性、延伸性等)及空间中的位置关系，并据以建构出建筑空间的三维模型。由于三维模型中的物体已指定类型，因此用户对指定物体改变其样式、颜色或图案。此外，由于已记录标记与用户的相对位置，因此三维模型渲染后可可实时通过AR/VR装置浏览。藉此，可快速建模及定位，并可精准辨识物体，且提供家具或电器摆设预览功能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种建筑空间的模型建构方法，其特征在于，包括：

取得扫描图像，其中所述扫描图像是对建筑空间扫描所生成；

识别所述扫描图像中的标记的识别信息和所述标记在所述建筑空间中的位置关系；以及

根据所述识别信息和所述位置关系建构所述建筑空间的三维模型，其中所述标记对应于所述三维模型中的物体。

2.根据权利要求1所述的建筑空间的模型建构方法，其特征在于，所述识别信息包括物体类型或编号中的至少一个，识别所述扫描图像中的所述标记的所述识别信息的步骤包括：

解译所述标记的外观以识别所述物体类型，其中所述标记的外观包括文字、符号、图案、形状或颜色中的至少一个，且所述编号用于区别相同所述物体类型的多个物体。

3.根据权利要求2所述的建筑空间的模型建构方法，其特征在于，所述识别信息还包括所述标记的朝向，所述标记的朝向代表对应物体在所述建筑空间中的朝向。

4.根据权利要求2所述的建筑空间的模型建构方法，其特征在于，根据所述识别信息和所述位置关系建构所述建筑空间的所述三维模型的步骤包括：

根据所述物体类型确定对应物体的在所述建筑空间中的延伸性，其中所述延伸性相关于由所述标记所在位置向外延伸的特征，且

建构所述建筑空间的所述三维模型的步骤包括：

根据所述延伸性确定所述三维模型中对应物体的边界。

5.根据权利要求4所述的建筑空间的模型建构方法，其特征在于，所述标记包括第一标记和第二标记，所述第一标记的物体类型为墙、地面或天花板，所述模型建构方法还包括：

根据所述第一标记和所述第二标记的物体类型确定所述第一标记延伸的终止处，其中所述第一标记相邻于所述第二标记，且所述第一标记延伸的所述终止处相关于所述第一标记延伸后和所述第二标记的交会处。

6.根据权利要求5所述的建筑空间的模型建构方法，其特征在于，识别所述标记在所述建筑空间中的位置关系的步骤包括：

根据所述标记的大小和特征点确定所述标记在所述建筑空间中的朝向；以及

根据所述标记的朝向确定用户在所述建筑空间中的位置和所述用户观看所述标记的视角，其中所述用户的所述位置和所述视角用于浏览所述三维模型。

7.根据权利要求1所述的建筑空间的模型建构方法，其特征在于，建构所述建筑空间的三维模型的步骤之后，还包括：

提供用户界面以接收用户的调整操作；以及。

根据所述调整操作变更所述三维模型中的物体的样式、颜色、材质、花纹中的至少一个。

8.根据权利要求1所述的建筑空间的模型建构方法，其特征在于，还包括：

根据图像捕获设备的规格和所述建筑空间提供关于多个相邻标记相隔的间距的提示。

9.一种建筑空间的模型生成***，其特征在于，包括：

图像捕获设备，捕获图像；

存储器，存储用于所述模型生成***的模型建构方法所对应的程序代码；

处理器，耦接所述图像捕获设备与所述存储器，并经配置用以执行所述程序代码，所述模型建构方法包括：

通过所述图像捕获设备取得扫描图像，其中所述扫描图像是对建筑空间扫描所生成；

识别所述扫描图像中的标记的识别信息和所述标记在所述建筑空间中的位置关系；以及

根据所述识别信息和所述位置关系建构所述建筑空间的三维模型，其中所述标记对应于所述三维模型中的物体。

10.根据权利要求9所述的建筑空间的模型生成***，其特征在于，所述识别信息包括物体类型或编号中的至少一个，且所述模型建构方法还包括：

解译所述标记的外观以识别所述物体类型，其中所述标记的外观包括文字、符号、图案、形状或颜色中的至少一个，且所述编号用于区别相同所述物体类型的多个物体。

Images