CN114175601A - 用于显示技术对象的方法和装置 - Google Patents
用于显示技术对象的方法和装置 Download PDFInfo
- Publication number
- CN114175601A CN114175601A CN202080056018.7A CN202080056018A CN114175601A CN 114175601 A CN114175601 A CN 114175601A CN 202080056018 A CN202080056018 A CN 202080056018A CN 114175601 A CN114175601 A CN 114175601A
- Authority
- CN
- China
- Prior art keywords
- mobile communication
- communication terminal
- location
- oki
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010295 mobile communication Methods 0.000 claims abstract description 115
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000013461 design Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- HRANPRDGABOKNQ-ORGXEYTDSA-N (1r,3r,3as,3br,7ar,8as,8bs,8cs,10as)-1-acetyl-5-chloro-3-hydroxy-8b,10a-dimethyl-7-oxo-1,2,3,3a,3b,7,7a,8,8a,8b,8c,9,10,10a-tetradecahydrocyclopenta[a]cyclopropa[g]phenanthren-1-yl acetate Chemical compound C1=C(Cl)C2=CC(=O)[C@@H]3C[C@@H]3[C@]2(C)[C@@H]2[C@@H]1[C@@H]1[C@H](O)C[C@@](C(C)=O)(OC(=O)C)[C@@]1(C)CC2 HRANPRDGABOKNQ-ORGXEYTDSA-N 0.000 description 1
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000827 velocimetry Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
用于在使用者的移动通信终端上输出地点情境信息、特别是建筑物中的地点情境信息的方法和装置，其中确定所述移动通信终端的地点位置；以及其中通过以数据技术与所述移动通信终端连接并对应设置的服务器，根据所述地点位置在所述移动通信终端上提供地点情境信息。
Description
技术领域
本发明涉及用于在使用者的移动通信终端上输出地点情境信息，特别是建筑物中的地点情境信息的方法和装置。
背景技术
建筑物的寿命/使用寿命大多包括数十年。即使曾经存在或现在存在技术平面图，也必须能够找到并读取这些技术平面图。此外，这些平面图还应该与真实环境和建筑物中的当前发展相对应（“修建现状”，“随着时间的推移而修改”），也就是应当根据变化进行了更新。此外，在数字平面图的情况下需要合适的软件和操作知识，以便能够使用这些数字平面图的内容。
建筑物的技术文档通常不可用或当前不可用。通常不能使用诸如增强现实的技术来叠加地显示变化，因为没有给出为此所需的建筑物数据的现状和质量。此外，诸如增强现实的技术需要对应的硬件和软件以及对使用者进行培训。
通过拆卸诸如天花板、墙壁、地板的隐藏要素来进行现场检查以用于找到已置入产品是费事的，并且在某些情况下甚至具有破坏性。
发明内容
因此，本发明的任务是提供用于输出地点情境信息、特别是建筑物中的地点情境信息的有效方法和对应的装置。
该任务通过一种用于在使用者的移动通信终端（例如智能手机、平板计算机）上输出地点情境信息、特别是建筑物中的地点情境信息的方法来解决，所述方法包括以下步骤：
确定所述移动通信终端的地点位置；以及
通过以数据技术与所述移动通信终端连接并对应设置的服务器，根据所确定的地点位置在所述移动通信终端上提供地点情境信息。因此，对于建筑物中特定地点处的设施，可以通过简单的方式，即无需额外的基础设施为服务技术人员、设施管理人员、技工等提供技术和空间信息。
有利地，所述移动通信终端是便携式移动通信终端，特别是智能电话或媒体播放器。这种设备具有数字相机、输出单元、数据存储器和与其连接的处理器。所述数据存储器尤其被设置为存储应用。所述应用可以由处理器加载和执行。便携式移动通信终端是众所周知的。它们可以是智能电话，例如苹果公司的iPhone系列、三星公司的Galaxy系列和诺基亚公司的Lumia系列。这种通信终端也称为移动电话或手机。便携式移动通信终端也可以是所谓的平板计算机或平板PC，例如苹果公司的iPad或三星公司的Galaxy Tab。此外，所述通信终端可以是移动媒体播放器，例如苹果公司的iPod touch系列或三星公司的Yepp系列。
这些设备也称为便携式媒体播放器（Portable Media Player）PMP。开头提到的苹果公司的便携式移动通信终端典型地基于iOS操作***，三星公司的设备基于Android操作***，而诺基亚公司的设备基于Windows Phone操作***。
移动通信终端的对应软件例如可以从计算机程序的在线互联网销售门户下载到所述移动通信终端，并作为App在便携式移动通信终端上执行。
本发明的第一有利设计在于，通过以下方式确定所述移动通信终端的地点位置，即使用者使用所述移动通信终端的传感器装置来检测在使用者的当前停留地点处的地标和/或对象并转发给所述服务器以进行分析和确定所述地点位置。例如，图像传感器可以是照相机或摄像机。然而，所述移动通信终端的其他合适的传感器***也可以用于确定当前的地点位置。
本发明的另一有利设计在于，通过以下方式确定所述移动通信终端的地点位置，即使用者使用所述移动通信终端的SLAM扫描仪（Simultaneous Localization andMapping，同时定位和映射）来检测在使用者的当前停留地点处的地标和/或对象并转发到所述服务器以进行分析和确定所述地点位置。通过SLAM扫描仪以3D点云的形式现场检测对象（例如设施）的3D数据，并有利地与时间戳一起转发到所述服务器。有利地，所述服务器（具有对应处理和存储装置的计算机）分析3D点云并将其映射为数字建筑物信息模型BIM，例如以数字体积模型的形式。
本发明的另一有利设计在于通过卫星辅助定位***（GPS）和/或通过室内定位***（信标、WLAN）和/或通过移动无线电小区评估来确定所述移动通信终端的地点位置。因此可以通过已经存在的基础设施来进行所述移动通信终端的地点位置的确定。
本发明的另一有利设计在于，所述移动通信终端的地点位置的确定由服务器通过分析检测到的使用者当前停留地点的地标和/或对象来进行。所述地标可以是可见地安置在建筑物中的标记或固定点，其可以通过所述移动通信终端的对应传感器***读取。有利地，可见地安置在建筑物中的标记或固定点是通过建筑物外部的官方锚点的对应引用设定的。官方锚点的引用例如通过激光测速仪或通过三角测量来进行。
本发明的另一有利设计在于，所述地点情境信息的提供通过所述服务器访问数据库（BIM/建筑物数据库）中的对应条目由所述服务器进行。例如，对应建筑物的数字化建筑物平面图或数字模型（BIM，Building Information Model，建筑信息模型）可以位于所述数据库中，与关于建筑物中各个设施的相应地点情境信息一起。
本发明的另一有利设计在于，所述地点情境信息包括与所述移动通信终端的地点位置处的对应设施有关的视觉和/或听觉信息。例如，在移动通信终端的显示器上例如向使用者提供与安装在所述地点位置处的设施有关的技术信息（制造商、类型、变型、制造年份、最后维护等）。然而，所述技术信息也可以通过音频输出（例如经由耳机）例如以播客或其他音频文件的形式提供给所述移动通信终端的使用者。不可见或隐藏的设施（例如，墙壁、天花板、地板后面的设施）的技术信息也有利地在所述移动通信终端上提供给使用者。
本发明的另一有利设计在于，与对应设施有关的地点情境信息以时间轴视图（timeline view）的形式显示在所述移动通信终端的显示器上。例如，以时间轴视图的形式，各个建造阶段可以并排同步显示。有利地，（建筑物或设施的）各个建造阶段或发展阶段在时间轴视图中按时间顺序显示。有利地，规划的设施或规划的建造措施的视图作为3D模型显示在时间轴视图中。有利地，在时间轴视图中在规划的设施或规划的建造措施的视图之后显示所述设施的发展阶段（例如，对于限定的验收时刻）。
本发明的另一有利设计在于，所述地点情境信息包括与在所述移动通信终端的地点位置处的未来/规划的设施有关的视觉和/或听觉信息。所述服务器有利地为此访问对应的平面图或合适模拟程序的模拟结果。对于“展望未来”，例如从服务技术人员或技工的角度来看，要执行的活动或其结果可以在时间轴视图中显示为模拟或建模的图像（带有或没有叠加）。例如，这为执行技工提供了应当将待安装的设备安装在何处以及所述安装（必要时带有连接端）最终应该是什么样子的建议。
本发明的另一有利设计在于，利用所述移动通信终端的传感器装置和/或通过移动建筑物扫描装置根据所述地点位置来检测地点情境信息；并且通过所述移动通信终端和/或通过所述移动建筑物扫描装置经由合适的通信连接将检测到的地点情境信息传送到所述服务器。
本发明的另一有利设计在于，通过对应设置的扫描设备（例如NavVis扫描仪）和/或通过对应设置的移动通信终端，以限定的时间间隔来检测地点情境信息并发送到所述服务器。这可以用于例如为建筑物或建筑物中的设施提供质量保证。从扫描设备报告给服务器的数据（例如以点云的形式）与所述服务器中已有的数据进行比较。通过所述数据的额定/实际比较，例如可以识别出偏差或磨损。通过合适的软件程序进行所述额定/实际比较。有利地，以限定的时间间隔发送到所述服务器的地点情境信息被对应地存档（例如，在合适的数据库中，例如内存数据库或在神经网络中）和分析（例如，通过人工智能方法（例如通过机器学习（基于机器的学习）））。以限定的时间间隔发送到所述服务器的地点情境信息有利地以数字知识图（Knowledge Graph）的形式存储。由此，利用合适的分析方法可以对例如建筑物或设施的寿命做出判断。
本发明的另一有利设计在于一种移动通信终端，其被设置为执行根据本发明的方法。如今，移动通信终端（例如智能电话）被广泛使用并在处理方面受到使用者信任。因此不需要增强现实眼镜或对应的培训。
本发明的另一有利设计在于一种服务器，其被设置为执行根据本发明的方法。所述服务器可以位于对应的建筑物中（例如，作为建筑物自动化***的组成部分）。然而，所述服务器也可以位于云（计算机云、数据云）中，即位于云IT基础设施中。通过对应的通信连接（例如移动无线电、WLAN），服务器可以与所述移动通信终端进行通信（例如传输数据）。
所述任务还通过一种用于在使用者的移动通信终端上输出地点情境信息、特别是建筑物中的地点情境信息的装置来解决，其中确定所述移动通信终端（例如智能电话、平板计算机）的地点位置；并且其中可以根据所述地点位置通过以数据技术与所述移动通信终端连接并对应设置的服务器在所述移动通信终端上提供地点情境信息。由于所需的基础设施（特别是IT基础设施）通常已经存在，因此可以轻松地实现或实施该装置。
本发明的另一有利设计在于，可以根据所述地点位置利用所述移动通信终端的传感器装置和/或通过移动建筑物扫描装置来检测地点情境信息；以及
其中检测到的地点情境信息可以通过所述移动通信终端和/或通过所述移动建筑物扫描装置经由合适的通信连接传送到所述服务器。通过所述移动通信终端与所述服务器之间的合适双向通信（例如移动无线电），信息也可以从所述移动通信终端发送到所述服务器。因此可以修改或扩展所述服务器的数据库（iBase，建筑物中已安装设施的数据库）。有利地，地点情境信息可以以限定的时间间隔或在改建工作之后报告给所述服务器。
附图说明
在下图的示例中解释本发明以及本发明的有利实施例。在此：
图1示出了用于输出地点情境信息，特别是建筑物中的地点情境信息的示例性装置，
图2示出了用于输出地点情境信息，特别是建筑物中的地点情境信息的方法的示例性流程图，以及
图3以时间轴视图示出了建筑物发展阶段的示例性图示。
具体实施方式
图1示出了用于在使用者B（例如服务技术人员、设施管理人员、建筑师）的移动通信终端MG（例如智能电话或平板计算机）上输出地点情境信息OKI1、特别是建筑物GB中的地点情境信息OKI1的示例性装置，其中确定移动通信终端MG的地点位置；并且其中可以根据所述地点位置通过以数据技术与所述移动通信终端MG连接并对应设置的服务器S在所述移动通信终端MG上提供地点情境信息OKI1。
地点情境信息OKI1可以是例如安装或置入在建筑物GB中的设施GW，例如电缆、分配器、管道、阀门、HLK基础设施（供暖、通风、空调）。这些设施GW通常不直接可见，因为它们通常安装在包层后面、墙后面或天花板后面或地板下面。
根据移动通信终端MG的地点位置，即移动通信终端MG当前所在的当前位置，在移动通信终端MG的显示器D上提供与同样位于移动通信终端MG的当前位置（例如建筑物GB中的房间、楼层）的设施GW有关的信息。
移动通信终端MG的地点位置的确定可以如下进行，即使用者B使用移动通信终端MG的传感器装置K（例如图像传感器、照相机）来检测使用者B的当前停留地点处的地标M和/或对象并转发给服务器S以进行分析和确定所述地点位置。地标M安置在建筑物GB中，使得地标M可以被合适的传感器装置K检测或读取。地标M的相应位置以合适的表示法存储在建筑平面图或建筑模型（BIM，建筑信息模型）中。建筑物GB的地标M有利地由社区或地方的官方锚点（大地测量参考点）引用。这可以例如通过使用测速仪进行的内部测量来进行。
移动通信终端MG的地点位置的确定也可以通过以下方式进行，即使用者B利用移动通信终端MG的SLAM扫描仪K来检测在使用者B的当前停留地点处3D点云中的地标M和/或对象并转发给服务器S以进行分析和确定所述地点位置。SLAM（SimultaneousLocalization and Mapping）应理解为同时定位和映射。这通过移动通信终端MG的合适的记录或扫描传感器***以及通过适用于评估由所述传感器***提供的点云的软件来进行。
移动通信终端MG的地点位置的确定还可以通过卫星辅助定位***GPS和/或通过室内定位***IPS（例如，使用iBeacons、WLAN、RFID）和/或通过移动无线电小区评估（例如GSM）来进行。也可以使用混合或组合的方法来确定移动通信终端MG的地点位置。
服务器S（具有对应处理和存储装置以及对应软件的计算机）根据移动通信终端MG的相应地点位置为移动通信终端MG提供对应的地点情境信息OKI1，例如通过在显示器D上输出所述信息和/或通过合适的音频信息。服务器S有利地以数据技术与对应的定位***连接。服务器S与移动通信终端MG之间的通信经由合适的通信连接KV2（例如经由对应的无线电连接）来进行。有利地，服务器S通过访问对应的数据库DB提供地点情境信息OKI1。有利地，对应的建筑物信息模型BIM中的地点情境信息存储在数据库DB中，例如在内存数据库中，这使得可以快速访问。服务器S有利地在云基础设施C中实现。建筑物信息模型BIM有利地包括对应建筑物GB的虚拟映像（digital twin，数字孪生）。建筑物信息模型BIM可以例如以IFC表示法（Industry Foundation Classes，工业基础类，建筑行业中用于数字描述建筑物模型的开放标准）存储在数据库DB中。建筑物信息模型BIM可以例如以数字体积模型的形式存储或保存。
地点情境信息OKI2、OKI2'还可以根据所述地点位置利用移动通信终端设备MG的传感器装置K和/或通过带有对应记录设备AB的移动建筑物扫描装置（例如NavVis公司的扫描手推车）SG来检测；并且检测到的信息OKI2、OKI2'可以由移动通信终端MG和/或由移动建筑物扫描装置SG经由合适的通信连接KV1（例如合适的无线电连接）传送到服务器S以进行进一步的数字处理。有利地，利用报告给服务器的地点情境信息OKI2、OKI2'来更新建筑物信息模型BIM。因此，尤其可以针对建筑物GB来优化和高效地创建或更新数字孪生。
如果地点情境信息OKI2，OKI2'以点云或点云文件的形式发送到服务器S，则可以通过对应的转换器将所述地点情境信息翻译或转换为建筑物信息模型（BIM模型）的表示法。
为了与服务器S通信并提供由服务器提供的信息，移动通信终端MG有利地配备有对应的App。
在图像处理的许多应用场景中，对象或地标的识别具有重要意义。不存在通用解决方案可以为所有应用领域都提供良好的结果。为此存在极为不同的要求和框架条件。对于各种应用领域，大多使用专门的方法，这些方法可以满足特定要求或以应用场景的特定属性为前提。在图像处理中经常用于识别对象的方法是搜索特征性形状。对象形状的评估通常在二值图像上进行，在所述二值图像中将对象进行了分割。例如借助于基于边缘的二值化方法获得二值图像。执行基于边缘的二值化的已知算法是Canny算法。此外，其他算法使用不同的算子和方法来识别边缘。如果分割出二值图像中地标的轮廓，则可以检查形状。根据形状的复杂度而使用不同的方法。对于可以很容易地在几何上描述的地标，例如矩形或圆形结构，可以使用广义霍夫变换。如果形状无法以数学方式描述或难以用数学方式描述，则使用所谓的模板或参考图像。模板是与所寻找图案的形状相对应的图案。为了探测对象，计算轮廓与模板之间的相似度的度量。如果所述度量在特定的接受范围内，则标识出对象。在大多数应用领域中，一个对象通过许多模板代表，这些模板以不同的缩放和旋转来表示所述对象。其他方法探测重要点并附加地产生这些点的描述，即所谓的点描述符。通过所述点描述符可以将重要点相互比较并重新标识出其他图像中的重要点。这种能力注定了这种方法用于标识出地标。
利用前述方法基于环境来识别具有移动通信终端（智能电话或平板电脑）的人在对象中的位置，其方式是检测图像索引并与相关参考文件（模板）进行比较。然后提供期望的特定于地点的建筑物和对象信息。所述建筑物和对象信息包括与安装或定位在该位置的对象（例如操作元件）相关的信息、已安装设备的文档、服务历史、隐藏安装等，如果存在的话。
此外，可以通过移动通信终端利用所检测的信息来增强所述***。从而例如利用“开放式墙壁/天花板”的照片，已安装的对象随后作为历史信息可供其他使用者使用。此外，在识别了位置和要观察的对象后，可以显示“未来图像”。这可以是例如当前状态的建模的、模拟的或增强的图像。该图像也可以从经过渲染的3D模型中产生。省略了对诸如天花板、墙壁或地板的隐藏要素进行费事的拆卸的现场检查。因此，例如，可以对预期的工作进行清晰的记录。
图2示出了用于在使用者的移动通信终端上输出地点情境信息，特别是建筑物中的地点情境信息的方法的示例性流程图。该方法包括以下步骤：
（VS1）确定所述移动通信终端的地点位置；以及
（VS2）通过以数据技术与所述移动通信终端连接并对应设置的服务器，根据所述地点位置在所述移动通信终端上提供地点情境信息。
有利地，移动通信终端的地点位置的确定通过以下方式进行，即使用者使用所述移动通信终端的传感器装置来检测使用者当前停留地点处的地标和/或对象并转发给所述服务器以分析并确定所述地点位置。
有利地，移动通信终端的地点位置的确定通过以下方式进行，因为使用者使用所述移动通信终端的SLAM扫描仪检测使用者当前停留地点处的3D点云中的地标和/或对象，并转发到所述服务器以进行分析并确定所述地点位置。
有利地，移动通信终端的地点位置的确定通过卫星辅助的定位***和/或通过室内定位***和/或通过移动无线电小区评估来进行。
有利地，移动通信终端的地点位置的确定由所述服务器通过分析检测到的使用者当前停留地点的地标和/或对象来进行。
有利地，地点情境信息的提供由所述服务器通过所述服务器访问数据库的对应条目（例如内存数据库）来进行。这允许快速访问数据库条目。
有利地，地点情境信息包括与所述移动通信终端的地点位置处的对应设施相关的视觉和/或听觉信息。
有利地，与对应设施有关的地点情境信息以时间轴视图的形式显示在所述移动通信终端的显示器上。通过滚动或“滑动”，使用者可以在时间轴视图中导航。
有利地，地点情境信息包括与在所述移动通信终端的地点位置处的未来/规划的设施有关的视觉和/或听觉信息。
所述方法还可选地包括以下步骤：
使用所述移动通信终端的传感器装置和/或通过移动建筑物扫描装置根据所述地点位置来检测地点情境信息；以及
通过所述移动通信终端和/或通过所述移动建筑物扫描装置经由合适的通信连接将检测到的地点情境信息传送到所述服务器。
可选地，所述地点情境信息以限定的时间间隔通过对应设置的扫描设备（例如，NavVis公司的扫描手推车）和/或通过对应设置的移动通信终端检测并发送到所述服务器。
根据本发明的方法可以用对应设置的硬件和软件组件（例如处理器单元、存储装置、输入/输出单元、软件程序）来实现。此外，根据本发明的方法可以用商业组件或已经存在的基础设施来实现。
执行根据本发明的方法的示例性场景：
1. 图像检测
移动客户端App的使用者拍摄其当前环境的照片。
2. 特征识别与特征提取
所述照片从移动客户端发送到服务器（例如室内位置服务器）。在将记录的图像传输到服务器之后，识别和提取特征。
3. 特征匹配
将计算出的图像特征描述符与参考数据库中的条目进行比较。选择最佳匹配。
4. 本地化
由于空间信息可用于参考数据库中的条目，因此将从步骤3中选择的最佳匹配的地点反馈给使用者。
根据本发明的方法可以为使用者调用涉及地点的环境信息并执行对应的动作。基于当前地点位置（“在哪里”）使用例如视觉索引。通过服务器将记录的照片或在移动终端上的相机应用中实时显示的照片与建筑物的图像数据库（在线/离线）的照片进行比较。对于实时相机图像，应在后台拍摄“实时映像”（屏幕截图；照片文件）——理想情况下无需用户交互，以使过程尽可能简单，然后将该实时映像用于与建筑物的图像数据库进行比较。对于这种“实时映像”，如果实时相机对准特定对象或场景，则始终在时间x后（例如，两到三秒后）生成照片。此外，代替各个照片，可以使用相似的照片系列（=几乎相同的位置视频）来进行定位。在图像比较以及因此定位成功结束之后，使用者现在具有在移动通信终端（例如智能电话或平板计算机）上的App或浏览器或类似应用内可供使用者使用的许多选项。
从而可以在移动通信终端（例如智能电话或平板计算机）上显示来自建筑物环境的设施视图（理想情况下作为在刚刚创建或观察的图像上的叠加，例如电源电缆、网络电缆、水管等）。然后，该选择以涉及地点的方式——就是在使用者当前所在的地点——叠加显示在显示器上。除了叠加显示之外，还可以访问历史3D图像材料或照片材料，以可视化之前显示的使用者感兴趣区域，例如没有假天花板的办公室走廊。根据使用者兴趣，现在可以显示其他技术平面图和信息或提供以进行下载。这些显示可以叠加在当前照片上，也可以与当前照片分离地在监视器上显示。这可能是例如历史上的工作指示或工作文档。具有创新性的是，在现场显示平面图和图像，同时查看未来安装或改建在工作结束后应看起来如何。
可以以时间轴视图的形式进行所述显示，所述时间轴视图例如并排地同步显示各个建造阶段。为了看到“未来”（从服务/技工的角度来看要执行的活动或其结果），在时间轴视图中显示带有或没有叠加的模拟或建模的图像。该图像为执行技工提供了安装最终应当看起来如何的建议。
图3示出了例如在移动通信终端（例如智能电话）的显示器上时间轴视图TLA中的示例性显示。在时间轴视图TLA中，使用者可以观察例如在不同时间显示（视图）S0-S4中的设施。显示（视图）S0-S4有利地按时间顺序排列。S0在此作为3D模型显示规划的设施或规划的建筑措施的视图。该3D模型是从面向部件的建筑物模型的3D建模/可视化中产生的。S1-S4示出了建筑物扫描的时间发展阶段。视图S0-S4有利地在本地同步，因此示出建筑物中的同一地点或地点部分在不同的发展阶段。3D模型可以使用CAD程序（例如Revit）生成并以对应的表示法存储在服务器上。然而，3D模型也可以从IFC（Industrial FoundationClasses，工业基础类）或BIM模型中生成或存储。
本发明的示例性优点；
-使用者可简单使用的解决方案。
-不需要昂贵的硬件（例如AR眼镜）。
-与增强现实应用不同，不需要“跟踪”期望的对象，即这涉及叠加与情境相关的信息，而无需将智能电话及其相机持续放在感兴趣的对象上。这涉及到唯一识别，因为可以在每个其他“正常”位置以用户友好的方式使用智能电话。这也可以在时间上解耦。
-可以查看未来地在现场显示平面图和图像，以获得安装或改建在工作完成后应当看起来如何的印象。
-减少在服务/工作现场的现场成本和时间耗费，以找到正确的组装地点。
-避免长时间搜索和错误。
-查看过去和/或未来（时间轴视图）可避免执行的错误和误解。因此提高了效率，并在执行工人活动时为执行工人提供了协助。
-在定位和因此对象识别之后，可以从提供相关信息的服务器（例如设施管理***、BIM数据库等）检索期望的信息。
-原则上，可以在火车上识别出服务技术人员当前正在使用智能电话查看的内容，并提供相关的平面图或指示。在火车现场临时地，列车长可以拍摄异常情况；然后将这些照片与服务器进行比较，从而不仅存在照片文档，而且还存在具有与地点、历史和产品等相关的情境相关信息的更详细的文档。
用于在使用者的移动通信终端上输出地点情境信息，特别是在建筑物中的地点情境信息的方法和装置，其中确定所述移动通信终端的地点位置；以及其中通过以数据技术与所述移动通信终端连接并被对应设置的服务器根据所述地点位置在所述移动通信终端上提供地点情境信息。
附图标记
GPS、IPS 定位***
M 标记
GB 建筑物
GW 设施
C 云
S 服务器
DB 数据库
BIM 建筑物信息模型
KV1、KV2 通信连接
B 操作者
MG 移动设备
D 显示器
AV、K 记录设备
SG 扫描设备
OKI1、OKI2、OKI2' 地点情境信息
VS1、VS2 方法步骤
TLA 时间轴视图
S0-S4 视图。
Claims (15)
1. 一种用于在使用者（B）的移动通信终端（MG）上输出地点情境信息（OKI1）、特别是建筑物（GB）中的地点情境信息的方法，所述方法包括以下步骤：
（VS1）确定所述移动通信终端（MG）的地点位置；以及
（VS2）通过以数据技术与所述移动通信终端（MG）连接并对应设置的服务器（S），根据所述地点位置在所述移动通信终端（MG）上提供地点情境信息（OKI1）。
2.如权利要求1所述的方法，其中，通过以下方式确定所述移动通信终端（MG）的地点位置，即使用者（B）使用所述移动通信终端（MG）的传感器装置（K）来检测在所述使用者（B）的当前停留地点处的地标（M）和/或对象并转发给所述服务器（S）以进行分析和确定所述地点位置。
3.如前述权利要求中任一项所述的方法，其中，通过以下方式确定所述移动通信终端（M）的地点位置，即使用者（B）使用所述移动通信终端（MG）的SLAM扫描仪（K，AV）来检测在所述使用者（B）的当前停留地点处3D点云中的地标和/或对象并转发到所述服务器（S）以进行分析和确定所述地点位置。
4.如前述权利要求中任一项所述的方法，其中，通过卫星辅助定位***（GPS）和/或通过室内定位***（IPS）和/或通过移动无线电小区评估来确定所述移动通信终端（MG）的地点位置。
5.如前述权利要求中任一项所述的方法，其中，所述移动通信终端（MG）的地点位置的确定由所述服务器（S）通过分析检测到的所述使用者（B）当前停留地点的地标（M）和/或对象来进行。
6.如前述权利要求中任一项所述的方法，其中，所述地点情境信息（OKI1）的提供由所述服务器（S）通过所述服务器（S）访问数据库（DB）的对应条目进行。
7.如前述权利要求中任一项所述的方法，其中，所述地点情境信息（OKI1）包括与所述移动通信终端（MG）的地点位置处的对应设施（GW）有关的视觉和/或听觉信息。
8.如权利要求7所述的方法，其中，与对应设施（GW）有关的地点情境信息（OKI1）以时间轴视图（TLA）的形式显示在所述移动通信终端（MG）的显示器（D）上。
9.如权利要求7或8所述的方法，其中，所述地点情境信息（OKI1）包括与在所述移动通信终端（MG）的地点位置处的未来或规划的设施（GW）有关的视觉和/或听觉信息。
10. 如前述权利要求中任一项所述的方法，还包括：
利用所述移动通信终端（MG）的传感器装置（K，AV）和/或通过移动建筑物扫描装置（SG）根据所述地点位置来检测地点情境信息（OKI2，OKI2'）；以及
通过所述移动通信终端（MG）和/或通过所述移动建筑物扫描装置（SG）经由合适的通信连接（KV1，KV2）将检测到的地点情境信息（OKI2，OKI2'）传送到所述服务器（S）。
11.如权利要求10所述的方法，其中，通过对应设置的扫描设备（SG）和/或通过对应设置的移动通信终端（MG），以限定的时间间隔来检测地点情境信息（OKI2，OKI2'）并发送到所述服务器（S）。
12.一种移动通信终端（MG），被设置为执行如权利要求1至11中任一项所述的方法。
13.一种服务器（S），被设置为执行如权利要求1至11中任一项所述的方法。
14. 一种用于在使用者（B）的移动通信终端（MG）上输出地点情境信息（OKI1）、特别是建筑物（GB）中的地点情境信息的装置，
其中确定所述移动通信终端（MG）的地点位置；以及
其中能够根据所述地点位置通过以数据技术与所述移动通信终端（MG）连接并对应设置的服务器（S）在所述移动通信终端（MG）上提供地点情境信息（OKI1）。
15. 如权利要求14所述的装置，
其中，能够根据所述地点位置利用所述移动通信终端（MG）的传感器装置（K，AV）和/或通过移动建筑物扫描装置（SG）来检测地点情境信息（OKI2，OKI2'）；以及
其中检测到的地点情境信息（OKI2，OKI2'）能够通过所述移动通信终端（MG）和/或通过所述移动建筑物扫描装置（SG）经由合适的通信连接（KV1，KV2）传送到所述服务器（S）。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019211871.2A DE102019211871B4 (de) | 2019-08-07 | 2019-08-07 | Verfahren und Anordnung zur Darstellung von technischen Objekten |
| DE102019211871.2 | 2019-08-07 | ||
| PCT/EP2020/070317 WO2021023499A1 (de) | 2019-08-07 | 2020-07-17 | Verfahren und anordnung zur darstellung von technischen objekten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114175601A true CN114175601A (zh) | 2022-03-11 |
Family
ID=71842644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080056018.7A Pending CN114175601A (zh) | 2019-08-07 | 2020-07-17 | 用于显示技术对象的方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220272491A1 (zh) |
| EP (1) | EP4011102A1 (zh) |
| CN (1) | CN114175601A (zh) |
| DE (1) | DE102019211871B4 (zh) |
| WO (1) | WO2021023499A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130303193A1 (en) * | 2012-05-10 | 2013-11-14 | Honeywell International Inc. | Bim-aware location based application |
| CN104246434A (zh) * | 2012-03-07 | 2014-12-24 | 阿尔卡特朗讯公司 | 增强现实中的通信和信息方法 |
| US20170256097A1 (en) * | 2016-03-07 | 2017-09-07 | F3 & Associates | Local positioning system for augmented reality applications |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8275394B2 (en) * | 2008-03-20 | 2012-09-25 | Nokia Corporation | Nokia places floating profile |
| US9057606B2 (en) * | 2009-09-10 | 2015-06-16 | Nextnav, Llc | Wide area positioning system |
| KR101356192B1 (ko) * | 2012-04-26 | 2014-01-24 | 서울시립대학교 산학협력단 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
| DE102012221921B4 (de) * | 2012-11-29 | 2018-04-05 | Technische Hochschule Wildau (Fh) | Orten eines mobilen Endgeräts unter Nutzung von optisch detektierbaren Landmarken |
| DE102016200010A1 (de) * | 2016-01-04 | 2017-07-06 | Siemens Schweiz Ag | Kalibrierung der Position von mobilen Objekten in Gebäuden |
| US10395117B1 (en) * | 2016-08-29 | 2019-08-27 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
| DE102017120435A1 (de) * | 2017-09-05 | 2019-03-07 | Stephan Kohlhof | Mobiltelefon |
-
2019
- 2019-08-07 DE DE102019211871.2A patent/DE102019211871B4/de active Active
-
2020
- 2020-07-17 US US17/632,884 patent/US20220272491A1/en active Pending
- 2020-07-17 WO PCT/EP2020/070317 patent/WO2021023499A1/de unknown
- 2020-07-17 EP EP20746912.3A patent/EP4011102A1/de active Pending
- 2020-07-17 CN CN202080056018.7A patent/CN114175601A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104246434A (zh) * | 2012-03-07 | 2014-12-24 | 阿尔卡特朗讯公司 | 增强现实中的通信和信息方法 |
| US20130303193A1 (en) * | 2012-05-10 | 2013-11-14 | Honeywell International Inc. | Bim-aware location based application |
| US20170256097A1 (en) * | 2016-03-07 | 2017-09-07 | F3 & Associates | Local positioning system for augmented reality applications |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019211871A1 (de) | 2021-02-11 |
| EP4011102A1 (de) | 2022-06-15 |
| US20220272491A1 (en) | 2022-08-25 |
| DE102019211871B4 (de) | 2021-04-22 |
| WO2021023499A1 (de) | 2021-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733334B2 (en) | Building vital conditions monitoring | |
| EP3586327B1 (en) | Improved building model with capture of as built features and experiential data | |
| Chen et al. | A BIM-based location aware AR collaborative framework for facility maintenance management. | |
| US20190236844A1 (en) | Augmented reality system | |
| Son et al. | As-built data acquisition and its use in production monitoring and automated layout of civil infrastructure: A survey | |
| US20190073827A1 (en) | Method and System for Converting 3-D Scan Displays with Optional Telemetrics, Temporal and Component Data into an Augmented or Virtual Reality BIM | |
| JP7078243B2 (ja) | ３ｄ情報モデルを基礎とした総合感知位置決めが適用された建設工程および施設、設備管理システム | |
| Kim et al. | On-site construction management using mobile computing technology | |
| Bae et al. | Image-based localization and content authoring in structure-from-motion point cloud models for real-time field reporting applications | |
| Ammari et al. | Collaborative BIM-based markerless mixed reality framework for facilities maintenance | |
| CN104937616A (zh) | 利用位置信息在非破坏性测试***中协作的***和方法 | |
| US20160291577A1 (en) | Work support device and work support method | |
| CN103069349A (zh) | 具备改进的定位意识功能的手持现场维护工具 | |
| JP2019153274A (ja) | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム | |
| US11727624B2 (en) | Construction visualization systems and methods | |
| CN104937617A (zh) | 检查数据的提供 | |
| JP2018077837A (ja) | 位置認識方法およびシステム、ならびに異常判定方法およびシステム | |
| US11395102B2 (en) | Field cooperation system and management device | |
| KR20210015226A (ko) | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 | |
| US10433112B2 (en) | Methods and apparatus for orienteering | |
| JP2014164669A (ja) | 建築支援システム、建築支援装置及びコンピュータプログラム | |
| Liu et al. | System development of an augmented reality on-site BIM viewer based on the integration of SLAM and BLE indoor positioning | |
| CN114175601A (zh) | 用于显示技术对象的方法和装置 | |
| WO2021250633A1 (en) | A system and method for remote inspection of a space | |
| JP7368937B2 (ja) | 設備管理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |