KR102515233B1 - Conversational Digital Twin Method using Geographic Information and Apparatus thereof - Google Patents
Conversational Digital Twin Method using Geographic Information and Apparatus thereof Download PDFInfo
- Publication number
- KR102515233B1 KR102515233B1 KR1020210118569A KR20210118569A KR102515233B1 KR 102515233 B1 KR102515233 B1 KR 102515233B1 KR 1020210118569 A KR1020210118569 A KR 1020210118569A KR 20210118569 A KR20210118569 A KR 20210118569A KR 102515233 B1 KR102515233 B1 KR 102515233B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- digital twin
- geographic information
- data
- terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 claims abstract description 55
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims description 52
- 238000012800 visualization Methods 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000013079 data visualisation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims 2
- 230000000007 visual effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 10
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003054 catalyst Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000001836 Firesetting Behavior Diseases 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Architecture (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
지리정보를 활용한 대화형 디지털트윈 방법 및 장치가 제시된다. 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 지리정보를 활용한 대화형 디지털트윈 방법은, 2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계; 상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계; 및 대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계를 포함하여 이루어질 수 있다. An interactive digital twin method and device using geographic information are presented. An interactive digital twin method using geographic information performed by a computer device according to an embodiment includes obtaining geographic information data converted to 2D or 3D; visualizing the geographic information data in a terminal and providing visualized information to a user; and interacting with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface to manipulate the visualized information or control an external system.
Description
아래의 실시예들은 대화형 디지털트윈(Conversational Digital Twin, CDT) 프레임워크에 관한 것으로, 더욱 상세하게는 지리정보를 활용한 대화형 디지털트윈 방법 및 장치에 관한 것이다. The following embodiments relate to a conversational digital twin (CDT) framework, and more specifically, to a conversational digital twin method and apparatus using geographic information.
위기 때 인간의 경험에서 많은 양의 데이터가 축적되며, 이러한 축적된 데이터는 훗날 유사한 위기를 지속하고 이전의 실수를 반복하지 않기 위해 가치 있는 예측을 수행하는 데 사용될 수 있다. 이러한 위기는 개인(예: 생명을 위협하는 질병의 진단), 조직(예: 파산에 직면한 기업), 사회적 또는 세계적 수준(예: COVID-19 전염병)이 될 수 있다. Beghetto는 위기가 심각한 문제를 일으키고 국민들 사이에 불안감을 야기할 수 있지만, 창조적 행동을 이끌어내는 필수적인 촉매제 역할을 할 수 있고 혁신적인 결과를 가져올 수 있다고 말했다(비특허문헌 1). 전형적인 추리와 행동이 위기 상황에서 큰 도움이 되지 않을 수 있기 때문이다.In crises, large amounts of data accumulate from human experience, and these accumulated data can be used to make valuable predictions in order to sustain similar crises in the future and avoid repeating previous mistakes. These crises can be individual (e.g. diagnosis of a life-threatening illness), organizational (e.g. a business facing bankruptcy), social or global (e.g. COVID-19 pandemic). Beghetto said that although crises can cause serious problems and cause anxiety among the people, they can serve as an essential catalyst for creative action and bring innovative results (Non-Patent Document 1). This is because typical reasoning and behavior may not be very helpful in a crisis situation.
CCTV나 SNS와 같은 전통적인 방법을 사용하여 화재, 테러, 홍수, 가스 누출, 지진, 폭설, 붕괴와 같은 위기를 감시하는 것은 전체 문제 영역을 모니터링 하지 않는 한 이상적이지 않다. COVID 19와 같은 중요 질병의 확산으로 막대한 경제적 손실이 발생했음을 감안할 때, 이제 위기의 원인을 파악하고 최소한의 피해로 상황을 극복하기 위해 신속히 대응할 필요가 있게 되었다.Monitoring crises such as fires, terrorism, floods, gas leaks, earthquakes, snow storms and collapses using traditional methods such as CCTV or social media is not ideal unless the entire problem area is monitored. Given that the spread of critical diseases such as COVID 19 has caused huge economic losses, it is now necessary to identify the causes of the crisis and act quickly to overcome the situation with minimal damage.
기존에는 관리자와 지도자들이 지리 정보 시스템(Geographic Information System, GIS) 기반 시스템을 사용하여 도시 내 도시 재난과 안전을 관리할 수 있도록 지원하는 비상 솔루션을 도입했다. 스마트 시티에서 관리자들은 원격 공간을 모니터링하고 미래에 발생할 수 있는 재난 상황을 예측하는 기술로 재해 도시 디지털트윈을 개발하기 위한 연구를 수행했다. 실시간 정보만으로 피해를 줄일 수 있는 재난관리 기술과 실시간 정보를 시각적으로 지원할 수 있는 디지털트윈 기술이 결합돼 위기로 인한 피해를 효과적으로 최소화할 수 있다는 사실이 앞서 언급한 연구결과에 의해 입증되었다.Previously, emergency solutions were introduced to help managers and leaders manage urban disasters and safety within cities using Geographic Information System (GIS)-based systems. In smart cities, managers conducted research to develop disaster city digital twins with technology to monitor remote spaces and predict future disaster situations. The research results mentioned above have proven that disaster management technology, which can reduce damage only with real-time information, and digital twin technology, which can visually support real-time information, can effectively minimize damage caused by a crisis.
실시예들은 지리정보를 활용한 대화형 디지털트윈 방법 및 장치에 관하여 기술하며, 보다 구체적으로 2D/3D 지리정보를 활용하여 데이터를 스마트 단말 디스플레이에 시각화하고 자연어 이해/음성인식 기반의 챗봇 기술 등을 통해 상호 작용이 가능한 대화형 인터페이스를 갖는 디지털트윈 프레임워크 기술을 제공한다. Embodiments describe an interactive digital twin method and apparatus using geographic information, and more specifically, visualize data on a smart terminal display using 2D/3D geographic information, and natural language understanding/voice recognition-based chatbot technology. Provides a digital twin framework technology that has an interactive interface capable of interaction through
실시예들은 엣지 컴퓨팅부를 통해 3D 증강현실 기술과 챗봇 기능을 연결하여 다양한 측면에서 위기를 관리하는 지리정보를 활용한 대화형 디지털트윈 방법 및 장치를 제공하는데 있다. Embodiments are to provide an interactive digital twin method and apparatus using geographic information that manages a crisis in various aspects by connecting 3D augmented reality technology and a chatbot function through an edge computing unit.
일 실시예에 따른 컴퓨터 장치에 의해 수행되는 지리정보를 활용한 대화형 디지털트윈 방법은, 2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계; 상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계; 및 대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계를 포함하여 이루어질 수 있다. An interactive digital twin method using geographic information performed by a computer device according to an embodiment includes obtaining geographic information data converted to 2D or 3D; visualizing the geographic information data in a terminal and providing visualized information to a user; and interacting with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface to manipulate the visualized information or control an external system.
상기 지리정보 데이터를 획득하는 단계는, 지형정보, 환경정보 및 이동정보 중 적어도 어느 하나 이상과 관련된 데이터, 가상 IoT 및 실제 IoT 중 적어도 어느 하나 이상에서 수집된 데이터, 및 상기 단말의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D 변환된 상기 지리정보 데이터를 획득하는 단계를 포함할 수 있다. The obtaining of the geographic information data may include data related to at least one of geographic information, environmental information, and movement information, data collected from at least one of virtual IoT and real IoT, and visualization on a display of the terminal. and obtaining the 2D or 3D converted geographic information data for expression.
상기 지리정보 데이터를 획득하는 단계는, 디지털트윈 공간에서 지리적 응급관리(Geographical Emergency Management, GEM)인 지리 정보 시스템(Geographic Information System, GIS)에 등록된 IoT, AIoT 및 스마트 기기 중 적어도 어느 하나 이상의 기기의 위치를 획득하며, 지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 가능하다. The obtaining of the geographic information data may include at least one of IoT, AIoT, and smart devices registered in a Geographic Information System (GIS), which is Geographical Emergency Management (GEM) in the digital twin space. It acquires the location of the object, and data analysis is possible through simulation and control of real world objects on the ground.
상기 시각화된 정보를 제공하는 단계는, 상기 시각화된 정보를 AR 단말, MR 단말, VR 단말 및 스마트 단말 중 적어도 어느 하나 이상의 상기 단말의 디스플레이에 시각화하여 표현할 수 있다. In the providing of the visualized information, the visualized information may be visualized and expressed on a display of at least one of an AR terminal, an MR terminal, a VR terminal, and a smart terminal.
상기 시각화된 정보를 제공하는 단계는, 구조물을 포함하는 지도 상에 수집된 상기 시각화된 정보를 가시화하여, 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현할 수 있다. In the providing of the visualized information, the visualized information collected on a map including structures may be visualized and expressed through data visualization or augmented-virtual reality visualization technology.
상기 챗봇은, 음성인식 및 자연어 이해 기술을 통합한 대화형 AI 챗봇일 수 있다. The chatbot may be a conversational AI chatbot integrating voice recognition and natural language understanding technologies.
엣지 컴퓨팅부를 통해 상기 지리정보 데이터를 시각화하는 3D 증강현실 기술과 대화형 상기 챗봇을 연결하여 디지털트윈 공간에서 사용자의 의사결정을 지원하며, 특정 상황을 관리하고 대응할 수 있다. 3D augmented reality technology that visualizes the geographic information data through the edge computing unit and the interactive chatbot are connected to support user decision-making in the digital twin space, and manage and respond to specific situations.
다른 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 장치는, 2D 또는 3D로 변환된 지리정보 데이터를 획득하는 지리정보 수집부; 상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 정보 시각화부; 및 대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 상호 작용부를 포함하여 이루어질 수 있다. An interactive digital twin device using geographic information according to another embodiment includes a geographic information collection unit for obtaining geographic information data converted into 2D or 3D; an information visualization unit that visualizes the geographic information data in a terminal and provides visualized information to a user; and an interaction unit that interacts with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface to manipulate the visualized information or control an external system.
상기 지리정보 수집부는, 지형정보, 환경정보 및 이동정보 중 적어도 어느 하나 이상과 관련된 데이터, 가상 IoT 및 실제 IoT 중 적어도 어느 하나 이상에서 수집된 데이터, 및 상기 단말의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D 변환된 상기 지리정보 데이터를 획득할 수 있다. The geographic information collection unit is configured to visualize and express data related to at least one or more of geographic information, environmental information, and movement information, data collected from at least one or more of virtual IoT and real IoT, and a display of the terminal. The geographic information data converted into 2D or 3D may be obtained.
상기 지리정보 수집부는, 디지털트윈 공간에서 지리적 응급관리(Geographical Emergency Management, GEM)인 지리 정보 시스템(Geographic Information System, GIS)에 등록된 IoT, AIoT 및 스마트 기기 중 적어도 어느 하나 이상의 기기의 위치를 획득하며, 지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 가능하다. The geographic information collection unit acquires the location of at least one of IoT, AIoT, and smart devices registered in a Geographic Information System (GIS), which is Geographical Emergency Management (GEM) in the digital twin space. It is possible to analyze data through simulation and control of the real world on the ground.
상기 정보 시각화부는, 상기 시각화된 정보를 AR 단말, MR 단말, VR 단말 및 스마트 단말 중 적어도 어느 하나 이상의 상기 단말의 디스플레이에 시각화하여 표현할 수 있다. The information visualization unit may visualize and express the visualized information on a display of at least one of an AR terminal, an MR terminal, a VR terminal, and a smart terminal.
상기 정보 시각화부는, 구조물을 포함하는 지도 상에 수집된 상기 시각화된 정보를 가시화하여, 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현할 수 있다. The information visualization unit may visualize the visualized information collected on a map including structures and express it through data visualization or augmented-virtual reality visualization technology.
상기 챗봇은, 음성인식 및 자연어 이해 기술을 통합한 대화형 AI 챗봇일 수 있다. The chatbot may be a conversational AI chatbot integrating voice recognition and natural language understanding technologies.
엣지 컴퓨팅부를 통해 상기 지리정보 데이터를 시각화하는 3D 증강현실 기술과 대화형 상기 챗봇을 연결하여 디지털트윈 공간에서 사용자의 의사결정을 지원하며, 특정 상황을 관리하고 대응할 수 있다. 3D augmented reality technology that visualizes the geographic information data through the edge computing unit and the interactive chatbot are connected to support user decision-making in the digital twin space, and manage and respond to specific situations.
실시예들에 따르면 2D/3D 지리정보를 활용하여 데이터를 스마트 단말 디스플레이에 시각화하고 자연어 이해/음성인식 기반의 챗봇 기술 등을 통해 상호 작용이 가능한 대화형 인터페이스를 갖는 지리정보를 활용한 대화형 디지털트윈 방법 및 장치를 제공할 수 있다.According to the embodiments, data is visualized on a smart terminal display using 2D/3D geographic information and interactive digital data using geographic information having an interactive interface capable of interacting through natural language understanding/voice recognition based chatbot technology, etc. Twin methods and apparatus can be provided.
실시예들에 따르면 엣지 컴퓨팅부를 통해 3D 증강현실 기술과 챗봇 기능을 연결하여 다양한 측면에서 위기를 관리하는 지리정보를 활용한 대화형 디지털트윈 방법 및 장치를 제공할 수 있다. According to embodiments, it is possible to provide an interactive digital twin method and apparatus using geographic information that manages a crisis in various aspects by connecting 3D augmented reality technology and a chatbot function through an edge computing unit.
도 1은 일 실시예에 따른 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)을 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 장치를 나타내는 블록도이다.
도 4는 일 실시예에 따른 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)의 구조를 나타내는 도면이다.1 is a diagram schematically illustrating an interactive digital twin (CDT-GEM) for geographic emergency management according to an embodiment.
2 is a flowchart illustrating an interactive digital twin method using geographic information according to an embodiment.
3 is a block diagram illustrating an interactive digital twin device using geographic information according to an embodiment.
4 is a diagram showing the structure of a interactive digital twin (CDT-GEM) for geographic emergency management according to an embodiment.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the described embodiments may be modified in many different forms, and the scope of the present invention is not limited by the embodiments described below. In addition, several embodiments are provided to more completely explain the present invention to those skilled in the art. The shapes and sizes of elements in the drawings may be exaggerated for clarity.
스마트화를 지향하는 도시의 지속적인 발전은 주로 도시 전체의 의미 있는 데이터를 추출하고 분석하며 고급 시각화를 실현하는 데 사용할 수 있는 현대 정보통신기술(Information & Communication Technology, ICT) 기법에 의해 추진된다. 그러나 스마트화를 위한 노력에도 불구하고, 비상사태나 갑작스런 재난을 지속하기 위한 지능적인 대응을 지원할 수 있는 툴이 부족하다. 현재 수많은 도시 연구진이 디지털 트윈 기술과 확장현실(Extended Reality, XR) 및 음성인식 AI를 결합하고 추출된 감지 데이터를 통합 및 관리하기 위해 여러 사물인터넷(Internet of Things, IoT) 툴과 연동할 수 있는 도시관리 툴 설계에 주력하고 있다. The continued development of cities towards smartization is mainly driven by modern Information & Communication Technology (ICT) techniques that can be used to extract and analyze meaningful data from the entire city and realize advanced visualizations. However, despite efforts to become smart, there is a lack of tools that can support intelligent responses to sustain emergencies or sudden disasters. Numerous urban researchers are currently combining digital twin technology with extended reality (XR) and voice recognition AI, and are developing applications that can work with multiple Internet of Things (IoT) tools to integrate and manage extracted sensing data. It focuses on designing urban management tools.
본 실시예들은 위기상황에서 발생한 상황을 관리자에게 알리고 시민이 응급관리 시스템과 실시간으로 소통할 수 있도록 지원하는 디지털 트윈시스템인 지리적 응급관리를 위한 대화형 디지털트윈(Conversational Digital Twin for Geographic Emergency Management, CDT-GEM)을 제안한다. 보다 구체적으로, 실시예들은 2D/3D 지리정보를 활용하여 데이터를 스마트 단말 디스플레이(예컨대: 스마트패드, AR/MR HMD 등)에 시각화하고 자연어 이해/음성인식 기반의 챗봇 기술 등을 통해 상호 작용이 가능한 대화형 인터페이스를 갖는 디지털트윈 프레임워크 기술을 제공한다. The present embodiments inform the administrator of the situation that occurred in a crisis situation and support citizens to communicate with the emergency management system in real time, the Conversational Digital Twin for Geographic Emergency Management (CDT) -GEM) is proposed. More specifically, embodiments utilize 2D / 3D geographic information to visualize data on a smart terminal display (eg: smart pad, AR / MR HMD, etc.) and interact through natural language understanding / voice recognition-based chatbot technology, etc. It provides a digital twin framework technology with a possible interactive interface.
도 1은 일 실시예에 따른 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating an interactive digital twin (CDT-GEM) for geographic emergency management according to an embodiment.
도 1에 도시된 바와 같이, 관리자 및 시민 모두가 위기 상황에서 활용할 수 있는 툴로서 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)이라는 데모 시스템을 도입할 수 있다. 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)은, 기존 디지털트윈과 달리, 사용자가 실시간으로 적절한 결정을 내릴 수 있는 챗에 AI 시스템을 탑재하고 있다.As shown in FIG. 1, a demonstration system called Interactive Digital Twin (CDT-GEM) for geographic emergency management can be introduced as a tool that both managers and citizens can utilize in crisis situations. Conversational Digital Twin for Geographic Emergency Management (CDT-GEM), unlike traditional digital twins, has an AI system built into the chat that allows users to make appropriate decisions in real time.
디지털트윈 기술은 물리적 세계의 사물과 공간을 모델로 디지털트윈 공간에서 구현하고 디지털트윈 공간의 다양한 환경이나 조건에서 시뮬레이션과 상호 작용을 통해 최적의 결과를 도출한 후 물리적 세계에 적용하여 동기화하는 기술이다. 요약하자면, 디지털트윈은 시뮬레이션과 상호 작용 기반의 실제 가상 세계 동기화 기술이다. 물리적 세계에서 대상(물체, 시스템 또는 인프라)의 모델링은 디지털트윈 기술의 필수적인 요소이다. 특히, 모델링된 대상이 지리 정보 시스템(GIS)과 연결된 디지털트윈 공간에서 상호 작용할 수 있다면 디지털트윈의 효과를 높일 수 있다. 지능형 CCTV와 같은 사물인터넷(IoT) 및 인공지능(Artificial Intelligence of Things, AIoT) 장치, 스마트 가로등은 사람들의 생활에 직접적인 영향을 미친다. 이러한 장치는 인터넷을 통해 측정되거나 감지된 데이터를 데이터 시스템으로 전송한다. 디지털트윈 공간에서 GIS에 등록된 이들 기기의 위치가 알려지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 쉬워진다.Digital twin technology is a technology that implements objects and spaces in the physical world as models in the digital twin space, derives optimal results through simulation and interaction in various environments or conditions in the digital twin space, and then applies them to the physical world for synchronization. . In summary, the digital twin is a real virtual world synchronization technology based on simulation and interaction. Modeling of an object (object, system or infrastructure) in the physical world is an essential element of digital twin technology. In particular, if the modeled object can interact in a digital twin space connected to a geographic information system (GIS), the effect of the digital twin can be enhanced. Internet of Things (IoT) and Artificial Intelligence of Things (AIoT) devices such as intelligent CCTVs, and smart streetlights directly affect people's lives. These devices transmit measured or sensed data to a data system via the Internet. If the location of these devices registered in GIS in the digital twin space is known, data analysis through real-world object simulation and control becomes easy.
대화형 챗봇 인터페이스(conversational chatbot interface), AR/VR/MR/XR 인터페이스 등을 통해 사용자가 디지털트윈 시스템에 접근하여 시각화/디지털화된 데이터를 확인하고 상호 작용할 수 있다. 챗봇의 대화 인터페이스는 실제 사람과의 채팅이나 음성 대화를 모방한 일종의 사용자 인터페이스이다. 대화형 AI 챗봇(음성인식 및 대화이해 기술과 통합)은 디지털트윈 공간에서 효율적이고 편리하게 툴을 모니터링하고 제어할 수 있게 해준다. 사용자들은 음성을 통해 디지털트윈의 AI 시스템에 자신의 의도를 쉽게 전달할 수 있으며, AR/VR/MR과 같은 대화형 컴퓨터 그래픽 및 시각화 기술을 사용하여 상당한 양의 정보를 이해할 수 있다. 상호 작용 AI 어시스턴트 등 챗봇은 IoT, AIoT 기기에서 생성되는 대량의 데이터를 종합적으로 분석해 인간 사용자에게 의미 있는 데이터를 제공한다. 또한, 사용자가 외부 네트워크를 통해 수신하지 않는 정보를 검색하고 전송하는 데 도움이 된다. 본 실시예에서 제안한 플랫폼은 대화형 AI 챗봇과 결합하여 디지털트윈 공간에서 인간의 의사결정을 지원하며, 이를 대화형 디지털트윈(CDT)이라고 한다.Through a conversational chatbot interface, AR/VR/MR/XR interface, etc., users can access the digital twin system to view and interact with visualized/digitized data. A chatbot's conversation interface is a kind of user interface that mimics a chat or voice conversation with a real person. Conversational AI chatbots (integrated with speech recognition and conversation understanding technologies) enable efficient and convenient monitoring and control of tools in the digital twin space. Users can easily communicate their intentions to the digital twin's AI system through voice, and can understand a significant amount of information using interactive computer graphics and visualization techniques such as AR/VR/MR. Chatbots such as interactive AI assistants provide meaningful data to human users by comprehensively analyzing large amounts of data generated by IoT and AIoT devices. It also helps users to retrieve and transmit information that they do not receive over external networks. The platform proposed in this embodiment supports human decision-making in the digital twin space by combining with a conversational AI chatbot, which is called a conversational digital twin (CDT).
디지털트윈은 보안 및 재난 안전을 보장하기 위해 응급 관리 및 대응 시스템에 널리 사용된다. 이 시스템은 지리적 응급관리(Geographical Emergency Management, GEM)인 GIS와 연계되어 인간 사용자와 인공지능이 협업하는 생활공간을 모니터링한다. 대화형 AI 챗봇은 인간 사용자에게 놓칠 수 있는 위험한 상황과 구조 상황을 알리고 대응 방안으로 적절한 대책을 제공한다. 인간 사용자는 이 시스템을 사용하여 음성 또는 기타 NUI(Natural User Interface) 기기를 통해 쉽고 직관적으로 비상 상황을 제어할 수 있다. 사용자는 NUI 기기를 통해 디지털트윈 공간과 동기화할 수 있는 HMD, 웨어러블 기기 및 태블릿을 활용할 수 있다. 또한, 이러한 기기는 3D로 모델링된 디지털트윈 공간과의 상호 작용을 가능하게 한다. Digital twins are widely used in emergency management and response systems to ensure security and disaster safety. This system is linked to Geographical Emergency Management (GEM), GIS, to monitor living spaces where human users and artificial intelligence collaborate. Conversational AI chatbots inform human users of dangerous situations and rescue situations that can be missed and provide appropriate countermeasures as countermeasures. Human users can use the system to easily and intuitively control emergency situations through voice or other natural user interface (NUI) devices. Users can utilize HMDs, wearable devices and tablets that can be synchronized with the digital twin space through NUI devices. In addition, these devices enable interaction with the digital twin space modeled in 3D.
현재 대한민국의 한국과학기술원(KAIST)은 캠퍼스 내 건물을 모델링하고 테이블탑을 통해 홀로렌즈와 교류함으로써 건물별 에너지 소비량을 감시할 수 있는 시스템을 개발했다. 또한, 한국전자통신연구원(ETRI)은 경찰청 콜센터에 음성인식 및 대화기능이 가능한 챗봇을 활용해 민원대응이 가능한 대화형 AI 챗봇을 만들었다. 폭행이나 방화 탐지와 피의자 도주경로 추적 등 디지털트윈 기반 스마트 치안유지 플랫폼 개발에도 활용될 수 있다. 대화형 디지털트윈(CDT)에서는 플랫폼이나 시스템이 엣지 컴퓨팅 서버나 모바일 엣지를 통해 클라우드에 연결되어 고속 3D 렌더링 및 정보 통합 분석을 수행한다. 엣지 컴퓨팅 기기의 원격 렌더링 기술을 활용하여 디지털트윈 시각화 인터페이스(예: AR/XR HMD)의 성능을 실시간으로 개선할 수 있다.Currently, Korea Advanced Institute of Science and Technology (KAIST) has developed a system that can monitor energy consumption by building by modeling buildings on campus and interacting with the HoloLens through a tabletop. In addition, the Electronics and Telecommunications Research Institute (ETRI) created a conversational AI chatbot that can respond to civil complaints by using a chatbot capable of voice recognition and conversation at the National Police Agency's call center. It can also be used to develop a digital twin-based smart public order platform, such as assault or arson detection and suspect escape route tracking. In the interactive digital twin (CDT), a platform or system is connected to the cloud through an edge computing server or mobile edge to perform high-speed 3D rendering and information integration analysis. The performance of digital twin visualization interfaces (e.g. AR/XR HMD) can be improved in real time by utilizing the remote rendering technology of edge computing devices.
외부 네트워크 플랫폼(클라우드를 통한)은 물론, IoT와 AIot 기기와의 연결성이 강해 대규모 빅데이터가 생성된다. 그런 점에서 대화형 AI 챗봇은 그 특성에 따라 빅데이터를 분석할 수 있어야 한다. 대화형 AI 챗봇 활용을 통해 정보 분석 비용 절감과 귀중한 정보 창출도 가능하다.Large-scale big data is generated due to strong connectivity with IoT and AIot devices as well as external network platforms (through the cloud). In that respect, conversational AI chatbots should be able to analyze big data according to their characteristics. Through the use of conversational AI chatbots, information analysis costs can be reduced and valuable information can be created.
도 2는 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 방법을 나타내는 흐름도이다.2 is a flowchart illustrating an interactive digital twin method using geographic information according to an embodiment.
도 2를 참조하면, 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 지리정보를 활용한 대화형 디지털트윈 방법은, 2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계(S210), 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계(S220), 및 대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 사용자의 단말과 상호 작용하여, 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계(S230)를 포함하여 이루어질 수 있다. Referring to FIG. 2, the interactive digital twin method using geographic information performed by a computer device according to an embodiment includes obtaining geographic information data converted to 2D or 3D (S210), geographic information data Visualizing the terminal and providing the visualized information to the user (S220), and interacting with the user's terminal through an artificial intelligence or voice recognition-based chatbot using a conversational interface to manipulate the visualized information or external system It may be made including the step of controlling (S230).
실시예들은 자연어 처리를 통한 대화형 AI 챗봇을 디지털트윈과 연동하여 광범위한 영역을 관리할 수 있는 신개념의 디지털트윈 기술을 제공할 수 있다. 실시예들은 기존 문자형 챗봇 시스템에 비하여 자연어 처리와 디지털트윈의 결합이라는 큰 비약적 발전을 이룰 수 있다. 또한, 자연어 처리 AI를 이용한 디지털트윈 기술로써 기존 시각화에만 집중된 스마트 시티 서비스들에 비해 진보된 시스템을 제공할 수 있다.Embodiments can provide a new concept digital twin technology that can manage a wide range of areas by linking a conversational AI chatbot through natural language processing with a digital twin. Embodiments can achieve a great leap in the combination of natural language processing and digital twin compared to the existing text chatbot system. In addition, as a digital twin technology using natural language processing AI, it can provide an advanced system compared to smart city services focused only on existing visualization.
일 실시예에 따른 컴퓨터 장치에 의해 수행되는 지리정보를 활용한 대화형 디지털트윈 방법은 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 장치를 예를 들어 설명할 수 있다. An interactive digital twin method using geographic information performed by a computer device according to an embodiment may be described by taking an interactive digital twin device using geographic information according to an embodiment as an example.
도 3은 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 장치를 나타내는 블록도이다.3 is a block diagram illustrating an interactive digital twin device using geographic information according to an embodiment.
도 3을 참조하면, 일 실시예에 따른 지리정보를 활용한 대화형 디지털트윈 장치(300)는 지리정보 수집부(310), 정보 시각화부(320) 및 상호 작용부(330)를 포함하여 이루어질 수 있다. Referring to FIG. 3, an interactive digital
단계(S210)에서, 지리정보 수집부(310)는 2D 또는 3D로 변환된 지리정보 데이터를 획득할 수 있다. In step S210, the geographic
지리정보 수집부(310)는 지형정보, 환경정보 및 이동정보 중 적어도 어느 하나 이상과 관련된 데이터, 가상 IoT 및 실제 IoT 중 적어도 어느 하나 이상에서 수집된 데이터, 및 단말의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D 변환된 지리정보 데이터를 획득할 수 있다. 보다 구체적으로, 지리정보 수집부(310)는 지형정보, 환경정보, 이동정보(차량 등 이동) 등과 관련된 데이터, 가상/실제 IoT에서 수집/분석된 데이터, 및 스마트 단말(스마트 패드, 테이블탑 등)의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D-to-2D 변환된 지리정보 데이터를 입력으로 사용할 수 있다. The geographic
지리정보 수집부(310)는 디지털트윈 공간에서 지리적 응급관리(GEM)인 지리 정보 시스템(GIS)에 등록된 IoT, AIoT 및 스마트 기기 중 적어도 어느 하나 이상의 기기의 위치를 획득하며, 지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 가능하다. The geographic
단계(S220)에서, 정보 시각화부(320)는 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공할 수 있다. In step S220, the
보다 구체적으로, 정보 시각화부(320)는 시각화된 정보를 AR 단말, MR 단말, VR 단말 및 스마트 단말 중 적어도 어느 하나 이상의 단말의 디스플레이에 시각화하여 표현할 수 있다. 보다 구체적으로, 정보 시각화부(320)는 수집된 2D/3D 지리정보 데이터를 홀로렌즈(hololens)와 같은 AR/MR 단말 또는 VR 단말뿐 아니라 스마트 단말(스마트 패드, 테이블탑 등)에서 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현(예: 3D 구조물을 포함하는 도시 지도 상에 가상/실제 IoT의 수집된 정보 가시화)할 수 있다. More specifically, the
특히, 정보 시각화부(320)는 구조물을 포함하는 지도 상에 수집된 시각화된 정보를 가시화하여, 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현할 수 있다. In particular, the
단계(S230)에서, 상호 작용부(330)는 대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 사용자의 단말과 상호 작용하여, 시각화된 정보를 조작하거나 외부 시스템을 제어할 수 있다. 여기서, 챗봇은 음성인식 및 자연어 이해 기술을 통합한 대화형 AI 챗봇일 수 있다. In step S230, the
실시예들은 이러한 구조에서 IoT systems, cloud system, edge computing, AI chatbot system 등의 개별 시스템들과의 연동 및 각 시스템 layer들의 구성요소들과의 연계를 통해 동작되는 디지털트윈 프레임워크 기술이다. 특히, 실시예들은 엣지 컴퓨팅부를 통해 지리정보 데이터를 시각화하는 3D 증강현실 기술과 대화형 챗봇을 연결하여 디지털트윈 공간에서 사용자의 의사결정을 지원하며, 특정 상황을 관리하고 대응할 수 있다. Embodiments are a digital twin framework technology that operates through linkage with individual systems such as IoT systems, cloud systems, edge computing, and AI chatbot systems in this structure and linkage with components of each system layer. In particular, the embodiments support user decision-making in the digital twin space by connecting 3D augmented reality technology that visualizes geospatial data through an edge computing unit and an interactive chatbot, and can manage and respond to specific situations.
디지털트윈은 근래 스마트 시티를 지향하는 모든 도시들에서 도입하려고 하는 기술이고, 자연어 처리를 위한 대화형 AI 시스템은 소수 인원으로 서비스를 지원해야 하는 공공기관에서 필수적으로 사용하는 기술이다. 이러한 두 개의 시스템, 즉 디지털트윈 및 대화형 AI 시스템이 결합되면 다양한 공공 서비스를 스마트 시티에 적용할 수 있다. Digital twin is a technology that all cities aiming for a smart city are trying to introduce, and a conversational AI system for natural language processing is a technology that is essential for public institutions that need to support services with a small number of people. When these two systems, the digital twin and the interactive AI system, are combined, a variety of public services can be applied to smart cities.
이에 따라 부족한 응급상황관리 인력을 위한 시스템을 지원할 수 있다. 수많은 응급 상황 신고를 처리하기 위한 사회적 과부하를 디지털트윈과 대화형 AI를 통해 초기 대응에서 상당 부분 처리하여 소수의 관리자의 작업 부하를 경감할 수 있다.Accordingly, it is possible to support a system for insufficient emergency management personnel. Digital twins and conversational AI can handle much of the social overload of handling numerous emergency reports in the initial response, lightening the workload of a small number of managers.
실시예들은 지리정보 데이터를 이용하는 도시 재난안전, 치안, 교통 등의 분야에 활용될 수 있으며, 스마트 시티 기술과 결합되어 확장 가능하다. 증강현실 도구 등을 활용하여 2D/3D 지리정보를 3차원 도시 공간 상에 시각화하고 대화형 인터페이스를 통해 시스템 운영자, 도시 설계자, 관리자, 시민 등이 상호 작용하며 도시 디자인 및 도시 시스템 운영 최적화 등에 활용될 수 있다. Embodiments can be used in areas such as urban disaster safety, public order, and transportation using geographic information data, and are scalable by combining with smart city technology. By using augmented reality tools, 2D/3D geographic information is visualized on a 3D city space, and system operators, urban designers, managers, and citizens interact through interactive interfaces to optimize urban design and urban system operation. can
예를 들어, 실시예들은 지리적인 가시화 기법 제작을 통해 응급 상황의 발생 위치, 시간, 상황을 시스템이 관리/검증하여, 골든타임이 중요한 위급상황을 도울 수 있게 하고, 축적된 정보들을 이용하여 관리의 중요성이 높은 지역과 상황을 예측할 수 있다.For example, in the embodiments, the system manages/verifies the location, time, and situation of an emergency through the production of a geographical visualization technique, so that Golden Time can help important emergency situations, and manages them using accumulated information. It is possible to predict regions and situations where the importance of
또한, 실시예들은 쉽게 시민과 관리자가 소통할 수 있는 인터페이스를 제공할 수 있다. 실시예들에 따르면 위급 상황이 발생하였을 때 관리자와 소통할 수 있는 손쉬운 대화형 인터페이스를 제공하여, 실수와 시민과 관리자간 원활한 대화를 유도할 수 있다.In addition, the embodiments may provide an interface through which citizens and administrators can easily communicate. According to the embodiments, it is possible to induce smooth conversation between mistakes and citizens and administrators by providing an easy conversational interface for communicating with administrators when an emergency situation occurs.
도 4는 일 실시예에 따른 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)의 구조를 나타내는 도면이다.4 is a diagram showing the structure of a interactive digital twin (CDT-GEM) for geographic emergency management according to an embodiment.
지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM) 구조는 관리자가 도시 공간에서 발생하는 응급 상황을 모니터링하고 원격지에서 여러 시민과 관리자 간에 실시간 정보를 전달할 수 있도록 설계될 수 있다. 도 4를 참조하면, 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)은 가상 IoT(410), 실제 IoT(420), 클라우드 시스템(430), 엣지 컴퓨팅부(440) 및 사용자(450)를 포함하여 이루어질 수 있다. 도시된 바와 같이, 각 구성요소는 다양한 기기에 연결될 수 있다. 여기서, 사용자(450)는 단말을 통해 엣지 컴퓨팅부(440)에 접근할 수 있다.An interactive digital twin for geographic emergency management (CDT-GEM) structure can be designed to allow administrators to monitor emergencies occurring in urban space and to communicate real-time information between multiple citizens and administrators at remote locations. Referring to FIG. 4, the interactive digital twin (CDT-GEM) for geographical emergency management includes a
가상 IoT(410)는 데이터를 가상으로 생성하는 서버 시스템 유닛이다. 가상 IoT(410)는 도시 관리자들(사용자(450))이 도심에서 자연현상과 가상 시뮬레이션을 결합하여 테스트를 수행하고자 할 때 사용할 수 있다. 실제 IoT(420)를 표현할 수 없거나 풍부한 정보를 제공하지 못할 때, 가상 IoT(410)는 실제 IoT(420)의 데이터를 보완하는 유용한 데이터를 만들어 혁신도시 서비스를 설계할 수 있다.The
실제 IoT(420)는 기존 IoT 시스템을 결합하여 특정 시점에 이미 존재하는 IoT 시스템을 관리할 수 있는 시스템이다. 여기서, RI1 및 RI2는 연결된 기존 실제 IoT를 나타낸다. 360 IoT는 360 이미지를 사용하여 객체의 위치를 표현하는 기술이다. BoT IoT는 모바일 기기의 음성인식 시스템에서 수신한 정보를 데이터로 나타내 감지 데이터로 활용할 수 있다.The
클라우드 시스템(430)은 마이크로소프트 Azure, AWS, 구글 클라우드 등 대용량 서버 시스템을 활용해 클라우드 서비스를 제공하고, 가상 IoT(410) 및 실제 IoT(420) 시스템에서 생성된 데이터를 입력으로 받아들이는 시스템이다. 클라우드 시스템(430)에서는 추출된 입력 데이터를 구문 분석, 결합 및 분석한다.The
엣지 컴퓨팅부(440)는 클라우드 시스템(430)으로부터 최종적으로 전달 받은 정보를 출력해 사용자(450)가 쉽게 이해하고 사용할 수 있는 형태로 변환한다. The
한편, HMD는 도시 관리자와 시민들(사용자(450))이 마이크로소프트 홀로렌즈와 같은 확장현실(XR) HMD를 사용하는 부분이다. On the other hand, the HMD is a part where city managers and citizens (user 450) use an extended reality (XR) HMD such as Microsoft HoloLens.
엣지 컴퓨팅부(440)의 네트워크를 통해 입력되는 시공간 정보는 360 기술을 이용한 미시적 시각화와 도시 축소라는 방법을 이용한 거시적 시각화를 위해 구분된다. 도시 미니어처(City Miniature)는 도시 지도(Geo-Vis)를 사용하여 지리 정보를 시각화하는 데 사용된다. 360 기술(360 Image/Video)에서는 CCTV 등 모니터링 기술과 비대면 공연 등 건물 내부 원격 방문이 제공된다. Space-time information input through the network of the
테이블탑 기기(Tabletop Device)은 뷰포트(Viewport) 외부의 정보를 쉽게 제어할 수 있는 터치 기능을 제공하는 상호 작용 시스템이며, 테이블탑 기기를 이용하지 않으면 2차원 평면에서는 HMD의 NUI와 함께 처리하기가 불편하다. 테이블탑 기기는 다양한 선택 메뉴와 2차원 객체 이동 및 지리 지도 확대/축소와 같은 정보 표현, 드래그 앤 드롭과 같은 상호 작용 기능을 제공한다. A tabletop device is an interaction system that provides a touch function that can easily control information outside the viewport. Without using a tabletop device, it is difficult to process with the NUI of the HMD on a two-dimensional plane. inconvenient. The tabletop device provides various selection menus, information presentation such as moving two-dimensional objects and zooming in/out of geographic maps, and interactive functions such as drag and drop.
모바일 기기(Mobile Device)를 통해 운영되는 Bot 시스템은 사용자(450)의 자연어 입력을 처리하고, 자연어 입력 언어를 이벤트형 텍스트로 변환하며, 필요한 사람들에게 안내를 제공하고, 관리자가 필요한 기능을 수행할 수 있도록 도와준다. 모바일 기기에서 생성되는 위치 및 상태 정보를 IoT 정보로 변환하여 시스템에 저장할 수 있다.The bot system operated through a mobile device processes the natural language input of the
사용자(450)는 도시 관리자 또는 시민으로서, 다양한 단말(예컨대, 앞에서 설명한 HMD, 테이블탑 기기, 모바일 기기)을 이용하여 엣지 컴퓨팅부(440)에 접속하여 외부 관리자에게 정보를 전달하고 필요한 자료를 제공하여 문제 인식 및 처리를 담당하는 그룹을 말한다.The
디지털트윈 기술은 위기상황/재난현장의 상황을 분석해 시공간 정보를 추출할 수 있다. 하지만 디지털트윈으로 구성된 사이버 공간에서 도시 관리자와 시민을 유연하게 연결할 수 있는 인터페이스 개선이 필요하다. AI 기반 챗봇 시스템은 디지털트윈이 입력 데이터를 분석하여 사용자(450)에게 매우 가치 있는 정보를 빠르고 편리하게 전달할 수 있는 상호 작용 인터페이스로 활용될 수 있다. 또한, 증강현실 기술을 활용한 지리정보 기반의 응급관리 플랫폼 설계가 가능하다. Digital twin technology can extract spatio-temporal information by analyzing the situation at a crisis/disaster site. However, it is necessary to improve the interface that can flexibly connect city managers and citizens in cyberspace composed of digital twins. The AI-based chatbot system can be used as an interactive interface where the digital twin can quickly and conveniently deliver highly valuable information to the user (450) by analyzing input data. In addition, it is possible to design an emergency management platform based on geographic information using augmented reality technology.
제안된 지리적 응급관리를 위한 대화형 디지털트윈(CDT-GEM)에서는 엣지 컴퓨팅부(440)를 통해 3D 증강현실 기술과 챗봇 기능을 연결하여 다양한 측면에서 위기를 관리하고 있다. 5G 엣지 기술, 클라우드 기술, XR HMD, AI 챗봇 시스템의 도움으로 사용자 친화적인 통합 접근 방식을 쉽게 구성할 수 있다. 따라서 스마트 위기 관리를 위해 통합 시스템을 사용할 수 있다. 이상과 같이, 실시예들은 위기 관리에 필수적인 기술을 제시하고, 특정 기술을 사용하여 스마트 서비스를 설계할 수 있는 시스템을 제공할 수 있다.In the proposed interactive digital twin for geographic emergency management (CDT-GEM), crisis management is managed in various aspects by connecting 3D augmented reality technology and chatbot functions through the
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. can be embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (14)
2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계;
상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계; 및
대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계
를 포함하고,
상기 지리정보 데이터를 획득하는 단계는,
디지털트윈 공간에서 지리적 응급관리(Geographical Emergency Management, GEM)인 지리 정보 시스템(Geographic Information System, GIS)에 등록된 IoT, AIoT 및 스마트 기기 중 적어도 어느 하나 이상의 기기의 위치를 획득하며, 지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 가능한 것인, 대화형 디지털트윈 방법.In the interactive digital twin method using geographic information performed by a computer device,
obtaining geographic information data converted into 2D or 3D;
visualizing the geographic information data in a terminal and providing visualized information to a user; and
Manipulating the visualized information or controlling an external system by interacting with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface
including,
Obtaining the geographic information data,
Acquire the location of at least one of IoT, AIoT and smart devices registered in Geographic Information System (GIS), which is Geographical Emergency Management (GEM) in the digital twin space, An interactive digital twin method that enables data analysis through simulation and control.
상기 지리정보 데이터를 획득하는 단계는,
지형정보, 환경정보 및 이동정보 중 적어도 어느 하나 이상과 관련된 데이터, 가상 IoT 및 실제 IoT 중 적어도 어느 하나 이상에서 수집된 데이터, 및 상기 단말의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D 변환된 상기 지리정보 데이터를 획득하는 단계
를 포함하는, 대화형 디지털트윈 방법.According to claim 1,
Obtaining the geographic information data,
Data related to at least one or more of geographic information, environment information, and movement information, data collected from at least one or more of virtual IoT and real IoT, and 2D or 3D conversion for visual expression on the display of the terminal Steps to Acquire Geospatial Data
Including, interactive digital twin method.
상기 시각화된 정보를 제공하는 단계는,
상기 시각화된 정보를 AR 단말, MR 단말, VR 단말 및 스마트 단말 중 적어도 어느 하나 이상의 상기 단말의 디스플레이에 시각화하여 표현하는 것
을 특징으로 하는, 대화형 디지털트윈 방법.According to claim 1,
The step of providing the visualized information,
Visualizing and expressing the visualized information on a display of at least one of an AR terminal, an MR terminal, a VR terminal, and a smart terminal.
Characterized by, interactive digital twin method.
2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계;
상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계; 및
대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계
를 포함하고,
상기 시각화된 정보를 제공하는 단계는,
구조물을 포함하는 지도 상에 수집된 상기 시각화된 정보를 가시화하여, 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현하는 것
을 특징으로 하는, 대화형 디지털트윈 방법.In the interactive digital twin method using geographic information performed by a computer device,
obtaining geographic information data converted into 2D or 3D;
visualizing the geographic information data in a terminal and providing visualized information to a user; and
Manipulating the visualized information or controlling an external system by interacting with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface
including,
The step of providing the visualized information,
Visualizing the visualized information collected on a map including structures and expressing it with data visualization or augmented-virtual reality visualization technology
Characterized by, interactive digital twin method.
상기 챗봇은,
음성인식 및 자연어 이해 기술을 통합한 대화형 AI 챗봇인 것
을 특징으로 하는, 대화형 디지털트윈 방법.According to claim 1,
The chatbot,
A conversational AI chatbot that integrates voice recognition and natural language understanding technologies
Characterized by, interactive digital twin method.
2D 또는 3D로 변환된 지리정보 데이터를 획득하는 단계;
상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 단계; 및
대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 단계
를 포함하고,
엣지 컴퓨팅부를 통해 상기 지리정보 데이터를 시각화하는 3D 증강현실 기술과 대화형 상기 챗봇을 연결하여 디지털트윈 공간에서 사용자의 의사결정을 지원하며, 특정 상황을 관리하고 대응하는 것
을 특징으로 하는, 대화형 디지털트윈 방법.In the interactive digital twin method using geographic information performed by a computer device,
obtaining geographic information data converted into 2D or 3D;
visualizing the geographic information data in a terminal and providing visualized information to a user; and
Manipulating the visualized information or controlling an external system by interacting with the terminal of the user through an artificial intelligence or voice recognition-based chatbot using a conversational interface
including,
Connecting the 3D augmented reality technology that visualizes the geographic information data through the edge computing unit and the interactive chatbot to support the user's decision-making in the digital twin space, and to manage and respond to specific situations
Characterized by, interactive digital twin method.
2D 또는 3D로 변환된 지리정보 데이터를 획득하는 지리정보 수집부;
상기 지리정보 데이터를 단말에 시각화하여, 사용자에게 시각화된 정보를 제공하는 정보 시각화부; 및
대화형 인터페이스를 이용한 인공지능 또는 음성인식 기반 챗봇을 통해 상기 사용자의 상기 단말과 상호 작용하여, 상기 시각화된 정보를 조작하거나 외부 시스템을 제어하는 상호 작용부
를 포함하고,
상기 정보 시각화부는,
구조물을 포함하는 지도 상에 수집된 상기 시각화된 정보를 가시화하여, 데이터 시각화 또는 증강-가상현실 시각화 기술로 표현하는 것
을 특징으로 하는, 대화형 디지털트윈 장치.In the interactive digital twin device using geographic information,
a geographic information collection unit that acquires geographic information data converted into 2D or 3D data;
an information visualization unit that visualizes the geographic information data in a terminal and provides visualized information to a user; and
An interaction unit for manipulating the visualized information or controlling an external system by interacting with the terminal of the user through an artificial intelligence or voice recognition based chatbot using a conversational interface
including,
The information visualization unit,
Visualizing the visualized information collected on a map including structures and expressing it with data visualization or augmented-virtual reality visualization technology
Characterized by, interactive digital twin device.
상기 지리정보 수집부는,
지형정보, 환경정보 및 이동정보 중 적어도 어느 하나 이상과 관련된 데이터, 가상 IoT 및 실제 IoT 중 적어도 어느 하나 이상에서 수집된 데이터, 및 상기 단말의 디스플레이 상에 시각화하여 표현하기 위한 2D 또는 3D 변환된 상기 지리정보 데이터를 획득하는 것
을 특징으로 하는, 대화형 디지털트윈 장치.According to claim 8,
The geographic information collection unit,
Data related to at least one or more of geographic information, environment information, and movement information, data collected from at least one or more of virtual IoT and real IoT, and 2D or 3D conversion for visual expression on the display of the terminal Acquiring geospatial data
Characterized by, interactive digital twin device.
상기 지리정보 수집부는,
디지털트윈 공간에서 지리적 응급관리(Geographical Emergency Management, GEM)인 지리 정보 시스템(Geographic Information System, GIS)에 등록된 IoT, AIoT 및 스마트 기기 중 적어도 어느 하나 이상의 기기의 위치를 획득하며, 지면 실제 세계 대상 시뮬레이션과 제어를 통한 데이터 분석이 가능한 것
을 특징으로 하는, 대화형 디지털트윈 장치.According to claim 8,
The geographic information collection unit,
Acquire the location of at least one of IoT, AIoT and smart devices registered in Geographic Information System (GIS), which is Geographical Emergency Management (GEM) in the digital twin space, Capable of data analysis through simulation and control
Characterized by, interactive digital twin device.
상기 정보 시각화부는,
상기 시각화된 정보를 AR 단말, MR 단말, VR 단말 및 스마트 단말 중 적어도 어느 하나 이상의 상기 단말의 디스플레이에 시각화하여 표현하는 것
을 특징으로 하는, 대화형 디지털트윈 장치.According to claim 8,
The information visualization unit,
Visualizing and expressing the visualized information on a display of at least one of an AR terminal, an MR terminal, a VR terminal, and a smart terminal.
Characterized by, interactive digital twin device.
상기 챗봇은,
음성인식 및 자연어 이해 기술을 통합한 대화형 AI 챗봇인 것
을 특징으로 하는, 대화형 디지털트윈 장치.According to claim 8,
The chatbot,
A conversational AI chatbot that integrates voice recognition and natural language understanding technologies
Characterized by, interactive digital twin device.
엣지 컴퓨팅부를 통해 상기 지리정보 데이터를 시각화하는 3D 증강현실 기술과 대화형 상기 챗봇을 연결하여 디지털트윈 공간에서 사용자의 의사결정을 지원하며, 특정 상황을 관리하고 대응하는 것
을 특징으로 하는, 대화형 디지털트윈 장치.According to claim 8,
Connecting 3D augmented reality technology that visualizes the geographic information data through the edge computing unit and the interactive chatbot to support user decision-making in the digital twin space, and to manage and respond to specific situations
Characterized by, interactive digital twin device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210118569A KR102515233B1 (en) | 2021-09-06 | 2021-09-06 | Conversational Digital Twin Method using Geographic Information and Apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210118569A KR102515233B1 (en) | 2021-09-06 | 2021-09-06 | Conversational Digital Twin Method using Geographic Information and Apparatus thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230035955A KR20230035955A (en) | 2023-03-14 |
| KR102515233B1 true KR102515233B1 (en) | 2023-03-30 |
Family
ID=85502957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210118569A KR102515233B1 (en) | 2021-09-06 | 2021-09-06 | Conversational Digital Twin Method using Geographic Information and Apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102515233B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117472916B (en) * | 2023-12-27 | 2024-03-12 | 国网浙江省电力有限公司金华供电公司 | Power engineering asset data management method, device, computing equipment and storage medium |
| KR102666167B1 (en) * | 2023-12-29 | 2024-05-14 | 주식회사 티맥스메타버스 | Web-based 3d gis visualization method and device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102326521B1 (en) * | 2019-03-15 | 2021-11-16 | 한국전자통신연구원 | Multi-access or mobile edge computing platform, digital twin service system having the same and operating method thereof |
| KR102295318B1 (en) * | 2019-03-29 | 2021-08-31 | (주) 미스터멘션 | Recommendation system for concierge service using chatbot system |
| KR102293819B1 (en) * | 2019-12-26 | 2021-08-26 | 한국국토정보공사 | Spatial information based digital twin service providing device and method |
-
2021
- 2021-09-06 KR KR1020210118569A patent/KR102515233B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230035955A (en) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102515233B1 (en) | Conversational Digital Twin Method using Geographic Information and Apparatus thereof | |
| Blasch | Enhanced air operations using JView for an air-ground fused situation awareness UDOP | |
| Sebillo et al. | Training emergency responders through augmented reality mobile interfaces | |
| US11809678B2 (en) | Three dimensional visual programming interface for a network of devices | |
| CN110083455A (en) | Figure computation processing method, device, medium and electronic equipment | |
| KR102441454B1 (en) | 3d digital twin visualization system interlocked with real and virtual iot devices and the method thereof | |
| Kim et al. | Visual analytics on mobile devices for emergency response | |
| KR102383777B1 (en) | System, method and computer-readable recording medium for intergrated management of fire fighting information based on spatial information | |
| US11361664B2 (en) | Integration of unmanned aerial system data with structured and unstructured information for decision support | |
| Koutitas et al. | Demo/poster abstract: XReality research lab—Augmented reality meets Internet of Things | |
| Bouloukakis et al. | Virtual reality for smart city visualization and monitoring | |
| WO2016081628A1 (en) | System and method for aggregating and analyzing data and creating a spatial and/or non-spatial graphical display based on the aggregated data | |
| Rausch et al. | Towards a platform for smart city-scale cognitive assistance applications | |
| Grübel et al. | Fused twins: A cognitive approach to augmented reality media architecture | |
| Scholten et al. | Spatial Data Infrastructure for emergency response in Netherlands | |
| Toumpalidis et al. | VR Binoculars: an immersive visualization framework for IoT data streams | |
| Kim et al. | Mobile analytics for emergency response and training | |
| Kurata et al. | Service cooperation and co-creative intelligence cycles based on mixed-reality technology | |
| Walenciak et al. | Extending spatial data infrastructures 3D by geoprocessing functionality-3D simulations in disaster management and environmental research | |
| Koshnicharova et al. | Data-driven interactive crowd management systems for Metaverse scenarios | |
| Li et al. | Urban computing cyberinfrastructure: visualizing human sentiment using social media and augmented reality | |
| KR102640497B1 (en) | Apparatus for light weighted setting spatial data of 3d modeling data and video monitoring | |
| Dunaway et al. | Research agenda in intelligent infrastructure to enhance disaster management, community resilience and public safety | |
| Wang et al. | Intelligent building emergency management using building information modelling and game engine | |
| Oliveira et al. | Collaborative Safe Escape in Digital Transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |