WO2019012315A1 - Способ формирования среды дополненной реальности - Google Patents

Способ формирования среды дополненной реальности Download PDF

Info

Publication number
WO2019012315A1
WO2019012315A1 PCT/IB2017/054245 IB2017054245W WO2019012315A1 WO 2019012315 A1 WO2019012315 A1 WO 2019012315A1 IB 2017054245 W IB2017054245 W IB 2017054245W WO 2019012315 A1 WO2019012315 A1 WO 2019012315A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
camera
augmented reality
unmanned vehicle
unmanned
Prior art date
Application number
PCT/IB2017/054245
Other languages
English (en)
French (fr)
Inventor
Виталий Витальевич АВЕРЬЯНОВ
Андрей Валерьевич КОМИССАРОВ
Original Assignee
Девар Энтертеймент Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Девар Энтертеймент Лимитед filed Critical Девар Энтертеймент Лимитед
Priority to PCT/IB2017/054245 priority Critical patent/WO2019012315A1/ru
Priority to RU2020105738A priority patent/RU2736008C1/ru
Priority to US16/630,646 priority patent/US11281287B2/en
Publication of WO2019012315A1 publication Critical patent/WO2019012315A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • the closest in technical essence is a method of implementing a system for controlling a plurality of unmanned vehicles, consisting in controlling the position of a plurality of unmanned vehicles with built-in cameras, transmitting remote images received by using built-in cameras to the virtual reality cockpit, corresponding to the received images.
  • the known system can be used to visualize events or images that form a virtual reality environment for a remote user using unmanned guided vehicles.
  • Another disadvantage of the known solution is the lack of reliability in some cases, due to the limitations of the parameters of the captured image, which do not allow you to safely control the unmanned vehicle in difficult conditions of insufficient visibility of obstacles.
  • the technical result is to increase the information content of the received data, to ensure the possibility of interaction with other users during a communication session with an unmanned vehicle and to increase the reliability and safety of the system.
  • FIG. 1 schematically shows an example of an embodiment of a method for forming an augmented reality environment
  • FIG. 2 is a block diagram of a system built to implement a method for forming a virtual reality environment using a server
  • ⁇ - unmanned vehicle 2 - built-in camera, 3 - user display means, 4 - unmanned vehicle control means, 5 - user’s technical equipment
  • 6 - image captured by the unmanned vehicle video camera and displayed on user display facilities 7 is the second user
  • 8 is the spatial model of the user
  • 9 is the image rendered by the augmented reality tools of the second user, including the image captured by his camera and above which the spatial model of the user is displayed.
  • 10 - command receiver 11 - executive bodies, 13 - positioning tools, 14 - measuring sensor, 15 - repeater, 16 - local communications, 17 - server, 18 - Internet, 19 - user calculation tools, 20 - second user camera, 21 - means of visualization of the second user, 22 - means of calculating the second user, 23 - means of audio communication, 24 - means of augmented reality of the second user.
  • the method of forming the augmented reality environment consists in controlling the position of an unmanned vehicle equipped with an integrated camera using the appropriate user controls, determining the coordinates of the position of the unmanned vehicle transmitting the signals of the captured camera image to the user's display devices for visualization, visualizing using means of forming augmented reality of the second user captured by his camera image
  • a user’s top model is displayed on top of which the motion of the elements and the position in space are based on the positioning data of the unmanned vehicle and the direction of the camera, and also provide voice and / or text messages between the user and at least one second user in real time.
  • the user model is formed either with the help of the user's computing facilities and transmitted for real-time visualization to the means of generating the augmented reality of the second user, or with the help of the computing means of the second user.
  • this unmanned vehicle is an unmanned aerial vehicle and / or unmanned ground vehicle, and / or unmanned surface transport vehicle vehicle, and / or unmanned underwater vehicle, and / or unmanned spacecraft.
  • the implementation of the augmented reality medium formation method allows equipping the unmanned vehicle in addition to the camera with measuring sensors calibrated with the camera, such as an IR sensor, radar, echo sounder or an electric field intensity sensor.
  • the user's computing equipment transmits the thermal or radar image, or the image generated by the reflected sound signals, or the electric field intensity measurement signals, respectively.
  • the signals received from the output of the corresponding sensor when the coordinates of the unmanned vehicle are known, provide not only the ability to visualize the surface of the distribution of the measured value along with the image captured by the camera, but also generate and display a spatial model of the measured value when measured from different angles.
  • the user display means in a particular implementation, in which the spatial model investigated using an area unmanned vehicle, or the spatial model of a measured value is displayed, are means of forming a virtual reality, for example, a virtual reality helmet.
  • the method of forming an augmented reality environment works as follows.
  • the user using the controls of the unmanned vehicle, launches and controls the movement of the unmanned vehicle.
  • a camera integrated on an unmanned vehicle captures an image that over the air using mobile communications, such as Wi-Fi, GPRS or others, is transmitted to the input of display devices at the location of a user remote from an unmanned vehicle controlled by him.
  • the data on the generated mobile model is transmitted through the server for visualization to the means of generating the augmented reality of the second user.
  • the moving spatial model of the user can also be formed using the means of calculating the second user based on the obtained data on the coordinates of the unmanned vehicle, the direction of the camera and the data stored in the memory necessary for visualizing the spatial model.
  • the position of the moving model on the rendered image is determined by detecting the unmanned vehicle on the frame captured by the camera of the second user image, determining its coordinates and relative sizes in the frame, determining the distance between the second user and the unmanned vehicle and then replacing part of the image containing the unmanned vehicle on the image of the mobile model of the user. In this case, such a replacement is carried out at a scale corresponding to the distance between the second user and the unmanned vehicle.
  • the moving spatial model of the user is an animated picture containing the user's image, the lips movement of which corresponds to the sounds of voice messages generated by him, the body direction - the direction of movement of the unmanned vehicle, the direction of head rotation - the angle of rotation of the camera of the unmanned vehicle, the movement of hands and legs of the unmanned vehicle funds at a particular point in time.
  • the presence of a moving model provides the illusion of the presence of the user next to the second user.
  • the second user is near or at a distance from the unmanned aircraft, which allows him to formulate explanations and comments on the movement of the unmanned vehicle, including explaining the objects in view or warn about possible threats in moving the unmanned vehicle in a particular direction.
  • the exchange of voice or text messages allows the user to interact with the second or second users, that is, with other users during a session with an unmanned vehicle.
  • the augmented reality generation tools of the second user provide visualization of the image captured by his camera and the user's spatial model displayed on top of the captured image, as well as receiving and playing real-time voice messages of the user, as well as transmitting the user's own voice messages to the user.
  • the preferred version of the device for implementing the method of forming an augmented reality environment contains four main nodes: user technical equipment, means of forming augmented reality of the second user, unmanned vehicle, wireless communications, including a repeater of commands of local communications.
  • the technical equipment of the user includes the means of controlling the unmanned vehicle, the means of calculation that ensure the formation of the spatial model and the means of display obtained from the camera of the unmanned vehicle of the image, which in a specific implementation can be augmented reality means.
  • Tools for the formation of augmented reality can be performed, for example, in the form of augmented reality glasses or a virtual reality helmet, and include a camera, visualization tools, computing tools and audio media.
  • the unmanned vehicle which is an unmanned aerial vehicle and / or unmanned ground vehicle, and / or unmanned surface vehicle, and / or unmanned underwater vehicle and / or unmanned spacecraft, includes a camera connected wirelessly to the means of calculation the user and the executive bodies of the unmanned vehicle, which are engines, steering wheels, regulators, etc., connected to the corresponding receiver radio control commands.
  • Wireless communications include means of distributing signals over the Internet, a server, and a local communications command repeater. Wireless communications are made in the framework of Wi-Fi standards or GPRS or LTE standards, or another similar.
  • the device for its implementation may not include a local communications command repeater.
  • the commands to control the unmanned vehicle come through a modem using Wi-Fi or GPRS or LTE, etc.
  • the device for implementing the method of forming the environment of augmented reality works as follows.
  • the signals captured from the camera of an unmanned vehicle controlled by the user are received by wireless communication line to the server, from where via the Internet are fed to the input of display devices for visualization.
  • the executive bodies of the unmanned vehicle are given control commands generated by the user using the means of control of the unmanned vehicle.
  • the mobile spatial model of the user is formed using the appropriate software installed on the user's computing tools and is transmitted for visualization to the means of generating the augmented reality of the second user.
  • the implementation of a mobile spatial model is formed by means of the augmented reality of the second user, working under the control of appropriate software.
  • the initial data for the formation of a moving spatial model are the data of the model itself, as well as the positioning data of the unmanned vehicle, the direction of its camera, the positioning data of the second user, and the direction of its camera.
  • an unmanned vehicle can be equipped with an IR sensor or an electric field strength sensor, or a radar, or an echo sounder.
  • the signals from the sensor output are transmitted through the server to the user's computing facilities, where taking into account the positioning data of the unmanned vehicle, the image is provided with a mutual binding created by the signals of the measuring sensor and created earlier in the memory of the spatial model of the studied area.
  • the specified spatial model of the area is fed to the user's display equipment and provides visualization of the person being inspected using an unmanned vehicle in the context of difficulties in obtaining images from the camera, for example, in conditions of poor visibility.
  • Example 1 The user's task is to inspect an industrial facility with an unmanned vehicle.
  • Technical equipment of the user located at a distance from the industrial facility, allow controlling the unmanned gyroscooter and video cameras installed on it. There are two video cameras installed on the gyroscooter, which ensure the formation of a three-dimensional image of objects in the surrounding space.
  • the pilotless hoverboard is also equipped with a GPS receiver.
  • the user controls the unmanned gyroscooter by transmitting command signals via the Internet to the repeater and then to the radio receiver of the commands and to the executive bodies of the hoverboard.
  • the user receives an image captured by cameras, which is displayed on a display device, which can be used as a display or augmented reality glasses, or a virtual reality helmet, etc.
  • the inspection is accompanied by a second user - an employee of a local enterprise, equipped with augmented reality glasses with a built-in camera, microphone and sound reproduction tools.
  • the user's computing facilities provide for the formation of a mobile user model based on the positioning data of the hoverboard and the direction of the cameras.
  • the data of the generated mobile user model is transmitted through the server to the augmented reality tools of the second user for visualization.
  • the second user has the opportunity to observe the image of the scanned area captured by his camera, as well as the spatial model of the user-inspector, whose position in the image corresponds to the mutual position in the hoverboard and the second user, as well as the direction of the second user’s camera, while the head direction of the spatial model of the user corresponds to the direction Hoverboard cameras.
  • the user can ask questions to the second user, who has the ability to answer questions, accompanying the user’s video information, for example, on the functioning parameters of the equipment that has fallen into the field of vision.
  • the second user has the opportunity to give advice on the direction of movement of the unmanned hoverboard, preventing hitting obstacles and other emergencies.
  • the image of the spatial model also disappears from the captured image, so that the unmanned vehicle is a marker for visualizing the user’s spatial model.
  • the illusion of the presence of the user is created and the possibility of mutual communication enhances this effect of the presence of the user next to the second user.
  • the user's task is to conduct an excursion tour for educational purposes for students in the architectural complex using an unmanned vehicle.
  • Technical equipment of a user located at a distance from an industrial facility allows controlling an unmanned aerial vehicle - a quadcopter and video cameras installed on it and a GPS receiver.
  • the remote user controls the flight direction and its duration within the established limits determined by the battery charge and local radio communication distance itself by transmitting command signals via the Internet to the repeater and then to the radio command receiver and to the quadcopter executives.
  • the user receives an image captured by quadrocopter cameras, which is displayed on a display device, which can be used as a display or augmented reality glasses, or a virtual reality helmet, etc.
  • the computation means form a mobile spatial model of the user based on the obtained coordinates of the quadrocopter and the direction of its camera.
  • the generated spatial user model is transmitted in real time to the server.
  • One or more second users for whom an excursion tour is conducted, have augmented reality glasses, which receive and render an image from the camera of augmented reality glasses and a spatial model of the user conducting the tour and making the necessary explanations.
  • the position of the visualized moving spatial user model on the augmented reality tools of the second users is calculated based on the coordinates and camera direction of the corresponding second user by its augmented reality tools.
  • One or more second users have the opportunity during the excursion tour to ask questions and receive answers in real time.
  • the exchange of messages between the user and the second users is carried out in the conference mode, that is, the second users hear each other's messages.
  • UAV unmanned aerial vehicle
  • the territory of the accident is characterized by poor visibility and has dangerous places for a person there, about which it is unknown in advance. Hazards can be smoldering floors, wells that are invisible in smoke, etc. Using the camera in such conditions is inefficient. However, the spatial model of the specified territory has already been created and can be visualized by means of user visualization.
  • the user controls the flight of the UAV, while he is able to receive IR sensor data from different points during the flight of the UAV, providing information to the second user about hidden dangers or about the presence of living creatures under the rubble that are not visible for his perspective.
  • the task of the user is to build a plan or a three-dimensional model of an underwater object.
  • An unmanned vehicle is a boat equipped with a camera and an echo sounder.
  • the second user accompanies the boat under water and is equipped with an augmented reality helmet.
  • echo sounder signals become important, which make it possible to obtain an unfolded image of an underwater object.
  • the second user receives an image from the output of his camera and a mobile model of the user at the location of the trays on the frame.
  • the second user approaches the item being investigated and identifies it in place, reporting the results to the user.
  • the user receiving voice messages of the second user has the ability to mark, for example, with the corresponding texture visible, only with the help of an echo sounder the elements of the object and thus refine the plan or align the spatial model of the object under study.
  • a three-dimensional textured model of an underwater object is formed.
  • the method of forming an augmented reality environment can be implemented using standard instruments and computing tools, including unmanned vehicles, remote radio control devices, processor-based computing tools, video cameras, etc.
  • the method of forming an augmented reality environment provides a higher information content of the obtained data, the ability to interact with other users during a session with an unmanned vehicle and is more reliable and safer to implement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к компьютерной обработке данных, а именно к способам формирования среды дополненной реальности и содержит следующие шаги: управление положением беспилотного транспортного средства со встроенной камерой, определение координат положения беспилотного транспортного средства, передаче захваченного изображения камеры на средства отображения пользователя для визуализации, обмен сообщениями в реальном времени между пользователем и, по меньшей мере, одним вторым пользователем, находящимся на расстоянии видимости от беспилотного транспортного средства и снабжённого средствами визуализации дополненной реальности, визуализации изображения захваченного камерой второго пользователя с помощью средств формирования дополненной реальности второго пользователя, визуализации пространственной модели пользователя, при этом положение пространственной модели на визуализируемом изображении соответствует положению беспилотного транспортного средства на захваченном изображении с камеры второго пользователя. Техническим результатом является повышение информативности полученных данных, обеспечение возможности взаимодействия с другими пользователя во время сеанса связи с беспилотным транспортным средством и повышение надёжности и безопасности работы системы.

Description

СПОСОБ ФОРМИРОВАНИЯ СРЕДЫ ДОПОЛНЕННОЙ
РЕАЛЬНОСТИ
Наиболее близким по технической сущности является способ реализации системы для управления множеством беспилотных транспортных средств, заключающийся в управлении положением множества беспилотных транспортных средств со встроенными камерами, передачи в кабину виртуальной реальности удалённого пользователя полученных с помощью встроенных камер изображений, визуализации полученных изображений, формирование дополнительного контента, соответствующего полученным изображениям.
Известная система может быть использована для визуализации событий или изображений, формирующих среду виртуальной реальности для удалённого пользователя с применением беспилотных управляемых транспортных средств.
Ещё одним недостатком известного решения является недостаточная в ряде случаев надёжность работы, обусловленная ограничениями параметров захваченного изображения, не позволяющими безопасно управлять беспилотным транспортным средством в сложных условиях недостаточной видимости препятствий.
Техническим результатом является повышение информативности полученных данных, обеспечение возможности взаимодействия с другими пользователя во время сеанса связи с беспилотным транспортным средством и повышение надёжности и безопасности работы системы.
На фиг. 1 схематично показан пример воплощения способа формирования среды дополненной реальности, на Фиг. 2 - структурная схема системы, построенной для реализации способа формирования среды виртуальной реальности с использованием сервера,
На чертежах сделаны следующие обозначения^ - беспилотное транспортное средство, 2 - встроенная камера, 3 - средства отображения пользователя, 4 - средства управления беспилотным транспортным средством, 5 - техническое оборудование пользователя, 6 - изображение, захваченное видеокамерой беспилотного транспортного средства и выведенное на средства отображения пользователя, 7 - второй пользователь, 8 - пространственная модель пользователя, 9 - изображение визуализированное средствами дополненной реальности второго пользователя, включающее захваченное его камерой изображение поверх которого отображена пространственная модель пользователя. 10 - приёмник команд, 11 - исполнительные органы, 13 - средства позиционирования, 14 - измерительный датчик, 15 - ретранслятор, 16 - локальные средства связи, 17 - сервер, 18 - Интернет, 19 - средства вычисления пользователя, 20 - камера второго пользователя, 21 - средства визуализации второго пользователя, 22 - средства вычисления второго пользователя, 23 - средства аудиосвязи, 24 - средства дополненной реальности второго пользователя.
Способ формирования среды дополненной реальности заключается в том, что осуществляют управление положением беспилотного транспортного средства, оснащённого встроенной камерой, с помощью соответствующих средств управления пользователя, определяют координаты положения беспилотного транспортного средства, передают сигналы захваченного изображения камеры на средства отображения пользователя для визуализации, визуализируют с помощью средств формирования дополненной реальности второго пользователя, захваченное его камерой изображение, поверх которого выводят пространственную модель пользователя, движение элементов которой и положение в пространстве формируют на основе данных позиционирования беспилотного транспортного средства и направления камеры, а также обеспечивают обмен голосовых и/или текстовых сообщений между пользователем и, по меньшей мере, одним вторым пользователем в реальном времени.
Модель пользователя формируют либо с помощью вычислительных средств пользователя и передают её для визуализации в реальном времени на средства формирования дополненной реальности второго пользователя, либо с помощью вычислительных средств второго пользователя.
При этом беспилотным транспортным средством является беспилотный летательный аппарат и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат.
Реализация способа формирования среды дополненной реальности допускает оснащение беспилотного транспортного средства помимо камеры также измерительными датчиками, скалибрированными с камерой, такими как ИК датчик, радар, эхолот или датчик напряженности электрического поля. В этом случае помимо захваченного изображения с камеры на вычислительные средства пользователя передаются сигналы теплового или радиолокационного изображения, или изображения, сформированного отраженными звуковыми сигналами или сигналы измерения напряженности электрического поля, соответственно. Полученные с выхода соответствующего датчика сигналы, при известности координат беспилотного транспортного средства обеспечивают не только возможность визуализации поверхности распределения измеренной величины вместе с изображением захваченным камерой, но и сформировать и отобразить пространственную модель измеренной величины при условии измерения из разных ракурсов.
Средства отображения пользователя в конкретном варианте реализации, в котором отображают пространственную модель, исследуемого с помощью беспилотного транспортного средства района, или пространственную модель измеренной величины, представляют собой средства формирования виртуальной реальности, например, шлем виртуальной реальности.
Способ формирования среды дополненной реальности работает следующим образом.
Пользователь с помощью средств управления беспилотным транспортным средством осуществляет запуск и управление движением беспилотного транспортного средства. Встроенная на беспилотном транспортном средстве камера захватывает изображение, которое по радиоканалу, с помощью средств мобильной связи, например, Wi-Fi, GPRS или других, передают на вход средств отображения в месте нахождения пользователя, удалённого от управляемого им беспилотного транспортного средства.
Определяют координаты положения беспилотного транспортного средства в реальном времени с помощью средств глобального или локального позиционирования, в предпочтительном варианте с использованием спутниковой системы GPS или ГЛОНАСС. Для позиционирования могут быть использованы также и другие системы, например, с использованием сотовой сети, по методу COO, АОА, либо иные. Передают данные о координатах беспилотного транспортного средства на средства вычисления пользователя, где формируют подвижную пространственную модель пользователя на основе созданной заранее и сохраняемой в памяти пространственной модели пользователя, позволяющей перемещение её элементов, например, поворот головы и/или корпуса, движение конечностей и пр. и визуализацию, в зависимости от позиционирования беспилотного транспортного средства в кадре захваченного камерой второго пользователя изображения, то есть на основании координат беспилотного транспортного средства, положения его камер, координат второго пользователя и угла поворота его камеры. Данные о сформированной подвижной модели передают через сервер для визуализации на средства формирования дополненной реальности второго пользователя.
Подвижная пространственная модель пользователя может также быть сформирована с помощью средств вычисления второго пользователя на основе полученных данных о координатах беспилотного транспортного средства, направления камеры и сохраняемых в памяти данных, необходимых для визуализации пространственной модели.
Если данные пространственной модели пользователя хранятся в памяти средств формирования дополненной реальности второго пользователя, то в конкретной реализации изобретения положение подвижной модели на визуализируемом изображении определяют путём обнаружения беспилотного транспортного средства на кадре захваченного камерой второго пользователя изображения, определения его координат и относительных размеров в кадре, определяющих расстояние между вторым пользователем и беспилотным транспортным средством и затем заменой части изображения, содержащего беспилотное транспортное средство на изображение подвижной модели пользователя. При этом такую замену осуществляют в масштабе, соответствующем дальности между вторым пользователем и беспилотным транспортным средством. Подвижная пространственная модель пользователя представляет собой анимированную картинку, содержащую изображение пользователя, движение губ которого соответствует звукам формируемых им голосовых сообщений, направление тела - направлению движения беспилотного транспортного средства, направление поворота головы - углу поворота камеры беспилотного транспортного средства, движения рук и ног перемещению беспилотного транспортного средства в конкретный момент времени. Таким образом, наличие подвижной модели обеспечивает создание иллюзии присутствия пользователя рядом со вторым пользователем.
Во время сеанса связи пользователя с беспилотным транспортным средством второй пользователь, снабжённый средствами визуализации дополненной реальности находится вблизи или на расстоянии видимости от беспилотного летательного аппарата, что позволяет ему формулировать пояснения и комментарии относительно перемещения беспилотного транспортного средства, в том числе пояснять попавшие в поле зрения объекты или предупреждать о возможных угрозах в перемещении беспилотного транспортного средства в конкретном направлении.
Обмен голосовыми или текстовыми сообщениями обеспечивает возможность взаимодействия пользователя со вторым или со вторыми пользователями, то есть с другими пользователями во время сеанса связи с беспилотным транспортным средством.
Возможность второго пользователя, получающего изображение исследуемого района с другого ракурса, предупреждать о возможных опасностях в перемещении беспилотного транспортного средства повышает надёжность и безопасность реализации способа.
Средства формирования дополненной реальности второго пользователя обеспечивают визуализацию захваченного его камерой изображения и пространственной модели пользователя, отображаемой поверх захваченного изображения, а также приём и воспроизведение в реальном времени голосовых сообщений пользователя, а также передачу пользователю сигналов собственных голосовых сообщений.
Предпочтительный вариант устройства для реализации способа формирования среды дополненной реальности содержит четыре основных узла: техническое оборудование пользователя, средства формирования дополненной реальности второго пользователя, беспилотное транспортное средство, беспроводные средства связи, включая ретранслятор команд локальных средств связи.
Техническое оборудование пользователя включает средства управления беспилотным транспортным средством, средства вычисления, обеспечивающие формирование пространственной модели и средства отображения, полученного от камеры беспилотного транспортного средства изображения, которыми в конкретной реализации могут быть средства дополненной реальности.
Средства формирования дополненной реальности могут быть выполнены, например, в виде очков дополненной реальности или шлема виртуальной реальности, и включают камеру, средства визуализации, средства вычисления и средства аудиосвязи.
Беспилотное транспортное средство, представляющее собой беспилотный летательный аппарат и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат, включает камеру, соединённую посредством беспроводной связи со средствами вычисления пользователя и исполнительные органы беспилотного транспортного средства, представляющие собой двигатели, рули, регуляторы и пр., соединённые с соответствующим приёмником радиосигналов команд управления.
Средства беспроводной связи включают средства распространения сигналов через Интернет, сервер и ретранслятор команд локальных средств связи. Средства беспроводной связи выполнены в рамках стандартов Wi-Fi или стандартов GPRS или LTE, или иного аналогичного.
В конкретном воплощении способа устройство для его реализации может не включать ретранслятор команд локальных средств связи. В этом случае команды управление беспилотным транспортным средством поступают через модем с использованием Wi-Fi или GPRS или LTE и пр.
Устройство для реализации способа формирования среды дополненной реальности работает следующим образом.
Сигналы захваченного изображения с камеры беспилотного транспортного средства, управляемого пользователем, поступают по беспроводной линии связи на сервер, откуда посредством сети Интернет подаются на вход средств отображения для визуализации.
Через сервер, ретранслятор команд и приёмник на исполнительные органы беспилотного транспортного средства подаются команды управления, формируемые пользователем с помощью средств управления беспилотным транспортным средством.
Подвижная пространственная модель пользователя формируется с помощью соответствующих программных средств, установленных на средствах вычисления пользователя и передаётся для визуализации на средства формирования дополненной реальности второго пользователя.
В другом варианте реализации подвижная пространственная модель формируется средствами дополненной реальности второго пользователя, работающими под управлением соответствующих программных средств. Исходными данными для формирования подвижной пространственной модели являются данные самой модели, а также данные позиционирования беспилотного транспортного средства, направление его камеры, данные позиционирования второго пользователя и направление его камеры.
Посредством средств аудио связи, предполагающих связь средств отображения пользователя и средств дополненной реальности второго пользователя через сервер, пользователи имеют возможность обмена голосовыми сообщениями.
Помимо камеры беспилотное транспортное средство может быть снабжено ИК датчиком или датчиком напряжённости электрического поля, или радаром, или эхолотом. В этом случае сигналы с выхода датчика передаются через сервер на вычислительные средства пользователя, где с учётом данных позиционирования беспилотного транспортного средства обеспечивается взаимная привязка изображения, созданное сигналами измерительного датчика и созданной ранее, сохраняемой в памяти пространственной модели исследуемого района. Указанная пространственная модель района подаётся на средства отображения пользователя и обеспечивает визуализацию осматриваемого с помощью беспилотного транспортного средства в условиях затруднений в получении изображения с камеры, например, в условиях плохой видимости.
Пример 1. Задача пользователя состоит в инспекционном осмотре промышленного объекта с помощью беспилотного транспортного средства.
Технические средства пользователя, находящегося в удалении от промышленного объекта позволяют осуществлять управление беспилотным гироскутером и установленными на нём видеокамерами. На гироскутере установлены две видеокамеры, обеспечивающие формирование трёхмерного изображения объектов окружающего пространства. Беспилотный гироскутер оснащён также GPS приёмником.
Пользователь управляет беспилотным гироскутером посредством передачи сигналов команд через сеть Интернет на ретранслятор и далее на приёмник радиосигналов команд и на исполнительные органы гироскутера.
Пользователь получает изображение, захваченное камерами, которое выводят на устройство отображения, в качестве которого могут быть использованы дисплей или очки дополненной реальности, или шлем виртуальной реальности и т.п.
Инспекционный осмотр сопровождает второй пользователь - работник местного предприятия, снабжённый очками дополненной реальности с встроенной камерой, микрофоном и средствами воспроизведения звука.
Во время сессии осмотра вычислительные средства пользователя обеспечивают формирование подвижной модели пользователя на основе данных позиционирования гироскутера и направления камер. Данные сформированной подвижной модели пользователя передаются через сервер на средства дополненной реальности второго пользователя для визуализации.
Второй пользователь имеет возможность наблюдать захваченное его камерой изображение осматриваемого района, а также пространственную модель пользователя - инспектора, положение которой на изображении соответствует взаимному положению в пространстве гироскутера и второго пользователя, а также направлению камеры второго пользователя, при этом направление головы пространственной модели пользователя соответствует направлению камер гироскутера.
В процессе осмотра района пользователь может задавать вопросы второму пользователю, который имеет возможность отвечать на вопросы, сопровождая полученный пользователем видеоряд дополнительной информацией, например о параметрах функционирования попавшего в поле зрение оборудования. Кроме того, второй пользователь имеет возможность давать советы относительно направления движения беспилотного гироскутера, предотвращая наезд на препятствия и другие аварийные ситуации.
Взаимная коммуникация между пользователем и вторым пользователем относительно попавшего в поле зрения камеры беспилотного транспортного средства повышает информативность реализации способа.
Если беспилотное транспортное средство уходит из поля зрения камеры второго пользователя, то изображение пространственной модели также исчезает с захваченного изображения, так, что беспилотное транспортное средство является маркером для визуализации пространственной модели пользователя.
Таким образом, для второго пользователя создаётся иллюзия присутствия пользователя и возможность взаимного общения усиливает этот эффект присутствия пользователя рядом со вторым пользователем.
Пример 2.
Задача пользователя состоит в проведении экскурсионного тура в образовательных целях для учащихся по архитектурному комплексу с помощью беспилотного транспортного средства.
Технические средства пользователя, находящегося в удалении от промышленного объекта позволяют осуществлять управление беспилотным летательным аппаратом - квадрокоптером и установленными на нём видеокамерами и GPS приёмником.
Техническую поддержку полёта квадрокоптера осуществляет локальный оператор, обеспечивающий подготовку полёта, в том числе зарядку аккумуляторов или заправку аппарата топливом на месте. При этом управление направлением полёта и его длительность в пределах установленных лимитов, определяемых зарядом аккумуляторов и дальностью локальной радиосвязи, осуществляет сам удалённый пользователь посредством передачи сигналов команд через Интернет на ретранслятор и далее на приёмник радиосигналов команд и на исполнительные органы квадрокоптера. Пользователь получает изображение, захваченное камерами квадрокоптера, которое выводят на устройство отображения, в качестве которого могут быть использованы дисплей или очки дополненной реальности, или шлем виртуальной реальности и т.п.
Средства вычисления формируют подвижную пространственную модель пользователя на основе полученных координат квадрокоптера и направления его камеры. Сформированная пространственная модель пользователя передаётся в реальном времени на сервер.
Один или более вторых пользователей, для которых проводится экскурсионный тур имеют очки дополненной реальности, на которые поступает и визуализируется изображение с камеры очков дополненной реальности и пространственная модель пользователя, проводящего экскурсию и делающего необходимые пояснения. При этом положение визуализируемой подвижной пространственной модели пользователя на средствах дополненной реальности вторых пользователей вычисляют на основе координат и направления камеры соответствующего второго пользователя его средствами дополненной реальности.
Один или более вторых пользователей имеют возможность в процессе экскурсионного тура задавать вопросы и получать ответы в реальном времени. При этом обмен сообщений между пользователем и вторыми пользователями осуществляется в режиме конференции, то есть вторые пользователи слышат сообщения друг друга.
Пример 3.
После промышленной аварии на территории, где остаются очаги тления и задымления необходимо провести спасательные и восстановительные работы.
Пользователь, осуществляет запуск беспилотный летательный аппарат (БПЛА) над территорией где произошла авария. БПЛА снабжён камерой, GPS и ИК датчиком.
Территория аварии характеризуется плохой видимостью и имеет опасные для нахождения там человека места, о которых заранее неизвестно. Опасности, могут представлять собой тлеющие перекрытия, невидимые в дыму колодцы и пр. Использование камеры в таких условиях неэффективно. Однако, ранее уже была создана и может быть визуализирована средствами визуализации пользователя пространственная модель указанной территории.
Пользователь имея перед глазами пространственную модель территории управляет полётом БПЛА, при этом он имеет возможность получать данные ИК датчиков из разных точек в процессе полёта БПЛА, обеспечивая информацией второго пользователя о скрытых опасностях или о наличии живых существ под завалами, остающихся не видимыми для его ракурса.
Пример 4.
Задачей пользователя является построение плана или трёхмерной модели подводного объекта. Беспилотным транспортным средством является лодка, снабжённая камерой и эхолотом. Второй пользователь сопровождает лодку под водой и снабжён шлемом дополненной реальности.
Ввиду низкой прозрачности водной среды важное значение приобретают сигналы эхолота, позволяющие получить развёрнутое изображение подводного объекта.
Второй пользователь получает изображение с выхода его камеры и подвижную модель пользователя в месте нахождения на кадре лотки.
Элементы исследуемого объекта в местах отсутствия видимости проявляются на изображении, полученном с помощью отражённых сигналов эхолота и пользователь не имеет возможность идентифицировать элемент или его материал. По его просьбе второй пользователь приближается к исследуемому элементы и идентифицирует его на месте, сообщая результаты пользователю. Пользователь в свою очередь, получая голосовые сообщения второго пользователя имеет возможность отмечать, например соответствующей текстурой видимые, только с помощью эхолота элементы объекта и таким образом уточнять план или сроить пространственную модель исследуемого объекта.
В результате реализации способа формируют трёхмерную текстурированную модель подводного объекта.
Оценивая таким образом окружающую второго пользователя обстановку пользователь имеет возможность давать советы по прокладке оптимального с точки зрения безопасности или эффективности маршрута. Способ формирования среды дополненной реальности может быть реализован с использованием стандартных приборов и вычислительных средств, включая беспилотные транспортные средства, приборы дистанционного радиоуправления, вычислительные средства на основе процессора, видеокамеры и пр.
Способ формирования среды дополненной реальности обеспечивает более высокую информативность полученных данных, возможность взаимодействия с другими пользователями во время сеанса связи с беспилотным транспортным средством и более надёжен и безопасен в реализации.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ формирования среды дополненной реальности содержащий следующие шаги:
управление положением беспилотного транспортного средства со встроенной камерой,
определение координат положения беспилотного транспортного средства,
передаче захваченного изображения камеры на средства отображения пользователя для визуализации,
обмен сообщениями в реальном времени между пользователем и, по меньшей мере, одним вторым пользователем, находящимся на расстоянии видимости от беспилотного транспортного средства и снабжённого средствами визуализации дополненной реальности,
визуализации изображения захваченного камерой второго пользователя с помощью средств формирования дополненной реальности второго пользователя,
визуализации пространственной модели пользователя, при этом положение пространственной модели на визуализируемом изображении соответствует положению беспилотного транспортного средства на захваченном изображении с камеры второго пользователя.
2. Способ по п. 1 , где беспилотным транспортным средством является беспилотный летательный аппарат и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат.
3. Способ по п. 1 , где формируют модель пользователя с помощью вычислительных средств пользователя и передают её для визуализации в реальном времени на средства формирования дополненной реальности второго пользователя.
4. Способ по п. 1 , где формируют модель пользователя с помощью вычислительных средств второго пользователя для визуализации с помощью его средств формирования дополненной реальности.
5. Способ по п. 1 , где положение пространственной модели пользователя определяют на основе данных о координатах беспилотного транспортного средства и направления его камеры.
6. Способ по п. 1 , где обеспечивают обмен голосовых и/или текстовых сообщений между пользователем и, по меньшей мере, одним вторым пользователем.
7. Способ по п. 1 , где управление положением беспилотного транспортного средства производится с помощью соответствующих средств управления пользователя.
8. Способ по п. 1 , где беспилотное транспортное средство также оснащено измерительными датчиками, скалибрированными с камерой.
9. Способ по п. 8, где измерительные датчики включают один или более из ИК датчик, радар, эхолот и датчик напряженности электрического поля.
10. Способ по п. 1 , где пространственная модель пользователя представляет собой анимированную картинку, содержащую изображение пользователя
11. Способ по п. 10, где движение губ пространственной модели пользователя соответствует звукам формируемым им голосовых сообщений, направление тела - направлению движения беспилотного транспортного средства, направление поворота головы - углу поворота камеры беспилотного транспортного средства, движения рук и ног перемещению беспилотного транспортного средства в конкретный момент времени.
12. Способ по п. 1 , где средства формирования дополненной реальности включают очки дополненной реальности или шлем виртуальной реальности.
PCT/IB2017/054245 2017-07-13 2017-07-13 Способ формирования среды дополненной реальности WO2019012315A1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/IB2017/054245 WO2019012315A1 (ru) 2017-07-13 2017-07-13 Способ формирования среды дополненной реальности
RU2020105738A RU2736008C1 (ru) 2017-07-13 2017-07-13 Способ формирования среды дополненной реальности
US16/630,646 US11281287B2 (en) 2017-07-13 2017-07-13 Method of generating an augmented reality environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2017/054245 WO2019012315A1 (ru) 2017-07-13 2017-07-13 Способ формирования среды дополненной реальности

Publications (1)

Publication Number Publication Date
WO2019012315A1 true WO2019012315A1 (ru) 2019-01-17

Family

ID=60262953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2017/054245 WO2019012315A1 (ru) 2017-07-13 2017-07-13 Способ формирования среды дополненной реальности

Country Status (3)

Country Link
US (1) US11281287B2 (ru)
RU (1) RU2736008C1 (ru)
WO (1) WO2019012315A1 (ru)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070630A1 (en) * 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
DE102021121766A1 (de) * 2021-08-23 2023-02-23 Still Gesellschaft Mit Beschränkter Haftung Verfahren und System zum Einrichten einer robotischen und/oder assistierenden Systemeinheit eines Flurförderzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092020A1 (en) * 2013-09-27 2015-04-02 Robert L. Vaughn Ambulatory system to communicate visual projections
GB2532465A (en) * 2014-11-19 2016-05-25 Bae Systems Plc Interactive control station

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4475632B2 (ja) * 2004-03-19 2010-06-09 中国電力株式会社 無人飛行体を用いた送電線点検システム
US9833901B2 (en) * 2006-02-27 2017-12-05 Perrone Robotics, Inc. General purpose robotics operating system with unmanned and autonomous vehicle extensions
IL175835A0 (en) * 2006-05-22 2007-07-04 Rafael Armament Dev Authority Methods and systems for communicating and displaying points-of-interest
US9043052B2 (en) * 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
DE102011112619A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US10108755B2 (en) * 2013-11-19 2018-10-23 Aerohive Networks, Inc. RF floor plan building
ES2575404T3 (es) * 2013-12-05 2016-06-28 Wavelight Gmbh Sistema y procedimiento para determinar las propiedades biométricas de un ojo
US10077109B2 (en) * 2014-01-24 2018-09-18 Maxlinear, Inc. First-person viewer for unmanned vehicles
US20160125638A1 (en) * 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
WO2017137947A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic talking face with expression using images text and voice
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10798339B2 (en) * 2017-06-14 2020-10-06 Roborep Inc. Telepresence management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092020A1 (en) * 2013-09-27 2015-04-02 Robert L. Vaughn Ambulatory system to communicate visual projections
GB2532465A (en) * 2014-11-19 2016-05-25 Bae Systems Plc Interactive control station

Also Published As

Publication number Publication date
US20200168002A1 (en) 2020-05-28
US11281287B2 (en) 2022-03-22
RU2736008C1 (ru) 2020-11-11

Similar Documents

Publication Publication Date Title
Evtiukov et al. Smart Transport in road transport infrastructure
US11032527B2 (en) Unmanned aerial vehicle surface projection
JP5949133B2 (ja) 移動体訓練支援システム
CN100483970C (zh) 高度准确的三维实时跟踪和定位***和方法
Bruno et al. Development and integration of digital technologies addressed to raise awareness and access to European underwater cultural heritage. An overview of the H2020 i-MARECULTURE project
CN107230409B (zh) 基于载人潜水器模拟器的潜航员训练***及训练方法
CN115597659B (zh) 一种变电站智能安全管控方法
CN105241457A (zh) 一种用于船舶驾驶的三维辅助导航***建立方法
Kamarudin et al. Method to convert Kinect's 3D depth data to a 2D map for indoor SLAM
AU2002366994A1 (en) Method and system to display both visible and invisible hazards and hazard information
KR20120047649A (ko) 실시간 선박 운항 데이터를 적용하는 선박 조종 시뮬레이터 시스템
JP2023041675A (ja) ドローン作業支援システム及びドローン作業支援方法
US20230400302A1 (en) Systems and methods for measuring water capacity of polar lakes
Hirai et al. Development of Dam Inspection Underwater Robot.
EP2048640A2 (en) A method and an apparatus for controlling a simulated moving object
Grehl et al. Research perspective-mobile robots in underground mining
US11281287B2 (en) Method of generating an augmented reality environment
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
Maki et al. AUV Tri-TON—A hover-capable platform for 3D visualization of complicated surfaces
Sampson et al. AR Crew Rescue Assistant and AR Passenger Assistant Application for emergency scenarios on large passenger ships
CN109840943B (zh) 三维可视化分析方法及***
Takaseki et al. Development of anchoring support system using with AR toolkit
Strandjord et al. Framework and techniques for cooperative group situational awareness in urban environments
Cai et al. Heads-up lidar imaging with sensor fusion
US11631339B2 (en) Training simulation system and method for detection of hazardous materials

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17794407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17794407

Country of ref document: EP

Kind code of ref document: A1