WO2020055281A1 - Способ и система для формирования изображений совмещенной реальности - Google Patents

Способ и система для формирования изображений совмещенной реальности Download PDF

Info

Publication number
WO2020055281A1
WO2020055281A1 PCT/RU2018/000595 RU2018000595W WO2020055281A1 WO 2020055281 A1 WO2020055281 A1 WO 2020055281A1 RU 2018000595 W RU2018000595 W RU 2018000595W WO 2020055281 A1 WO2020055281 A1 WO 2020055281A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
visualization device
location
virtual reality
user
Prior art date
Application number
PCT/RU2018/000595
Other languages
English (en)
French (fr)
Inventor
Ильнур Зямилевич ХАРИСОВ
Original Assignee
Общество с ограниченной ответственностью "ТрансИнжКом"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ТрансИнжКом" filed Critical Общество с ограниченной ответственностью "ТрансИнжКом"
Priority to EA201990800A priority Critical patent/EA201990800A1/ru
Priority to PCT/RU2018/000595 priority patent/WO2020055281A1/ru
Priority to US16/484,578 priority patent/US20200265644A1/en
Publication of WO2020055281A1 publication Critical patent/WO2020055281A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
    • G01S1/08—Systems for determining direction or position line
    • G01S1/20—Systems for determining direction or position line using a comparison of transit time of synchronised signals transmitted from non-directional antennas or antenna systems spaced apart, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined

Definitions

  • the invention relates to the field of visualization of combined reality, in particular, to the visualization of construction objects according to the drawings in the place of their future construction.
  • Solutions aimed at providing the user with virtual reality images are used in various fields of human activity.
  • Embodiments of this invention include a method, system, and mobile device that incorporates augmented reality technology into ground-based surveying, 3D laser scanning, and digital modeling processes.
  • a mobile device can display an augmented reality image representing a real view of the physical structure in a real environment, and a three-dimensional digital model of an unfinished design element superimposed on top of the physical structure at its intended place of construction.
  • the marker can be placed in a predetermined set of coordinates on or around a location of interest, determined using geodetic equipment, so that a three-dimensional digital model of the unfinished design element can be visualized in a geometrically correct orientation relative to the physical structure.
  • Embodiments of this solution may also apply to a reduced three-dimensional printed object representing the physical structure if visiting the project site is not possible.
  • a computer-implemented method for displaying a three-dimensional (3D) model from a photogrammetric scan.
  • the image of the object and the scanning marker can be obtained in the first place.
  • the relationship between the image of the object and the image of the scan marker at the first location can be determined.
  • the geometric property of an object can be determined based on the relationship between the image of the object and the image of the scan marker.
  • a D-model of an object can be generated based on a specific geometric property of the object.
  • a three-dimensional model of an object may be displayed for scaling in an augmented reality environment at a second location based on a scan marker at a second location.
  • an image display apparatus includes a data acquisition unit and a display processing unit.
  • the data acquisition module is configured to receive a received image that is received by the camera, and which includes an optical recognition code representing identification information by generating a plurality of elements in a line shape.
  • the display processing module is configured to overlay and display an image of a three-dimensional object corresponding to the identification information on the obtained image.
  • the orientation of the image of a three-dimensional object superimposed and displayed on the captured image is determined based on the orientation of the optical recognition code on the captured image and the tilt of the camera.
  • a method for imaging a combined reality comprising the steps of:
  • the visualization device is a virtual reality glasses or helmet;
  • the camera of the imaging device is a stereoscopic camera;
  • the processing unit is one of: a laptop PC, a mobile phone, a specialized microcircuit, a processor, a controller;
  • the object of virtual reality, which must be displayed to the user is at least one of the construction object, museum, zoo, amusement park;
  • data on the location of the visualization device is additionally determined using an inertial navigation system, moreover, if the signal intensity of ultra-wideband transmitters
  • the location is determined using the signals of ultra-wideband transmitters, and if the intensity is below a predetermined intensity threshold, then the location is determined using the inertial navigation system; data on the location of the imaging device is additionally determined using an inertial navigation system based on gyroscopes and accelerometers, and the threshold of intensity for radio signals decreases over time.
  • a system for imaging an augmented reality comprising:
  • a visualization device configured to provide the user with images of combined reality, wherein the visualization device comprises
  • a transmitter signal receiver configured to receive radio signals from at least three transmitters using the trilateration or triangulation method, or similarly determine its location in real space
  • a camera configured to receive image data of a real environment
  • an inertial navigation system configured to obtain orientation data of a visualization device
  • a display unit configured to provide the user with images of the combined reality
  • a processing unit in functional communication with a memory unit, a display unit, a camera, a signal receiver;
  • a memory unit configured to store data about a georeferenced virtual reality object that must be displayed to the user
  • the processing unit is configured to receive image data of a real environment, obtain data on a geo-referenced virtual reality object, and combine data on a virtual reality object and image data of a real surrounding space using location data and an orientation of the visualization device so as to place data about a virtual reality object and image data of real surrounding space into one spatial coordinate system nat, thereby obtaining images of combined reality, and with the possibility provide data of the combined reality to the display unit of the visualization device.
  • the main task solved by the claimed invention is the accurate formation of images of the combined reality based on the determined coordinates of the display device, the orientation of the display device, data on virtual objects stored in memory, environmental images received from the camera.
  • the essence of the invention lies in the fact that the display device determines its location using ultra-wideband transmitters located at known locations in real space, determines its orientation in real space using an inertial navigation system, transmits this data to a processing unit, which based on location data and orientation combines images georeferenced with the real space of virtual objects with images of real of the space, it transmits the combined image to the display device for providing a user of the combined image reality.
  • the technical result achieved by the solution is that high-quality formation of images of the combined reality is provided, in which the images of real space are precisely combined with the images of virtual objects, tied to the geographical coordinates of real space.
  • Figure 1 shows a diagram of determining the location of the user.
  • Figure 2 shows a block diagram of a system for imaging a combined reality.
  • the location of the augmented reality helmet is possible using GPS, but the accuracy in this case can be about 6-8 meters, which is unacceptable for most applications.
  • a common disadvantage of using any radio navigation system is that under certain conditions the signal may not reach the receiver, or come with significant distortion or delays. For example, it is practically impossible to determine your exact location in the depths of an apartment inside a reinforced concrete building, in a basement or in a tunnel, even by professional geodetic receivers. Since the operating frequency of the GPS lies in the decimeter range of radio waves, the signal level from satellites can seriously decrease under the dense foliage of trees or due to very high cloud cover. The normal reception of GPS signals can be affected by interference from many terrestrial radio sources, as well as from magnetic storms.
  • Positioning over cellular networks - accuracy leaves much to be desired even in areas with a high density of base stations.
  • Positioning using optical systems which are based on preliminary scanning of the room, and then from the picture, for example, the ceiling from the front camera of the smartphone, it is possible to determine the location.
  • Location determination based on trilateration based on Wi-Fi / Bluetooth transmitters For the implementation, common equipment is used, both for infrastructure and for determining location. There is also the possibility of using already deployed Wi-Fi / Bluetooth networks.
  • Radio card or “digital fingerprints” of Wi-Fi / Bluetooth signals - the location is calculated by comparing the measured in real time signal strengths from the surrounding Wi-Fi / BLE points with pre-measured values associated with the room map.
  • the proposed method uses a radar system based on ultra-wideband signals to determine the exact location of the user in real space, as well as an inertial navigation system to determine the orientation of the user (indoor-location system).
  • a radar system based on ultra-wideband signals to determine the exact location of the user in real space
  • an inertial navigation system to determine the orientation of the user (indoor-location system).
  • the hardware and software for implementing the location-determining functionality is installed in a virtual reality helmet (or glasses), which also contains at least one camera (preferably a stereoscopic camera) for receiving real-world images around a user who has put on a virtual reality helmet.
  • a virtual reality helmet or glasses
  • at least one camera preferably a stereoscopic camera
  • the virtual reality helmet is configured to determine its location using the GPS positioning unit and / or indoor-positioning unit, with the ability to receive images from the camera, transfer all data to the processing unit, with the possibility of providing processed data (data of combined reality) ) to the user.
  • Figure 2 shows a system for imaging a combined reality, comprising at least three radio signal transmitters, a processing unit, a memory unit, a visualization device containing a radio signal receiver, a camera, a navigation system.
  • the virtual reality helmet transmits to the processing unit data about its specific location, orientation data and camera data to form a combined reality data processing unit by combining real-world data from the camera and geo-referenced data of virtual objects from memory.
  • the processing unit may be a server, computer, laptop, or any other means, the functionality of which allows receiving data from a virtual reality helmet, processing it, combining it with saved virtual reality images and providing it for viewing to a user through a virtual reality helmet display, including a portable PC, tablet, mobile phone, specialized microcircuit, processor, controller.
  • the processing unit may be structurally integrated with the helmet unit or may be integrated into the helmet.
  • the processing unit has the ability to read from the memory unit data on the visualized objects, in a preferred embodiment, the data on the building object, which can be represented in CAD format (automatic design system).
  • This data is geo-referenced, therefore, the processing unit needs the user's location data in order to accurately combine the real-world data received from the camera with the data about. virtual reality stored in memory. The more accurately the location and orientation of the user is determined, the more accurately the data will be combined with each other.
  • a memory block can be either an internal or an external block in relation to the processing block.
  • the processing unit itself can be integrated into the virtual reality helmet, or it can be a separate unit that can be connected to the virtual reality helmet.
  • a user observing a combined reality can visually see the future building in a real location, go through an object that is still planned to be built or is already partially under construction, and see it from different angles.
  • Such an object can be, for example, a museum or a building, which only in virtual reality is a museum. It can also be an amusement park, both outdoor and indoor.
  • the user can make changes to virtual reality objects, for this, markers are read on the user's hand, which the camera reads, as a result of which the user is presented with a graphical menu, using which can be controlled by the displayed reality, for example, a building model. It is also possible to organize a virtual meeting, when images of two users are transferred to their virtual reality helmets and it is possible to communicate with the transmission of not only sound, but also video images of the interlocutor.
  • the functional system for forming images of the combined reality can be divided into two functional
  • the wearable part is a virtual reality goggles (helmet) and a wearable computer.
  • the server part consists of a server for processing and storing data about a building object.
  • the wearable part allows the user to access the 3 D-models of the building, combined with the real image, which gives an increase in the efficiency of using all available visual capabilities of the BIM technology (building information modeling): viewing and changing object parameters on the go, combining the ST model with really existing implementation.
  • BIM technology building information modeling
  • the server part is preferably a platform for cloud computing using a mathematical algorithm that compares the image of the real world with the image obtained from the reference ZO-model of the object.
  • the algorithm collects data from various sources: technical documentation (drawings and specifications), estimates, etc.
  • the result of the mathematical algorithm is the combination of the obtained data in one image with the image of a real kind. Combination can be carried out both in the wearable part and in the server part, which does not apply to the essence of the claimed solution.
  • the server part in this case can store, for example, data on virtual objects and only transfers them to the wearable part for further processing.
  • the virtual reality helmet tracks its location using either the signals from the radio transmitters of the base stations or using data from an indoor positioning system.
  • the accuracy of determining the location based on them is quite high, however, when in a room, the accuracy deteriorates, which can lead to distortions in the display of the combined reality.
  • the location is again determined using the radio signals.
  • the intensity threshold for radio signals decreases over time in order to neutralize the effect of error accumulation.
  • a threshold is introduced for the duration of positioning using an inertial system, and when this threshold is exceeded, positioning using an inertial system is considered inaccurate.
  • the location is determined based on the radio signals, otherwise the location is determined using the inertial system.
  • the location is determined jointly by an inertial system and a location system using radio signals, and the location determined by the two systems is averaged.
  • the functional connection of elements should be understood as a connection that ensures the correct interaction of these elements with each other and the implementation of one or another functionality of the elements.
  • Particular examples of functional communication may be communication with the possibility of exchanging information, communication with the possibility of transmitting electric current, communication with the possibility of transmitting mechanical motion, communication with the possibility of transmitting light, sound, electro-magnetic or mechanical vibrations, etc.
  • the specific type of functional connection is determined by the nature of the interaction of the mentioned elements, and, unless otherwise indicated, is provided by well-known means using principles well known in the art.
  • the methods disclosed herein comprise one or more steps or actions to achieve the described method.
  • the steps and / or actions of the method can replace each other without going beyond the scope of the claims.
  • the order and / or use of specific steps and / or actions can be changed without departing from the scope of the claims.
  • Examples of computer-readable storage media include storage device, random access memory, register, cache memory, semiconductor storage devices, magnetic media such as internal hard drives and removable drives, magneto-optical media and optical media such as CD-ROMs and digital versatile disks (DVDs) as well as any other data carriers known in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к средствам визуализации совмещенной реальности. Технический результат заключается в обеспечении точного формирования изображений совмещенной реальности. Определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях. Определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации. Получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя; загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю. Совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности. Отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.

Description

СПОСОБ И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ
СОВМЕЩЕННОЙ РЕАЛЬНОСТИ
Область техники, к которой относится изобретение.
Изобретение относится к области визуализации совмещенной реальности, в частности, к визуализации строительных объектов по чертежам в месте их будущей постройки.
Уровень техники.
Решения, направленные на предоставление пользователю изображений виртуальной реальности, находят применение в различных областях деятельности человека.
Существуют решения в области виртуальной реальности, в .которых посредством очков или шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.
Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения, накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.
Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.
Известно решение (US2014210947 (А1), опубл.31 июля 2014), в котором описывается процесс формирования дополненной реальности с использованием координатной геометрии. Варианты осуществления этого изобретения включают способ, систему и мобильное устройство, которые включают технологию дополненной реальности в наземную съемку, 3D лазерное сканирование и процессы цифрового моделирования. Используя технологию дополненной реальности, мобильное устройство может отображать изображение дополненной реальности, представляющее реальный вид физической структуры в реальной среде, и трехмерную цифровую модель непостроенного элемента дизайна, наложенного поверх физической структуры в ее предполагаемом месте постройки. В одном варианте осуществления маркер может быть размещен в заданном наборе координат на или вокруг интересующего места, определяемого с помощью геодезического оборудования, так чтобы трехмерная цифровая модель непостроенногоэлемента дизайна могла быть визуализирована в геометрически правильной ориентации относительно физической структуры. Варианты осуществления этого решения могут также применяться к уменьшенному трехмерному напечатанному объекту, представляющему физическую структуру, если посещение места проекта невозможно.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для ориентации устройства формирования дополненного изображения в пространстве.
Известно решение (US2014270477 (А1) опубл. 18 сентября 2014), в котором описываются системы и способы отображения трехмерной модели из фотограммметрического сканирования. В одном из вариантов предлагается компьютерно-реализованный способ для отображения трехмерной (3D) модели из фотограметрического сканирования. Изображение объекта и маркер сканирования могут быть получены в первом месте. Может быть определена взаимосвязь между изображением объекта и изображением маркера сканирования в первом местоположении. Геометрическое свойство объекта может быть определено на основе соотношения между изображением объекта и изображением маркера сканирования. 3 D-модель объекта может быть сгенерирована на основе определенного геометрического свойства объекта. Трехмерная модель объекта может отображаться для масштабирования в среде дополненной реальности во втором местоположении на основе маркера сканирования во втором местоположении.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для формирования дополненного изображения.
Известно решение (US2016104323 (А1) опубл. 14 апреля 2016), в котором описываются устройство дляотображения изображения и способ для отображения изображения. Согласно одному варианту осуществления устройство для отображения изображения включает в себя модуль сбора данных и модуль обработки отображения. Модуль сбора данных сконфигурирован для получения принятого изображения, которое получено камерой, и которое включает в себя оптический код распознавания, представляющий идентификационную информацию, посредством формирования множества элементов в форме линии. Модуль обработки отображения сконфигурирован для наложения и отображения изображения трехмерного объекта, соответствующего идентификационной информации, на полученном изображении. Ориентация изображения трехмерного объекта, наложенного и отображаемого на снятом изображении, определяется на основе ориентации кода оптического распознавания на снятом изображении и наклона камеры. Однако в данном решении для построения изображения необходимо размещать идентификационную информацию.
Раскрытие изобретения.
В одном аспекте изобретения раскрыт способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:
определяют данные о местоположении устройства визуализации с помощью
I
сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;
определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;
получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;
загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;
отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.
В дополнительных аспектах раскрыто, что устройство визуализации представляет собой очки или шлем виртуальной реальности; камера устройства визуализации является стереоскопической камерой; блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера; объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков
I
выше заданного порога интенсивности, то местоположение орределяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной навигационной системы; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.
В другом аспекте изобретения раскрыта система для формирования изображений совмещенной реальности, содержащая:
- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;
- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит
приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации, или триангуляции, или аналогичным образом определять свое местоположение в реальном пространстве,
камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,
инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;
блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;
блок обработки на функциональной связи с блоком памяти, блоком отображения, камерой, приемником сигналов;
- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью предоставлять данные совмещенной реальности блоку отображения устройства визуализации.
Основной задачей, решаемой заявленным изобретением, является точное формирование изображений совмещенной реальности на оснбвании определяемых координат устройства отображения, ориентации устройства отображения, данных о виртуальных объектах, хранящихся в памяти, изображений окружающей среды, полученных с камеры.
Сущность изобретения заключается в том, что устройство отображения определяет свое местоположение с помощью сверхширокополосных передатчиков, расположенных в известных местоположениях в реальном пространстве, определяет свою ориентацию в реальном пространстве с помощью инерциальной навигационной системы, передает эти данные в блок обработки, который на основании данных о местоположении и ориентации совмещает изображения имеющих географическую привязку с реальным пространством виртуальных объектов с изображениями реального пространства, передает совмещенные изображения в устройство отображения для предоставления пользователю изображений совмещенной реальности.
Технический результат, достигаемый решением, заключается в том, что обеспечивается качественное формирование изображений совмещенной реальности, в которой изображения реального пространства точно совмещаются с изображениями виртуальных объектов, привязанных к географическим координатам реального пространства.
Краткое описание чертежей.
Фиг.1 показывает схему определения местоположения пользователя.
Фиг.2 показывает блок-схему системы для формирования изображений совмещенной реальности.
Осуществление изобретения.
Для построения изображений совмещенной реальности необходимо определить местоположение пользователя, посредством определения местоположения шлема дополненной реальности, который он надел.
Определение местоположения шлема дополненной реальности возможно при помощи GPS, однако точность в таком случае может составлять около 6-8 метров, что недопустимо для большинства приложений.
Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника, или приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.
Кроме методов на основе GPS, существует ряд методов определения местоположения более подходящих для реализации в помещении, часть из которых представлена ниже:
Определение местоположения по сотовым сетям - точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.
Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.
Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка с фронтальной камеры смартфона, возможно определение местоположения.
Определение местоположения с помощью магнитометрии - определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.
Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование, как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.
Радиокарта или“цифровые отпечатки” сигналов Wi-Fi/Bluetooth - местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.
Для повышения точности определения местоположения было предложено размещать в реальном пространстве, где предполагается формировать изображения совмещенной реальности, станции, передающие радиосигналы (см. фиг.1). Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.
В предложенном способе используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.
Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.
В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в шлеме (или очках) виртуальной реальности, который также содержит по меньшей мере одну камеру (предпочтительно стереоскопическую камеру) для получения изображений реального мира вокруг пользователя, который надел шлем виртуальной реальности.
В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, шлем виртуальной реальности выполнен с возможностью определять свое местоположение при помощи блока GPS определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.
На фиг.2 показана система для формирования изображений совмещенной реальности, содержащая по меньшей мере три передатчика радиосигналов, блок обработки, блок памяти, устройство визуализации, содержащее приемник радиосигналов, камеру, навигационную систему. Шлем виртуальной реальности передает на блок обработки данные о своем определенном местоположении, данные об ориентации и данные с камеры для формирования блоком обработки данных совмещенной реальности, посредством совмещения данных реального мира с камеры и имеющих географическую привязку данных виртуальных объектов из памяти.
Блоком обработки может быть сервер, компьютер, ноутбук или любое иное средство, функциональность которого позволяет принимать от шлема виртуальной реальности данные, обрабатывать их, совмещать с сохраненными изображениями виртуальной реальности и предоставлять для просмотра пользователю посредством дисплея шлема виртуальной реальности, в том числе портативный ПК, планшет, мобильный телефон, специализированная микросхема, процессор, контроллер. В некоторых вариантах блок обработки может быть конструктивно единым со шлемом блоком или может быть встроен в шлем.
Блок обработки имеет возможность считывать из блока памяти данные о визуализируемых объектах, в предпочтительном варианте осуществления данные о строительном объекте, которые могут быть представлены в формате CAD (система автоматического проектирования). Эти данные имеют географическую привязку, поэтому блоку обработки необходимы данные о местоположении пользователя, чтобы точно совместить данные о реальном мире, получаемые с камеры, и данные о. виртуальной реальности, хранящиеся в памяти. Чем точнее будет определено местоположение и ориентация пользователя, тем точнее данные будут совмещены друг с другом.
Блок памяти может быть как внутренним, так и внешним бдоком по отношению к блоку обработки. Сам блок обработки при этом может быть встроен в шлем виртуальной реальности, а может представлять собой отдельный блок, присоединяемый с возможностью связи к шлему виртуальной реальности.
Пользователь, наблюдающий совмещенную реальность, может наглядно увидеть будущую постройку в реальном местоположении, пройти по объекту, который еще планируется строить или уже частично строится, увидеть его с разных ракурсов. Таким объектом может быть, например, музей или здание, которое только в виртуальной реальности представляет собой музей. Также это может быть парк аттракционов как открытый, так и крытый.
Также пользователь может вносить изменения в объекты виртуальной реальности, для этого на руку пользователя устанавливают маркеры, которые считывает камера, в результате чего пользователю предоставляется графическое меню, с помощью которого можно управлять отображаемой реальностью, например, строительной моделью. Возможна также организация виртуального совещания, когда изображения двух пользователей передаются на их шлемы виртуальной реальности и обеспечивается возможность общения с передачей не только звука, но и видеоизображения собеседника.
В одном варианте осуществления функционально систему для формирования изображений совмещенной реальности можно разделить на две функциональных
I
части:
1. Носимая часть.
2. Серверная часть.
Носимая часть представляет собой очки (шлем) виртуальной реальности и носимый компьютер.
Серверная часть состоит из сервера обработки и хранения данных о строительном объекте.
Носимая часть позволяет пользователю получать доступ к 3 D-модели здания, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM (информационное моделирование здания): просмотр и изменение параметров объекта «на ходу», совмещение ЗБ-модели с реально существующей реализацией.
Серверная часть предпочтительно представляет собой платформу для облачных вычислений с помощью математического алгоритма, сопоставляющего изображение реального мира с изображением, получаемым из эталонной ЗО-модели объекта. Для формирования эталонной ЗБ-модели объекта алгоритм собирает данные из разных источников: техническая документация (чертежи и спецификации), сметы и пр.
Результатом работы математического алгоритма является совмещение полученных данных в одном изображении с изображением реального вида. Совмещение может осуществлятьсякак в носимой части, так и в серверной, что не относится к сущности заявленного решения. Серверная часть в таком случае может хранить, например, данные о виртуальных объектах и только лишь передает их в носимую часть для дальнейшей обработки.
В одном из вариантов осуществления шлем виртуальной реальности отслеживает свое местоположение, используя либо сигналы от передатчиков радиосигналов базовых станций, либо используя данные системы indoor-определения местоположения . В случае расположения в открытом пространстве, где нет препятствий для сигналов от передатчиков, точность определения местоположения на их основе является достаточно высокой, однако при нахождении в помещении точность ухудшается, что может привести к искажениям в отображении совмещенной реальности. Для уменьшения таких искажений было предложено оценивать точность определения местоположения с помощью радиосигналов, измеряя их интенсивность, если интенсивность радиосигналов (одного или средняя) ниже определенного порога, то местоположение определяется с помощью системы indoor-определения местоположения.
Как только интенсивность радиосигналов превышает порог, то местоположение снова определяется с помощьюрадиосигналов.
Если используются инерциальные системы, где используется модель движения человека, причем движение определяется с помощью гироскопов и акселерометров, то имеется эффект накопления ошибки, ошибка тем больше, чем длительнее осуществляется определение местоположения при помощи этой системы. Поэтому в варианте осуществления, в котором используется определение местоположения на основании указанной выше инерциальной системы и системы определения местоположения на основании радиосигналов от базовых станций, порог интенсивности для радиосигналов уменьшается в течейие времени, чтобы нейтрализовать эффект накопления ошибки.
В одном из вариантов осуществления вводится порог для длительности определения местоположения с помощью инерциальной системы, при превышении этого порога определение местоположения с помощью инерциальной системы считается неточным. Таким образом, при превышении порога интенсивности радиосигналов или превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется на основании радиосигналов, в ином случае определение местоположения осуществляется с помощью инерциальной системы.
В одном из вариантов осуществления при превышении порога длительности определения местоположения с помощью инерциальной, системы определение местоположения осуществляется совместно с помощью инерциальной системы и системы определения местоположения с помощью радиосигналов, причем определенное двумя системами местоположение усредняется.
Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.
I
Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.
Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электро-магнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.
Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.
В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электрон I ных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.
Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш- память, полупроводниковые запоминающие устройства, магни'гные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.
Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.
Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:
определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;
определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;
получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;
загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;
отображают изображения совмещенной реальности пользователю при помощи устройства визуализации.
2. Способ по п.1, в котором устройство визуализации представляет собой очки или шлем виртуальной реальности.
3. Способ по п.1, в котором камера устройства визуализации является стереоскопической камерой. i
4. Способ по п.1, в котором блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера.
5. Способ по п.1, в котором объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов.
6. Способ по п.1, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков выше заданного порога интенсивности, то местоположение определяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной навигационной системы.
7. Способ по п.6, в котором данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.
8. Система для формирования изображений совмещенной реальности, содержащая:
- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;
- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит
приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации определять свое местоположение в реальном пространстве,
камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,
инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;
блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;
блок обработки на связи с блоком памяти, блоком отображения, камерой, приемником сигналов;
- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;
причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью предоставлять данные совмещенной реальности блоку отображения устройства визуализации.
PCT/RU2018/000595 2018-09-12 2018-09-12 Способ и система для формирования изображений совмещенной реальности WO2020055281A1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EA201990800A EA201990800A1 (ru) 2018-09-12 2018-09-12 Способ и система для формирования изображений совмещенной реальности
PCT/RU2018/000595 WO2020055281A1 (ru) 2018-09-12 2018-09-12 Способ и система для формирования изображений совмещенной реальности
US16/484,578 US20200265644A1 (en) 2018-09-12 2018-09-12 Method and system for generating merged reality images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000595 WO2020055281A1 (ru) 2018-09-12 2018-09-12 Способ и система для формирования изображений совмещенной реальности

Publications (1)

Publication Number Publication Date
WO2020055281A1 true WO2020055281A1 (ru) 2020-03-19

Family

ID=69776667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/000595 WO2020055281A1 (ru) 2018-09-12 2018-09-12 Способ и система для формирования изображений совмещенной реальности

Country Status (3)

Country Link
US (1) US20200265644A1 (ru)
EA (1) EA201990800A1 (ru)
WO (1) WO2020055281A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733684B2 (en) * 2018-09-27 2023-08-22 Hewlett-Packard Development Company, L.P. Overlaying production data on rendered 3D printed object
US20220095123A1 (en) * 2020-09-24 2022-03-24 Apple Inc. Connection assessment system
CN112528476B (zh) * 2020-12-03 2023-02-28 华中师范大学 一种面向虚实融合实验的磁场可视化方法、***及设备
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位***
FR3129232B1 (fr) * 2021-11-17 2023-11-03 Drhm Investissements Interface de navigation en environnement virtuel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267450A1 (en) * 2005-06-14 2008-10-30 Maki Sugimoto Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160259404A1 (en) * 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US20170004655A1 (en) * 2013-04-29 2017-01-05 Microsoft Technology Licensing, Llc Mixed reality interactions
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
WO2017214040A1 (en) * 2016-06-06 2017-12-14 Warner Bros. Entertainment Inc. Mixed reality system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267450A1 (en) * 2005-06-14 2008-10-30 Maki Sugimoto Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US20170004655A1 (en) * 2013-04-29 2017-01-05 Microsoft Technology Licensing, Llc Mixed reality interactions
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160259404A1 (en) * 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
WO2017214040A1 (en) * 2016-06-06 2017-12-14 Warner Bros. Entertainment Inc. Mixed reality system

Also Published As

Publication number Publication date
EA201990800A1 (ru) 2020-05-27
US20200265644A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US10354407B2 (en) Camera for locating hidden objects
WO2020055281A1 (ru) Способ и система для формирования изображений совмещенной реальности
CN105579811B (zh) 用于外部混合照片制图的方法
KR101728123B1 (ko) 지구 자기장을 이용한 동시 로컬리제이션 및 매핑
US20170256097A1 (en) Local positioning system for augmented reality applications
US9429438B2 (en) Updating map data from camera images
US11243288B2 (en) Location error radius determination
US10896327B1 (en) Device with a camera for locating hidden object
CA2762743C (en) Updating map data from camera images
KR102035388B1 (ko) 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR101663669B1 (ko) 공간 예측 근사 및 방사 컨벌루션
KR20140012574A (ko) 실내 위치 결정 시스템 및 실내 위치 결정 방법
JP6804806B2 (ja) 測位精度情報算出装置及び測位精度情報算出方法
US11640679B2 (en) Augmented or virtual reality calibration and alignment system and method
RU2660631C1 (ru) Способ и система для формирования изображений совмещенной реальности
RU176382U1 (ru) Блок сбора информации для устройства совмещенной реальности
US11869159B2 (en) High density 3D environment capture with guided mixed reality
Hashimoto et al. Outdoor navigation system by AR
EP2569958B1 (en) Method, computer program and apparatus for determining an object in sight
KR20150107970A (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
CN113567920B (zh) 一种地下空间的三维定位方法
RU2702495C1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени
Patias et al. Robust pose estimation through visual/GNSS mixing
Juri Crowd sourced self beacon mapping with isolated signal aware bluetooth low energy positioning
Scarmana Mobile mapping in gps-denied areas: a hybrid prototype

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933277

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/07/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18933277

Country of ref document: EP

Kind code of ref document: A1