WO2019087014A1 - User interaction by means of live streaming of augmented reality data - Google Patents

User interaction by means of live streaming of augmented reality data Download PDF

Info

Publication number
WO2019087014A1
WO2019087014A1 PCT/IB2018/058294 IB2018058294W WO2019087014A1 WO 2019087014 A1 WO2019087014 A1 WO 2019087014A1 IB 2018058294 W IB2018058294 W IB 2018058294W WO 2019087014 A1 WO2019087014 A1 WO 2019087014A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
user device
screen
user
displayed
Prior art date
Application number
PCT/IB2018/058294
Other languages
French (fr)
Russian (ru)
Inventor
Михаил Павлович СУТОВСКИЙ
Original Assignee
ГИОРГАДЗЕ, Анико Тенгизовна
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ГИОРГАДЗЕ, Анико Тенгизовна filed Critical ГИОРГАДЗЕ, Анико Тенгизовна
Publication of WO2019087014A1 publication Critical patent/WO2019087014A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • the invention relates to the field of communication technologies, in particular, to a method of streaming data relating to data on virtual objects of augmented reality, in real time.
  • Real-time streaming of data is characterized by the ability of the recipient to continuously receive data from the sender - the initiator of streaming data.
  • communication systems have been implemented that provide the possibility of streaming data related to data not only about real-world objects, but also to data about virtual objects that complement real-world objects.
  • the idea of the present invention is that the sender in real-time streaming data relating to at least one primary virtual object that is displayed on the screen of the user's sender device as an object of augmented reality.
  • the sender binds the specified An object to a location that is displayed by the device that captures the image of the user's device of the sender (that is, to objects of the sender's real world).
  • the streaming data contains only data related to objects displayed as augmented reality objects and does not contain data relating to the real world of the sender displayed by the image capturing device of the user's sender device.
  • the streaming data contains only data about the virtual object.
  • the streaming data is displayed on the screen of the recipient's user device as the augmented reality of the recipient.
  • the specified data is also displayed with reference to the specified location displayed by the image capture device of the recipient's user device (that is, with reference to the display objects of the real world of the recipient).
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender, which displays the step of setting the location of the selected primary virtual object
  • FIG. 2c is a schematic diagram illustrating the screen of the user's sender's device, on which a 3d animated virtual object is displayed as an object of augmented reality at a given location
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender
  • FIG. 2d is a schematic diagram illustrating the screen of the user's device of the sender at the stage of initiating the streaming of data
  • FIG. 2e is a schematic diagram illustrating the screen of the recipient's user device at the stage of initiating receipt of streaming data
  • FIG. 2f is a schematic diagram illustrating the recipient's user device screen, which displays the step of setting a location for displaying streaming data
  • FIG. 2g is a schematic diagram illustrating the screen of the recipient's user device, which displays streaming data as augmented reality at a given location
  • FIG. 3 is a schematic representation of an embodiment of a user device according to one of the preferred embodiments of the present invention
  • FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
  • the present invention relates to a method of user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system allowing this method to be implemented, and a computer-readable medium on which program instructions are stored that initiate execution of aspects of the method of user interaction in accordance with the present invention.
  • a method for user interaction in a communication system including real-time streaming of data related to data about at least one primary virtual object displayed on the user's screen of the sender with reference to the specified location displayed the device to capture the image of the user's device of the sender, as an object of augmented reality, the display of data on the current broadcast on the screen of the user device of at least one recipient with reference to the specified location displayed by the image capturing device of the recipient's user device as augmented reality.
  • a user device for organizing user interaction in a communication system including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, who when bringing them into Execution by at least one processor provides the possibility of real-time streaming of data related to data on at least one main virtual object displayed on the screen of the user device with reference to a specified location displayed by the image capturing device of the user device.
  • augmented reality providing the ability to display streaming data on the screen of a user device TWA with reference to the specified location displayed by the device capturing the image of the user device, as augmented reality.
  • a communication system that allows user devices and a server to communicate with each other, comprising software instructions located on a computer-readable media of a user device, which, when executed by at least one processor of the user device, ensures that Real-time streaming of data related to data on at least m
  • a computer-readable media contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, provides the possibility of real-time streaming of data related to data about at least one primary virtual object displayed on the screen of the user device with a graft language to the specified location displayed by the device capturing the image of the user device as an object of augmented reality, providing the ability to display streaming data on the screen of the user device with reference to the specified location displayed by the device capturing the image of the user device as augmented reality.
  • the sender has the ability to stream real-time only those data that are related to the virtual objects displayed as augmented reality objects associated with the sender’s real-world objects displayed by the image capturing device of the user's sender’s device, while data about the specified objects in the real world of the sender is not transmitted.
  • the streaming data is displayed as the augmented reality of the recipient.
  • the specified data is also displayed with binding to a specified location displayed by the image capture device of the recipient's user device (that is, linked to the displayed objects of the real world of the recipient).
  • User devices and a server in a communication system are communicated via a network through which connections between the server and user devices are established to enable user interaction in the communication system according to the described method, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
  • the described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
  • User access to the communication system can be carried out using the appropriate application installed on the user device via the network.
  • An application is a program installed on the user's device and intended for user interaction in the communication system.
  • a user device for example, a smartphone, tablet computer, augmented reality glasses, or any other device that contains an image capture device capable of displaying the world around the user (for example, a camera), a display component capable of providing the user with the ability to see the displayed image capture device the surrounding world (for example, the user device screen) and a network component that allows you to communicate with at least one other user device.
  • an image capture device capable of displaying the world around the user (for example, a camera)
  • a display component capable of providing the user with the ability to see the displayed image capture device the surrounding world (for example, the user device screen)
  • a network component that allows you to communicate with at least one other user device.
  • Such devices should have computing capacity and components sufficient for launching and executing applications based on their current location, as well as for streaming data.
  • interacting users should understand the sender and recipient.
  • the sender should be understood as the user of the communication system that streams the data, and the receiver as the user who receives the streaming data.
  • the recipient may receive a notification on his user device about the sender’s streaming the data and the ability to receive the specified data.
  • Such notification may also be a publication in the message stream of interacting users with the recipient being able to open the publication with the further implementation of the steps of the method according to the present invention.
  • the primary virtual object is selected from the virtual objects available for selection via the user interface on the screen of the sender's user device and the selected primary virtual object is placed on the screen of the user's sender device at a specified location displayed by the device of the user's capture of the sender device. as an object of augmented reality.
  • the sender actually controls the primary virtual object and each subsequent other primary virtual object to which it replaces the displayed virtual object, merging them with additional virtual objects and changing their location, with realizing the streaming data containing the data about virtual objects. of time.
  • Such an implementation option is most preferable when using as the main virtual object 3d an animated virtual object, the movement of which can be displayed most harmoniously.
  • At least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object. It is also preferable to use at least one of the 3d static (for example, 3d drawing) or animated virtual object, 2d static (for example, picture, photo) or animated virtual object, text, audio as an additional virtual object. (e.g. music, audio effect, user voice recording) or video. Combining the main virtual object with an additional one can be implemented as a possibility for the sender to attach an additional virtual object to the main virtual object.
  • an additional virtual object can be attached to the main virtual object at any time: at the initial specified location of the primary virtual object on the screen of the user device of the sender, when the virtual object moves, at the new specified location of the main virtual object.
  • Additional virtual objects are also displayed on the screens of user devices of the sender and receiver as objects of augmented reality.
  • the additional virtual objects are mapped to the main virtual objects.
  • specifying a location is provided by binding the main virtual object to a geographical location displayed by the image capturing device of the user device, for example, by binding the specified object to the surface.
  • a 3d animated virtual object is carried out from a specified predetermined location.
  • At least one of the interacting users is provided with an opportunity to perform at least one of the following operations: sending a text message, sending a voice message, sending a video message, multimedia messaging, video call.
  • the sender and receiver of the main virtual object can be displayed on screens of user devices from different angles and from different viewpoints. This means that after displaying the main virtual object on the screens of user devices of the sender or recipient, the user can view the main virtual object using the image capture device of the user device from different viewpoints, for example, from above, from the side or bypass it. For example, while displaying streaming data and simultaneously rotating the image capturing device of the recipient's user device to the side opposite to the specified location of the main virtual object, the recipient user device will display only the physical, real world without the main virtual object on the screen of the recipient user device. The same applies to additional virtual objects.
  • FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of preferred embodiments of the present invention. The steps of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2g.
  • the screen 200 of the sender's user device 202 displays the real-world objects 204 using the image capture device of the sender's user device 202, as well as a panel 206 with selectable basic virtual objects, as illustrated in FIG. 2a
  • the sender selects the primary virtual object from the available virtual objects.
  • the sender selects the primary virtual object 208. This step is described in block 100 of the flowchart shown in FIG. one.
  • the sender performs the placement of the selected primary virtual object 208 on the screen 200 of the user device 202 of the sender (this step is described in block 102 of the flowchart shown in Fig. 1).
  • the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2b.
  • the specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender.
  • the sender can specify the location of an object, for example, by touching a specific location on the touchscreen 200 or dragging the selected primary virtual object 208 on the touchscreen 200 to a specific location, after which the specified object 208 is attached to a given geographical location displayed by the user’s device sender device 202, and is displayed as an augmented reality object, as illustrated in FIG. 2c. Those. On the screen 200 of the user device 202 of the sender, both the main virtual object 208 and the real-world objects 204 surrounding the sender are shown, which are addressed by the device for capturing an image of the user device 202 of the sender.
  • Sender can inspect the displayed main virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle, using the image capture device of the user device 202 of the sender.
  • the primary virtual object 208 is a 3d animated virtual object. This stage of placing the main virtual object 208 is described in block 102 of the flowchart shown in FIG. one
  • the user interface on the screen 200 of the sender’s user device 202 allows you to start real-time streaming of data related to the data on the displayed virtual primary object 208.
  • 200 of the user's device of the sender may, for example, display the icon 212 with the caption “Start streaming data as illustrated in FIG. 2c, when touched as shown in FIG. 2d, data streaming will begin. This step is described in block 104 of the flowchart shown in FIG. one
  • the sender can in any sequence, for example, combine the displayed primary virtual object with an additional virtual object (for example, text, 2d or 3d virtual object, audio or video); set a new location on the screen 200 of the user device 202 of the sender, as described above, and then moving the displayed primary virtual object on the screen 200 of the user device 202 of the sender to a new predetermined location; replace the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender with another primary virtual object from the available virtual objects through the user interface on the screen 200 of the user device 202 sender, etc. Merge primary virtual object 208 with additional virtual objects.
  • an additional virtual object for example, text, 2d or 3d virtual object, audio or video
  • Objects can be implemented, for example, by selecting the appropriate additional virtual object from files stored on the user's device 202 of the sender, for example, from photos, or by selecting from the examples available for selection, 5 “drop-downs” after touching the corresponding window with the finger saying to add an additional virtual object. "
  • the sender can perform any available actions on the displayed primary virtual object (primary virtual object 208 or a new primary virtual object that can be replaced with the primary virtual object 208), i.e. manage the main virtual object.
  • real-time data will be streamed, associated only with virtual objects displayed on the screen 200 of the user device 202 of the sender, as objects augmented
  • 15 reality i.e., for example, data associated with finding the main virtual object 208 in a given location, displaying additional virtual objects in combination with the main virtual object 208, moving the main virtual object 208.
  • the recipient is provided with the ability to receive streaming data via the corresponding icon 214, as 25 is illustrated in FIG. 2e, the touch of which initiates the display of streaming data on the screen 216 of the recipient's user device 218.
  • the recipient After touching the specified icon 214, the recipient places the streaming data on the screen 216 of the user's device 218 of the recipient. For this, the recipient sets the locations 220 the primary virtual object 208, as illustrated in FIG. 2f.
  • the specified location 220 is displayed by the image capturing device of the recipient's user device 218 on the screen of the recipient's user device 218.
  • the recipient can specify the location of the object, for example, by touching a specific location on the touch screen 216, after which the specified object 208 is attached to a given geographical location displayed by the image capturing device of the recipient's user device 218 and displayed as an augmented reality object, as illustrated in FIG. 2g. Those.
  • both the primary virtual object 208 is displayed, the data of which is transmitted by streaming data broadcast by the sender, and the real-world objects 222 surrounding the recipient that are addressed by the recipient's user device 218.
  • the recipient can inspect the displayed primary virtual object 208 from different sides through the screen 216 of the recipient's user device 218, changing the viewing angle, using the image capture device of the recipient's user device 218. This step of displaying streaming data on the screen 216 of the recipient's user device 218 is described in block 106 of the flowchart shown in FIG. one.
  • FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention.
  • the specified user device can be both the user device of the sender and the user device of the recipient and contains the processor 300 and its associated screen 302, computer-readable media 304, network component 306 and image pickup device 308.
  • FIG. 4 shows a schematic representation of an example implementation of a communication system in accordance with one embodiment of the present invention.
  • the specified communication system contains server 400 and associated sender and receiver user devices 402 and 404, respectively.
  • the streaming of data from the sender's user device is carried out by the server 400.
  • the user interaction method in the communication system is not limited to the specific features or steps described above.
  • the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to the field of communication technology, in particular to a method for the real-time live streaming of data relating to data about virtual augmented reality objects. A method for user interaction in a communication system comprises: carrying out real-time live streaming of data relating to data about at least one main virtual object shown on the screen of a sender's user device and associated with a specific location shown by an image capture device of the sender's user device, said object being shown as an augmented reality object; and showing the live streaming data on the screen of a user device of at least one receiver, said data being associated with a specific location shown by an image capture device of the receiver's user device, wherein the data is shown as an augmented reality.

Description

ВЗАИМОДЕЙСТВИЕ ПОЛЬЗОВАТЕЛЕЙ ПОСРЕДСТВОМ ПОТОКОВОГО  THE INTERACTION OF USERS BY MEANS OF FLOWING
ВЕЩАНИЯ ДАННЫХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ  DATA BROADCASTING OF ADDED REALITY
ОБЛАСТЬ ТЕХНИКИ Изобретение относится к области коммуникационных технологий, в частности - к способу потокового вещания данных, относящихся к данным о виртуальных объектах дополненной реальности, в режиме реального времени. TECHNICAL FIELD The invention relates to the field of communication technologies, in particular, to a method of streaming data relating to data on virtual objects of augmented reality, in real time.
УРОВЕНЬ ТЕХНИКИ BACKGROUND
Потоковое вещание данных в режиме реального времени характеризуется возможностью получателя непрерывно получать данные от отправителя - инициатора потокового вещания данных. В настоящее время реализованы коммуникационные системы, обеспечивающие возможность осуществления потокового вещания данных, относящихся к данным не только об объектах реального мира, но и к данным о виртуальных объектах, которые дополняют объекты реального мира. Real-time streaming of data is characterized by the ability of the recipient to continuously receive data from the sender - the initiator of streaming data. Currently, communication systems have been implemented that provide the possibility of streaming data related to data not only about real-world objects, but also to data about virtual objects that complement real-world objects.
Однако технологии дополненной реальности стремительно развиваются, и существует возможность улучшения известных способов взаимодействия пользователей в коммуникационных системах путем расширения и дополнения связанных с потоковым вещанием данных возможностей подобных коммуникационных систем. However, the technologies of augmented reality are rapidly developing, and there is a possibility of improving the known methods of user interaction in communication systems by expanding and supplementing the streaming data capabilities of such communication systems.
КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION
Идея настоящего изобретения заключается в том, что отправитель в режиме реального времени осуществляет потоковое вещание данных, относящихся к по меньшей мере одному основному виртуальному объекту, который отображается на экране пользовательского устройства отправителя как объект дополненной реальности. При этом отправитель привязывает указанный объект к местоположению, которое отображается устройством захвата изображения пользовательского устройства отправителя (т.е. к объектам реального мира отправителя). Данные потокового вещания содержат только данные, относящиеся к объектам, отображаемым как объекты дополненной реальности, и не содержат данные, относящие к реальному миру отправителя, отображаемому устройством захвата изображения пользовательского устройства отправителя. Таким образом, хотя основной виртуальный объект отображается как объект дополненной реальности отправителя, данные потокового вещания содержат только данные о виртуальном объекте. При этом на экране пользовательского устройства получателя данные потокового вещания отображаются как дополненная реальность получателя. Указанные данные также отображаются с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства получателя (т.е. с привязкой к отображаемым объектам реального мира получателя). Это краткое изложение сущности изобретения предоставлено для ознакомления с идеей изобретения в упрощенной форме, которая дополнительно раскрыта ниже в Подробном описании изобретения. Данное Краткое изложение сущности изобретения не является направленным на определение существенных признаков заявленных объектов изобретения, а также не является направленным на использование с целью ограничения объема изобретения. The idea of the present invention is that the sender in real-time streaming data relating to at least one primary virtual object that is displayed on the screen of the user's sender device as an object of augmented reality. In this case, the sender binds the specified An object to a location that is displayed by the device that captures the image of the user's device of the sender (that is, to objects of the sender's real world). The streaming data contains only data related to objects displayed as augmented reality objects and does not contain data relating to the real world of the sender displayed by the image capturing device of the user's sender device. Thus, while the primary virtual object is displayed as the sender's augmented reality object, the streaming data contains only data about the virtual object. At the same time, the streaming data is displayed on the screen of the recipient's user device as the augmented reality of the recipient. The specified data is also displayed with reference to the specified location displayed by the image capture device of the recipient's user device (that is, with reference to the display objects of the real world of the recipient). This summary of the invention is provided to introduce the idea of the invention in a simplified form, which is further disclosed below in the Detailed Description of the invention. This Summary of the invention is not intended to identify the essential features of the claimed objects of the invention, nor is it intended to be used for the purpose of limiting the scope of the invention.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ BRIEF DESCRIPTION OF GRAPHIC MATERIALS
Заявляемое изобретение поясняется с помощью следующих фигур, являющихся неограничивающими примерами реализации настоящего изобретения: фиг. 1 - блок-схема примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 2а - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе выбора основного виртуального объекта; фиг. 2b - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен этап задания местоположения выбранного основного виртуального объекта; фиг. 2с - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен 3d анимированный виртуальный объект как объект дополненной реальности в заданном местоположении; фиг. 2d - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе инициирования потокового вещания данных; фиг. 2е - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе инициирования получения данных потокового вещания; фиг. 2f - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображен этап задания местоположения для отображения данных потокового вещания; фиг. 2g - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены данные потокового вещания как дополненная реальность в заданном местоположении; фиг. 3 - схематическое изображение примера осуществления пользовательского устройства согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 4 - схематическое изображение примера осуществления коммуникационной системы согласно одному из предпочтительных вариантов осуществления настоящего изобретения. The invention is illustrated by the following figures, which are non-limiting examples of the implementation of the present invention: FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention; FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object; FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender, which displays the step of setting the location of the selected primary virtual object; FIG. 2c is a schematic diagram illustrating the screen of the user's sender's device, on which a 3d animated virtual object is displayed as an object of augmented reality at a given location; FIG. 2d is a schematic diagram illustrating the screen of the user's device of the sender at the stage of initiating the streaming of data; FIG. 2e is a schematic diagram illustrating the screen of the recipient's user device at the stage of initiating receipt of streaming data; FIG. 2f is a schematic diagram illustrating the recipient's user device screen, which displays the step of setting a location for displaying streaming data; FIG. 2g is a schematic diagram illustrating the screen of the recipient's user device, which displays streaming data as augmented reality at a given location; FIG. 3 is a schematic representation of an embodiment of a user device according to one of the preferred embodiments of the present invention; FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ Настоящее изобретение относится к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, позволяющей реализовать указанный способ, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению. DETAILED DESCRIPTION OF THE INVENTION The present invention relates to a method of user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system allowing this method to be implemented, and a computer-readable medium on which program instructions are stored that initiate execution of aspects of the method of user interaction in accordance with the present invention.
В соответствии с первым аспектом настоящего изобретения предложен способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя, как объект дополненной реальности, отображение данных потокового вещания на экране пользовательского устройства по меньшей мере одного получателя с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства получателя, как дополненной реальности. In accordance with the first aspect of the present invention, a method for user interaction in a communication system is proposed, including real-time streaming of data related to data about at least one primary virtual object displayed on the user's screen of the sender with reference to the specified location displayed the device to capture the image of the user's device of the sender, as an object of augmented reality, the display of data on the current broadcast on the screen of the user device of at least one recipient with reference to the specified location displayed by the image capturing device of the recipient's user device as augmented reality.
В соответствии со вторым аспектом настоящего изобретения предложено пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения данных потокового вещания на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как дополненной реальности. In accordance with the second aspect of the present invention, there is provided a user device for organizing user interaction in a communication system, including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, who when bringing them into Execution by at least one processor provides the possibility of real-time streaming of data related to data on at least one main virtual object displayed on the screen of the user device with reference to a specified location displayed by the image capturing device of the user device. augmented reality, providing the ability to display streaming data on the screen of a user device TWA with reference to the specified location displayed by the device capturing the image of the user device, as augmented reality.
В соответствии с третьим аспектом настоящего изобретения предложена коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения данных потокового вещания на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как дополненной реальности; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя. In accordance with the third aspect of the present invention, a communication system is proposed that allows user devices and a server to communicate with each other, comprising software instructions located on a computer-readable media of a user device, which, when executed by at least one processor of the user device, ensures that Real-time streaming of data related to data on at least m A single primary virtual object displayed on the user's device screen with reference to a specified location displayed by the image capturing device of the user device, as an object of augmented reality, providing the ability to display streaming data on the user's device screen with reference to a specified location displayed by the user image capture device devices like augmented reality; and software instructions located on the machine readable server media, which, when executed by at least one server processor, ensures that the server receives streaming data from the sender's user device and transfers the received streaming data from the server to the user device at least one recipient.
В соответствии с четвертым аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения данных потокового вещания на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как дополненной реальности. In accordance with the fourth aspect of the present invention, a computer-readable media is proposed that contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, provides the possibility of real-time streaming of data related to data about at least one primary virtual object displayed on the screen of the user device with a graft language to the specified location displayed by the device capturing the image of the user device as an object of augmented reality, providing the ability to display streaming data on the screen of the user device with reference to the specified location displayed by the device capturing the image of the user device as augmented reality.
Таким образом, отправитель имеет возможность в режиме реального времени осуществлять потоковое вещание только тех данных, которые относятся к отображаемым в качестве объектов дополненной реальности виртуальным объектам, привязанным к объектам реального мира отправителя, отображаемым устройством захвата изображения пользовательского устройства отправителя, при этом данные, относящиеся к данным об указанных объектах реального мира отправителя не передаются. На экране пользовательского устройства получателя данные потокового вещания отображаются как дополненная реальность получателя. Указанные данные также отображаются с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства получателя (т.е. с привязкой к отображаемым объектам реального мира получателя). Вышеописанные возможности предоставляют пользователю новый вид и формат общения, влияют на эмоциональную атмосферу, которая создается между пользователями, увеличивают заинтересованность пользователей в осуществлении подобного взаимодействия. Thus, the sender has the ability to stream real-time only those data that are related to the virtual objects displayed as augmented reality objects associated with the sender’s real-world objects displayed by the image capturing device of the user's sender’s device, while data about the specified objects in the real world of the sender is not transmitted. On the screen of the recipient's user device, the streaming data is displayed as the augmented reality of the recipient. The specified data is also displayed with binding to a specified location displayed by the image capture device of the recipient's user device (that is, linked to the displayed objects of the real world of the recipient). The above features provide the user with a new type and format of communication, affect the emotional atmosphere that is created between users, increase the interest of users in the implementation of such interaction.
Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть, при помощи которой устанавливают соединения между сервером и пользовательскими устройствами для осуществления взаимодействия пользователей в коммуникационной системе согласно описанному способу, включающую без ограничения сеть интернет, беспроводные коммуникационные сети, сети, использующие стандартные коммуникационные технологии и/или протоколы. Описанная коммуникационная система может функционировать на любых подходящих пользовательских устройствах вне зависимости от установленных на них операционных систем. User devices and a server in a communication system are communicated via a network through which connections between the server and user devices are established to enable user interaction in the communication system according to the described method, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols. The described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
Доступ пользователя к коммуникационной системе может осуществляться при помощи соответствующего приложения, установленного на пользовательском устройстве, посредством сети. User access to the communication system can be carried out using the appropriate application installed on the user device via the network.
Под приложением понимают программу, установленную на пользовательском устройстве пользователя и предназначенную для взаимодействия пользователей в коммуникационной системе. An application is a program installed on the user's device and intended for user interaction in the communication system.
В качестве пользовательского устройства может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности или же любое другое устройство, которое содержит устройство захвата изображения, способное отображать окружающий пользователя мир (например, камера), компонент отображения, способный обеспечивать пользователя возможностью видеть отображаемый устройством захвата изображения окружающий мир (например, экран пользовательского устройства) и сетевой компонент, позволяющий устанавливать связь с по меньшей мере одним другим пользовательским устройством. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для запуска и исполнения приложений с учетом текущего местоположения, а также для осуществления потокового вещания данных. As a user device, for example, a smartphone, tablet computer, augmented reality glasses, or any other device that contains an image capture device capable of displaying the world around the user (for example, a camera), a display component capable of providing the user with the ability to see the displayed image capture device the surrounding world (for example, the user device screen) and a network component that allows you to communicate with at least one other user device. Such devices should have computing capacity and components sufficient for launching and executing applications based on their current location, as well as for streaming data.
В контексте настоящего описания под взаимодействующими пользователями следует понимать отправителя и получателя. При этом под отправителем следует понимать пользователя коммуникационной системы, осуществляющего потоковое вещание данных, а под получателем - пользователя, принимающего данные потокового вещания. In the context of the present description, interacting users should understand the sender and recipient. In this case, the sender should be understood as the user of the communication system that streams the data, and the receiver as the user who receives the streaming data.
Получатель может получить уведомление на своем пользовательском устройстве об осуществлении отправителем потокового вещания данных и возможности принять указанные данные. Такое уведомление также может представлять собой публикацию в ленту сообщений взаимодействующих пользователей с возможностью получателем открыть публикацию с дальнейшим осуществлением этапов способа согласно настоящему изобретению. The recipient may receive a notification on his user device about the sender’s streaming the data and the ability to receive the specified data. Such notification may also be a publication in the message stream of interacting users with the recipient being able to open the publication with the further implementation of the steps of the method according to the present invention.
Предпочтительно перед осуществлением потокового вещания осуществляют выбор основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя и размещение выбранного основного виртуального объекта на экране пользовательского устройства отправителя в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства отправителя, с его отображением как объекта дополненной реальности. Preferably, prior to streaming, the primary virtual object is selected from the virtual objects available for selection via the user interface on the screen of the sender's user device and the selected primary virtual object is placed on the screen of the user's sender device at a specified location displayed by the device of the user's capture of the sender device. as an object of augmented reality.
В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения во время осуществления потокового вещания осуществляют по меньшей мере одно из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства отправителя с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства отправителя в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства отправителя на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя. In one of the most preferred embodiments of the present invention during the implementation of streaming at least one of combining the displayed primary virtual object with an additional virtual object, setting a new location on the user's screen of the sender and then moving the displayed primary virtual object on the screen of the user's sender device to the specified location, replacing the displayed primary virtual object on the screen of the user's sender to another primary virtual object available for selection about novnyh virtual objects via the user interface on the screen of the user of the sender unit.
Таким образом, фактически отправитель управляет основным виртуальным объектом и каждым последующим другим основным виртуальным объектом, на который заменяет отображаемый виртуальный объект, объединяя их с дополнительными виртуальными объектами и изменяя их местоположение, с осуществлением потокового вещания данных, содержащих данные о виртуальных объектах, в режиме реального времени. Такой вариант осуществления наиболее предпочтителен при использовании в качестве основного виртуального объекта 3d анимированного виртуального объекта, передвижение которого может быть отображено наиболее гармонично. Thus, the sender actually controls the primary virtual object and each subsequent other primary virtual object to which it replaces the displayed virtual object, merging them with additional virtual objects and changing their location, with realizing the streaming data containing the data about virtual objects. of time. Such an implementation option is most preferable when using as the main virtual object 3d an animated virtual object, the movement of which can be displayed most harmoniously.
Предпочтительно в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. Также предпочтительно в качестве дополнительного виртуального объекта используют по меньшей мере один из 3d статичного (например, 3d рисунок) или анимированного виртуального объекта, 2d статичного (например, картинка, фотография) или анимированного виртуального объекта, текста, аудио (например, музыка, аудиоэффект, запись голоса пользователя) или видео. Объединение основного виртуального объекта с дополнительным может быть реализовано в качестве предоставления возможности отправителю прикрепить к основному виртуальному объекту дополнительный виртуальный объект. 5 Предпочтительно дополнительный виртуальный объект может быть прикреплен к основному виртуальному объекту в любой момент времени: в начальном заданном местоположении основного виртуального объекта на экране пользовательского устройства отправителя, при осуществлении виртуальным объектом передвижения, в новом заданном местоположении основного ю виртуального объекта. Дополнительные виртуальные объекты также отображаются на экранах пользовательских устройств отправителя и получателя как объекты дополненной реальности. В предпочтительном варианте осуществления дополнительные виртуальные объекты отображаются с привязкой к основным виртуальным объектам. Preferably, at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object. It is also preferable to use at least one of the 3d static (for example, 3d drawing) or animated virtual object, 2d static (for example, picture, photo) or animated virtual object, text, audio as an additional virtual object. (e.g. music, audio effect, user voice recording) or video. Combining the main virtual object with an additional one can be implemented as a possibility for the sender to attach an additional virtual object to the main virtual object. 5 Preferably, an additional virtual object can be attached to the main virtual object at any time: at the initial specified location of the primary virtual object on the screen of the user device of the sender, when the virtual object moves, at the new specified location of the main virtual object. Additional virtual objects are also displayed on the screens of user devices of the sender and receiver as objects of augmented reality. In a preferred embodiment, the additional virtual objects are mapped to the main virtual objects.
15 В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства, например, посредством привязки указанного объекта к поверхности15 In one of the most preferred embodiments of the present invention, specifying a location is provided by binding the main virtual object to a geographical location displayed by the image capturing device of the user device, for example, by binding the specified object to the surface.
20 стола, отображаемой на экране пользовательского устройства камерой пользовательского устройства. Это относится как к заданию местоположения отправителем, так и заданию местоположения получателем. Таким образом, в заданном местоположении отображается основной виртуальный объект, и последующие передвижения основного виртуального объекта, представляющего20 table displayed on the screen of the user device by the camera of the user device. This applies to both the setting of the location by the sender and the setting of the location by the receiver. Thus, at the specified location, the primary virtual object is displayed, and the subsequent movements of the primary virtual object representing
25 собой, например, 3d анимированный виртуальный объект, осуществляются из указанного заданного местоположения. 25, for example, a 3d animated virtual object, is carried out from a specified predetermined location.
Предпочтительно во время отображения основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей предоставляют возможность осуществления зо по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. Preferably, during the display of the main virtual object on the screens of user devices, at least one of the interacting users is provided with an opportunity to perform at least one of the following operations: sending a text message, sending a voice message, sending a video message, multimedia messaging, video call.
В одном из предпочтительных вариантов осуществления настоящего изобретения обеспечивают возможность отображения на экранах пользовательских устройств отправителя и получателя основного виртуального объекта под разными углами и с разных точек обзора. Это означает, что после отображения основного виртуального объекта на экранах пользовательских устройств отправителя или получателя пользователь имеет возможность рассмотреть основной виртуальный объект при помощи устройства захвата изображения пользовательского устройства с разных точек обзора, например, сверху, сбоку или обойти его кругом. Например, во время отображения данных потокового вещания и одновременного поворота устройства захвата изображения пользовательского устройства получателя в противоположную от заданного местоположения основного виртуального объекта сторону на экране пользовательского устройства получателя посредством устройства захвата изображения отобразят лишь физический, реальный, мир без основного виртуального объекта. То же самое применимо к дополнительным виртуальным объектам. In one of the preferred embodiments of the present invention, the sender and receiver of the main virtual object can be displayed on screens of user devices from different angles and from different viewpoints. This means that after displaying the main virtual object on the screens of user devices of the sender or recipient, the user can view the main virtual object using the image capture device of the user device from different viewpoints, for example, from above, from the side or bypass it. For example, while displaying streaming data and simultaneously rotating the image capturing device of the recipient's user device to the side opposite to the specified location of the main virtual object, the recipient user device will display only the physical, real world without the main virtual object on the screen of the recipient user device. The same applies to additional virtual objects.
Описанные выше варианты реализации настоящего изобретения в равной степени относятся ко всем заявленным его аспектам, а именно к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, машиночитаемому носителю, коммуникационной системе, обеспечивающей взаимодействие пользовательских устройств и сервера между собой. Аспекты настоящего изобретения далее раскрыты в данном описании со ссылками на графические материалы, которые являются неограничивающими примерами реализации настоящего изобретения. The embodiments of the present invention described above equally apply to all declared aspects thereof, namely, the method of user interaction in a communication system, a user device for organizing user interaction in a communication system, computer-readable media, a communication system that provides interaction between user devices and a server . Aspects of the present invention are further disclosed herein with reference to graphic materials that are non-limiting examples of the implementation of the present invention.
Фиг. 1 иллюстрирует блок-схему примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения. Этапы проиллюстрированного блок-схемой способа будут далее более подробно раскрыты со ссылками на фиг. 2а - 2g. FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of preferred embodiments of the present invention. The steps of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2g.
При инициировании потокового вещания данных на экране 200 пользовательского устройства 202 отправителя отображают объекты 204 реального мира при помощи устройства захвата изображения пользовательского устройства 202 отправителя, а также панель 206 с доступными к выбору основными виртуальными объектами, как проиллюстрировано на фиг. 2а. Отправитель осуществляет выбор основного виртуального объекта из доступных к выбору виртуальных объектов. В проиллюстрированном примере отправитель выбирает основной виртуальный объект 208. Указанный этап описан в блоке 100 блок-схемы, приведенной на фиг. 1. When initiating data streaming, the screen 200 of the sender's user device 202 displays the real-world objects 204 using the image capture device of the sender's user device 202, as well as a panel 206 with selectable basic virtual objects, as illustrated in FIG. 2a The sender selects the primary virtual object from the available virtual objects. In the illustrated example, the sender selects the primary virtual object 208. This step is described in block 100 of the flowchart shown in FIG. one.
Далее отправитель осуществляет размещение выбранного основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя (указанный этап описан в блоке 102 блок-схемы, приведенной на фиг. 1). Для этого отправитель задает местоположение 210 основного виртуального объекта 208, как проиллюстрировано на фиг. 2Ь. Указанное местоположение 210 отображается устройством захвата изображения пользовательского устройства 202 отправителя на экране 200 пользовательского устройства 202 отправителя. Отправитель может задавать местоположение объекта, например, посредством касания пальцем определенного места сенсорного экрана 200 или «перетаскивания» пальцем выбранного основного виртуального объекта 208 по сенсорному экрану 200 до определенного местоположения, после чего указанный объект 208 привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 202 отправителя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2с. Т.е. на экране 200 пользовательского устройства 202 отправителя отображается как основной виртуальный объект 208, так и объекты 204 реального мира, окружающего отправителя, к которым обращено устройство захвата изображения пользовательского устройства 202 отправителя. Отправитель может осмотреть отображаемый основной виртуальный объект 208 с разных сторон через экран 200 пользовательского устройства 202 отправителя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 202 отправителя. Наиболее предпочтительно основной виртуальный объект 208 представляет собой 3d анимированный виртуальный объект. Указанный этап размещения основного виртуального объекта 208 описан в блоке 102 блок-схемы, приведенной на фиг. 1 Next, the sender performs the placement of the selected primary virtual object 208 on the screen 200 of the user device 202 of the sender (this step is described in block 102 of the flowchart shown in Fig. 1). For this, the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2b. The specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender. The sender can specify the location of an object, for example, by touching a specific location on the touchscreen 200 or dragging the selected primary virtual object 208 on the touchscreen 200 to a specific location, after which the specified object 208 is attached to a given geographical location displayed by the user’s device sender device 202, and is displayed as an augmented reality object, as illustrated in FIG. 2c. Those. On the screen 200 of the user device 202 of the sender, both the main virtual object 208 and the real-world objects 204 surrounding the sender are shown, which are addressed by the device for capturing an image of the user device 202 of the sender. Sender can inspect the displayed main virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle, using the image capture device of the user device 202 of the sender. Most preferably, the primary virtual object 208 is a 3d animated virtual object. This stage of placing the main virtual object 208 is described in block 102 of the flowchart shown in FIG. one
После размещения основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя отправителю посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 отправителя предоставляется возможность начать осуществление в режиме реального времени потокового вещания данных, относящихся к данным об отображаемом основном виртуальном объекте 208. При этом на экране 200 пользовательского устройства отправителя может быть, к примеру, отображена иконка 212 с подписью «Начать потоковое вещание данных», как проиллюстрировано на фиг. 2с, при касании которой, как отображено на фиг. 2d, начнется осуществление потокового вещания данных. Указанный этап описан в блоке 104 блок-схемы, приведенной на фиг. 1 After placing the primary virtual object 208 on the screen 200 of the sender’s user device 202 to the sender, the user interface on the screen 200 of the sender’s user device 202 allows you to start real-time streaming of data related to the data on the displayed virtual primary object 208. At the same time, 200 of the user's device of the sender may, for example, display the icon 212 with the caption “Start streaming data as illustrated in FIG. 2c, when touched as shown in FIG. 2d, data streaming will begin. This step is described in block 104 of the flowchart shown in FIG. one
После касания указанной иконки 212 отправитель может в любой последовательности, например, объединять отображаемый основной виртуальный объект с дополнительным виртуальным объектом (например, текстом, 2d или 3d виртуальным объектом, аудио или видео); задавать новое местоположение на экране 200 пользовательского устройства 202 отправителя, как это описано выше, с последующим передвижением отображаемого основного виртуального объекта на экране 200 пользовательского устройства 202 отправителя в новое заданное местоположение; заменять отображаемый основной виртуальный объект 208 на экране 200 пользовательского устройства 202 отправителя на другой основной виртуальный объект из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 отправителя и т.д. Объединение основного виртуального объекта 208 с дополнительными виртуальными объектами может быть осуществлено, например, посредством выбора соответствующего дополнительного виртуального объекта из файлов, хранящихся на пользовательском устройстве 202 отправителя, например, из фотографий, или посредством выбора из доступных к выбору примеров, 5 «выпадающих» после касания пальцем соответствующего окна с надписью «Нажмите для добавления дополнительного виртуального объекта». After touching the specified icon 212, the sender can in any sequence, for example, combine the displayed primary virtual object with an additional virtual object (for example, text, 2d or 3d virtual object, audio or video); set a new location on the screen 200 of the user device 202 of the sender, as described above, and then moving the displayed primary virtual object on the screen 200 of the user device 202 of the sender to a new predetermined location; replace the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender with another primary virtual object from the available virtual objects through the user interface on the screen 200 of the user device 202 sender, etc. Merge primary virtual object 208 with additional virtual objects. Objects can be implemented, for example, by selecting the appropriate additional virtual object from files stored on the user's device 202 of the sender, for example, from photos, or by selecting from the examples available for selection, 5 “drop-downs” after touching the corresponding window with the finger saying to add an additional virtual object. "
Таким образом, отправитель может осуществлять любые доступные действия над отображаемым основным виртуальным объектом (основным виртуальным объектом 208 или новым основным виртуальным объектом, ю которым может быть заменен основной виртуальный объект 208), т.е. осуществлять управление основным виртуальным объектом. При этом в режиме реального времени будет осуществляться потоковое вещание данных, связанных только с виртуальными объектами, отображенными на экране 200 пользовательского устройства 202 отправителя, как объекты дополненнойThus, the sender can perform any available actions on the displayed primary virtual object (primary virtual object 208 or a new primary virtual object that can be replaced with the primary virtual object 208), i.e. manage the main virtual object. At the same time, real-time data will be streamed, associated only with virtual objects displayed on the screen 200 of the user device 202 of the sender, as objects augmented
15 реальности (основными и дополнительными виртуальными объектами), т.е., к примеру, данных, связанных с нахождением основного виртуального объекта 208 в заданном местоположении, отображением дополнительных виртуальных объектов в объединении с основным виртуальным объектом 208, передвижением основного виртуального объекта 208. Данные об объектах 204 реального мира15 reality (main and additional virtual objects), i.e., for example, data associated with finding the main virtual object 208 in a given location, displaying additional virtual objects in combination with the main virtual object 208, moving the main virtual object 208. Data about objects 204 real world
20 отправителя, отображаемых на экране 200 пользовательского устройства 202 отправителя при помощи устройства захвата изображения пользовательского устройства 202 отправителя, передаваться не будут. 20 senders displayed on the screen 200 of the user device 202 of the sender using the image capturing device of the user device 202 of the sender will not be transmitted.
Предпочтительно получателю предоставляют возможность получения данных потокового вещания посредством соответствующей иконки 214, как 25 проиллюстрировано на фиг. 2е, касание которой инициирует отображение данных потокового вещания на экране 216 пользовательского устройства 218 получателя. Preferably, the recipient is provided with the ability to receive streaming data via the corresponding icon 214, as 25 is illustrated in FIG. 2e, the touch of which initiates the display of streaming data on the screen 216 of the recipient's user device 218.
После касания указанной иконки 214 получатель осуществляет размещение данных потокового вещания на экране 216 пользовательского зо устройства 218 получателя. Для этого получатель задает местоположения 220 основного виртуального объекта 208, как проиллюстрировано на фиг. 2f. Указанное местоположение 220 отображается устройством захвата изображения пользовательского устройства 218 получателя на экране 216 пользовательского устройства 218 получателя. Получатель может задавать местоположение объекта, например, посредством касания пальцем определенного места сенсорного экрана 216, после чего указанный объект 208 привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 218 получателя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2g. Т.е. на экране 216 пользовательского устройства 218 получателя отображается как основной виртуальный объект 208, данные о котором передаются посредством осуществления потокового вещания данных отправителем, так и объекты 222 реального мира, окружающего получателя, к которым обращено устройство захвата изображения пользовательского устройства 218 получателя. Получатель может осмотреть отображаемый основной виртуальный объект 208 с разных сторон через экран 216 пользовательского устройства 218 получателя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 218 получателя. Указанный этап отображения данных потокового вещания на экране 216 пользовательского устройства 218 получателя описан в блоке 106 блок-схемы, приведенной на фиг. 1. After touching the specified icon 214, the recipient places the streaming data on the screen 216 of the user's device 218 of the recipient. For this, the recipient sets the locations 220 the primary virtual object 208, as illustrated in FIG. 2f. The specified location 220 is displayed by the image capturing device of the recipient's user device 218 on the screen of the recipient's user device 218. The recipient can specify the location of the object, for example, by touching a specific location on the touch screen 216, after which the specified object 208 is attached to a given geographical location displayed by the image capturing device of the recipient's user device 218 and displayed as an augmented reality object, as illustrated in FIG. 2g. Those. On the screen 216 of the recipient's user device 218, both the primary virtual object 208 is displayed, the data of which is transmitted by streaming data broadcast by the sender, and the real-world objects 222 surrounding the recipient that are addressed by the recipient's user device 218. The recipient can inspect the displayed primary virtual object 208 from different sides through the screen 216 of the recipient's user device 218, changing the viewing angle, using the image capture device of the recipient's user device 218. This step of displaying streaming data on the screen 216 of the recipient's user device 218 is described in block 106 of the flowchart shown in FIG. one.
На фиг. 3 приведено схематическое изображение примера осуществления пользовательского устройства согласно одному из вариантов осуществления настоящего изобретения. Указанное пользовательское устройство может быть как пользовательским устройством отправителя, так и пользовательским устройством получателя и содержит процессор 300 и связанные с ним экран 302, машиночитаемый носитель 304, сетевой компонент 306 и устройство 308 захвата изображения. FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention. The specified user device can be both the user device of the sender and the user device of the recipient and contains the processor 300 and its associated screen 302, computer-readable media 304, network component 306 and image pickup device 308.
На фиг. 4 приведено схематическое изображение примера осуществления коммуникационной системы согласно одному из вариантов осуществления настоящего изобретения. Указанная коммуникационная система содержит сервер 400 и связанные с ним пользовательские устройства 402 и 404 отправителя и получателя соответственно. Как видно из рассматриваемой фигуры, потоковое вещание данных от пользовательского устройства отправителя осуществляется посредством сервера 400. FIG. 4 shows a schematic representation of an example implementation of a communication system in accordance with one embodiment of the present invention. The specified communication system contains server 400 and associated sender and receiver user devices 402 and 404, respectively. As can be seen from the figure, the streaming of data from the sender's user device is carried out by the server 400.
Следует принять во внимание, что способ взаимодействия пользователей в коммуникационной системе, пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, коммуникационная система, позволяющая реализовать указанный способ, и машиночитаемый носитель, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению, не ограничены конкретными признаками или этапами, описанными выше. Напротив, конкретные признаки и этапы, описанные выше, раскрыты в качестве примеров, реализующих настоящее изобретение, и другие эквивалентные признаки и этапы могут быть охвачены объемом настоящего изобретения. It is necessary to take into account that the user interaction method in the communication system, the user device for organizing user interaction in the communication system, the communication system allowing to implement this method, and computer-readable media on which program instructions are stored that initiate execution of aspects of the user interaction method according to the present invention is not limited to the specific features or steps described above. On the contrary, the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Claims

Формула изобретения Claim
1. Способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных, 5 относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя, как объект дополненной реальности, ю отображение данных потокового вещания на экране пользовательского устройства по меньшей мере одного получателя с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства получателя, как дополненной реальности. 1. The way users interact in a communication system, including real-time streaming of data, 5 data related to at least one main virtual object displayed on the user's screen of the sender with reference to a specified location displayed by the device capturing the image of the user device the sender, as an object of augmented reality, display of streaming data on the screen of the user device by shey least one receiver with a binding to a predetermined location, screen capturing apparatus recipient user device image as augmented reality.
2. Способ по п. 1, отличающийся тем, что перед осуществлением 15 потокового вещания осуществляют выбор основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя и размещение выбранного основного виртуального объекта на экране 20 пользовательского устройства отправителя в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства отправителя, с его отображением как объекта дополненной реальности. 2. The method of claim 1, wherein prior to streaming 15, the primary virtual object is selected from among the virtual objects available for selection via the user interface on the screen of the sender's user device and the selected primary virtual object is placed on the screen 20 of the sender's user device in the specified the location displayed by the device capturing the image of the user device of the sender, with its display as an object of augmented p eality
3. Способ по п. 1, отличающийся тем, что во время осуществления потокового вещания осуществляют по меньшей мере одно из 3. The method according to p. 1, characterized in that during the implementation of streaming broadcast at least one of
25 объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства отправителя с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства отправителя в заданное местоположение, замены отображаемого основного виртуального объекта на экране 5 пользовательского устройства отправителя на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства отправителя. 25 combining the displayed main virtual object with an additional virtual object, setting a new location on the user device screen the sender and then moving the displayed primary virtual object on the user's screen of the sender to a specified location, replacing the displayed primary virtual object on screen 5 of the sender's user device to another primary virtual object available to select the primary virtual objects through the user interface on the user's screen of the sender.
4. Способ по п. 1, отличающийся тем, что в качестве основного ю виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 4. The method according to claim 1, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object.
5. Способ по п. 3, отличающийся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или5. The method according to p. 3, characterized in that at least one of 2d static or
15 анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 15 animated virtual object, 3d static or animated virtual object, text, audio or video.
6. Способ по п. 1, отличающийся тем, что задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата6. The method according to p. 1, characterized in that the setting of the location is provided by linking the main virtual object to the geographic location displayed by the capture device
20 изображения пользовательского устройства. 20 images of the user device.
7. Способ по п. 1, отличающийся тем, что во время отображения основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей предоставляют возможность осуществления по меньшей мере одной из следующих операций:7. A method according to claim 1, characterized in that during the display of the primary virtual object on the screens of user devices, at least one of the interacting users is given the opportunity to perform at least one of the following operations:
25 передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 25 text message transmission, voice message transmission, video message transmission, multimedia message transmission, video call.
8. Способ по п. 1, отличающийся тем, что обеспечивают возможность отображения на экранах пользовательских устройств отправителя и получателя основного виртуального объекта под разными углами и с разных точек обзора. 8. The method according to p. 1, characterized in that provide the ability to display on the screens of user devices of the sender and recipient main virtual object at different angles and from different points of view.
9. Пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, 9. User device for organizing user interaction in a communication system, including an image capture device,
5 по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают ю предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как объект5 at least one processor, machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, which, when executed by the at least one processor, provides streaming broadcasting in real time data relating to data on at least one primary virtual object displayed on the screen of the user device with reference to a given location, screen capture device images the user device as the object
15 дополненной реальности, предоставление возможности отображения данных потокового вещания на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как дополненной реальности. 15 of augmented reality, providing the ability to display streaming data on the screen of a user device with reference to a specified location displayed by the image capturing device of the user device as an augmented reality.
20 10. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране 25 пользовательского устройства и размещения выбранного основного виртуального объекта на экране пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, с его отображением как объекта дополненной реальности. 20 10. The device according to claim 9, wherein the program instructions contain instructions that, before streaming, provide the ability to select the main virtual object from the virtual objects available to the selection through the user interface on the screen 25 of the user device and place the selected main virtual an object on the user's device screen at a specified location displayed device capturing the image of the user device, with its display as an object of augmented reality.
11. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания11. The device according to p. 9, characterized in that the program instructions contain instructions that during the implementation of streaming
5 обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с ю последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством 15 пользовательского интерфейса на экране пользовательского устройства. 5 provide the opportunity to implement at least one of the combined display of the primary virtual object with an additional virtual object, set a new location on the user device screen, then move the displayed primary virtual object on the user device screen to the specified location, replace the displayed primary virtual object on the screen user device to another primary virtual object of the available to the selection of the main virtual objects through 15 user interfaces on the screen of the user device.
12. Устройство по п. 9, отличающееся тем, что основной виртуальный объект представляет собой по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 12. The device according to claim 9, wherein the primary virtual object is at least one of 2d static or animated virtual object, 3d static or animated virtual object.
20 13. Устройство по п. 11, отличающееся тем, что дополнительный виртуальный объект представляет собой по меньшей мере один из 3d статичного или анимированного виртуального объекта, 2d статичного или анимированного виртуального объекта, текста, аудио или видео. 20 13. The device according to claim 11, wherein the additional virtual object is at least one of the 3d static or animated virtual object, 2d static or animated virtual object, text, audio or video.
14. Устройство по п. 9, отличающееся тем, что программные инструкции 25 содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 14. The device according to claim 9, wherein the software instructions 25 contain instructions that provide the ability to specify a location by binding the primary virtual object to a geographic location displayed by the image capturing device of the user device.
15. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время отображения основного виртуального объекта на экранах пользовательских устройств обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций:15. The device according to claim 9, wherein the program instructions contain instructions that, when the main virtual object is displayed on the screens of the user devices, provide the possibility of performing at least one of the following operations:
5 передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 5 send a text message, send a voice message, send a video message, send a multimedia message, video call.
16. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения на экране пользовательского устройства основного виртуального ю объекта под разными углами и с разных точек обзора. 16. The device according to claim 9, wherein the program instructions contain instructions that provide the possibility of displaying on the user's device screen the main virtual object from different angles and from different viewpoints.
17. Коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по 15 меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому 20 устройством захвата изображения пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения данных потокового вещания на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского 25 устройства, как дополненной реальности; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя. 17. A communication system that provides interaction between user devices and a server, containing program instructions located on the machine-readable media of the user device, which, when executed by 15 at least one processor of the user device, provide the possibility of real-time streaming data relating to data on at least one primary virtual object displayed on screen by zovatelskogo device with reference to a given location, the displayed image capturing device 20 of the user device, as an object of augmented reality, allowing the display of streaming data on the screen of the user device with reference to a given location, the displayed image capturing apparatus 25 of the user device as augmented reality; and software instructions located on the server's machine-readable media, which, when executed by at least one server processor, ensures that the server receives data streaming from the sender's user device; and transmitting the received streaming data from the server to the user device of at least one recipient.
18. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые перед осуществлением потокового вещания обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства и размещения выбранного основного виртуального объекта на экране пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, с его отображением как объекта дополненной реальности. 18. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that, before streaming, provide the ability to select the main virtual object from the virtual objects available to the choice by means of the user interface on the user screen device and placement of the selected primary virtual object on the user device screen at a given location Assumption displayed image capturing device of the user device, with its image as an object of augmented reality.
19. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время осуществления потокового вещания обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 19. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that during the streaming provide the opportunity to implement at least one of the combination of the displayed main virtual object with the additional virtual object, setting a new location on the screen of the user device and then moving the displayed primary virtual object to the screen not the user device to a predetermined location, replacing the primary virtual object displayed on the screen of the user device to another primary virtual object to the selection of the available basic virtual objects via the user interface on the screen of the user device.
20. Система по п. 17, отличающаяся тем, что основной виртуальный объект представляет собой по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 20. The system of claim 17, wherein the primary virtual object is at least one of a 2d static or animated virtual object, a 3d static or animated virtual object.
21. Система по п. 19, отличающаяся тем, что дополнительный виртуальный объект представляет собой по меньшей мере один из 3d статичного или анимированного виртуального объекта, 2d статичного или анимированного виртуального объекта, текста, аудио или видео. 21. The system of claim. 19, characterized in that the additional virtual object is at least one of the 3d static or animated virtual object, 2d static or animated virtual object, text, audio or video.
22. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 22. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that provide the ability to set the location by binding the main virtual object to the geographic location displayed by the image capture device of the user device.
23. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время отображения основного виртуального объекта на экранах пользовательских устройств обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка 23. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that, when the main virtual object is displayed on the screens of the user devices, provide the ability to perform at least one of the following operations: messaging, voice messaging, video messaging, multimedia messaging, video calling
24. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности отображения на экране пользовательского устройства основного виртуального объекта под разными углами и с разных точек обзора 24. The system of claim 17, wherein the program instructions located on the machine-readable media of the user device contain instructions that provide the possibility of displaying the main virtual object on the screen of the user device from different angles and from different viewpoints
25. Машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном 5 основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения данных потокового вещания на ю экране пользовательского устройства с привязкой к заданному местоположению, отображаемому устройством захвата изображения пользовательского устройства, как дополненной реальности. 25. Machine-readable media containing program instructions for user interaction in communication system, which, when executed by at least one processor of the user device, provides the possibility of real-time streaming of data related to data on at least one 5 primary virtual objects displayed on the screen of the user device with reference to the specified the location displayed by the device capturing the image of the user device as an object of augmented reality, the provision of The ability to display streaming data on the user's device’s screen with reference to the specified location displayed by the user device’s image capture device as augmented reality.
26. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания26. The carrier according to claim. 25, characterized in that the program instructions contain instructions that, prior to streaming,
15 обеспечивают предоставление возможности осуществления выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства и размещения выбранного основного виртуального объекта на экране 20 пользовательского устройства в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства, с его отображением как объекта дополненной реальности. 15 provide the ability to select the primary virtual object from the virtual objects available to the selection through the user interface on the user device screen and place the selected primary virtual object on the user device screen 20 at a specified location displayed by the user device image capture device, with its display as augmented object reality.
27. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания27. The carrier according to claim 25, characterized in that the program instructions contain instructions that during the implementation of streaming broadcasting
25 обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране 5 пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 25 provide the ability to implement at least one of the union of the displayed primary virtual object with an additional virtual object, setting a new location on the user device screen and then moving the displayed primary virtual object on the user device screen to the specified location, replacing the displayed primary virtual object on the user device screen 5 with another primary virtual object available to select the basic virtual objects through the user interface on the user screen devices.
28. Носитель по п. 25, отличающийся тем, что основной виртуальный объект представляет собой по меньшей мере один из 2d статичного или ю анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 28. The carrier according to claim 25, wherein the primary virtual object is at least one of a 2d static or animated virtual object, a 3d static or animated virtual object.
29. Носитель по п. 27, отличающийся тем, что дополнительный виртуальный объект представляет собой по меньшей мере один из 3d статичного или анимированного виртуального объекта, 2d статичного или анимированного29. The carrier according to claim 27, wherein the additional virtual object is at least one of the 3d static or animated virtual object, 2d static or animated
15 виртуального объекта, текста, аудио или видео. 15 virtual object, text, audio or video.
30. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата30. The carrier according to claim 25, wherein the program instructions contain instructions that provide the ability to set the location by binding the primary virtual object to the geographic location displayed by the capture device.
20 изображения пользовательского устройства. 20 images of the user device.
31. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время отображения основного виртуального объекта на экранах пользовательских устройств обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций:31. The carrier according to claim 25, wherein the program instructions comprise instructions which, during the display of the main virtual object on the screens of the user devices, provide the possibility of performing at least one of the following operations:
25 передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 25 text message transmission, voice message transmission, video message transmission, multimedia message transmission, video call.
32. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения на экране пользовательского устройства основного виртуального объекта под разными углами и с разных точек обзора. 32. The carrier according to claim 25, wherein the program instructions contain instructions that provide the opportunity displaying the main virtual object on the user's device screen at different angles and from different points of view.
PCT/IB2018/058294 2017-10-30 2018-10-24 User interaction by means of live streaming of augmented reality data WO2019087014A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762578543P 2017-10-30 2017-10-30
US62/578,543 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087014A1 true WO2019087014A1 (en) 2019-05-09

Family

ID=66332962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/058294 WO2019087014A1 (en) 2017-10-30 2018-10-24 User interaction by means of live streaming of augmented reality data

Country Status (1)

Country Link
WO (1) WO2019087014A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935491A (en) * 2020-06-28 2020-11-13 百度在线网络技术（北京）有限公司 Live broadcast special effect processing method and device and server
CN113286162A (en) * 2021-05-20 2021-08-20 成都威爱新经济技术研究院有限公司 Multi-camera live-broadcasting method and system based on mixed reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293584A1 (en) * 2011-12-20 2013-11-07 Glen J. Anderson User-to-user communication enhancement with augmented reality
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20140282162A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20170178272A1 (en) * 2015-12-16 2017-06-22 WorldViz LLC Multi-user virtual reality processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293584A1 (en) * 2011-12-20 2013-11-07 Glen J. Anderson User-to-user communication enhancement with augmented reality
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20140282162A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20170178272A1 (en) * 2015-12-16 2017-06-22 WorldViz LLC Multi-user virtual reality processing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935491A (en) * 2020-06-28 2020-11-13 百度在线网络技术（北京）有限公司 Live broadcast special effect processing method and device and server
US11722727B2 (en) 2020-06-28 2023-08-08 Baidu Online Network Technology (Beijing) Co., Ltd. Special effect processing method and apparatus for live broadcasting, and server
CN113286162A (en) * 2021-05-20 2021-08-20 成都威爱新经济技术研究院有限公司 Multi-camera live-broadcasting method and system based on mixed reality

Similar Documents

Publication Publication Date Title
US10356363B2 (en) System and method for interactive video conferencing
US9615058B2 (en) Apparatus and method for sharing content items among a plurality of mobile devices
US11979244B2 (en) Configuring 360-degree video within a virtual conferencing system
US11470127B2 (en) Method, system, and non-transitory computer-readable record medium for displaying reaction during VoIP-based call
WO2019092590A1 (en) User interaction in a communication system with the aid of multiple live streaming of augmented reality data
EP2446619A1 (en) Method and device for modifying a composite video signal layout
WO2019000896A1 (en) Live broadcast list browsing interactive method and apparatus
CN112817671B (en) Image processing method, device, equipment and computer readable storage medium
JP2024518472A (en) Image fusion method, device, electronic device, and storage medium
US20140325396A1 (en) Methods and systems for simultaneous display of multimedia during a video communication
EP3342158A1 (en) System and method for interactive video conferencing
WO2019087014A1 (en) User interaction by means of live streaming of augmented reality data
WO2022242497A1 (en) Video photographing method and apparatus, electronic device, and storage medium
WO2019056001A1 (en) System and method for interactive video conferencing
CN111698574A (en) Video watermark processing method and device, electronic equipment and storage medium
WO2019082050A1 (en) User interaction in communication systems, using an augmented reality story message
US20230341993A1 (en) Moving a digital representation of a video conference participant to a new location in a virtual environment
CN112751681A (en) Image processing method, device, equipment and computer readable storage medium
CN113891135B (en) Multimedia data playing method and device, electronic equipment and storage medium
CN111367598B (en) Method and device for processing action instruction, electronic equipment and computer readable storage medium
WO2019064160A1 (en) User interaction in a communication system, using augmented reality objects
WO2019106558A1 (en) User interaction in a communication system using augmented reality objects
WO2019155311A1 (en) Communication system with automatically appearing augmented reality effects
WO2019130213A1 (en) User interaction in a communication system using augmented reality objects
WO2019155368A1 (en) User interaction in a communication system using augmented reality effects appearing in response to user-selected actions to be performed by augmented reality objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18874257

Country of ref document: EP

Kind code of ref document: A1