RU2801917C1 - Method and device for displaying images based on augmented reality and medium for storing information - Google Patents

Abstract

FIELD: information technology.

SUBSTANCE: method comprises the steps of: performing object segmentation to extract a target object from a real-time scene image captured by the image acquisition module to obtain an image of the target object; generating a virtual image corresponding to the target object based on the image of the target object; and displaying a virtual image on a real-time scene image based on AR technology. By obtaining an image of the target object, generating, based on the image of the target object, a virtual image corresponding to the target object, and displaying the virtual image on the scene image in real time based on AR technology, virtual images can be generated.

EFFECT: improving the accuracy of image processing.

15 cl, 9 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Варианты настоящего изобретения относятся к способу и устройству для отображения изображения на основе дополненной реальности и носителю для хранения информации.Embodiments of the present invention relate to an augmented reality image display method and apparatus and an information storage medium.

Уровень техникиState of the art

Технология дополненной реальности (augmented reality (AR)) представляет собой технологию, интегрирующую виртуальную информацию с реальным миром, а именно такую технологию, как мультимедиа, трехмерное моделирование, отслеживание и регистрация в реальном времени, интеллектуальное взаимодействие и восприятие, с целью симуляции генерируемой компьютером виртуальной информации, такой как текст, изображение, трехмерная модель, музыка и видео, и наложения этой генерируемой компьютером виртуальной информации на реальный мир. Эти два типа информации дополняют один другой, вследствие чего реализуется «дополнение» реального мира. По мере разработки технологии, она находила все более широкое применение в различных отраслях.Augmented reality (AR) technology is a technology that integrates virtual information with the real world, such as multimedia, 3D modeling, real-time tracking and registration, intelligent interaction and perception, to simulate a computer-generated virtual information such as text, image, 3D model, music and video, and superimposing this computer-generated virtual information on the real world. These two types of information complement one another, as a result of which the "complement" of the real world is realized. As the technology has developed, it has been increasingly used in various industries.

Применение технологии реальности AR в известной технике состоит в наложении виртуальной модели (например, модель рисованных персонажей, модель животных и т.п.) на реальный мир. Однако виртуальная модель в известной технике обычно является фиксированной и представляет собой изображение виртуальной модели, заранее построенное разработчиками, результатом чего является относительно единственное изображение виртуальной модели, что не может отвечать разнообразным потребностям пользователей, тем самым влияя на готовность пользователей использовать технологию реальности AR и на опыт использования.The application of AR reality technology in the known technique consists in superimposing a virtual model (eg, a cartoon character model, an animal model, etc.) on the real world. However, the virtual model in the known technique is usually fixed and is a virtual model image pre-built by developers, resulting in a relatively single virtual model image, which cannot meet the diverse needs of users, thereby affecting users' willingness to use AR reality technology and the experience use.

Раскрытие сущности изобретения Disclosure of the essence of the invention

Варианты настоящего изобретения предлагают способ и устройство для отображения изображений на основе дополненной реальности, а также носитель для хранения информации для решения проблемы, заключающейся в том, что изображение виртуальной модели является относительно одиночным и не может отвечать разнообразным потребностям пользователей.Embodiments of the present invention provide a method and apparatus for displaying images based on augmented reality, as well as an information storage medium for solving the problem that the image of a virtual model is relatively single and cannot meet the diverse needs of users.

Согласно первому аспекту, вариант настоящего изобретения предлагает способ отображения на основе дополненной реальности, содержащий этапы, на которых: выполняют сегментацию объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем получения изображений, для получения изображения целевого объекта; генерируют виртуальное изображение, соответствующее целевому объекту, на основе изображения целевого объекта; и отображают виртуальное изображение на изображении сцены в реальном времени на основе технологии отображения дополненной реальности.According to a first aspect, an embodiment of the present invention provides an augmented reality display method, comprising: performing object segmentation to highlight a target object on a real-time image of a scene captured by an image acquisition module to obtain an image of a target object; generating a virtual image corresponding to the target object based on the image of the target object; and displaying a virtual image on a real-time scene image based on the augmented reality display technology.

Согласно второму аспекту, вариант настоящего изобретения предлагает устройство отображения на основе дополненной реальности, содержащее: модуль определения целевого объекта, выполненный с возможностью выполнения сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем для получения изображений, для получения изображения целевого объекта; модуль генерирования, выполненный с возможностью генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта; и модуль отображения, выполненный с возможностью представления виртуального изображения на изображении сцены в реальном времени на основе технологии отображения дополненной реальности.According to a second aspect, an embodiment of the present invention provides an augmented reality display device, comprising: a target object determination module, configured to perform object segmentation to highlight a target object in a real-time image of a scene captured by the imaging module, to obtain an image of the target object ; a generating unit, configured to generate a virtual image corresponding to the target object based on the image of the target object; and a display module configured to present a virtual image on the scene image in real time based on the augmented reality display technology.

Согласно третьему аспекту, вариант настоящего изобретения предлагает электронное устройство, содержащее: по меньшей мере один процессор и запоминающее устройство; запоминающее устройство хранит исполняемые компьютером команды; указанный по меньшей мере один процессор исполняет исполняемые компьютером команды, хранящиеся в запоминающем устройстве, чтобы вызвать выполнение указанным по меньшей мере одним процессором способа, описанного в первом аспекте и в различных возможных вариантах реализации приведенного выше первого аспекта.According to a third aspect, an embodiment of the present invention provides an electronic device, comprising: at least one processor and a storage device; a storage device stores instructions executable by the computer; said at least one processor executes computer-executable instructions stored in the memory to cause said at least one processor to execute the method described in the first aspect and in various possible implementations of the above first aspect.

Согласно четвертому аспекту, вариант настоящего изобретения предлагает читаемый компьютером носитель для хранения информации, читаемый компьютером носитель для хранения информации хранит исполняемые компьютером команды, причем при исполнении процессором исполняемых компьютером команд процессор выполняет способ, описанные в первом аспекте и различных возможных вариантах реализации приведенного выше первого аспекта.According to a fourth aspect, an embodiment of the present invention provides a computer-readable information storage medium, the computer-readable information storage medium stores computer-executable instructions, wherein when the processor executes the computer-executable instructions, the processor performs the method described in the first aspect and various possible implementations of the above first aspect. .

Варианты настоящего изобретения предлагают способ и устройство для отображения изображения на основе дополненной реальности и носитель для хранения информации. Способ позволяет получать изображение целевого объекта путем выполнения сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем для получения изображений, генерировать виртуальное изображение, соответствующее целевому объекту, на основе изображения целевого объекта, и отображать виртуальное изображение на изображении сцены в реальном времени на основе технологии отображения дополненной реальности. Посредством получения изображения целевого объекта и генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта можно избежать проблем, состоящих в том, что виртуальное изображение необходимо предварительно конструировать и что это изображение является одиночным и фиксированным. В вариантах настоящего изобретения можно генерировать различные виртуальные изображения в соответствии с потребностями пользователя и тем самым удовлетворять различным потребностям пользователей. Виртуальное изображение может быть улучшено и отображено на изображении сцены в реальном времени с использованием технологии дополненной реальности, так что можно увеличить степень готовности пользователя к использованию технологии реальности AR и улучшить опыт пользователя.Embodiments of the present invention provide an augmented reality image display method and apparatus and an information storage medium. The method makes it possible to obtain an image of a target object by performing object segmentation to extract the target object on a real-time scene image captured by the imaging module, generate a virtual image corresponding to the target object based on the target object image, and display the virtual image on the real-time scene image. time based on augmented reality display technology. By obtaining a target image and generating a virtual image corresponding to the target based on the target image, the problems that the virtual image needs to be pre-constructed and that the image is single and fixed can be avoided. In the embodiments of the present invention, it is possible to generate various virtual images according to the needs of the user, and thereby meet the different needs of users. The virtual image can be enhanced and displayed on a real-time image of the scene using augmented reality technology, so that the user's readiness to use the AR reality technology can be increased and the user experience can be improved.

Краткое описание чертежейBrief description of the drawings

Для более ясной иллюстрации технических решений в вариантах настоящего изобретения или технических решений известной технологии последующее кратко описывает прилагаемые чертежи, которые необходимо использовать в описаниях вариантов изобретения или известной технологии, для специалистов в рассматриваемой области очевидно, что прилагаемые чертежи в последующем описании представляют некоторые варианты настоящего изобретения, но в соответствии с этими чертежами могут быть без особых творческих усилий получены другие чертежи.In order to more clearly illustrate the technical solutions in embodiments of the present invention or technical solutions of known technology, the following briefly describes the accompanying drawings to be used in descriptions of embodiments of the invention or known technology, it will be obvious to those skilled in the art that the accompanying drawings in the following description represent some embodiments of the present invention. , but in accordance with these drawings, other drawings can be obtained without much creative effort.

Фиг. 1 представляет упрощенную логическую схему способа отображения изображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения;Fig. 1 is a simplified logic diagram of an augmented reality image display method according to one embodiment of the present invention;

Фиг. 2a представляет упрощенное изображение, иллюстрирующее пример отображения контура изображения целевого объекта, согласно одному из вариантов настоящего изобретения;Fig. 2a is a simplified image illustrating an example of displaying an image outline of a target object, according to one embodiment of the present invention;

Фиг. 2b представляет упрощенное изображение, иллюстрирующее пример выдачи пользователем первой команды и определения изображения целевого объекта согласно одному из вариантов настоящего изобретения;Fig. 2b is a simplified view illustrating an example of issuing a first command by a user and determining a target object image according to one embodiment of the present invention;

Фиг. 3 представляет упрощенное изображение, иллюстрирующее пример виртуального изображения, соответствующего изображению целевого объекта, согласно одному из вариантов настоящего изобретения;Fig. 3 is a simplified image illustrating an example of a virtual image corresponding to a target image according to one embodiment of the present invention;

Фиг. 4 представляет упрощенное изображение, иллюстрирующее пример виртуального изображения в изображении сцены в реальном времени согласно одному из вариантов настоящего изобретения;Fig. 4 is a simplified view illustrating an example of a virtual image in a real-time scene image according to an embodiment of the present invention;

Фиг. 5 представляет упрощенную логическую схему способа отображения изображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения;Fig. 5 is a simplified logic diagram of an augmented reality image display method according to one embodiment of the present invention;

Фиг. 6 представляет упрощенное изображение, иллюстрирующее пример процедуры генерирования виртуального изображения, соответствующего целевому объекту, согласно одному из вариантов настоящего изобретения;Fig. 6 is a simplified view illustrating an example of a procedure for generating a virtual image corresponding to a target according to one embodiment of the present invention;

Фиг. 7 представляет упрощенную логическую схему способа отображения изображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения;Fig. 7 is a simplified logic diagram of an augmented reality image display method according to one embodiment of the present invention;

Фиг. 8 представляет структурную блок-схему устройства отображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения; иFig. 8 is a block diagram of an augmented reality display device according to one embodiment of the present invention; And

Фиг. 9 представляет упрощенную схему, иллюстрирующую структуру аппаратуры электронного устройства согласно одному из вариантов настоящего изобретения.Fig. 9 is a simplified diagram illustrating the hardware structure of an electronic device according to one embodiment of the present invention.

Осуществление изобретенияImplementation of the invention

Для того чтобы сделать цели, технические решения и преимущества настоящего изобретения более понятными, технические решения согласно вариантам настоящего изобретения будут четко и полностью описаны ниже со ссылками на прилагаемые чертежи вариантов настоящего изобретения. Очевидно, что описываемые здесь варианты составляют только часть, а не всю совокупность вариантов настоящего изобретения. На основе этих вариантов настоящего изобретения, специалисты в рассматриваемой области смогут без каких-либо изобретательских усилий получить другие варианты, которые все попадут в объем защиты настоящего изобретения.In order to make the objects, technical solutions and advantages of the present invention more clear, the technical solutions according to the embodiments of the present invention will be clearly and completely described below with reference to the accompanying drawings of the embodiments of the present invention. Obviously, the options described here are only a part, and not the entire set of options for the present invention. Based on these embodiments of the present invention, those skilled in the art will be able, without any inventive effort, to obtain other variations that will all fall within the protection scope of the present invention.

Варианты настоящего изобретения могут быть применены к любому электронному устройству, имеющему функции реальности AR, такому как смартфон, планшетный компьютер, какое-либо носимое устройство и т.п., сценарии применения вариантов настоящего изобретения могут содержать, например, операции, в ходе которых электронное устройство захватывает изображение сцены в реальном времени посредством модуля для получения изображений в этом устройстве, генерирует соответствующее виртуальное изображение согласно целевому объекту в сцене реального времени, и, в конечном итоге, представляет сформированное им виртуальное изображение в изображении сцены в реальном времени посредством способа отображения изображения на основе дополненной реальности согласно различным вариантам настоящего изобретения. Например, целевой объект на изображении сцены в реальном времени представляет собой плод манго, а виртуальное изображение, соответствующее целевому объекту манго, генерируют с использованием способа генерирования виртуального изображения согласно вариантам настоящего изобретения. Виртуальное изображение, соответствующее этому плоду манго, может быть отображено в изображении сцены в реальном времени и далее может представляться динамически в форме анимации после того, как это виртуальное изображение будет обработано способом отображения изображения на основе дополненной реальности согласно различным вариантам настоящего изобретения. Более того, такое виртуальное изображение, соответствующее плоду манго, может иметь конечности (ручки и ножки) и/или мимику, причем эти конечности и/или выражения могут совершать определенные движения, так что виртуальное изображение, соответствующее плоду манго, движется в изображении реальной сцены.Embodiments of the present invention can be applied to any electronic device having AR reality functions, such as a smartphone, tablet computer, any wearable device, etc., application scenarios of the embodiments of the present invention may include, for example, operations in which the electronic the device captures a real-time image of the scene through the imaging module in the device, generates a corresponding virtual image according to the target object in the real-time scene, and finally displays the generated virtual image in the real-time scene image by means of an image display method on based augmented reality according to various embodiments of the present invention. For example, the target in the real-time scene image is a mango, and a virtual image corresponding to the target mango is generated using the virtual image generation method according to embodiments of the present invention. A virtual image corresponding to this mango can be displayed in a real-time scene image and further dynamically presented in the form of animation after this virtual image is processed by the augmented reality image display method according to various embodiments of the present invention. Moreover, such a virtual image corresponding to a mango fruit can have limbs (arms and legs) and/or facial expressions, and these limbs and/or expressions can make certain movements, so that the virtual image corresponding to a mango fruit moves in an image of a real scene. .

На Фиг. 1 представлена упрощенная логическая схема способа отображения изображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения. Способ согласно этому варианту может быть применен к электронному устройству или серверу, имеющему функцию реальности AR. Этот способ отображения изображения на основе дополненной реальности может содержать этапы, описываемые ниже.On FIG. 1 is a simplified flow diagram of an augmented reality image display method according to one embodiment of the present invention. The method according to this embodiment can be applied to an electronic device or server having an AR reality function. This augmented reality image display method may include the steps described below.

Этап S101, осуществление сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений с целью получения изображения целевого объекта.Step S101, performing object segmentation to extract a target object in a real-time scene image captured by the imaging module to obtain an image of the target object.

В этом варианте, модуль для получения изображений, такой как видеокамера, в электронном устройстве может захватывать изображение сцены в реальном времени и представлять это изображение сцены в реальном времени на экране модуля отображения этого электронного устройства. Электронное устройство может получить изображение целевого объекта путем сегментации целевого объекта из изображения сцены в реальном времени. В частности, электронное устройство может выполнять алгоритм сегментации объектов, загруженный в это устройство заранее, для осуществления сегментации объектов на изображении сцены в реальном времени с целью получения изображения целевого объекта. Алгоритм сегментации объектов, используемый в рассматриваемом варианте настоящего изобретения, может представлять собой алгоритм сегментации выделяющихся объектов, при применении которого, в процессе сегментации, выделяющийся объект в изображении сцены в реальном времени может быть использован в качестве целевого объекта и сегментирован для получения изображения целевого объекта. Таким выделяющимся объектом может быть объект, значительно отличающийся по цвету от фона в изображении сцены в реальном времени, и может также быть объект, расположенный в центральной области изображения сцены в реальном времени, или объект, занимающий наибольшую площадь в изображении сцены в реальном времени, и т.п. Например, как показано на Фиг. 2a, плод манго в изображении изображение сцены в реальном времени расположен в центральной области этого изображения и занимает наибольшую площадь, так что этот плод может быть взят в качестве целевого объекта. Кроме того, присутствующая на изображении сцены в реальном времени пара наушников находится не в центральной области этого изображения и занимает намного меньшую площадь по сравнению с плодом, вследствие чего эта пара наушников не взята в качестве целевого объекта.In this embodiment, an imaging module such as a video camera in the electronic device can capture a real-time image of the scene and display the real-time image of the scene on the screen of the display module of the electronic device. The electronic device may acquire an image of the target object by segmenting the target object from a real-time image of the scene. In particular, the electronic device may execute an object segmentation algorithm loaded into the device in advance to perform segmentation of objects in a real-time scene image to obtain an image of a target object. The object segmentation algorithm used in the exemplary embodiment of the present invention may be a salient object segmentation algorithm in which, in a segmentation process, a salient object in a real-time scene image can be used as a target object and segmented to obtain an image of the target object. Such a prominent object may be an object that differs significantly in color from the background in the live image of the scene, and may also be an object located in the central region of the live image of the scene, or an object that occupies the largest area in the live image of the scene, and etc. For example, as shown in FIG. 2a, the mango fruit in the real-time image of the scene is located in the central region of this image and occupies the largest area, so that this fruit can be taken as a target. In addition, the pair of headphones present in the live image of the scene is not in the central area of this image and occupies a much smaller area compared to the fetus, as a result of which this pair of headphones is not taken as a target.

В одном из вариантов, когда пользователь хочет получить виртуальное изображение, соответствующее изображению определенного целевого объекта, присутствующего в изображении сцены в реальном времени, пользователь может дать первую команду, так что электронное устройство получит изображение целевого объекта в изображении сцены в реальном времени в соответствии с этой первой командой. В одном из вариантов, электронное устройство может, в соответствии с этой первой командой, реплицировать такое же изображение целевого объекта, как полученное изображение целевого объекта, на основе изображения целевого объекта и изображения сцены в реальном времени, захваченного модулем для получения изображений, и генерировать виртуальное изображение на основе реплицированного изображения целевого объекта.In one embodiment, when the user wants to obtain a virtual image corresponding to an image of a certain target object present in the live image of the scene, the user may give a first command so that the electronic device obtains the image of the target object in the live image of the scene according to this the first team. In one embodiment, the electronic device may, in accordance with this first command, replicate the same target image as the acquired target image, based on the target image and the real-time scene image captured by the imaging module, and generate a virtual image based on the replicated target image.

В одном из вариантов, когда электронное устройство сегментирует целевой объект с целью получения изображения этого целевого объекта, это изображение целевого объекта может быть также помечено, например, электронное устройство может как-то выделить это изображение целевого объекта. Например, как показано на Фиг. 2a, электронное устройство может выделить контур изображения целевого объекта посредством штрихов, в качестве альтернативы, можно также высветить, сделать ярче изображение целевого объекта, в качестве альтернативы, можно отобразить область изображения, отличную от изображения целевого объекта, с меньшей яркостью, и т.п., что позволяет пользователю подтвердить, является ли целевой объект, сегментированный в текущий момент электронным устройством, тем объектом, который согласован с целевым объектом, какой требуется пользователю. Когда пользователь подтверждает, что выделенный целевой объект согласован с целевым объектом, требуемым пользователю, это пользователь может выдать первую команду, где эта первая команда может представлять собой, без ограничений, команду, подаваемую щелчком, команду, подаваемую перетаскиванием, или другую подобную команду относительно помеченного изображения целевого объекта, как показано на Фиг. 2b, пользователь может дать упомянутую выше команду операции перетаскивания путем перетаскивания в пределах очерченной контуром области изображения целевого объекта. Когда пользователь подтверждает, что выбранный целевой объект не согласован с целевым объектом, требуемым пользователю, этот пользователь может переместить электронное устройство, чтобы модуль для получения изображений в этом электронном устройстве изменил угол зрения для повторного захвата (съемки) изображения сцены в реальном времени, и затем снова запустить алгоритм сегментации объектов, чтобы сегментировать выделяющийся объект в изображении сцены в реальном времени в качестве целевого объекта и пометить полученное изображение целевого объекта. Таким образом, пользователь может заново подтвердить, что текущий целевой объект, найденный электронным устройством, согласован с целевым объектом, требуемым пользователю, и удовлетворяет ли эффект сегментации ожиданиям пользователя.In one embodiment, when the electronic device segments the target to obtain an image of that target, that target image may also be tagged, eg, the electronic device may highlight the target image in some way. For example, as shown in FIG. 2a, the electronic device can highlight the contour of the image of the target object with strokes, alternatively, it can also highlight, brighten the image of the target object, alternatively, it is possible to display a region of the image other than the image of the target object with less brightness, etc. ., which allows the user to confirm whether the target currently segmented by the electronic device is the one that matches the target desired by the user. When the user confirms that the selected target is matched with the target desired by the user, that user may issue a first command, where the first command may be, without limitation, a click command, a drag command, or other similar command relative to the labeled target object image as shown in FIG. 2b, the user can give the above-mentioned drag operation command by dragging within the outlined image area of the target object. When the user confirms that the selected target is not matched with the target desired by the user, the user can move the electronic device so that the imaging unit in the electronic device changes the angle of view to recapture (capture) the image of the scene in real time, and then run the object segmentation algorithm again to segment the prominent object in the real-time scene image as a target and label the resulting image of the target. Thus, the user can reconfirm that the current target found by the electronic device matches the target desired by the user and whether the segmentation effect satisfies the user's expectations.

Этап S102, генерирование виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта.Step S102, generating a virtual image corresponding to the target object based on the image of the target object.

В рассматриваемом варианте, после получения изображения целевого объекта (например, изображения целевого объекта, полученного после репликации из исходного изображения целевого объекта), электронное устройство может генерировать виртуальное изображение, соответствующее целевому объекту, на основе изображения целевого объекта, где виртуальное изображение может иметь движения конечностей относительно тела и/или движения выражений. Например, когда изображение целевого объекта представляет собой изображение плода манго, соответствующее виртуальное изображение может иметь конечности (ручки-ножки) и мимику «лица» на изображении плода манго, как показано на Фиг. 3. Кроме того, конечности и выражения «лица» могут иметь определенные движения, побуждая виртуальное изображение плода манго перемещаться по экрану дисплея электронного устройства.In this embodiment, after obtaining an image of the target object (for example, the image of the target object obtained after replication from the original image of the target object), the electronic device can generate a virtual image corresponding to the target object, based on the image of the target object, where the virtual image can have limb movements relative to the body and/or movement of expressions. For example, when the target object image is an image of a mango fruit, the corresponding virtual image may have limbs (arms and legs) and facial expressions in the image of a mango fruit, as shown in FIG. 3. In addition, the limbs and "facial" expressions can have certain movements, causing the virtual image of the mango fruit to move around the display screen of the electronic device.

В качестве альтернативы, при генерировании виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта, изображение этого целевого объекта может быть синтезировано с анимационным материалом для генерирования виртуального изображения, соответствующего целевому объекту, этот анимационный материал содержит анимационный материал конечностей относительно тела и/или анимационный материал мимики для виртуального изображения. Другими словами, в рассматриваемом варианте, движения конечностей относительно тела и/или движения мимики в виртуальном изображении, соответствующем целевому объекту, могут быть заданы заранее для генерирования соответствующего анимационного материала конечностей относительно тела и/или анимационного материала мимики для использования в последующей процедуре синтеза. Иными словами, анимационный материал конечностей относительно тела и/или анимационный материал мимики могут быть добавлены к изображению целевого объекта для получения виртуального изображения, соответствующего целевому объекту, а конечности и/или мимика на виртуальном изображении могут совершать определенные движения в соответствии с воспроизведением анимационного материала конечностей относительно тела и/или анимационного материала мимики.Alternatively, when generating a virtual image corresponding to a target based on an image of the target, the image of that target may be synthesized with an animation material to generate a virtual image corresponding to the target, this animation material contains animation material of the limbs relative to the body and/or animation material of facial expressions for virtual image. In other words, in the considered embodiment, the movements of the limbs relative to the body and/or the movements of facial expressions in the virtual image corresponding to the target object can be set in advance to generate the corresponding animation material of the limbs relative to the body and/or animation material of facial expressions for use in the subsequent synthesis procedure. In other words, body-relative limb animation material and/or facial animation material can be added to the target object image to obtain a virtual image corresponding to the target object, and limbs and/or facial expressions in the virtual image can make certain movements in accordance with the playback of the limb animation material. relative to the body and/or animation material of facial expressions.

Этап S103, отображение виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности.Step S103, displaying a virtual image in a real-time scene image based on an augmented reality display technology.

В рассматриваемом варианте, после получения виртуального изображения целевого объекта, электронное устройство может представлять виртуальное изображение целевого объекта в изображении сцены в реальном времени посредством технологии отображения дополненной реальности. Иными словами, виртуальное изображение может быть наложено на реалистичное изображение сцены в реальном времени посредством технологии отображения дополненной реальности с целью достижения эффекта дополненного отображения, как показано на Фиг. 4. В одном из вариантов, электронное устройство может динамически отображать виртуальное изображение целевого объекта в изображении сцены в реальном времени.In this embodiment, after obtaining a virtual image of the target object, the electronic device can present the virtual image of the target object in a real-time scene image through augmented reality display technology. In other words, a virtual image can be superimposed on a realistic real-time image of a scene by augmented reality display technology to achieve an augmented display effect, as shown in FIG. 4. In one embodiment, the electronic device may dynamically display a virtual image of the target object in a real-time image of the scene.

В одном из вариантов, электронное устройство может осуществить дополненное отображение виртуального изображения в изображении сцены в реальном времени в ответ на первую команду от пользователя, эта первая команда может представлять собой, не ограничиваясь этим, команду операции щелчка, команду операции перетаскивания, команду голосовой операции, команду операции, получаемой в результате распознавания мимики, или другую подобную команду, выданную пользователем, для изображения целевого объекта. В дополнение к этому, электронное устройство может, после определения положения на дисплее для виртуального изображения, автоматически осуществлять дополненное отображение виртуального изображения целевого объекта в указанном положении на дисплее в изображении сцены в реальном времени.In one embodiment, the electronic device may perform augmented display of a virtual image in a real-time scene image in response to a first command from the user, this first command may be, but is not limited to, a click operation command, a drag operation command, a voice operation command, a command of an operation resulting from the recognition of facial expressions, or another similar command issued by the user, for the image of the target object. In addition, the electronic device can, after determining a position on the display for the virtual image, automatically perform augmented display of the virtual image of the target object at the specified position on the display in the real-time scene image.

В альтернативном варианте, пользователь может перетаскивать полученное реплицированное изображение целевого объекта из первоначального положения исходного изображения целевого объекта в положение в изображении сцены в реальном времени. Далее, виртуальное изображение целевого объекта представляют в этом положении на основе технологии отображения дополненной реальности. В качестве альтернативы, сначала может быть отображено виртуальное изображение целевого объекта, генерируемое на основе реплицированного изображения целевого объекта, а затем это виртуальное изображение может быть отображено в некоем положении в изображении сцены в реальном времени на основе операции перетаскивания пользователем.Alternatively, the user may drag the resulting replicated target image from the original target source image position to a position in the live scene image. Further, a virtual image of the target object is presented at this position based on augmented reality display technology. Alternatively, a virtual image of the target object generated from the replicated image of the target object may first be displayed, and then this virtual image may be displayed at a position in the real-time scene image based on a user drag operation.

В качестве опции, пользователь может также поворачивать, увеличивать или уменьшать, или перемещать и т.п. отображенное виртуальное изображение. Например, пользователь может дать команду управления виртуальным изображением на интерфейс дисплея в электронном устройстве. Эта команда управления может представлять собой, не ограничиваясь этим, команду управления поворотом, команду управления уменьшением, команду управления перемещением, команду управления увеличением или другую подобную команду, а электронное устройство может осуществлять соответствующее управление виртуальным изображением в ответ на поступившую от пользователя команду управления для виртуального изображения. Необходимо отметить, что в рассматриваемом варианте поворот может содержать изменение угла виртуального изображения в любом случае, а перемещение может содержать изменение положения виртуального изображения в любом случае. Увеличение или уменьшение размера (масштабирование) может содержать изменение размера виртуального изображения в любом случае. Само собой разумеется, в рассматриваемом варианте, пользователь может также осуществлять больше других процедур взаимодействия с виртуальным изображением, что, для краткости, не будет здесь описано лишний раз одно за другим.As an option, the user can also rotate, zoom in or out, or move, etc. displayed virtual image. For example, a user may instruct a virtual image control to a display interface in an electronic device. This control command may be, but is not limited to, a rotation control command, a decrease control command, a move control command, an increase control command, or the like, and the electronic device can perform appropriate control of the virtual image in response to a control command for the virtual image from the user. Images. It should be noted that in the considered embodiment, the rotation may include a change in the angle of the virtual image in any case, and the movement may include a change in the position of the virtual image in any case. The increase or decrease in size (scaling) may involve resizing the virtual image in any way. Of course, in the present embodiment, the user may also perform more other virtual image interaction procedures, which, for brevity's sake, will not be described here one by one.

Способ отображения изображения на основе дополненной реальности, предлагаемый в рассматриваемом варианте, может содержать получение изображения целевого объекта посредством сегментации целевого объекта из изображения сцены в реальном времени, захваченного модулем для получения изображений, генерирование виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта, и отображение виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности. Благодаря получению изображения целевого объекта и генерированию виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта, можно избежать проблем, связанных с тем, что виртуальное изображение необходимо предварительно сконструировать, а само это изображение является единственным и фиксированным. В рассматриваемом варианте, можно генерировать различные виртуальные изображения в соответствии с потребностями пользователей и тем самым удовлетворить разнообразным потребностям пользователей. Это виртуальное изображение может быть отображено в изображении сцены в реальном времени с использованием технологии дополненной реальности, так что можно повысить готовность пользователей использовать технологию реальности AR и улучшить опыт использования.The augmented reality image display method proposed in this embodiment may comprise obtaining an image of a target object by segmenting the target object from a real-time image of the scene captured by the imaging module, generating a virtual image corresponding to the target object based on the image of the target object, and displaying a virtual image in a real-time scene image based on the augmented reality display technology. By obtaining a target image and generating a virtual image corresponding to the target based on the target image, the problems that the virtual image needs to be pre-constructed and the image itself is single and fixed can be avoided. In this embodiment, it is possible to generate various virtual images according to the needs of users, and thereby meet the various needs of users. This virtual image can be displayed in a real-time image of the scene using augmented reality technology, so that users' willingness to use AR reality technology can be improved and the user experience can be improved.

На основе любого из приведенных выше вариантов, при генерировании виртуального изображения соответствующего целевого объекта на основе изображения этого целевого объекта, изображение целевого объекта может быть синтезировано с использованием анимационного материала для генерирования виртуального изображения, соответствующего целевому объекту, этот анимационный материал представляет собой анимационный материал конечностей относительно тела и/или анимационный материал мимики для виртуального изображения.Based on any of the above options, when generating a virtual image of the corresponding target object based on the image of this target object, the image of the target object can be synthesized using an animation material to generate a virtual image corresponding to the target object, this animation material is the animation material of the limbs with respect to bodies and/or animation material of facial expressions for a virtual image.

В качестве опции, как показано на Фиг. 5, этап синтеза изображения целевого объекта с анимационным материалом может, в частности, содержать:As an option, as shown in FIG. 5, the stage of synthesizing the image of the target object with animation material may, in particular, comprise:

Этап S201, получение анимационного материала конечностей относительно тела и/или анимационного материала мимики;Step S201, obtaining animation material of limbs relative to the body and/or animation material of facial expressions;

Этап S202, определение нескольких соединительных точек на изображении целевого объекта на основе этого изображения целевого объекта; иStep S202, determining multiple connection points on the target image based on this target image; And

Этап S203, синтез анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.Step S203, synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object through several connection points to generate a virtual image corresponding to the target object.

В рассматриваемом варианте, электронное устройство может сначала получить анимационный материал конечностей относительно тела и/или анимационный материал мимики для виртуального изображения, этот анимационный материал конечностей относительно тела и/или the анимационный материал мимики может быть предварительно конфигурирован и сохранен в электронном устройстве. Когда требуется синтез, электронное устройство может извлечь анимационный материал конечностей относительно тела и/или анимационный материал мимики и затем определить несколько соединительных точек на изображении целевого объекта на основе свойств (например, формы, размера, текстуры) изображения целевого объекта, эти соединительные точки являются точками, в которых происходит комбинирование анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта. Например, электронное устройство может установить изображение целевого объекта в качестве «туловища» тела виртуального изображения и указанные несколько соединительных точек, выбранные на целевом изображении в качестве точек для присоединения конечностей. Таким образом, соединительные точки могут представлять собой позиции присоединения конечностей к «туловищу» тела, более того, электронное устройство может тогда синтезировать анимационный материал конечностей относительно тела с изображением целевого объекта посредством соединительных точек, так что изображение целевого объекта приобретает конечности (ручки-ножки). В дополнение к этому, электронное устройство может также определить, в соответствии с изображением целевого объекта, в качестве положения для помещения этого объекта, центр «туловища» тела, иными словами центральное положение изображения целевого объекта, для мимики «туловища» тела виртуального изображения на изображении целевого объекта, и синтезировать анимационный материал мимики с изображением целевого объекта, так что виртуальное изображение, соответствующее изображению целевого объекта, также имеет мимику. В дополнение к этому, конечности и/или мимика могут также иметь определенные анимационные эффекты, и вследствие этого, далее происходит генерирование имеющего анимационные эффекты виртуального изображения, соответствующего целевому объекту, как подробно показано на Фиг. 6.In this embodiment, the electronic device may first obtain the limb-relative-to-body animation material and/or the facial animation material for the virtual image, this limb-relative-to-body animation material and/or the facial animation material may be pre-configured and stored in the electronic device. When synthesis is required, the electronic device may extract limb-relative animation material and/or facial animation material and then determine a number of connection points on the target object image based on the properties (e.g., shape, size, texture) of the target object image, these connection points are points , in which the animation material of the limbs is combined relative to the body and/or the animation material of facial expressions with the image of the target object. For example, the electronic device may set the image of the target object as the "torso" of the body of the virtual image and the specified several connection points selected in the target image as points for attaching limbs. Thus, the connection points can represent the attachment positions of the limbs to the "torso" of the body, moreover, the electronic device can then synthesize the animation material of the limbs relative to the body with the image of the target object through the connection points, so that the image of the target object acquires limbs (arms-legs) . In addition to this, the electronic device can also determine, according to the image of the target object, as the position for placing this object, the center of the "trunk" of the body, in other words, the central position of the image of the target object, for the mimicry of the body "torso" of the virtual image in the image of the target object, and synthesize the animated facial expression material with the image of the target object, so that the virtual image corresponding to the image of the target object also has a facial expression. In addition, the limbs and/or facial expressions may also have certain animation effects, and as a result, an animated virtual image corresponding to the target object is then generated, as shown in detail in FIG. 6.

На основе приведенного выше варианта, этап получения нескольких соединительных точек на изображении целевого объекта может, в частности, содержать: регулирование анимационного материала на основе изображения целевого объекта; и определение позиций нескольких соединительных точек на изображении целевого объекта.Based on the above option, the step of obtaining multiple connection points on the image of the target object may, in particular, include: adjusting the animation material based on the image of the target object; and determining the positions of several connecting points on the image of the target object.

В рассматриваемом варианте, поскольку изображения целевого объекта могут варьироваться по размеру, анимационный материал необходимо регулировать соответствующим образом на основе размера изображения целевого объекта, так что отрегулированный анимационный материал может быть согласован с изображением целевого объекта в масштабе. Далее, электронные устройства могут также определить позиции нескольких соединительных точек на изображении целевого объекта на основе таких факторов, как форма изображения целевого объекта, так что анимационный материал может быть присоединен к изображению целевого объекта в соединительных точках в соответствующих позициях для создания хорошего эстетичного внешнего вида. Иными словами, отрегулированный анимационный материал конечностей относительно тела может быть помещен в соответствующую позицию изображения целевого объекта, и отрегулированный анимационный материал мимики также может быть помещен в соответствующую позицию изображения целевого объекта.In this embodiment, since the target object images may vary in size, the animation material needs to be adjusted accordingly based on the size of the target image, so that the adjusted animation material can match the target image to scale. Further, the electronic devices may also determine the positions of multiple connection points on the target image based on factors such as the shape of the target image, so that animation material can be attached to the target object image at the connection points at the appropriate positions to create a good aesthetic appearance. In other words, the adjusted animation material of limbs relative to the body can be placed at the corresponding position of the image of the target object, and the adjusted animation material of facial expressions can also be placed at the corresponding position of the image of the target object.

Согласно способу, предлагаемому в рассматриваемом варианте настоящего изобретения, процедура осуществления электронным устройством сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, с целью получения изображения целевого объекта содержит: выполнение алгоритма сегментации объектов с целью осуществления сегментации объекта с целью выделения целевого объекта в изображении сцены в реальном времени, получая тем самым маску и ограничивающую рамку изображения целевого объекта и получая текстуру внутренней области маски.According to the method proposed in the embodiment of the present invention, the procedure for performing object segmentation by an electronic device in order to select a target object in a real-time image of a scene captured by an image acquisition module in order to obtain an image of the target object comprises: executing an object segmentation algorithm to perform segmentation object in order to highlight the target object in the scene image in real time, thereby obtaining the mask and bounding box of the image of the target object, and obtaining the texture of the inner area of the mask.

В рассматриваемом варианте, при сегментации целевого объекта с использованием алгоритма сегментации объектов, могут быть получены маска Mask и ограничительная рамка Box целевого объекта, а также текстура внутренней области маски.In this embodiment, when segmenting the target object using the object segmentation algorithm, the Mask Mask and the bounding box Box of the target object, as well as the texture of the inner area of the mask, can be obtained.

Соответственно, электронное устройство может регулировать размер анимационного материала на основе размера ограничительной рамки и регулировать позиции нескольких соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине для ограничительной рамки.Accordingly, the electronic device may adjust the size of the animation material based on the size of the bounding box, and adjust the positions of multiple connection points in the image of the target object based on the axis of symmetry and the length-to-width ratio of the bounding box.

В рассматриваемом варианте, электронное устройство может регулировать размер анимационного материала на основе размера ограничительной рамки и затем регулировать позиции нескольких соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине для ограничительной рамки. Другими словами, если ограничительная рамка имеет большой размер, размер анимационного материала адаптивно увеличивается; если размер ограничительной рамки мал, размер анимационного материала адаптивно уменьшается. Электронное устройство может также определить позиции нескольких соединительных точек на изображении целевого объекта, например, определить позиции соединительных точек для верхних конечностей и позиции соединительных точек для нижних конечностей, на основе оси симметрии и отношения длины к ширине для ограничительной рамки, и определить позицию для помещения мимики «лица» в целевом изображении на основе этого целевого изображения и т.д. Соединительные точки для конечностей могут быть симметрично расположены по обе стороны от оси симметрия изображения целевого объекта, и конкретные позиции соединительных точек необходимо определить на основе отношения длины к ширине. Например, для очень вытянутого в длину, «долговязого» (т.е. ограничительная рамка с большим отношением длины к ширине) изображения целевого объекта, соединительные точки для верхних конечностей необходимо сдвинуть вверх, а соединительные точки для нижних конечностей необходимо сдвинуть вниз. Для относительно широкого, «коротышки» (т.е. ограничительная рамка с меньшим отношением длины к ширине) изображения целевого объекта, соединительные точки для верхних конечностей необходимо сдвинуть вниз, а соединительные точки для нижних конечностей необходимо сдвинуть вверх посредством описываемого выше регулирования, получаемое конечное виртуальное изображение может иметь более гармоничные и разумные пропорции тела.In the exemplary embodiment, the electronic device may adjust the size of the animation material based on the size of the bounding box, and then adjust the positions of several connection points in the target object image based on the axis of symmetry and length-to-width ratio for the bounding box. In other words, if the bounding box is large, the size of the animation material adaptively increases; if the size of the bounding box is small, the size of the animation material is adaptively reduced. The electronic device may also determine the positions of multiple connection points in the image of the target object, for example, determine the positions of connection points for the upper limbs and the positions of connection points for the lower limbs, based on the axis of symmetry and the length-to-width ratio for the bounding box, and determine the position for placing facial expressions. "faces" in the target image based on that target image, and so on. Limb connection points can be symmetrically located on either side of the axis of symmetry of the image of the target object, and specific positions of the connection points need to be determined based on the length-to-width ratio. For example, for a very elongated, "lanky" (i.e., bounding box with a large length-to-width ratio) image of the target, the connection points for the upper limbs must be moved up, and the connection points for the lower limbs must be moved down. For a relatively wide, "short" (i.e., bounding box with a smaller length-to-width ratio) target image, the upper limb connectors need to be moved down and the lower limb connectors need to be moved up through the adjustment described above, resulting in the final the virtual image may have more harmonious and reasonable proportions of the body.

На основе приведенного выше варианта, процедура синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту, содержит: синтез анимационного материала конечностей относительно тела и/или анимационного материала мимики с текстурой внутренней области маски посредством нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.Based on the above variant, the procedure for synthesizing the animation material of limbs relative to the body and/or animation material of facial expressions with the image of the target object by means of several connecting points to generate a virtual image corresponding to the target object comprises: synthesizing the animation material of limbs relative to the body and/or animation material of mimicry with the texture of the inner area of the mask through several connection points to generate a virtual image corresponding to the target object.

В рассматриваемом варианте, электронное устройство может синтезировать анимационный материал конечностей относительно тела и/или анимационный материал мимики с текстурой внутренней области маски посредством соединительных точек для получения виртуального изображения, соответствующего целевому объекту, т.е. отобразить анимационный материал конечностей относительно тела и/или анимационный материал мимики на основе текстуры внутренней области маски. В одном из вариантов, после определения соединительных точек на изображении целевого объекта и регулирования размера анимационного материала, электронное устройство может синтезировать анимационный материал конечностей относительно тела и/или анимационный материал мимики с текстурой внутренней области маски посредством соединительных точек для получения виртуального изображения, соответствующего целевому объекту.In the considered embodiment, the electronic device can synthesize the animation material of the limbs relative to the body and/or the animation material of facial expressions with the texture of the inner area of the mask by means of connection points to obtain a virtual image corresponding to the target object, i.e. display the animation material of the limbs relative to the body and/or the animation material of facial expressions based on the texture of the inner area of the mask. In one embodiment, after determining the connection points on the image of the target object and adjusting the size of the animation material, the electronic device can synthesize the animation material of the limbs relative to the body and/or the animation material of facial expressions with the texture of the inner area of the mask through the connection points to obtain a virtual image corresponding to the target object .

Далее, электронное устройство может также «проигрывать» анимационный материал, включая воспроизведение («проигрыш») анимационного материала конечностей относительно тела и/или анимационного материала мимики, и осуществлять, таким образом, управление движения и/или мимикой для виртуального изображения, т.е. позволяя конечностям и/или мимике на виртуальном изображении демонстрировать соответствующие движения.Further, the electronic device may also "play" the animation material, including the playback ("play") of the animation material of the limbs relative to the body and/or the animation material of facial expressions, and thus perform motion and/or facial expression control for the virtual image, i.e. . allowing the limbs and/or facial expressions in the virtual image to show appropriate movements.

В частности, электронное устройство может воспроизводить анимационные материалы в соответствии с предварительно заданными анимационными кадрами этих анимационных материалов для осуществления управления движениями и/или мимикой на виртуальном изображении, и/или генерировать и воспроизводить анимационные кадры анимационных материалов на основе движения конечностей пользователя относительно его тела и/или выражений пользователя для осуществления управления движениями и/или мимикой на виртуальном изображении, соответствующем целевому объекту. Другими словами, упомянутый выше анимационный материал может содержать предварительно заданные анимационные кадры и в этих предварительно заданных анимационных кадрах может быть предварительно задано, какие именно конкретные анимационные действия показаны для конечностей и/или мимики. В одном из вариантов, электронное устройство может также захватывать изображения пользователя в реальном времени и генерировать анимационные кадры из анимационного материала конечностей относительно тела и/или анимационного материала мимики в соответствии с движениями конечностей пользователя относительно его тела и/или движениями мимики пользователя, таким образом, обеспечивая для пользователя возможность управлять движениями на виртуальном изображении, соответствующем целевому объекту, через движения пользователя. Например, когда пользователь совершает некое движение конечностью относительно тела, виртуальное изображение соответственно показывает такое же движение конечностью относительно тела, и/или когда пользователя придает своему лицу некую мимику, виртуальное изображение соответственно показывает такое же выражение. Опыт работы и удовлетворение пользователя можно усилить путем приведения в действие и управления движениями виртуального изображения, соответствующего целевому объекту, с использованием движений пользователя.In particular, the electronic device can play animation materials in accordance with predefined animation frames of these animation materials to control movements and/or facial expressions in a virtual image, and/or generate and play animation frames of animation materials based on the movement of the user's limbs relative to his body and /or user expressions to control movements and/or facial expressions on a virtual image corresponding to the target object. In other words, the animation material mentioned above may comprise predefined animation frames, and within these predefined animation frames, it may be predefined which specific animation actions are shown for limbs and/or facial expressions. In one embodiment, the electronic device may also capture real-time images of the user and generate animation frames from the animation material of the limbs relative to the body and/or the animation material of facial expressions in accordance with the movements of the limbs of the user relative to his body and/or the movements of the user's facial expressions, thus, allowing the user to control movements in the virtual image corresponding to the target object through the movements of the user. For example, when the user makes some movement of a limb relative to the body, the virtual image accordingly shows the same movement of the limb relative to the body, and/or when the user makes some facial expressions on his face, the virtual image accordingly shows the same expression. The experience and satisfaction of the user can be enhanced by actuating and controlling the movements of the virtual image corresponding to the target using the movements of the user.

На основе любого из рассматриваемых выше вариантов, этап отображения виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности содержит следующие операции: создание виртуальной плоскости в изображении сцены в реальном времени; генерирование трехмерного (3D) пространства на этой виртуальной плоскости; и отображение виртуального изображения целевого объекта в этом 3D-пространстве, сформированном на основе технологии отображения дополненной реальности.Based on any of the above options, the step of displaying a virtual image in a real-time scene image based on augmented reality display technology includes the following operations: creating a virtual plane in a real-time scene image; generating three-dimensional (3D) space on this virtual plane; and displaying a virtual image of the target object in this 3D space formed based on the augmented reality display technology.

В рассматриваемом варианте, при осуществлении дополненного отображения виртуального изображения целевого объекта, для того, чтобы сделать движения на виртуальном изображении в изображении сцены в реальном времени более реалистичными и трехмерными, в изображении сцены в реальном времени может быть создано виртуальное 3D-пространство. В частности, электронное устройство сначала создает виртуальную плоскость в изображении сцены в реальном времени, а затем генерирует 3D-пространство на этой виртуальной плоскости и на основе этой виртуальной плоскости, и более того, усиливает и представляет виртуальное изображение в 3D-пространстве на основе технологии отображения дополненной реальности.In this embodiment, when performing augmented display of the virtual image of the target object, in order to make movements in the virtual image in the real-time scene image more realistic and three-dimensional, a 3D virtual space can be created in the real-time scene image. In particular, the electronic device first creates a virtual plane in a real-time image of a scene, and then generates a 3D space on and based on this virtual plane, and furthermore, enhances and presents the virtual image in 3D space based on the display technology. augmented reality.

На основе приведенного выше варианта, процедура создания виртуальной плоскости в изображении сцены в реальном времени может, в частности, содержать: в случае обнаружения, что в изображении сцены в реальном времени существует целевая область плоскости, создание виртуальной плоскости на основе этой целевой области плоскости, где целевая область плоскости представляет собой область плоскости, имеющую расстояние до модуля для получения изображений в пределах первого заданного диапазона расстояний, и/или область плоскости, расположенную в центральной области изображения сцены в реальном времени; либо создание виртуальной плоскости в некой конкретной позиции в изображении сцены в реальном времени.Based on the above option, the procedure for creating a virtual plane in a real-time scene image may specifically comprise: in case of detecting that a target plane area exists in the real-time scene image, creating a virtual plane based on this target plane area, where the target area of the plane is a plane area having a distance to the imaging unit within the first predetermined distance range and/or a plane area located in the center area of the real-time scene image; or creating a virtual plane at a specific position in the real-time scene image.

В рассматриваемом варианте, электронное устройство может обнаружить область плоскости, входящую в изображение сцены в реальном времени, на основе этого изображения сцены в реальном времени посредством, например, алгоритма одновременной локализации и отображения (simultaneous localization and mapping (SLAM)), и определения, существует ли область плоскости, имеющая расстояние до модуля для получения изображений в пределах первого заданного диапазона расстояний, и/или область плоскости в центральной области изображения сцены в реальном времени. Если такая область плоскости существует, эту найденную область плоскости можно использовать в качестве целевой области плоскости. Далее, создают виртуальную плоскость на основе целевой области плоскости, эта виртуальная плоскость может располагаться близко к целевой области плоскости или быть параллельной целевой область плоскости и поддерживать некоторое фиксированное расстояние до целевой области плоскости. Если электронное устройство не обнаружило целевой области плоскости, виртуальная плоскость может быть создана в некой конкретной позиции в изображении сцены в реальном времени. В качестве альтернативы, электронное устройство не осуществляет поиск целевой области плоскости, а виртуальную плоскость прямо создают в некой конкретной позиции в изображении сцены в реальном времени. Эта конкретная позиция в изображении сцены в реальном времени может представлять собой такие области, как центральная область или верхний левый угол изображения сцены в реальном времени, а положение, где именно указанная конкретная позиция находится в изображении сцены в реальном времени, может быть задано в соответствии с тем, как это нужно на практике.In the exemplary embodiment, the electronic device can detect a plane region included in a real-time scene image based on this real-time scene image by, for example, a simultaneous localization and mapping (SLAM) algorithm, and determine whether or a plane area having a distance to the imaging module within the first predetermined distance range, and/or a plane area in the center area of the real-time scene image. If such a plane region exists, this found plane region can be used as the target plane region. Next, create a virtual plane based on the target area of the plane, this virtual plane may be close to the target area of the plane or be parallel to the target area of the plane and maintain some fixed distance to the target area of the plane. If the electronic device has not detected the target area of the plane, a virtual plane may be created at some particular position in the real-time scene image. Alternatively, the electronic device does not search for the target area of the plane, but rather creates a virtual plane at a specific position in the real-time scene image. This specific position in the live image of the scene may be areas such as the center area or the upper left corner of the live image of the scene, and the position where exactly the specified position is in the live image of the scene can be set according to as needed in practice.

На основе приведенного выше варианта, при представлении виртуального изображения целевого объекта в сформированном 3D-пространстве, поскольку это 3D-пространство может быть относительно большим, должно быть определено, что виртуальное изображение специально представляют в целевой позиции в этом 3D-пространстве. Иными словами, сначала может быть определена целевая позиция в 3D-пространстве, а затем виртуальное изображение целевого объекта может быть отображено в этой целевой позиции в 3D-пространстве на основе технологии отображения дополненной реальности.Based on the above, when presenting the virtual image of the target object in the generated 3D space, since this 3D space may be relatively large, it must be determined that the virtual image is specifically presented at the target position in this 3D space. In other words, first a target position in 3D space can be determined, and then a virtual image of the target object can be displayed at this target position in 3D space based on augmented reality display technology.

На основе приведенного выше варианта, процедура определения целевой позиции в 3D-пространстве может содержать: прием команды, специфицирующей позицию, от пользователя, установление трехмерной анкерной точки в трехмерном пространстве на основе позиционной точки, обозначенной командой, специфицирующей позицию, от пользователя, и использование этой трехмерной анкерной точки в качестве целевой позиции.Based on the above variant, the procedure for determining the target position in 3D space may comprise: receiving a position specification command from the user, establishing a 3D anchor point in 3D space based on the position point indicated by the position specification command from the user, and using this 3D anchor point as the target position.

В рассматриваемом варианте, пользователь может выдать команду, специфицирующую позицию, а электронное устройство может определить позиционную точку, обозначенную командой, специфицирующей позицию, от пользователя, после приема этой команды, специфицирующей позицию, от пользователя. От позиционной точки к 3D-пространству проводят прямую линию для образования точки пересечения этой прямой линии с 3D-пространством, и создают анкерную 3D-точку в 3D-пространстве на основе указанной точки пересечения. Анкерная 3D-точка представляется собой целевую позицию для представления виртуального изображения в 3D-пространстве, и тогда электронное устройство может осуществить дополненное отображение рассматриваемого виртуального изображения целевого объекта в анкерной 3D-точке в 3D-пространстве.In the exemplary embodiment, the user may issue a position specification command, and the electronic device may determine the position point indicated by the position specification command from the user upon receiving the position specification command from the user. A straight line is drawn from the position point to 3D space to form an intersection point of this straight line with 3D space, and a 3D anchor point is created in 3D space based on the specified intersection point. The 3D anchor point is a target position for representing a virtual image in 3D space, and then the electronic device can perform an augmented display of the considered virtual image of the target object in the 3D anchor point in 3D space.

В качестве опции, команда, специфицирующая позицию, от пользователя может представлять собой конечную команду для выполняемой пользователем операции перетаскивания на виртуальном изображении, и позиция (т.е. точка, где операция перетаскивания пользователем завершается), обозначенная этой конечной командой перетаскивания является позиционной точкой, обозначенной командой, специфицирующей позицию, от пользователя. В дополнение к этому, команда, специфицирующая позицию, может не ограничиваться конечной командой операции перетаскивания пользователем по виртуальному изображению, а может также быть командой операции щелчка от пользователя, а позиционное точка (т.е. точка, по которой щелкнул пользователь), обозначенная командой операции щелчка, является позиционной точкой, обозначенной командой, специфицирующей позицию, от пользователя.Optionally, a command specifying a position from the user may represent an end command for a user-performed drag operation on the virtual image, and the position (i.e., the point where the user's drag operation ends) indicated by this end drag command is the position point, indicated by the command specifying the position from the user. In addition, the command specifying the position may not be limited to the end command of the user drag operation on the virtual image, but may also be the command of the click operation from the user, and the positional point (i.e., the point clicked by the user) indicated by the command click operation is the positional point indicated by the position specification command from the user.

Безусловно, электронное устройство может также отображать виртуальную модель в любой позиции на изображении сцены в реальном времени, например, отображать в произвольной области плоскости, идентифицированной электронным устройством на изображении сцены в реальном времени. Безусловно, электронное устройство может определить позицию на дисплее для представления виртуальной модели и другими способами, что никак здесь не ограничивается.Of course, the electronic device may also display the virtual model at any position on the live scene image, for example, display in an arbitrary area of the plane identified by the electronic device on the live scene image. Of course, the electronic device may determine the position on the display to represent the virtual model in other ways, which is not limited here in any way.

На основе любого из рассмотренных выше вариантов, в процедуру дополнительно включен этап предварительного размещения, осуществляемый после генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения этого целевого объекта и прежде осуществления дополненного отображения виртуального изображения целевого объекта в целевой позиции в изображении сцены в реальном времени. Иными словами, виртуальное изображение, соответствующее целевому объекту, может быть подвешено в заданном положении перед модулем для получения изображений, и это виртуальное изображение может быть затем представлено в целевой позиции, после того, как целевая позиция в изображение сцены в реальном времени будет подтверждена. На основе любого из рассмотренных выше вариантов, как показано на Фиг. 7, способ далее содержит:Based on any of the options discussed above, the procedure further includes a pre-positioning step after generating a virtual image corresponding to a target object based on the image of this target object and before performing augmented mapping of the virtual image of the target object at the target position in the real-time scene image. . In other words, a virtual image corresponding to a target object can be hung at a predetermined position in front of the imaging module, and this virtual image can then be presented at the target position after the target position in the live image of the scene is confirmed. Based on any of the options discussed above, as shown in FIG. 7, the method further comprises:

Этап S301, прием первой команды управления от пользователя, и выполнение алгоритма сегментации объектов, предварительно загруженного в соответствии с этой первой командой управления, для осуществления сегментации объекта с целью выделения целевого объекта в изображении сцены в реальном времени; иStep S301, receiving a first control command from the user, and executing an object segmentation algorithm previously loaded in accordance with this first control command to perform object segmentation to extract a target object in a real-time scene image; And

Этап S302, прием второй команды управления от указанного пользователя и остановку работы алгоритма сегментации объектов в соответствии с этой второй командой управления.Step S302, receiving a second control command from the specified user and stopping the operation of the object segmentation algorithm in accordance with this second control command.

В рассматриваемом варианте, при получении изображения целевого объекта в изображении сцены в реальном времени, захваченном посредством модуля для получения изображений, для использования алгоритмом сегментации объектов, для предотвращения работы этого алгоритма сегментации объектов в течение продолжительного времени, когда он занимает вычислительные ресурсы в электронном устройстве, этим алгоритмом сегментации объектов можно управлять, чтобы запускать его в работу своевременно и останавливать работу. Когда нужно, чтобы алгоритм сегментации объектов работал, пользователь может выдать указанную первую команду управления. Эта первая команда управления может представлять собой команду управления для включения модуля для получения изображений, или команду управления, выдаваемую пользователем, когда этот пользователь нажимает пусковую кнопку на интерфейсе в ходе процедуры, когда модуль для получения изображений захватывает изображение сцены в реальном времени. Электронное устройство запускает и выполняет алгоритм сегментации объектов в ответ на команду управления от пользователя, тем самым начиная сегментацию целевого объекта из изображения сцены в реальном времени.In the exemplary embodiment, when obtaining an image of a target object in a real-time image of a scene captured by an image acquisition module for use by an object segmentation algorithm, to prevent this object segmentation algorithm from running for a long time when it occupies computing resources in an electronic device, this object segmentation algorithm can be controlled to start and stop work in a timely manner. When it is necessary for the object segmentation algorithm to work, the user can issue the specified first control command. This first control command may be a control command to turn on the imaging module, or a control command issued by the user when the user presses the start button on the interface during the procedure when the imaging module captures a real-time image of the scene. The electronic device starts and executes the object segmentation algorithm in response to a control command from the user, thereby starting segmentation of the target object from the real-time scene image.

Далее, когда электронное устройство уже получило изображение целевого объекта в изображении сцены в реальном времени, в этот момент работа алгоритма сегментации объектов может быть остановлена. В качестве альтернативы, электронное устройство останавливает работу алгоритма сегментации объектов в ответ на вторую команду управления от пользователя. Например, пользователь закрывает модуль для получения изображений или нажимает кнопку остановки на интерфейсе. В качестве альтернативы, в ответ на первую команду от пользователя для выбора сегментированного изображения целевого объекта, электронное устройство останавливает работу алгоритма сегментации объектов в соответствии с этой первой командой, настоящее изобретение может быть в этом вопросе ничем не ограничено.Further, when the electronic device has already acquired the image of the target object in the real-time image of the scene, at this point, the operation of the object segmentation algorithm can be stopped. Alternatively, the electronic device stops the object segmentation algorithm in response to a second control command from the user. For example, the user closes the image acquisition module or presses the stop button on the interface. Alternatively, in response to a first command from a user to select a segmented image of a target object, the electronic device stops the object segmentation algorithm in accordance with this first command, the present invention may not be limited in this matter.

Например, электронное устройство запускает работу алгоритма сегментации объектов в алгоритмическом модуле. Когда принята первая команда управления (соответствующая команде запустить работу алгоритма), работа алгоритма сегментации объектов начинается. Когда принята вторая команда управления (соответствующая команде остановить работу алгоритма), работа алгоритма сегментации объектов останавливается.For example, an electronic device runs an object segmentation algorithm in an algorithm module. When the first control command (corresponding to the command to run the algorithm) is received, the operation of the object segmentation algorithm begins. When the second control command (corresponding to the command to stop the operation of the algorithm) is received, the operation of the object segmentation algorithm is stopped.

В одном из вариантов, после того, как пользователь даст первую команду для выбора сегментированного изображения целевого объекта, электронное устройство получает изображение целевого объекта в изображении сцены в реальном времени в соответствии с этой первой командой, и тогда работа алгоритма сегментации объектов может быть в этот момент остановлена.In one embodiment, after the user gives a first command to select a segmented target image, the electronic device obtains an image of the target in the scene image in real time in accordance with this first command, and then the operation of the object segmentation algorithm can be at that moment stopped.

В одном из вариантов, пользователь может также управлять запуском алгоритма сегментации объектов в работу посредством операции продолжительного нажатия. Алгоритм сегментации объектов может продолжать работать, пока продолжается это нажатие. Когда продолжительное нажатие прекращается, работа алгоритма сегментации объектов может быть завершена.In one embodiment, the user may also control the triggering of the object segmentation algorithm through a long press operation. The object segmentation algorithm can continue to run as long as this push continues. When the long press is released, the object segmentation algorithm can be terminated.

Алгоритмом сегментации объектов управляют для своевременного запуска и остановки работы с использованием способа, описанного выше, вследствие чего можно избежать слишком продолжительной работы алгоритма сегментации объектов в электронном устройстве и сберечь вычислительные ресурсы этого электронного устройства.The object segmentation algorithm is controlled to start and stop the operation in a timely manner using the method described above, whereby the object segmentation algorithm in the electronic device can be avoided for too long and the computing resources of the electronic device can be saved.

В соответствии со способом отображения изображения на основе дополненной реальности из приведенных выше вариантов, на Фиг. 8 представлена структурная блок-схема устройства отображения на основе дополненной реальности согласно одному из вариантов настоящего изобретения. Для облегчения понимания здесь показаны только части, относящиеся к вариантам настоящего изобретения. Согласно Фиг. 8, устройство 80 отображения на основе дополненной реальности содержит модуль 801 определения целевого объекта, модуль 802 генерирования и модуль 803 отображения.According to the augmented reality image display method of the above embodiments, FIG. 8 is a block diagram of an augmented reality display device according to one embodiment of the present invention. For ease of understanding, only parts relating to embodiments of the present invention are shown here. According to FIG. 8, the augmented reality display device 80 includes a target determination module 801, a generation module 802, and a display module 803.

Модуль 801 определения целевого объекта конфигурирован для осуществления сегментации объекта с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, для получения изображения целевого объекта.The target determination module 801 is configured to perform object segmentation to extract a target object in a real-time scene image captured by the imaging module to obtain an image of the target object.

Модуль 802 генерирования конфигурирован для генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта.The generation unit 802 is configured to generate a virtual image corresponding to the target object based on the image of the target object.

Модуль 803 отображения конфигурирован для отображения виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности.The display unit 803 is configured to display a virtual image in a real-time scene image based on an augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 802 генерирования, при генерировании виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта, конфигурирован для: синтеза изображения целевого объекта с анимационным материалом с целью генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module 802, when generating a virtual image corresponding to a target object based on the image of the target object, is configured to: synthesize the image of the target object with animation material to generate a virtual image corresponding to the target object.

Предварительно заданный анимационный материал содержит анимационный материал конечностей относительно тела и/или анимационный материал мимики для виртуального изображения.The preset animation material contains animation material of limbs relative to the body and/or animation material of facial expressions for the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 802 генерирования, при синтезе изображения целевого объекта с анимационным материалом, конфигурирован для: получения анимационного материала конечностей относительно тела и/или анимационного материала мимики; определения нескольких соединительных точек на изображении целевого объекта на основе этого изображения целевого объекта; и синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module 802, when synthesizing a target object image with animation material, is configured to: obtain limb-relative-to-body animation material and/or facial expression animation material; determining a plurality of connection points on the target image based on the target image; and synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object by means of said several connection points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 801 определения целевого объекта, при осуществлении сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, для получения изображения целевого объекта, конфигурирован для: выполнения алгоритма сегментации объектов для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, получая тем самым маску и ограничивающую рамку изображения целевого объекта и получая текстуру внутренней области маски.According to one or more embodiments of the present invention, the target object determination module 801, when performing object segmentation to extract a target object in a real-time image of a scene captured by the imaging module to acquire a target object image, is configured to: execute an object segmentation algorithm for performing object segmentation to isolate a target object in a real-time scene image, thereby obtaining a mask and a bounding box of the target object image, and obtaining a texture of the inner area of the mask.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 802 генерирования, при синтезе анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту, конфигурирован для: синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с текстурой внутренней области маски посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module 802, when synthesizing animation material of limbs relative to the body and/or animation material of facial expressions with the image of the target object through the specified several connection points for generating a virtual image corresponding to the target object, is configured to: synthesize animation material of the limbs relative to the body and/or animation material of the facial expression with the texture of the inner area of the mask through the specified several connecting points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 802 генерирования далее конфигурирован для: регулирования размера анимационного материала на основе размера ограничительной рамки; и регулирования позиций нескольких соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине ограничительной рамки.According to one or more embodiments of the present invention, the generating module 802 is further configured to: adjust the size of the animation material based on the size of the bounding box; and adjusting the positions of the multiple connection points on the target object image based on the axis of symmetry and the length to width ratio of the bounding box.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения далее конфигурирован для: воспроизведения анимационного материала с целью осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more embodiments of the present invention, the display module 803 is further configured to: play animation material in order to control movements and/or facial expressions in a virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения, при воспроизведении анимационного материала с целью осуществления управления движениями и/или мимикой на виртуальном изображении, конфигурирован для: воспроизведения анимационного материала в соответствии с предварительно заданными анимационными кадрами анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении; и/или генерирования и воспроизведения анимационных кадров анимационного материала на основе движений конечностей относительно тела и/или мимики пользователя, с целью осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more embodiments of the present invention, the display module 803, when playing animation material to perform motion and/or facial expression control on a virtual image, is configured to: play the animation material in accordance with predefined animation frames of the animation material to perform motion control and/ or facial expressions on a virtual image; and/or generating and playing animation frames of animation material based on the movements of the limbs relative to the body and/or facial expressions of the user, in order to control movements and/or facial expressions in the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения, при отображении виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности, конфигурирован для: создания виртуальной плоскости в изображении сцены в реальном времени; генерирования 3D-пространства на этой виртуальной плоскости; и отображения виртуального изображения целевого объекта в сформированном 3D-пространстве на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, the display unit 803, when displaying a virtual image in a real-time scene image based on augmented reality display technology, is configured to: create a virtual plane in a real-time scene image; generating 3D space on this virtual plane; and displaying a virtual image of the target object in the generated 3D space based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения, при создании виртуальной плоскости на основе целевой области плоскости в изображении сцены в реальном времени, конфигурирован для: создания виртуальной плоскости на основе целевой области плоскости в случае обнаружения, что целевая область плоскости существует в изображении сцены в реальном времени, где эта целевая область плоскости представляет собой область плоскости, имеющую расстояние до модуля для получения изображений в пределах первого предварительно заданного диапазона расстояний, и/или область плоскости, расположенную в центральной области изображения сцены в реальном времени; или создания виртуальной плоскости в конкретной позиции в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the display module 803, when creating a virtual plane based on a plane target area in a real-time scene image, is configured to: a real-time scene, where the target plane area is a plane area having a distance to the imaging module within a first predetermined distance range and/or a plane area located in a center real-time scene image area; or creating a virtual plane at a specific position in a real-time scene image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения, при отображении виртуального изображения целевого объекта в сформированном 3D-пространстве на основе технологии отображения дополненной реальности, конфигурирован для: определения целевой позиции в 3D-пространстве; и отображения виртуального изображения целевого объекта в целевой позиции в 3D-пространстве на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, the display module 803, when displaying a virtual image of a target object in a generated 3D space based on augmented reality display technology, is configured to: determine a target position in 3D space; and displaying a virtual image of the target object at the target position in 3D space based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 803 отображения, при определении целевой позиции в 3D-пространстве, конфигурирован для: приема команды, специфицирующей позицию, от пользователя, установления трехмерной анкерной точки в трехмерном пространстве на основе позиционной точки, обозначенной командой, специфицирующей позицию, от пользователя, и использования этой трехмерной анкерной точки в качестве целевой позиции.According to one or more embodiments of the present invention, the display module 803, when determining a target position in 3D space, is configured to: receive a position specification command from a user, establish a 3D anchor point in 3D space based on the position point indicated by the position specification command , from the user, and use that 3D anchor point as the target position.

Согласно одному или нескольким вариантам настоящего изобретения, модуль 801 определения целевого объекта далее конфигурирован для: приема первой команды управления от пользователя, и выполнения алгоритма сегментации объектов, предварительно загруженного в соответствии с этой первой командой управления, для осуществления сегментации объекта применительно к целевому объекту в изображении сцены в реальном времени; а также приема второй команды управления от указанного пользователя и остановки работы алгоритма сегментации объектов в соответствии с этой второй командой управления.According to one or more embodiments of the present invention, the target determination module 801 is further configured to: receive a first control command from a user, and execute an object segmentation algorithm preloaded in accordance with this first control command to perform object segmentation on a target object in an image scenes in real time; and also receiving a second control command from the specified user and stopping the operation of the object segmentation algorithm in accordance with this second control command.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при отображении виртуального изображения в изображении сцены в реальном времени, конфигурирован для: динамического отображения виртуального изображения в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the display module, when displaying a virtual image in a real-time scene image, is configured to: dynamically display a virtual image in a real-time scene image.

Устройство отображения на основе дополненной реальности, предлагаемое в рассматриваемом варианте, может быть использовано для осуществления технических решений способа отображения изображения на основе дополненной реальности в соответствии с вариантами способа, рассмотренными выше, принцип реализации и технический эффект устройства отображения на основе дополненной реальности аналогичны принципам и эффекту вариантов способа, так что в рассматриваемом варианте подробности повторно приведены не будут.The augmented reality display device provided in this embodiment can be used to implement the technical solutions of the augmented reality image display method in accordance with the method variants discussed above, the implementation principle and the technical effect of the augmented reality display device are similar to the principles and effect variants of the method, so that in this embodiment, the details will not be repeated.

На Фиг. 9 приведена упрощенная схема, иллюстрирующая структуру, подходящую для реализации электронного устройства 900 согласно одному из вариантов настоящего изобретения. Это электронное устройство 900 может представлять собой терминал или сервер и может быть использовано для осуществления способа отображения изображения на основе дополненной реальности согласно вариантам способа, описываемым выше. В частности, терминал может представлять собой, не ограничиваясь этим, мобильный терминал, такой как мобильный телефон, компьютер ноутбук, приемник цифрового вещания, персональный цифровой помощник (personal digital assistant (PDA)), портативное устройство с системой Андроид (portable Android device (PAD)), портативный медиа плеер (portable media player (PMP)), устанавливаемый на автомобиле терминал (например, устанавливаемый на автомобиле навигационный терминал) или другое подобное устройство, либо фиксированный терминал, такой как цифровой телевизор, настольный компьютер или другое подобное устройство. Электронное устройство, показанное на Фиг. 9, представляет собой просто пример и не имеет целью накладывать какие-либо ограничения на функции и диапазон использования вариантов настоящего изобретения.On FIG. 9 is a simplified diagram illustrating a structure suitable for implementing an electronic device 900 according to one embodiment of the present invention. This electronic device 900 may be a terminal or a server, and may be used to implement an augmented reality image display method according to the embodiments of the method described above. In particular, the terminal may be, but is not limited to, a mobile terminal such as a mobile phone, a laptop computer, a digital broadcast receiver, a personal digital assistant (PDA), a portable Android device (PAD )), a portable media player (PMP), a vehicle-mounted terminal (such as a vehicle-mounted navigation terminal) or other similar device, or a fixed terminal such as a digital TV, desktop computer, or other similar device. The electronic device shown in Fig. 9 is merely an example and is not intended to limit in any way the functions and range of use of the embodiments of the present invention.

Как показано на Фиг. 9, электронное устройство 900 может содержать устройство 901 обработки (например, центральный процессор, графический процессор и т.п.), которое может осуществлять разнообразные подходящие действия и процедуры в соответствии с программой, сохраняемой в постоянном запоминающем устройстве (ПЗУ (read-only memory (ROM))) 902, или программой, загружаемой из запоминающего устройства 908 в запоминающее устройство с произвольной выборкой (ЗУПВ (random access memory (RAM))) 903. ЗУПВ (RAM) 903 далее сохраняет разнообразные программы и данные, требуемые для операций электронного устройства 900. устройство 901 обработки, ПЗУ (ROM) 902 и ЗУПВ (RAM) 903 соединены одни с другими по шине 904. Интерфейс 905 ввода/вывода (input/output (I/O)) также соединен с шиной 904.As shown in FIG. 9, the electronic device 900 may include a processing device 901 (for example, a CPU, a graphics processor, etc.) that can perform a variety of suitable actions and procedures in accordance with a program stored in read-only memory (ROM). (ROM))) 902, or a program loaded from a memory device 908 to a random access memory (RAM))) 903. RAM (RAM) 903 further stores a variety of programs and data required for electronic devices 900. processing device 901, ROM (ROM) 902 and RAM (RAM) 903 are connected to each other via bus 904. Interface 905 input/output (I/O)) is also connected to the bus 904.

Обычно с интерфейсом I/O могут быть соединены следующие устройства: устройство 906 ввода, представляющее собой, например, сенсорный экран, сенсорную панель (тачпад), клавиатуру, мышь, видеокамеру, микрофон, акселерометр, гироскоп и т.п.; устройство 907 вывода, представляющее собой, например, жидкокристаллический дисплей (liquid crystal display (LCD)), громкоговоритель, вибратор и т.п.; устройство 908 для хранения информации, представляющее собой, например, магнитную ленту, жесткий диск и т.п.; и устройство 909 связи. Устройство 909 связи может позволить электронному устройству 900 осуществлять связь беспроводным способом или по проводам с другими устройствами для обмена данными. Хотя Фиг. 9 иллюстрирует электронное устройство 900, имеющее различные устройства, следует понимать, что все иллюстрируемые устройства не обязательно реализуемы или включены в устройство 900. В качестве альтернативы могут быть реализованы или включены больше или меньше устройств.Typically, the following devices can be connected to the I/O interface: an input device 906, which is, for example, a touch screen, a touch pad (touchpad), a keyboard, a mouse, a video camera, a microphone, an accelerometer, a gyroscope, and the like; an output device 907, such as a liquid crystal display (LCD), a speaker, a vibrator, or the like; an information storage device 908, such as a magnetic tape, a hard drive, or the like; and a communication device 909. The communication device 909 may allow the electronic device 900 to communicate wirelessly or by wire with other devices to exchange data. Although Fig. 9 illustrates an electronic device 900 having various devices, it should be understood that all illustrated devices are not necessarily implemented or included in device 900. Alternatively, more or fewer devices may be implemented or included.

В частности, согласно вариантам настоящего изобретения, процедура, описанная выше со ссылками на логическую схему, может быть реализована в виде программы компьютерного программного обеспечения. Например, один из вариантов настоящего изобретения содержит компьютерный программный продукт для осуществления способа отображения изображения на основе дополненной реальности согласно вариантам способа, описываемых выше. В таком варианте компьютерную программу можно скачать онлайн через устройство 909 связи и инсталлировать, либо ее можно инсталлировать из устройства 908 для хранения информации, либо инсталлировать из ПЗУ (ROM) 902. Когда эту компьютерную программу выполняет устройство 901 обработки, происходит осуществление описываемых выше функций, определяемых способом, предлагаемым вариантами настоящего изобретения.In particular, according to embodiments of the present invention, the procedure described above with reference to the logic circuit may be implemented as a computer software program. For example, one embodiment of the present invention comprises a computer program product for implementing an augmented reality image display method according to the embodiments of the method described above. In such an embodiment, the computer program can be downloaded online through the communication device 909 and installed, or it can be installed from the information storage device 908, or installed from the ROM 902. When this computer program is executed by the processing device 901, the functions described above are performed, determined by the method proposed by the variants of the present invention.

Необходимо отметить, что читаемый компьютером носитель, описываемый выше в настоящем изобретении, может представлять собой читаемый компьютером носитель сигнала или читаемый компьютером носитель для хранения информации, либо какую-либо комбинацию таких носителей. Например, читаемый компьютером носитель для хранения информации может представлять собой, без ограничений, электрическую, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппаратуру или устройство, либо какую-либо комбинацию перечисленного. Более конкретные примеры читаемых компьютером носителей для хранения информации могут представлять собой, без ограничений: электрическое соединение, имеющее один или несколько проводов, портативный компьютерный диск, жесткий диск, запоминающее устройство с произвольной выборкой (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (СППЗУ (EPROM) или устройство флэш-памяти), волоконный световод, постоянное запоминающее устройство на портативном компакт-диске (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство, либо какую-либо подходящую комбинацию таких устройств. Согласно настоящему изобретению, читаемый компьютером носитель для хранения информации может представлять собой какой-либо материальный носитель, содержащий или сохраняющий программу, которая может быть использована посредством или в сочетании с системой, аппаратурой или устройством для выполнения команд. Согласно настоящему изобретению, читаемый компьютером носитель сигнала может содержать сигнал данных, который распространяется в видеодиапазоне, либо в качестве части несущей, и несет читаемые компьютером программные коды. Сигнал данных, распространяющийся таким способом, может принимать различные формы, включая, без ограничений, электромагнитный сигнал, оптический сигнал или какую-либо комбинацию этих сигналов. Читаемый компьютером носитель сигнала может также представлять собой какой-либо читаемый компьютером носитель, отличный от читаемого компьютером носителя для хранения информации. Читаемый компьютером носитель сигнала может посылать, распространять или передавать программу, используемую посредством или в сочетании с системой, аппаратурой или устройством для выполнения команд. Программный код, содержащийся на читаемом компьютером носителе, может быть передан с использованием какого-либо подходящего носителя, включая без ограничений, электрические провода, оптоволоконный кабель, высокочастотный сигнал (radio frequency (RF)), или другого подобного носителя, либо какой-либо подходящей комбинации носителя.It should be noted that the computer-readable medium described above in the present invention may be a computer-readable signal medium or a computer-readable information storage medium, or any combination of such media. For example, a computer-readable storage medium can be, without limitation, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination of the foregoing. More specific examples of computer-readable storage media can be, without limitation: an electrical connection having one or more wires, a portable computer disk, a hard disk drive, a random access memory (RAM), a read only memory (ROM), an erasable programmable read-only memory (EPROM or flash memory device), optical fiber, portable compact disc read-only memory (CD-ROM), optical memory, magnetic memory, or any suitable combination of such devices. According to the present invention, a computer-readable storage medium may be any tangible medium containing or storing a program that can be used by or in combination with a system, apparatus, or device for executing instructions. According to the present invention, a computer-readable signal carrier may comprise a data signal that propagates in the video band, or as part of a carrier, and carries computer-readable program codes. The data signal propagated in this manner may take many forms, including, without limitation, an electromagnetic signal, an optical signal, or any combination of these signals. The computer-readable signal medium may also be any computer-readable medium other than computer-readable storage media. A computer-readable medium may send, distribute, or transmit a program used by or in combination with a system, apparatus, or device for executing instructions. The program code contained on a computer-readable medium may be transmitted using any suitable medium, including, without limitation, electrical wires, fiber optic cable, radio frequency (RF), or other similar medium, or any suitable carrier combinations.

Упомянутый выше читаемый компьютером носитель может быть включен в электронное устройство, рассмотренное выше, или может существовать отдельно, без встраивания в электронное устройство.The above-mentioned computer-readable medium may be included in the electronic device discussed above, or may exist separately without being incorporated into the electronic device.

Упомянутый выше читаемый компьютером носитель может нести одну или более программ, при выполнении которых электронным устройством, это электронное устройство осуществляет способ, иллюстрируемый в приведенных выше вариантах.The above-mentioned computer-readable medium may carry one or more programs, when executed by an electronic device, the electronic device performs the method illustrated in the above embodiments.

Компьютерные программные коды для осуществления операций согласно настоящему изобретению могут быть записаны на одном или нескольких языках программирования или комбинации таких языков. К указанным языкам программирования относятся объектно-ориентированные языки программирования, такие как Java, Smalltalk и C++, а также обычные языки процедурного программирования, такие как язык “C” или аналогичные языки программирования. Этот программный код может быть выполнен полностью на компьютере пользователя, выполнен частично на компьютере пользователя, выполнен в качестве независимого программного пакета, выполнен частично на компьютере пользователя и частично на удаленном компьютере, либо выполнен полностью на удаленном компьютере или сервере. В сценарии, использующем удаленный компьютер, этот удаленный компьютер может быть соединен с компьютером пользователя через сеть какого-либо типа, включая локальную сеть связи (local area network (LAN)) или широкомасштабную сеть связи (wide area network (WAN)), либо может быть соединен с внешним компьютером (например, соединен через Интернет от интернет-провайдера). The computer program codes for carrying out the operations of the present invention may be written in one or more programming languages, or a combination of such languages. These programming languages include object-oriented programming languages such as Java, Smalltalk and C++ as well as conventional procedural programming languages such as "C" or similar programming languages. This program code may be executed entirely on the user's computer, executed partially on the user's computer, executed as an independent software package, executed partially on the user's computer and partially on a remote computer, or executed entirely on a remote computer or server. In a remote computer scenario, the remote computer may be connected to the user's computer through some type of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (for example, connected via the Internet from an ISP).

Логические схемы и блок-схемы на прилагаемых чертежах иллюстрируют системные архитектуры, функции и операции, которые могут быть реализованы посредством системы, способа и компьютерных программных продуктов в соответствии с различными вариантами настоящего изобретения. В этом отношении каждый блок в логических схемах или блок-схемах может представлять модуль, сегмент программы или часть кода, где эти модуль, сегмент программы или часть кода содержат одну или несколько выполняемых команд для осуществления специфицированных логических функций. Также следует отметить, что, в некоторых альтернативных вариантах реализации функции, маркированные в блоках, могут также осуществляться в порядке, отличном от порядка, обозначенного на прилагаемых чертежах. Например, два последовательных блока могут фактически быть выполнены по существу параллельно, а иногда могут выполняться в обратном порядке, что зависит от участвующих функций. Следует также отметить, что каждый блок в логических схемах и/или в блок-схемах и комбинации блоков в логических схемах и/или блок-схемах могут быть реализованы посредством системы на основе специализированной аппаратуры для выполнения специфицированных функций или операций, либо могут быть реализованы посредством комбинации специализированной аппаратуры и компьютерных команд.The logical diagrams and block diagrams in the accompanying drawings illustrate system architectures, functions, and operations that may be implemented by the system, method, and computer program products in accordance with various embodiments of the present invention. In this regard, each block in logic diagrams or flowcharts may represent a module, program segment, or piece of code, where that module, program segment, or piece of code contains one or more executable instructions to perform the specified logical functions. It should also be noted that, in some alternative implementations, the functions labeled in the blocks may also be performed in an order different from the order indicated in the accompanying drawings. For example, two consecutive blocks may actually be executed in substantially parallel, and sometimes may be executed in reverse order, depending on the functions involved. It should also be noted that each block in the logic diagrams and/or block diagrams and combinations of blocks in the logic diagrams and/or block diagrams may be implemented by a dedicated hardware system to perform specified functions or operations, or may be implemented by combinations of specialized hardware and computer commands.

Различные модули, описываемые в вариантах настоящего изобретения, могут быть реализованы посредством программного обеспечения или могут быть реализованы в аппаратуре. Название любого модуля не составляет ограничений для самого модуля. Например, первый модуль сбора данных может также быть описан как «модуль для получения по меньшей мере двух адресов Интернет-протокола».The various modules described in embodiments of the present invention may be implemented in software or may be implemented in hardware. The name of any module is not a limitation for the module itself. For example, the first data collection module may also be described as "a module for obtaining at least two Internet Protocol addresses".

Функции, описываемые выше для настоящего изобретения, могут быть осуществлены по меньшей мере частично посредством одного или нескольких аппаратных логических компонентов. Например, без ограничений, к примерам аппаратных логических компонентов, которые могут быть использованы, относятся: программируемая пользователем вентильная матрица (field programmable gate array (FPGA)), специализированная интегральная схема (application specific integrated circuit (ASIC)), стандартное изделие, ориентированное на приложения (application specific standard product (ASSP)), система на кристалле (system on chip (SOC)), комплексное программируемое логическое устройство (complex programmable logic device (CPLD)) и другие подобные компоненты.The functions described above for the present invention may be implemented at least in part by one or more hardware logic components. For example, without limitation, examples of hardware logic components that may be used include: field programmable gate array (FPGA), application specific integrated circuit (ASIC), off-the-shelf product oriented applications (application specific standard product (ASSP)), system on chip (SOC), complex programmable logic device (CPLD), and other similar components.

В контексте настоящего изобретения, машиночитаемый носитель может представлять собой материальный носитель, который может содержать или сохранять программу для использования посредством или в сочетании с системой, аппаратурой или устройством для выполнения команд. Указанный машиночитаемый носитель может представлять собой машиночитаемый носитель сигнала или машиночитаемый носитель для хранения информации. Машиночитаемый носитель может представлять собой без ограничений электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппаратуру или устройство, либо какую-либо подходящую комбинацию таких носителей. К более конкретным примерам машиночитаемых носителей для хранения информации могут относиться: электрическое соединение на основе одного или нескольких проводов, портативный компьютерный диск, жесткий диск, запоминающее устройство с произвольной выборкой (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (СППЗУ (EPROM) или устройство флэш-памяти), волоконный световод, постоянное запоминающее устройство на портативном компакт диске (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство, либо какая-либо подходящая комбинация таких устройств. In the context of the present invention, a computer-readable medium may be a tangible medium that may contain or store a program for use by or in combination with a system, apparatus, or device for executing instructions. Said computer-readable medium may be a computer-readable signal medium or a computer-readable information storage medium. A computer-readable medium can be, without limitation, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of such media. More specific examples of computer-readable storage media can include: single or multiple wire electrical connection, portable computer disk, hard disk drive, random access memory (RAM), read only memory (ROM), erasable programmable read only memory ( EPROM or flash memory device), optical fiber, portable compact disc read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of such devices.

В первом аспекте, согласно одному или нескольким вариантам настоящего изобретения, предложен способ отображения изображения на основе дополненной реальности, содержащий: осуществление сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, чтобы получить изображение целевого объекта; генерирование виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта; и отображение виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности.In a first aspect, according to one or more embodiments of the present invention, there is provided an augmented reality image display method, comprising: performing object segmentation to extract a target object in a real-time scene image captured by the imaging module to obtain an image of the target object; generating a virtual image corresponding to the target object based on the image of the target object; and displaying a virtual image in a real-time scene image based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, процедура генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта содержит: синтез изображения целевого объекта с анимационным материалом для генерирования виртуального изображения, соответствующего целевому объекту. Предварительно заданный анимационный материал содержит анимационный материал конечностей относительно тела и/или анимационный материал мимики виртуального изображения.According to one or more embodiments of the present invention, the procedure for generating a virtual image corresponding to a target object based on the image of the target object comprises: synthesizing the image of the target object with animation material to generate a virtual image corresponding to the target object. The preset animation material contains the animation material of the limbs relative to the body and/or the animation material of the mimicry of the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, процедура синтеза изображения целевого объекта с анимационным материалом содержит: получение анимационного материала конечностей относительно тела и/или анимационного материала мимики; определение нескольких соединительных точек на изображении целевого объекта на основе изображения целевого объекта; и синтез анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the procedure for synthesizing an image of a target object with animation material comprises: obtaining animation material of limbs relative to the body and/or animation material of facial expressions; determining a plurality of connection points on the target image based on the target image; and synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object by means of said plurality of connection points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, процедура осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, чтобы получить изображение целевого объекта, содержит: выполнение алгоритма сегментации объектов для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, получая тем самым маску и ограничивающую рамку изображения целевого объекта и получая текстуру внутренней области маски.According to one or more embodiments of the present invention, a procedure for performing object segmentation to extract a target object in a real-time scene image captured by the imaging module to obtain an image of the target object comprises: executing an object segmentation algorithm to perform object segmentation to extract the target object in the scene image in real time, thereby obtaining the mask and bounding box of the image of the target object, and obtaining the texture of the inner area of the mask.

Согласно одному или нескольким вариантам настоящего изобретения, процедура синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту, содержит: синтез анимационного материала конечностей относительно тела и/или анимационного материала мимики с текстурой внутренней области маски посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more variants of the present invention, the procedure for synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object by means of the specified several connection points for generating a virtual image corresponding to the target object comprises: synthesizing the animation material of the limbs relative to the body and/or animation material of facial expressions with the texture of the inner area of the mask through the specified several connecting points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, способ далее содержит: регулирование размера анимационного материала на основе размера ограничительной рамки; и регулирование позиций указанных нескольких соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине ограничительной рамки.According to one or more embodiments of the present invention, the method further comprises: adjusting the size of the animation material based on the size of the bounding box; and adjusting the positions of said plurality of connection points in the target object image based on the axis of symmetry and the length to width ratio of the bounding box.

Согласно одному или нескольким вариантам настоящего изобретения, способ далее содержит: воспроизведение анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more embodiments of the present invention, the method further comprises: rendering animation material to control movements and/or facial expressions in a virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, процедура воспроизведения анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении содержит: воспроизведение анимационного материала в соответствии с предварительно заданными анимационными кадрами анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении; и/или генерирование и воспроизведение анимационных кадров анимационного материала на основе движений конечностей пользователя относительно тела и/или мимики пользователя, для осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more variants of the present invention, the procedure for playing animation material to control movements and/or facial expressions on a virtual image includes: playing animation material in accordance with predefined animation frames of animation material to control movements and/or facial expressions on a virtual image; and/or generating and playing animation frames of animation material based on the movements of the user's limbs relative to the body and/or facial expressions of the user, to control movements and/or facial expressions in the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, процедура отображения виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности содержит: создание виртуальной плоскости в изображении сцены в реальном времени; генерирование трехмерного пространства на виртуальной плоскости; и отображение виртуального изображения целевого объекта в трехмерном пространстве, сформированном на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, a procedure for displaying a virtual image in a real-time scene image based on an augmented reality display technology comprises: creating a virtual plane in a real-time scene image; generation of three-dimensional space on a virtual plane; and displaying a virtual image of the target object in a three-dimensional space generated based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, процедура создания виртуальной плоскости на основе целевой области плоскости в изображении сцены в реальном времени содержит: создание виртуальной плоскости на основе целевой области плоскости в случае обнаружения, что целевая область плоскости существует в изображении сцены в реальном времени, где эта целевая область плоскости представляет собой область плоскости, имеющую расстояние до модуля для получения изображений в пределах первого заданного диапазона расстояний, и/или область плоскости, расположенную в центральной области изображения сцены в реальном времени; либо создание виртуальной плоскости в конкретной позиции в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the procedure for creating a virtual plane based on a target plane area in a real-time scene image comprises: creating a virtual plane based on a plane target area in case of detecting that the plane target area exists in the real-time scene image, where this plane target area is a plane area having a distance to the imaging module within the first predetermined distance range and/or a plane area located in the center area of the real-time scene image; or creating a virtual plane at a specific position in the real-time scene image.

Согласно одному или нескольким вариантам настоящего изобретения, процедура отображения виртуального изображения целевого объекта в трехмерном пространстве, сформированном на основе технологии отображения дополненной реальности, содержит: определение целевой позиции в трехмерном пространстве; и отображение виртуального изображения целевого объекта в целевой позиции в трехмерном пространстве на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, a procedure for displaying a virtual image of a target object in a three-dimensional space generated based on an augmented reality display technology comprises: determining a target position in the three-dimensional space; and displaying a virtual image of the target object at the target position in 3D space based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, процедура определения целевой позиции в трехмерном пространстве содержит: прием команды, специфицирующей позицию, от пользователя, установление трехмерной анкерной точки в трехмерном пространстве на основе позиционной точки, обозначенной командой, специфицирующей позицию, от пользователя, и использование этой трехмерной анкерной точки в качестве целевой позиции.According to one or more embodiments of the present invention, a procedure for determining a target position in 3D space comprises: receiving a position specification command from a user, establishing a 3D anchor point in 3D space based on the position point indicated by a position specification command from the user, and using that 3D anchor point as the target position.

Согласно одному или нескольким вариантам настоящего изобретения, предлагаемый способ далее содержит: прием первой команды управления от пользователя, и выполнение алгоритма сегментации объектов, предварительно загруженного в соответствии с этой первой командой управления, для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени; а также прием второй команды управления от указанного пользователя и остановку работы алгоритма сегментации объектов в соответствии с этой второй командой управления.According to one or more embodiments of the present invention, the proposed method further comprises: receiving a first control command from a user, and executing an object segmentation algorithm preloaded in accordance with this first control command to perform object segmentation in order to highlight a target object in a scene image in real life. time; and also receiving a second control command from the specified user and stopping the operation of the object segmentation algorithm in accordance with this second control command.

Согласно одному или нескольким вариантам настоящего изобретения, процедура отображения виртуального изображения в изображении сцены в реальном времени содержит: динамическое отображение виртуального изображения в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the procedure for displaying a virtual image in a real-time scene image comprises: dynamically displaying a virtual image in a real-time scene image.

Во втором аспекте, согласно одному или нескольким вариантам настоящего изобретения, предложено устройство отображения на основе дополненной реальности, содержащее: модуль определения целевого объекта, конфигурированный для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, для получения изображения целевого объекта; модуль генерирования, конфигурированный для генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта; и модуль отображения, конфигурированный для отображения виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности.In a second aspect, according to one or more embodiments of the present invention, an augmented reality display device is provided, comprising: a target object determination module configured to perform object segmentation to highlight a target object in a real-time scene image captured by the imaging module, to obtain an image of the target object; a generating unit configured to generate a virtual image corresponding to the target object based on the image of the target object; and a display module configured to display a virtual image in a real-time scene image based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль генерирования, при генерировании виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта, конфигурирован для: синтеза изображения целевого объекта с анимационным материалом с целью генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module, when generating a virtual image corresponding to a target object based on the image of the target object, is configured to: synthesize the image of the target object with animation material to generate a virtual image corresponding to the target object.

Предварительно заданный анимационный материал представляет собой анимационный материал конечностей относительно тела и/или анимационный материал мимики для виртуального изображения.The preset animation material is the animation material of the limbs relative to the body and/or the animation material of facial expressions for the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль генерирования, при синтезе изображение целевого объекта с анимационным материалом, конфигурирован для: получения анимационного материала конечностей относительно тела и/или анимационного материала мимики; определения нескольких соединительных точек на изображении целевого объекта на основе изображения целевого объекта; и синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module, when synthesizing a target object image with animation material, is configured to: obtain limb-relative-to-body animation material and/or facial expression animation material; determining a plurality of connection points on the image of the target object based on the image of the target object; and synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object by means of said several connection points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, модуль определения целевого объекта, при осуществлении сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, захваченном модулем для получения изображений, для получения изображения целевого объекта, конфигурирован для: выполнения алгоритма сегментации объектов для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени, получая тем самым маску и ограничивающую рамку изображения целевого объекта и получая текстуру внутренней области маски.According to one or more embodiments of the present invention, a target object determination module, when performing object segmentation to extract a target object in a real-time scene image captured by the imaging module to obtain an image of the target object, is configured to: execute an object segmentation algorithm to perform object segmentation to isolate a target object in a real-time scene image, thereby obtaining a mask and bounding box of the image of the target object, and obtaining the texture of the inner area of the mask.

Согласно одному или нескольким вариантам настоящего изобретения, модуль генерирования, при синтезе анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту, конфигурирован для: синтеза анимационного материала конечностей относительно тела и/или анимационного материала мимики с текстурой внутренней области маски посредством указанных нескольких соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.According to one or more embodiments of the present invention, the generation module, when synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the image of the target object through several connection points for generating a virtual image corresponding to the target object, is configured to: synthesize the animation material of the limbs relative to the body and/or animation material of facial expressions with the texture of the inner area of the mask through the specified several connecting points to generate a virtual image corresponding to the target object.

Согласно одному или нескольким вариантам настоящего изобретения, модуль генерирования далее конфигурирован для: регулирования размера анимационного материала на основе размера ограничительной рамки; и регулирования позиций указанных нескольких соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине ограничительной рамки.According to one or more embodiments of the present invention, the generation module is further configured to: adjust the size of the animation material based on the size of the bounding box; and adjusting the positions of said plurality of connection points in the target object image based on the axis of symmetry and the length to width ratio of the bounding box.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения далее конфигурирован для: воспроизведения анимационного материала с целью осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more embodiments of the present invention, the display module is further configured to: play animation material in order to control movements and/or facial expressions in the virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при воспроизведении анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении конфигурирован для: воспроизведения анимационного материала в соответствии с предварительно заданными анимационными кадрами анимационного материала для осуществления управления движениями и/или мимикой на виртуальном изображении; и/или генерирования и воспроизведения анимационных кадров анимационного материала на основе движений конечностей пользователя относительно его тела и/или мимики этого пользователя, для осуществления управления движениями и/или мимикой на виртуальном изображении.According to one or more variants of the present invention, the display module, when playing animation material to control movements and/or facial expressions on a virtual image, is configured to: play animation material in accordance with predefined animation frames of animation material to control movements and/or facial expressions on virtual image; and/or generating and playing animation frames of animation material based on the movements of the user's limbs relative to his body and/or facial expressions of this user, to control movements and/or facial expressions in a virtual image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при отображении виртуального изображения в изображении сцены в реальном времени на основе технологии отображения дополненной реальности, конфигурирован для: создания виртуальной плоскости в изображении сцены в реальном времени; генерирования 3D-пространства на этой виртуальной плоскости; и отображения виртуального изображения целевого объекта в сформированном 3D-пространстве на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, the display module, when displaying a virtual image in a real-time scene image based on an augmented reality display technology, is configured to: create a virtual plane in the real-time scene image; generating 3D space on this virtual plane; and displaying a virtual image of the target object in the generated 3D space based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при создании виртуальной плоскости на основе целевой области плоскости в изображении сцены в реальном времени, конфигурирован для: создания виртуальной плоскости на основе целевой области плоскости в случае обнаружения, что эта целевая область плоскости существует в изображении сцены в реальном времени, где эта целевая область плоскости представляет собой область плоскости, имеющую расстояние до модуля для получения изображений в пределах первого заданного диапазона расстояний, и/или область плоскости, расположенную в центральной области изображения сцены в реальном времени; либо создания виртуальной плоскости в конкретной позиции в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the display module, when creating a virtual plane based on a target plane area in a real-time scene image, is configured to: create a virtual plane based on a target plane area if it detects that the target plane area exists in the image a real-time scene, where the target plane area is a plane area having a distance to the imaging unit within a first predetermined distance range and/or a plane area located in a center real-time scene image area; or creating a virtual plane at a specific position in the real-time scene image.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при отображении виртуального изображения целевого объекта в сформированном 3D-пространстве на основе технологии отображения дополненной реальности, конфигурирован для определения целевой позиции в 3D-пространстве; и отображения виртуального изображения целевого объекта в целевой позиции в 3D-пространстве на основе технологии отображения дополненной реальности.According to one or more embodiments of the present invention, the display module, when displaying a virtual image of the target object in the generated 3D space based on the augmented reality display technology, is configured to determine the target position in the 3D space; and displaying a virtual image of the target object at the target position in 3D space based on the augmented reality display technology.

Согласно одному или нескольким вариантам настоящего изобретения, модуль, отображения при определении целевой позиции в 3D-пространстве, конфигурирован для: приема команды, специфицирующей позицию, от пользователя, установления трехмерной анкерной точки в трехмерном пространстве на основе позиционной точки, обозначенной командой, специфицирующей позицию, от пользователя, и использования этой трехмерной анкерной точки в качестве целевой позиции.According to one or more embodiments of the present invention, a display module for determining a target position in 3D space is configured to: receive a position specification command from a user, establish a 3D anchor point in 3D space based on the position point indicated by the position specification command, from the user, and using that 3D anchor point as the target position.

Согласно одному или нескольким вариантам настоящего изобретения, модуль определения целевого объекта далее конфигурирован для: приема первой команды управления от пользователя, и выполнения алгоритма сегментации объектов, предварительно загруженного в соответствии с этой первой командой управления, для осуществления сегментации объектов с целью выделения целевого объекта в изображении сцены в реальном времени; а также приема второй команды управления от указанного пользователя и остановки работы алгоритма сегментации объектов в соответствии с этой второй командой управления.According to one or more embodiments of the present invention, the target object determination module is further configured to: receive a first control command from the user, and execute an object segmentation algorithm preloaded in accordance with this first control command to perform object segmentation in order to highlight the target object in the image scenes in real time; and also receiving a second control command from the specified user and stopping the operation of the object segmentation algorithm in accordance with this second control command.

Согласно одному или нескольким вариантам настоящего изобретения, модуль отображения, при отображении виртуального изображения в изображении сцены в реальном времени, конфигурирован для: динамического отображения виртуального изображения в изображении сцены в реальном времени.According to one or more embodiments of the present invention, the display module, when displaying a virtual image in a real-time scene image, is configured to: dynamically display a virtual image in a real-time scene image.

В третьем аспекте, согласно одному или нескольким вариантам настоящего изобретения, предложено электронное устройство, содержащее: по меньшей мере один процессор и запоминающее устройство; это запоминающее устройство сохраняет выполняемые компьютером команды; по меньшей мере один процессор выполняет эти выполняемые компьютером команды, сохраняемые в запоминающем устройстве, чтобы это по меньшей мере один процессор осуществлял способ, описываемый в первом аспекте и различных возможных вариантах первого аспекта, приведенного выше.In a third aspect, according to one or more embodiments of the present invention, an electronic device is provided, comprising: at least one processor and a storage device; this storage device stores the commands executed by the computer; at least one processor executes these computer-executable instructions stored in the memory such that the at least one processor implements the method described in the first aspect and the various possible embodiments of the first aspect above.

В четвертом аспекте, согласно одному или нескольким вариантам настоящего изобретения, предложен читаемый компьютером носитель для хранения информации, этот читаемый компьютером носитель для хранения информации сохраняет выполняемые компьютером команды, так что при исполнении этих выполняемых компьютером команд процессором осуществляется способ, описываемый в первом аспекте и различных возможных вариантах первого аспекта, приведенного выше.In a fourth aspect, according to one or more embodiments of the present invention, there is provided a computer-readable information storage medium, the computer-readable information storage medium stores computer-executable instructions such that when these computer-executable instructions are executed by the processor, the method described in the first aspect and various possible variants of the first aspect above.

Приведенные выше описания являются всего лишь иллюстрациями альтернативных вариантов настоящего изобретения и пояснениями используемых технических принципов. Специалисты в рассматриваемой области должны понимать, что объем настоящего изобретения не исчерпывается техническими решениями, образованными конкретной комбинацией технических признаков, описываемых выше, и должен также охватывать другие технические решения. Образованные какой-либо комбинацией технических признаков, описываемых выше, или эквивалентных им признаков, без отклонения от концепции настоящего изобретения. Например, технические признаки, описываемые выше, могут быть взаимозаменяемыми с техническими признаками, имеющими функции, аналогичные тем, что описаны здесь, (но, не ограничиваясь этим) для образования новых технических решений.The above descriptions are merely illustrations of alternative embodiments of the present invention and explanations of the technical principles employed. Specialists in this field should understand that the scope of the present invention is not limited to technical solutions formed by a particular combination of technical features described above, and should also cover other technical solutions. Formed by any combination of the technical features described above, or equivalent features, without deviating from the concept of the present invention. For example, the technical features described above may be interchangeable with technical features having functions similar to those described herein (but not limited to) to form new technical solutions.

В дополнение к этому, хотя операции были здесь описаны в конкретном порядке, это не следует толковать как требование, чтобы эти операции обязательно осуществлялись именно в установленном здесь конкретном порядке или в последовательном порядке. В определенных обстоятельствах преимущества могут быть получены за счет использования многозадачности и параллельной обработки. Аналогично, хотя в приведенные выше описания включены некоторые специфичные подробности реализации, это не следует толковать как ограничения объема настоящего изобретения. Некоторые признаки, описываемые в контексте раздельных вариантов, могут быть объединены в одном варианте. И напротив, различные признаки, описываемые в контексте одного варианта, могут быть также реализованы в различных вариантах индивидуально, либо в нескольких вариантов в виде какой-либо подходящей субкомбинации.In addition, although the operations have been described here in a specific order, this should not be construed as a requirement that these operations must be carried out in the specific order established here or in sequential order. In certain circumstances, benefits can be obtained through the use of multitasking and parallel processing. Likewise, although some specific implementation details are included in the above descriptions, this should not be construed as limiting the scope of the present invention. Some features described in the context of separate options may be combined in one option. Conversely, various features described in the context of one embodiment may also be implemented individually in various variations, or in several variations in any suitable subcombination.

Хотя предмет настоящего изобретения был описан на языке, специфичном для описания структурных признаков и/или операций (действий) логических способов, следует понимать, что предмет изобретения, определяемый в прилагаемой Формуле изобретения, не обязательно ограничивается конкретными признаками или операциями, описываемыми выше. Скорее, конкретные признаки и действия, описываемые выше, являются только примерами форм для осуществления Формулы изобретения.Although the subject matter of the present invention has been described in language specific to describing structural features and/or operations (actions) of logical methods, it should be understood that the subject matter of the invention as defined in the appended Claims is not necessarily limited to the specific features or operations described above. Rather, the specific features and actions described above are only examples of forms for implementing the Claims.

Claims (57)

1. Способ отображения изображения на основе дополненной реальности, содержащий этапы, на которых:1. A method for displaying an image based on augmented reality, comprising the steps of: выполняют сегментацию объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем получения изображений, для получения изображения целевого объекта;performing object segmentation to extract a target object from a real-time scene image captured by the image acquisition module to obtain an image of the target object; генерируют виртуальное изображение, соответствующее целевому объекту, на основе изображения целевого объекта; иgenerating a virtual image corresponding to the target object based on the image of the target object; And отображают виртуальное изображение на изображении сцены в реальном времени на основе технологии отображения дополненной реальности;displaying a virtual image on a real-time scene image based on the augmented reality display technology; при этом на этапе отображения виртуального изображения на изображении сцены в реальном времени на основе технологии отображения дополненной реальности:while at the stage of displaying a virtual image on a real-time scene image based on augmented reality display technology: создают виртуальную плоскость на изображении сцены в реальном времени;create a virtual plane on the scene image in real time; генерируют трехмерное пространство на виртуальной плоскости; иgenerating three-dimensional space on a virtual plane; And отображают виртуальное изображение целевого объекта в трехмерном пространстве, сгенерированном на основе технологии отображения дополненной реальности; иdisplaying a virtual image of the target object in a three-dimensional space generated based on the augmented reality display technology; And на этапе отображения виртуального изображения целевого объекта в трехмерном пространстве, сгенерированном на основе технологии отображения дополненной реальности:at the stage of displaying a virtual image of the target object in a three-dimensional space generated on the basis of augmented reality display technology: определяют целевую позицию в трехмерном пространстве; иdetermine the target position in three-dimensional space; And отображают виртуальное изображение целевого объекта в целевой позиции в трехмерном пространстве на основе технологии отображения дополненной реальности.displaying a virtual image of the target object at the target position in three-dimensional space based on augmented reality display technology. 2. Способ по п. 1, в котором на этапе генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта:2. The method according to claim 1, wherein at the stage of generating a virtual image corresponding to the target object, based on the image of the target object: синтезируют изображение целевого объекта с анимационным материалом для генерирования виртуального изображения, соответствующего целевому объекту,synthesizing an image of the target object with animation material to generate a virtual image corresponding to the target object, при этом предварительно заданный анимационный материал содержит анимационный материал конечностей относительно тела и/или анимационный материал мимики виртуального изображения.wherein the predetermined animation material contains the animation material of the limbs relative to the body and/or the animation material of the mimics of the virtual image. 3. Способ по п. 2, в котором на этапе синтезирования изображения целевого объекта с анимационным материалом:3. The method according to claim 2, in which at the stage of synthesizing the image of the target object with animation material: получают анимационный материал конечностей относительно тела и/или анимационный материал мимики;receive animation material of limbs relative to the body and/or animation material of facial expressions; определяют множество соединительных точек на изображении целевого объекта на основе изображения целевого объекта; иdetermining a plurality of connection points on the image of the target object based on the image of the target object; And синтезируют анимационный материал конечностей относительно тела и/или анимационный материал мимики с изображением целевого объекта посредством указанного множества соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.synthesizing animation material of limbs relative to the body and/or animation material of facial expressions with the image of the target object by means of the specified set of connecting points to generate a virtual image corresponding to the target object. 4. Способ по п. 3, в котором на этапе сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем получения изображений, для получения изображения целевого объекта:4. The method according to claim 3, wherein in the step of segmenting objects to highlight the target object in the real-time image of the scene captured by the image acquisition module, to obtain an image of the target object: выполняют алгоритм сегментации объектов для выполнения сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени, получая тем самым маску и ограничивающую рамку изображения целевого объекта и получая текстуру внутренней области маски.executing an object segmentation algorithm to perform object segmentation to highlight a target object in a real-time scene image, thereby obtaining a mask and a bounding box of the target object image, and obtaining a texture of the inner area of the mask. 5. Способ по п. 4, в котором на этапе синтезирования анимационного материала конечностей относительно тела и/или анимационного материала мимики с изображением целевого объекта посредством множества соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту:5. The method according to claim 4, in which at the stage of synthesizing the animation material of the limbs relative to the body and / or the animation material of facial expressions with the image of the target object by means of a plurality of connecting points to generate a virtual image corresponding to the target object: синтезируют анимационный материал конечностей относительно тела и/или анимационный материал мимики с текстурой внутренней области маски посредством указанного множества соединительных точек для генерирования виртуального изображения, соответствующего целевому объекту.synthesizing the animation material of the limbs relative to the body and/or the animation material of facial expressions with the texture of the inner area of the mask by means of the specified set of connecting points to generate a virtual image corresponding to the target object. 6. Способ по п. 4 или 5, дополнительно содержащий этапы, на которых:6. The method according to claim 4 or 5, further comprising the steps of: регулируют размер анимационного материала на основе размера ограничительной рамки; иadjusting the size of the animation material based on the size of the bounding box; And регулируют позиции указанного множества соединительных точек на изображении целевого объекта на основе оси симметрии и отношения длины к ширине для ограничительной рамки.adjusting the positions of said plurality of connecting points on the image of the target object based on the axis of symmetry and the length-to-width ratio for the bounding box. 7. Способ по любому из пп. 2-6, дополнительно содержащий этап, на котором:7. The method according to any one of paragraphs. 2-6, further comprising the step of: воспроизводят анимационный материал для выполнения управления движениями и/или мимикой на виртуальном изображении.reproducing animation material to control movements and/or facial expressions on the virtual image. 8. Способ по п. 7, в котором на этапе воспроизведения анимационного материала для выполнения управления движениями и/или мимикой на виртуальном изображении:8. The method according to p. 7, in which at the stage of playback of the animation material to control movements and/or facial expressions on a virtual image: воспроизводят анимационный материал в соответствии с предварительно заданными анимационными кадрами анимационного материала для выполнения управления движениями и/или мимикой на виртуальном изображении; и/илиreproducing the animation material in accordance with predetermined animation frames of the animation material to perform motion and/or facial expression control on the virtual image; and/or генерируют и воспроизводят анимационные кадры на основе движений конечностей пользователя относительно тела и/или мимики пользователя для выполнения управления движениями и/или мимикой на виртуальном изображении.generating and reproducing animation frames based on the movements of the user's limbs relative to the body and/or facial expressions of the user in order to control movements and/or facial expressions in the virtual image. 9. Способ по п. 1, в котором на этапе создания виртуальной плоскости на основе целевой области плоскости на изображении сцены в реальном времени:9. The method according to claim. 1, in which at the stage of creating a virtual plane based on the target area of the plane on the scene image in real time: создают виртуальную плоскость на основе целевой области плоскости в случае обнаружения, что целевая область плоскости существует на изображении сцены в реальном времени, причем целевая область плоскости представляет собой область плоскости, расстояние от которой до модуля получения изображений находится в пределах первого заданного диапазона расстояний, и/или область плоскости, расположенную в центральной области изображения сцены в реальном времени; илиcreating a virtual plane based on the target area of the plane in case of detecting that the target area of the plane exists in the real-time image of the scene, and the target area of the plane is the area of the plane, the distance from which to the imaging module is within the first predetermined distance range, and/ or a plane area located in the central area of the real-time scene image; or создают виртуальную плоскость в конкретной позиции на изображении сцены в реальном времени.create a virtual plane at a specific position on the real-time scene image. 10. Способ по п. 1, в котором на этапе определения целевой позиции в трехмерном пространстве:10. The method according to claim 1, in which at the stage of determining the target position in three-dimensional space: принимают от пользователя команду определения позиции, устанавливают трехмерную анкерную точку в трехмерном пространстве на основе позиционной точки, инициированной командой определения позиции от пользователя, и используют трехмерную анкерную точку в качестве целевой позиции.receiving a position command from the user, setting a 3D anchor point in 3D space based on the position point initiated by the position command from the user, and using the 3D anchor point as a target position. 11. Способ по любому из пп. 1-10, дополнительно содержащий этапы, на которых:11. The method according to any one of paragraphs. 1-10, further comprising the steps of: принимают первую команду инициирования от пользователя и выполняют алгоритм сегментации объектов, предварительно загруженный в соответствии с первой командой инициирования, для выполнения сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени; иreceiving a first trigger command from the user, and executing an object segmentation algorithm previously loaded in accordance with the first trigger command to perform object segmentation to highlight a target object in a real-time scene image; And принимают от пользователя вторую команду инициирования и останавливают работу алгоритма сегментации объектов в соответствии со второй командой инициирования.receiving a second initiation command from the user and stopping the operation of the object segmentation algorithm in accordance with the second initiation command. 12. Способ по любому из пп. 1-11, в котором на этапе отображения виртуального изображения на изображении сцены в реальном времени:12. The method according to any one of paragraphs. 1-11, in which, in the step of displaying a virtual image on a real-time scene image: динамически отображают виртуальное изображение на изображении сцены в реальном времени.dynamically displaying the virtual image on the real-time scene image. 13. Устройство отображения на основе дополненной реальности, содержащее:13. Display device based on augmented reality, containing: модуль определения целевого объекта, выполненный с возможностью выполнения сегментации объектов для выделения целевого объекта на изображении сцены в реальном времени, захваченном модулем получения изображений, для получения изображения целевого объекта;a target object determination module, configured to perform object segmentation to extract a target object from a real-time image of the scene captured by the image acquisition module to obtain an image of the target object; модуль генерирования, выполненный с возможностью генерирования виртуального изображения, соответствующего целевому объекту, на основе изображения целевого объекта; иa generating module, configured to generate a virtual image corresponding to the target object based on the image of the target object; And модуль отображения, выполненный с возможностью отображения виртуального изображения на изображении сцены в реальном времени на основе технологии отображения дополненной реальности;a display module configured to display a virtual image on a real-time scene image based on the augmented reality display technology; при этом модуль отображения, при отображении виртуального изображения целевого объекта на изображении сцены в реальном времени на основе технологии отображения дополненной реальности, выполнен с возможностью:wherein the display module, when displaying the virtual image of the target object on the scene image in real time based on the augmented reality display technology, is configured to: создания виртуальной плоскости на изображении сцены в реальном времени;creating a virtual plane on the scene image in real time; генерирования трехмерного пространства на виртуальной плоскости; иgenerating three-dimensional space on a virtual plane; And отображения виртуального изображения целевого объекта в трехмерном пространстве, сгенерированном на основе технологии отображения дополненной реальности; иdisplaying a virtual image of the target object in a three-dimensional space generated based on the augmented reality display technology; And модуль отображения, при отображении виртуального изображения целевого объекта в трехмерном пространстве, сгенерированном на основе технологии отображения дополненной реальности, выполнен с возможностью:the display module, when displaying a virtual image of the target object in a three-dimensional space generated based on the augmented reality display technology, is configured to: определения целевой позиции в трехмерном пространстве; иdetermining the target position in three-dimensional space; And отображения виртуального изображения целевого объекта в целевой позиции в трехмерном пространстве на основе технологии отображения дополненной реальности.displaying a virtual image of the target object at the target position in three-dimensional space based on augmented reality display technology. 14. Электронное устройство отображения на основе дополненной реальности, содержащее:14. Electronic display device based on augmented reality, containing: по меньшей мере один процессор; иat least one processor; And запоминающее устройство,Memory device, причем запоминающее устройство хранит исполняемые компьютером команды; иwherein the storage device stores computer-executable instructions; And указанный по меньшей мере один процессор исполняет исполняемые компьютером команды, хранящиеся в запоминающем устройстве, чтобы вызывать выполнение указанным по меньшей мере одним процессором способа по любому из пп. 1-12.said at least one processor executes computer-executable instructions stored in a storage device to cause said at least one processor to execute the method of any one of claims. 1-12. 15. Читаемый компьютером носитель для хранения информации, причем читаемый компьютером носитель для хранения информации хранит исполняемые компьютером команды, причем при исполнении исполняемых компьютером команд процессором выполняется способ по любому из пп. 1-12.15. A computer-readable storage medium, wherein the computer-readable storage medium stores computer-executable instructions, wherein when the computer-executable instructions are executed by the processor, a method according to any one of claims is performed. 1-12.