RU2782312C1

RU2782312C1 - Image processing method and display device mounted on the head

Info

Publication number: RU2782312C1
Application number: RU2021130378A
Authority: RU
Inventors: Тяньин ЛЯН; Уцзюнь ЛАЙ
Original assignee: Хуавей Текнолоджиз Ко., Лтд.
Priority date: 2019-03-25
Filing date: 2020-03-14
Publication date: 2022-10-25

Abstract

FIELD: imaging technology.

SUBSTANCE: display device mounted on the head contains two modules, each module containing a camera module, a display screen and a processing module. The camera module contains the first and second cameras, while the field of view of the first camera is larger than the field of view of the second camera. Each module is designed with the possibility of implementing an image processing method containing the steps at which: the first image having the first resolution is obtained using the first camera, and the second image having the second resolution is obtained using the second camera, and the first resolution is less than the second resolution; a fourth image is generated using the processing module based on the first and second images, and the fourth image is a real image of the scene and contains an image with the first resolution and an image with the second resolution; a fifth image is generated using the processing module based on the fourth image and the third image containing a virtual object, and the fifth image contains a real image of the scene and a virtual object; and the fifth image is displayed on the module display screen.

EFFECT: improvement in resolution while reducing the amount of data and the display delay.

22 cl, 9 dwg

Description

Эта заявка испрашивает приоритет китайской заявки на патент № 201910228846.3, поданной в Национальное управление интеллектуальной собственности Китая 25 марта 2019 г. И озаглавленной "Способ обработки изображения и устройство отображения, устанавливаемое на голове", которая полностью включена в настоящий документ посредством ссылки.This application claims the priority of Chinese Patent Application No. 201910228846.3 filed with the National Intellectual Property Administration of China on March 25, 2019 and entitled "Image Processing Method and Head-mounted Display Device", which is hereby incorporated by reference in its entirety.

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Эта заявка относится к области коммуникационных технологий и, в частности, к способу обработки изображения и устройству отображения, устанавливаемому на голову.This application relates to the field of communication technology and, in particular, to an image processing method and a head-mounted display device.

Уровень техникиState of the art

Дополненная реальность (Augmented Reality, AR) – это технология, которая вычисляет местоположение и угол камеры видео в реальном времени и добавляет соответствующее изображение, видео или 3D (трехмерную) модель. Типичное устройство отображения, устанавливаемое на голове, на основе перспективы видео (или называемое дисплеем, устанавливаемым на голову (Head-mounted display, HMD)), может захватывать реальное изображение сцены с помощью камеры, а затем объединять захваченное изображение с виртуальным объектом и отображать составное изображение на экране устанавливаемого на голове устройства отображения.Augmented Reality (AR) is a technology that calculates the location and camera angle of a live video and adds the corresponding image, video, or 3D (three-dimensional) model. A typical head-mounted display device based on video perspective (or called a head-mounted display (HMD)) can capture a real image of a scene with a camera, and then combine the captured image with a virtual object and display the composite the image on the screen of a head-mounted display device.

Когда пользователь носит устанавливаемое на голове устройство отображения, экран устанавливаемого на голове устройства отображения находится близко к человеческим глазам, и когда человеческий глаз чувствует оптимальную четкость, угловое разрешение изображения может достигать 60 PPD (пикселей на градус). Однако ни одно существующее устанавливаемое на голове устройство отображения не может удовлетворить требованиям к разрешению. Если разрешение реального изображения сцены, захваченного камерой, улучшается, то существенно увеличивается объем данных при обработке изображения и сложность обработки изображения, вызывая такие проблемы, как увеличенная задержка отображения и головокружение пользователя.When the user wears the head-mounted display device, the screen of the head-mounted display device is close to human eyes, and when the human eye senses optimal clarity, the image angular resolution can reach 60 PPD (pixels per degree). However, no existing head-mounted display device can satisfy the resolution requirement. If the resolution of the actual image of the scene captured by the camera is improved, the amount of image processing data and the complexity of image processing are greatly increased, causing problems such as increased display lag and user dizziness.

Сущность изобретенияThe essence of the invention

В настоящей заявке предложен способ обработки изображения и устройство отображения, устанавливаемое на голове, чтобы удовлетворить требования к просмотру изображения пользователем с помощью устройства отображения, устанавливаемого на голове, а также помочь уменьшить объем данных и задержку отображения.The present application proposes an image processing method and a head-mounted display device to meet the requirements for viewing an image by a user using a head-mounted display device, and to help reduce data volume and display delay.

В соответствии с первым аспектом в этой заявке предложен способ обработки изображения, применяемый в устройстве отображения, устанавливаемом на голове. В устройстве отображения, устанавливаемом на голове, расположено два модуля, причем каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, и каждый модуль выполняет следующий способ: в ответ на обнаруженную операцию запуска первая камера собирает первое изображение первого разрешения, а вторая камера собирает второе изображение второго разрешения, где первое разрешение меньше второго; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.According to a first aspect, this application proposes an image processing method for use in a head-mounted display device. The head-mounted display device has two modules, each module including a camera module, a display screen corresponding to the camera module, and a processing module, the camera module including a first camera and a second camera, the field of view of the first camera greater than the field of view of the second camera, and each module performs the following method: in response to the detected trigger operation, the first camera collects the first image of the first resolution, and the second camera collects the second image of the second resolution, where the first resolution is less than the second; the processing module generates a fourth image based on the first image and the second image, where the fourth image is a real scene image and includes a first resolution image and a second resolution image; the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, where the fifth image includes the real scene image and the virtual object; and the fifth image is displayed on the display screen of the module.

Понятно, что, поскольку поле обзора первого изображения, полученного первой камерой, велико, то поле обзора фоновой области на пятом изображении велико, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, поскольку второе разрешение второго изображения, захваченного второй камерой, является высоким, изображение центральной области в пятом изображении имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.It is understood that since the field of view of the first image acquired by the first camera is large, the field of view of the background area in the fifth image is large, so that a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. In addition, since the second resolution of the second image captured by the second camera is high, the image of the central region in the fifth image has a high resolution, so that a user can be provided with a high-definition image within the depth of field of the line of sight. It is understood that the technical solution presented in this application helps to improve the sense of immersion, the sense of reality and the visual experience of the user.

Кроме того, поскольку первое разрешение первого изображения, полученного первой камерой, низкое, изображение фоновой области в пятом изображении имеет низкое разрешение, так что может быть уменьшен объем данных во время обработки изображения и сложность вычислений, тем самым помогая уменьшить задержку при отображении.In addition, since the first resolution of the first image acquired by the first camera is low, the image of the background area in the fifth image has a low resolution, so that the amount of data during image processing and computational complexity can be reduced, thereby helping to reduce display latency.

В возможной реализации расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.In a possible implementation, the distance from the optical center of the first chamber of one module to the optical center of the first chamber of another module is between 61 millimeters and 65 millimeters.

Понятно, что расстояние между первыми камерами в двух модулях камеры может согласовываться с расстоянием между зрачками двух глаз пользователя, так что можно смоделировать реальную сцену, просматриваемую двумя глазами пользователя.It is understood that the distance between the first cameras in the two camera modules can be consistent with the distance between the pupils of the user's two eyes, so that the real scene viewed by the user's two eyes can be simulated.

В возможной реализации расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.In a possible implementation, the distance from the optical center of the first chamber to the optical center of the second chamber in each module is less than 20 millimeters.

Понятно, что вторые камеры в двух модулях камер используют для получения изображений в областях визуальной фокусировки пользователя. Следовательно, в одном и том же модуле камеры вторая камера находится как можно ближе к первой камере.It will be understood that the second cameras in the two camera modules are used to acquire images in areas of visual focus of the user. Therefore, in the same camera module, the second camera is as close as possible to the first camera.

В возможной реализации каждый модуль также включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.In an exemplary implementation, each module also includes an eyepiece and a display screen is positioned between the eyepiece and the camera module.

В возможной реализации оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.In an exemplary embodiment, the optical center of the eyepiece, the optical center of the display screen, and the optical center of the first camera in each module are in a straight line.

В этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием первого экрана дисплея и второго экрана дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры первого экрана дисплея и второго экрана дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, пользователь отдельно просматривает изображения на дисплеях, используя первый окуляр и второй окуляр. Следовательно, первый окуляр и второй окуляр также должны быть соответственно выровнены с центрами левого и правого глаза пользователя.In this application, a large field of view camera in the left camera module and a large field of view camera in the right camera module are used to simulate two eyes of a user to photograph real scene images. Therefore, the optical centers of the two cameras are respectively aligned with the centers of the user's left and right eyes. In addition, since real images of the scene are summed up using the first display screen and the second display screen so that the user can feel immersed and experience reality, the optical centers of the first display screen and the second display screen also need to be respectively aligned with the centers of the left and right eyes. user. In addition, the user separately views images on the displays using the first eyepiece and the second eyepiece. Therefore, the first eyepiece and the second eyepiece must also be respectively aligned with the centers of the user's left and right eyes.

В возможной реализации генерация модулем обработки четвертого изображения на основе первого изображения и второго изображения включает в себя следующее: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.In an exemplary implementation, the processing module's generation of a fourth image based on the first image and the second image includes: the processing module adjusts the viewing angle of the second image to be the same as the viewing angle of the first image; and generates a fourth image based on the adjusted second image and the first image.

Второе изображение и первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять.The second image and the first image have the same photographed object, but there is a certain difference in the angle of view between the images of the same photographed object in the two images due to the different arrangement of the first camera and the second camera. Therefore, the viewing angles of the two images need to be aligned.

В возможной реализации регулировка модулем обработки угла обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения, включает в себя следующее: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.In a possible implementation, adjusting the second image's viewing angle by the processing module to be the same as the first image's viewing angle includes the following: the processing module rotates, moves, and calibrates the non-coplanar lines in the second image so that the second image's viewing angle is the same. , as the angle of view of the first image.

В возможной реализации генерация модулем обработки четвертого изображения на основе скорректированного второго изображения и первого изображения включает в себя следующее: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.In an exemplary implementation, the processing module's generation of a fourth image based on the corrected second image and the first image includes the following: the processing module determines as target areas an area in the corrected second image and an area in the first image that have overlapping viewing angles; and replaces the target area image in the first image with the adjusted second image.

Изображение целевой области на первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.The image of the target area in the first image may be removed, and then may be filled with the image of the target area in the second image obtained after the alignment of the viewing angle. After filling, in order to avoid such a problem as the overlapping feeling caused by the image composition process, the edge positions of the composition of the two images (namely, the edge positions of the target areas) are mixed using a weighted blending method, so that the final composite image (namely, the fourth image) is more natural and real.

Способ компоновки изображения может представлять собой один или несколько из следующих: технология прямого вырезания-вставки (cut-paste), альфа-смешивание (alpha blending), многополосное смешивание (multiband blending) или пуассоновское смешивания (poisson blending). В этой заявке не ограничен конкретный способ компоновки изображения.The image composition method may be one or more of the following: direct cut-paste technology, alpha blending, multiband blending, or poisson blending. This application is not limited to a particular way of arranging an image.

В возможной реализации, перед тем, как модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, способ также включает в себя следующее: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.In an exemplary implementation, before the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, the method also includes: based on the position information of the head-mounted display device and the first image, the processing module generates a third image that includes the virtual object.

В возможной реализации создание пятого изображения на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, включает в себя следующее: регулируют разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.In a possible implementation, generating a fifth image based on a fourth image and a third image that includes the virtual object includes: adjusting the resolution of the third image based on the first resolution of the first image, and/or adjusting the shadow of the virtual object in the third image based on information about light in the first image; and generating a fifth image based on the fourth image and the corrected third image.

В соответствии со вторым аспектом в этой заявке предложено устройство отображения, устанавливаемое на голове, включающее в себя два модуля и память. Каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, память выполнена с возможностью хранения компьютерного программного кода, причем компьютерный программный код включает в себя компьютерную инструкцию, и когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, получает возможность выполнять следующие операции: в ответ на обнаруженную операцию запуска первая камера получает первое изображение первого разрешения, а вторая камера получает второе изображение второго разрешения, где первое разрешение меньше второго разрешения; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.According to a second aspect, this application provides a head mounted display device including two modules and a memory. Each module includes a camera module, a display screen corresponding to the camera module, and a processing module, the camera module includes a first camera and a second camera, the field of view of the first camera is larger than the field of view of the second camera, the memory is configured to store computer program code, the computer program code including a computer instruction, and when the processing unit reads the computer instruction from the memory, each unit in the head mounted display device is enabled to perform the following operations: in response to the detected triggering operation, the first camera receives the first the image of the first resolution, and the second camera receives the second image of the second resolution, where the first resolution is less than the second resolution; the processing module generates a fourth image based on the first image and the second image, where the fourth image is a real scene image and includes a first resolution image and a second resolution image; the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, where the fifth image includes the real scene image and the virtual object; and a fifth image is displayed on the display screen of the module.

В возможной реализации, когда устройство отображения, устанавливаемое на голове, расположено горизонтально, линия соединения между оптическим центром первой камеры и оптическим центром второй камеры в каждом модуле параллельна горизонтальной плоскости.In an exemplary implementation, when the head-mounted display device is positioned horizontally, the connection line between the optical center of the first camera and the optical center of the second camera in each module is parallel to the horizontal plane.

В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.In an exemplary implementation, when the processing module reads the computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module adjusts the viewing angle of the second image to be the same as the viewing angle of the first image; and generates a fourth image based on the adjusted second image and the first image.

В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.In an exemplary implementation, when the processing module reads the computer instruction from memory, each module in the head-mounted display device is also enabled to perform the following operation: the processing module rotates, moves, and calibrates the non-coplanar lines in the second image so that the viewing angle of the second image is the same as the viewing angle of the first image.

В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.In an exemplary implementation, when the processing module reads a computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module determines as target areas an area in the corrected second image and an area in the first image, which have overlapping viewing angles; and replaces the target area image in the first image with the adjusted second image.

В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.In an exemplary implementation, when the processing module reads a computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operation: based on the position information of the head-mounted display device and the first image, the processing module generates a third image, which includes a virtual object.

В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует разрешение третьего изображения на основе первого разрешения первого изображения и/или регулирует тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерирует пятое изображение на основе четвертого изображения и скорректированного третьего изображения.In an exemplary implementation, when the processing module reads the computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module adjusts the resolution of the third image based on the first resolution of the first image and/or adjusts the shadow of the virtual object in a third image based on the light information in the first image; and generates a fifth image based on the fourth image and the adjusted third image.

В соответствии с третьим аспектом предложен компьютерный носитель информации, включающий в себя компьютерные инструкции. Когда компьютерные инструкции выполняют на терминале, терминал может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.According to a third aspect, a computer storage medium is provided, including computer instructions. When computer instructions are executed at the terminal, the terminal may perform the method according to the first aspect, or any of the possible implementations of the first aspect.

В соответствии с четвертым аспектом предложен компьютерный программный продукт. Когда компьютерный программный продукт выполняют на компьютере, компьютер может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.According to the fourth aspect, a computer program product is provided. When the computer program product is executed on a computer, the computer may perform the method according to the first aspect, or any of the possible implementations of the first aspect.

Краткое описание чертежейBrief description of the drawings

На фиг. 1A приведен схематический вид полей зрения различных областей изображения в соответствии с вариантом осуществления этой заявки;In FIG. 1A is a schematic view of the fields of view of various areas of the image in accordance with an embodiment of this application;

на фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 1B is a schematic structural view of a head-mounted display device according to an embodiment of this application;

на фиг. 2A приведен схематический структурный вид модулей камеры некоторых устанавливаемых на голове устройств отображения в соответствии с вариантом осуществления этой заявки;in fig. 2A is a schematic structural view of camera modules of some head-mounted display devices in accordance with an embodiment of this application;

на фиг. 2B приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 2B is a schematic structural view of another head mounted display device according to an embodiment of this application;

на фиг. 3 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 3 is a schematic structural view of another head-mounted display device according to an embodiment of this application;

на фиг. 4 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 4 is a schematic structural view of another head-mounted display device according to an embodiment of this application;

на фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 5 is a schematic structural view of another head mounted display device according to an embodiment of this application;

на фиг. 6 приведена схематическая блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки; иin fig. 6 is a schematic flowchart of an image processing method according to an embodiment of this application; and

на фиг. 7 приведен схематический вид процесса обработки изображения в соответствии с вариантом осуществления этой заявки.in fig. 7 is a schematic view of an image processing process according to an embodiment of this application.

Описание вариантов осуществленияDescription of Embodiments

Ниже в вариантах осуществления настоящей заявки описаны технические решения со ссылкой на сопровождающие чертежи вариантов осуществления настоящей заявки. В описании вариантов осуществления этой заявки "/" означает "или", если не указано иное. Например, A/B может представлять A или B. В этой спецификации "и/или" описывает только отношение ассоциации для описания связанных объектов и представляет, что могут существовать три отношения. Например, A и/или B может представлять следующие три случая: Имеется только A, имеются и A, и B, и имеется только B.Below in the embodiments of the present application, technical solutions are described with reference to the accompanying drawings of the embodiments of the present application. In the description of the embodiments of this application, "/" means "or" unless otherwise indicated. For example, A/B can represent A or B. In this specification, "and/or" only describes an association relation for describing related objects, and represents that three relations can exist. For example, A and/or B could represent the following three cases: There is only A, there are both A and B, and there is only B.

Следующие термины "первый" и "второй" предназначены только для целей описания, и их не следует понимать как указание или значение относительной важности или неявное указание количества указанных технических признаков. Следовательно, признак, ограниченный "первым" или "вторым", может явно или неявно включать в себя один или несколько признаков. В описании вариантов осуществления этой заявки, если не указано иное, "несколько" означает два или более.The following terms "first" and "second" are for purposes of description only and should not be understood as an indication or meaning of relative importance or an implicit indication of the number of said technical features. Therefore, a feature limited to "first" or "second" may explicitly or implicitly include one or more features. In the description of embodiments of this application, unless otherwise indicated, "several" means two or more.

В вариантах осуществления этой заявки такое слово, как "пример" или "например", используют для представления примера, иллюстрации или описания. Любой вариант осуществления или конструктивное решение, описанные как "пример" или "например" в вариантах осуществления этой заявки, не следует считать более предпочтительными или имеющими больше преимуществ, чем другой вариант осуществления или конструктивное решение. А именно, использование таких слов, как "пример" или "например", предназначено для представления сравнительной концепции определенным образом.In embodiments of this application, a word such as "example" or "for example" is used to represent an example, illustration, or description. Any embodiment or design described as "example" or "for example" in the embodiments of this application should not be considered preferable or more advantageous than another embodiment or design. Namely, the use of words such as "example" or "for example" is intended to represent a comparative concept in a certain way.

Разрешение изображения современных устройств отображения, устанавливаемых на голове, как правило, не может удовлетворить требованию пользователя к четкости изображения во время просмотра с близкого расстояния. Кроме того, простое повышение разрешения изображения вызывает такие проблемы, как увеличение объема данных и сложность обработки изображения. Считается, что человеческий глаз обладает такой визуальной особенностью: во время наблюдения область непосредственно перед глазом пользователя обычно является областью визуального фокуса. Эта часть области воспринимается наиболее четко и требует высокого разрешения изображения для устройства отображения, устанавливаемого на голове. Однако другая область, видимая глазом, не воспринимается четко пользователем и требует низкого разрешения изображения для устройства отображения, устанавливаемого на голове. То есть изображение, отображаемое на устанавливаемом на голове устройстве отображения, может быть разделено на центральную область и фоновую область. Как показано на фиг. 1A, изображение, отображаемое на устанавливаемом на голове устройстве отображения, включает в себя на центральную область и фоновую область. Центральная область является областью визуального фокуса пользователя и может обеспечивать изображение с относительно высоким разрешением, чтобы соответствовать требованию четкости для глаза пользователя во время просмотра с близкого расстояния. Фоновая область представляет собой часть, отличную от центральной области изображения, и может предоставлять только изображение со сравнительно низким разрешением, чтобы уменьшить объем данных и сложность обработки изображения, выполняемой устройством отображения, устанавливаемым на голове. Другими словами, разрешение центральной области выше, чем разрешение фоновой области. Следует отметить, что на фиг. 1A для иллюстрации области визуального фокуса (а именно, центральной области) глаза пользователя используют прямоугольник, и его в основном используют для представления приблизительного местоположения центральной области в изображении, отображаемом на устройстве отображения, устанавливаемом на голове. Это не ограничивает форму области визуального фокуса человеческого глаза пользователя.The image resolution of modern head-mounted display devices generally cannot meet the user's requirement for image clarity during close-up viewing. In addition, simply increasing the resolution of an image causes problems such as an increase in the amount of data and complexity in image processing. It is believed that the human eye has this visual feature: during observation, the area directly in front of the user's eye is usually the area of visual focus. This part of the area is perceived most clearly and requires high image resolution for a head-mounted display device. However, the other area visible to the eye is not clearly perceived by the user and requires a low image resolution for a head-mounted display device. That is, an image displayed on the head-mounted display device can be divided into a center area and a background area. As shown in FIG. 1A, an image displayed on the head-mounted display device includes a center area and a background area. The central area is the user's visual focus area and can provide a relatively high resolution image to meet the clarity requirement of the user's eye during close viewing. The background area is a part other than the central area of the image, and can only provide a relatively low resolution image in order to reduce the amount of data and the complexity of image processing performed by the head-mounted display device. In other words, the resolution of the center area is higher than the resolution of the background area. It should be noted that in FIG. 1A, a rectangle is used to illustrate the visual focus area (namely, the central area) of the user's eye, and it is mainly used to represent the approximate location of the central area in an image displayed on a head-mounted display device. This does not restrict the shape of the visual focus area of the user's human eye.

Кроме того, считают, что поле зрения человеческого глаза сравнительно большое и может достигать 180 градусов, но поле зрения обычного устройства отображения, устанавливаемого на голове, сравнительно мало, и, следовательно, с обеих сторон может появиться сравнительно большое количество слепых областей, когда пользователь использует устройство отображения, устанавливаемое на голове, для наблюдения, вызывая у пользователя недостаточное ощущение погружения. В настоящей заявке предложено использовать камеру с большим полем обзора для захвата изображения со сравнительно большим полем обзора (изображения, которое включает в себя фоновую область), причем изображение с большим полем обзора обычно имеет низкое разрешение; и одновременно использовать камеру с небольшим полем обзора для захвата изображения центральной области высокой четкости. На изображении, показанном на фиг. 1А, поле обзора б, соответствующее фоновой области, больше, чем поле обзора в, соответствующее центральной области.In addition, it is believed that the field of view of the human eye is relatively large and can reach 180 degrees, but the field of view of a conventional head-mounted display device is relatively small, and therefore a relatively large number of blind areas may appear on both sides when the user uses a head-mounted display device for observation, causing the user to experience a lack of immersive feeling. In the present application, it is proposed to use a large field of view camera to capture a relatively large field of view image (an image that includes a background area), where the large field of view image is usually of low resolution; and at the same time use a camera with a small field of view to capture a high-definition image of the central area. In the image shown in Fig. 1A, the field of view b corresponding to the background area is larger than the field of view c corresponding to the central area.

Следует отметить, что поле обзора используют для обозначения максимального диапазона углов, который может быть сфотографирован камерой во время фотографирования изображения. Если объект, который нужно сфотографировать, попадает в диапазон углов, то объект, который нужно сфотографировать, захватывают камерой, и затем он присутствует на изображении предварительного просмотра. Если подлежащий фотографированию объект выходит за пределы диапазона углов, то сфотографированный объект не захватывают устройством захвата изображения; другими словами, отсутствует на изображении предварительного просмотра. Обычно камера с большим полем обзора соответствует большему диапазону фотографирования и меньшему фокусному расстоянию, а камера с меньшим полем обзора соответствует меньшему диапазону фотографирования и большему фокусному расстоянию.It should be noted that the field of view is used to refer to the maximum range of angles that can be photographed by the camera while photographing an image. If the object to be photographed falls within the angle range, then the object to be photographed is captured by the camera and then present in the preview image. If the object to be photographed is out of the range of angles, the photographed object is not captured by the image pickup device; in other words, missing from the preview image. Generally, a camera with a larger field of view corresponds to a larger photographing range and a shorter focal length, while a camera with a smaller field of view corresponds to a smaller photographing range and a longer focal length.

Обычно поле обзора включает в себя угол в горизонтальном направлении и угол в вертикальном направлении. В этой заявке угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены отдельно с использованием двух полей обзора, или угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены с использованием одного поля обзора. Для простоты описания в этой заявке все описания ниже приведены на примере того, что одно поле обзора представляет как угол в горизонтальном направлении, так и угол в вертикальном направлении. Например, как показано на фиг. 1A, поле обзора б представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения фоновой области), снятого камерой с большим полем обзора, и может представлять как угол в горизонтальном направлении, так и угол в вертикальном направлении. Поле обзора в представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения центральной области), снятого камерой с малым полем обзора, и может представлять как угловую ширину в горизонтальном направлении, так и угловую ширину в вертикальном направлении.Typically, the field of view includes an angle in the horizontal direction and an angle in the vertical direction. In this application, the angle in the horizontal direction and the angle in the vertical direction may be represented separately using two fields of view, or the angle in the horizontal direction and the angle in the vertical direction may be represented using one field of view. For ease of description in this application, all descriptions below are exemplified by one field of view representing both an angle in the horizontal direction and an angle in the vertical direction. For example, as shown in FIG. 1A, the field of view b is the angle corresponding to the diagonal lines of the two edges of the image (namely, the image of the background area) captured by the large field of view camera, and can represent both the angle in the horizontal direction and the angle in the vertical direction. The field of view β is the angle corresponding to the diagonal lines of the two edges of the image (namely, the image of the center area) captured by the small field of view camera, and can represent both the angular width in the horizontal direction and the angular width in the vertical direction.

В этой заявке "поле обзора" также может называться таким словом, как "диапазон поля обзора" или "диапазон поля зрения". Название "поля обзора" не ограничено в данном описании при условии, что выражена вышеупомянутая концепция.In this application, "field of view" may also be referred to by a word such as "field of view range" or "field of view range". The name "field of view" is not limited in this specification as long as the above concept is expressed.

Затем изображение с большим полем обзора совмещают с изображением центральной области высокой четкости для получения реального изображения сцены. Затем изображение, которое включает в себя виртуальный объект, генерируют на основе полученной информации о положении устройства отображения, устанавливаемого на голове, и изображения с большим полем обзора. Наконец, изображение, которое включает в себя виртуальный объект, также комбинируют с изображением реальной сцены, полученным после первой композиции, для получения изображения, которое включает в себя реальную сцену и виртуальный объект, и изображение отображают на устройстве отображения, устанавливаемом на голове. В этом случае поле зрения отображаемого изображения является сравнительно большим и может быть близко к полю зрения человеческого глаза, насколько это возможно. Кроме того, разрешение изображения в области визуального фокуса человеческого глаза является сравнительно высоким. Это соответствует требованию пользователя к четкости при просмотре изображений с близкого расстояния, тем самым значительно улучшая ощущение погружения пользователя и улучшая визуальное восприятие.Then, the large field of view image is superimposed with the image of the central high definition region to obtain a real image of the scene. Then, an image that includes the virtual object is generated based on the obtained position information of the head-mounted display device and the large field of view image. Finally, the image that includes the virtual object is also combined with the image of the real scene obtained after the first composition to obtain an image that includes the real scene and the virtual object, and the image is displayed on the head-mounted display device. In this case, the field of view of the displayed image is relatively large and can be as close to the field of view of the human eye as possible. In addition, the resolution of the image in the region of visual focus of the human eye is relatively high. This meets the user's requirement for clarity when viewing images at close range, thereby greatly improving the user's immersive feeling and enhancing the visual experience.

Технические решения, предложенные в вариантах осуществления этой заявки, могут быть применены к устройству отображения, устанавливаемому на голове, или тому подобному в таком сценарии, как виртуальная реальность (Virtual Reality, VR)/дополненная реальность (Augmented Reality, AR)/смешанная реальность (Mixed Reality, MR). Конкретная форма устройства отображения, устанавливаемого на голове, которая выполняет технические решения, не ограничена в этой заявке.The technical solutions proposed in the embodiments of this application can be applied to a head-mounted display device or the like in a scenario such as virtual reality (Virtual Reality, VR) / augmented reality (Augmented Reality, AR) / mixed reality ( Mixed Reality, MR). The specific form of the head-mounted display device that implements the technical solutions is not limited in this application.

На фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки. Устройство 100 отображения, устанавливаемое на голове, включает в себя корпус 110 шлема и ремень 140. Ремень 140 выполнен с возможностью ношения устанавливаемого на голове устройства 100 отображения на голове пользователя. Корпус 110 шлема имеет переднюю панель 120 и заднюю панель 130 напротив передней панели 120. Передняя панель 120 представляет собой поверхность, удаленную от пользователя, когда пользователь носит устройство 100 отображения, устанавливаемое на голове. Задняя панель 130 представляет собой поверхность, расположенную ближе к пользователю, когда пользователь носит устройство 100 отображения, устанавливаемое на голове.In FIG. 1B is a schematic structural view of a head-mounted display device according to an embodiment of this application. The head-mounted display device 100 includes a helmet body 110 and a belt 140. The belt 140 is configured to wear the head-mounted display device 100 on a user's head. The helmet body 110 has a front panel 120 and a back panel 130 opposite the front panel 120. The front panel 120 is a surface away from the user when the user is wearing the head mounted display device 100. The back panel 130 is a surface closer to the user when the user is wearing the head mounted display device 100 .

На передней панели 120 расположено два модуля камеры: модуль 150 левой камеры и модуль 160 правой камеры, чтобы захватывать реальные изображения сцены перед пользователем. Левый модуль 150 камеры расположен перед левым глазом пользователя, а правый модуль 160 камеры расположен перед правым глазом пользователя. Каждый модуль камеры включает в себя по меньшей мере две камеры, и по меньшей мере две камеры включают в себя по меньшей мере одну камеру с большим полем обзора и по меньшей мере одну камеру с малым полем обзора. По меньшей мере одна камера с большим полем обзора (например, имеющая поле зрения от 100 градусов до 200 градусов и разрешение от VGA до 720p) представляет собой, например, камеру 151 и камеру 161. По меньшей мере одна камера с малым полем обзора (например, имеющая поле зрения от 20 градусов до 60 градусов и разрешение от 720p до 2Kp) представляет собой, например, камеру 152 и камеру 162. Изображение, полученное камерой с большим полем обзора, имеет сравнительно большое поле зрения и сравнительно низкое разрешение. Изображение, полученное камерой с малым полем обзора, имеет сравнительно небольшое поле зрения и сравнительно высокое разрешение.The front panel 120 has two camera modules, a left camera module 150 and a right camera module 160, to capture real images of the scene in front of the user. The left camera module 150 is positioned in front of the user's left eye, and the right camera module 160 is positioned in front of the user's right eye. Each camera module includes at least two cameras, and the at least two cameras include at least one large field of view camera and at least one small field of view camera. At least one large field of view camera (for example, having a field of view from 100 degrees to 200 degrees and a resolution from VGA to 720p) is, for example, camera 151 and camera 161. At least one camera with a small field of view (for example, , having a field of view from 20 degrees to 60 degrees and a resolution from 720p to 2Kp) is, for example, the camera 152 and the camera 162. An image captured by a camera with a large field of view has a relatively large field of view and a relatively low resolution. An image captured by a small field of view camera has a relatively small field of view and a relatively high resolution.

В этой заявке изображение, захваченное камерой с большим полем обзора, имеет сравнительно большое поле зрения, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Изображение, захваченное камерой с малым полем обзора, имеет сравнительно высокое разрешение, так что пользователю может быть предоставлено изображение в пределах глубины резкости линии обзора. Понятно, что в этой заявке изображение, захваченное камерой с большим полем обзора, совмещают с изображением, захваченным камерой с малым полем обзора, а затем составное изображение применяют в таком сценарии, как AR/VR/MR, тем самым помогая улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя. Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений может быть дополнительно уменьшены, тем самым помогая уменьшить задержку во время отображения.In this application, an image captured by a large field of view camera has a relatively large field of view, so that a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. The image captured by the small field of view camera has a relatively high resolution so that the user can be presented with an image within the depth of field of the line of sight. It is understood that in this application, an image captured by a large field of view camera is combined with an image captured by a small field of view camera, and then the composite image is applied to a scenario such as AR/VR/MR, thereby helping to improve the immersive feeling, the feeling reality and visual user experience. In addition, the background area image has a low resolution, so that the amount of data during image processing and computational complexity can be further reduced, thereby helping to reduce latency during display.

В некоторых вариантах осуществления, когда и левый, и правый модули камеры включают в себя по одной камере с большим полем обзора для фотографирования реального изображения сцены, расстояние D1 между оптическими центрами двух камер с большим полем обзора (например, камеры 151 и камеры 161) приблизительно соответствует расстоянию между зрачками двух глаз пользователя. Следовательно, D1 обычно находится в диапазоне от 61 мм до 65 мм и может составлять, например, 63 мм. В одном модуле камеры камера с малым полем обзора расположена рядом с камерой с большим полем обзора. Обычно расстояние D2 между оптическим центром камеры с малым полем обзора и оптическим центром камеры с большим полем обзора составляет менее 20 мм. На фиг. 1B показана центральная ось устройства 100 отображения, устанавливаемого на голове, устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед. Что касается центральной оси, ниже в качестве примера используют модуль 150 камеры перед левым глазом для описания местоположения камеры 152 с малым полем обзора относительно камеры 151 с большим полем обзора. Например, обращенная к передней панели 120 камера 152 с малым полем обзора может быть расположена с левой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора находится ближе к центральной оси, чем камера 151 с большим полем обзора, как показано на фиг. 1B) или с правой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора расположена дальше от центральной оси, чем камера 151 с большим полем обзора, как показано на фиг.2A (1)); и оптические центры камеры 151 с большим полем обзора, камеры 152 с малым полем обзора, камеры 161 с большим полем обзора и камеры 162 с малым полем зрения приблизительно расположены на одной горизонтальной плоскости.In some embodiments, when both the left and right camera modules each include one large field of view camera for photographing a real image of the scene, the distance D1 between the optical centers of the two large field of view cameras (e.g., camera 151 and camera 161) is approximately corresponds to the distance between the pupils of the user's two eyes. Therefore, D1 is typically in the range of 61 mm to 65 mm and may be 63 mm, for example. In one camera module, a small field of view camera is placed next to a large field of view camera. Typically, the distance D2 between the optical center of the small field of view camera and the optical center of the large field of view camera is less than 20 mm. In FIG. 1B shows the central axis of the head-mounted display device 100, the head-mounted device is positioned approximately horizontally forward. As for the central axis, the left eye camera module 150 is used as an example below to describe the location of the small field of view camera 152 relative to the large field of view camera 151. For example, facing the front panel 120, the small field of view camera 152 may be positioned to the left side of the large field of view camera 151 (in other words, the small field of view camera 152 is closer to the central axis than the large field of view camera 151, as shown in Fig. 1B) or to the right side of the large field of view camera 151 (in other words, the small field of view camera 152 is located farther from the central axis than the large field of view camera 151, as shown in Fig. 2A (1 )); and the optical centers of the large field of view camera 151, the small field of view camera 152, the large field of view camera 161, and the small field of view camera 162 are approximately located on the same horizontal plane.

В качестве другого примера, когда устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед, как показано на фиг. 1B, камера 152 с малым полем обзора может быть расположена над камерой 151 с большим полем обзора (другими словами, направление от оптического центра камеры 152 с малым полем зрения к оптическому центру камеры 151 с большим полем обзора совпадает с направлением силы тяжести, как показано на фиг. 2A (2)) или ниже камеры 151 с большим полем обзора (другими словами, направление от оптического центра камера 152 с малым полем обзора до оптического центра камеры 151 с большим полем зрения противоположно направлению силы тяжести). В качестве альтернативы, камера 152 с малым полем обзора может быть расположена в любом месте, например, сверху по диагонали (как показано на фиг. 2A (3)) или снизу по диагонали от камеры 151 с большим полем обзора. То есть относительное местоположение камеры с малым полем обзора и камеры с большим полем обзора в одном модуле камеры не ограничено в этой заявке. Конечно, камера с малым полем обзора может быть закреплена рядом с камерой с большим полем обзора. В качестве альтернативы камера с малым полем обзора может быть расположена во вращающемся или съемном устройстве; другими словами, камеру с малым полем обзора можно перемещать рядом с камерой с большим полем обзора. Вышеприведенные описания камеры 152 с малым полем обзора и камеры 151 с большим полем обзора, соответственно, применимы к камере 162 с малым полем зрения и камере 161 с большим полем обзора. Они не будут повторены в этом варианте осуществления заявки.As another example, when the head mounted device is positioned approximately horizontally forward as shown in FIG. 1B, the small field of view camera 152 may be positioned above the large field of view camera 151 (in other words, the direction from the optical center of the small field of view camera 152 to the optical center of the large field of view camera 151 is the same as the direction of gravity, as shown in Fig. 2A (2)) or below the large field of view camera 151 (in other words, the direction from the optical center of the small field of view camera 152 to the optical center of the large field of view camera 151 is opposite to the direction of gravity). Alternatively, the small field of view camera 152 may be located anywhere, such as diagonally above (as shown in FIG. 2A(3)) or diagonally below the large field of view camera 151. That is, the relative location of the small field of view camera and the large field of view camera in the same camera module is not limited in this application. Of course, a small field of view camera can be mounted next to a large field of view camera. Alternatively, the small field of view camera may be located in a rotating or removable device; in other words, the small field of view camera can be moved next to the large field of view camera. The above descriptions of the small field of view camera 152 and the large field of view camera 151, respectively, apply to the small field of view camera 162 and the large field of view camera 161. They will not be repeated in this embodiment of the application.

В некоторых других вариантах осуществления и правый, и левый модуль камеры включает в себя две или несколько камер с большим полем обзора; другими словами, реальное изображение сцены получают путем наложения или объединения изображений, снятых несколькими камерами. В этом случае обычно одна камера с большим полем обзора может быть расположена в качестве основной камеры в левом и правом модуле камеры. То есть угол обзора изображения, сфотографированного основной камерой, используют в качестве ориентира для составных и объединенных изображений, сфотографированных другими камерами с большим полем обзора, для получения реального изображения сцены. В этом случае расстояние между оптическими центрами двух основных камер равно D1, и оно должно соответствовать расстоянию между зрачками двух глаз пользователя. В одном модуле камеры камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. Обычно расстояние между оптическим центром камеры с малым полем обзора и оптическим центром основной камеры составляет D2 и меньше 20 мм. Например, как показано на фиг. 2B, левый и правый модули камеры устройства 100 отображения, устанавливаемого на голове, включают в себя две камеры с большим полем обзора. То есть левый модуль 150 камеры включает в себя две камеры с большим полем обзора: камеру 1511 и камеру 1512, и правый модуль 160 камеры включает в себя две камеры с большим полем обзора: камеру 1611 и камеру 1612. Предполагается, что две камеры с большим полем обзора (а именно камера 1511 и камера 1611), находящиеся ближе к центральной оси, выступают в качестве основных камер. В этом случае расстояние между оптическим центром камеры 1511 и оптическим центром камеры 1611 составляет D1. Камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. То есть расстояние между оптическим центром камеры 152 и оптическим центром камеры 1511 равно D2, а расстояние между оптическим центром камеры 162 и оптическим центром камеры 1611 равно D2.In some other embodiments, both the right and left camera module includes two or more large field of view cameras; in other words, a real image of the scene is obtained by superimposing or combining images taken by several cameras. In this case, usually one camera with a large field of view can be located as the main camera in the left and right camera module. That is, the angle of view of the image photographed by the main camera is used as a guide for composite and combined images photographed by other cameras with a large field of view to obtain a real image of the scene. In this case, the distance between the optical centers of the two main cameras is equal to D1, and it should correspond to the distance between the pupils of the user's two eyes. In one camera module, the small field of view camera is located next to the main camera of the large field of view cameras. Usually, the distance between the optical center of the small field of view camera and the optical center of the main camera is D2 and less than 20mm. For example, as shown in FIG. 2B, the left and right camera modules of the head mounted display device 100 include two cameras with a large field of view. That is, the left camera module 150 includes two large field of view cameras: camera 1511 and camera 1512, and the right camera module 160 includes two large field of view cameras: camera 1611 and camera 1612. field of view (namely camera 1511 and camera 1611) closer to the central axis act as the main cameras. In this case, the distance between the optical center of the camera 1511 and the optical center of the camera 1611 is D1. The small field of view camera is located next to the main camera of the large field of view cameras. That is, the distance between the optical center of the camera 152 and the optical center of the camera 1511 is D2, and the distance between the optical center of the camera 162 and the optical center of the camera 1611 is D2.

В еще некоторых других вариантах осуществления на передней панели 120 также может быть установлен датчик, который определяет движение устройства 100 отображения, устанавливаемого на голове, такой как инерциальный измерительный блок (Inertial measurement unit, IMU) 170, выполненный с возможностью измерения информации о положении устройства 100 отображения, устанавливаемого на голове, например, трехкомпонентного угла положения (или угловой скорости) и ускорения устройства 100 отображения, устанавливаемого на голове. Обычно IMU включает в себя три акселерометра и три гироскопа, а акселерометры и гироскопы установлены на взаимно перпендикулярных измерительных осях. IMU с низкой точностью может быть дополнительно скорректирован другим способом. Например, для корректировки долгосрочного дрейфа местоположения используют GPS, для корректировки высоты используют барометр, или для корректировки позы используют магнитометр. В таком сценарии, как VR/AR/MR, информация о положении, которая относится к устройству 100 отображения, устанавливаемому на голове, и которая получена посредством IMU 170, и реальные изображения сцены, полученные модулями камеры, могут быть использованы для определения местоположения и компоновки реальной сцены, в котором расположено устройство 100 отображения, устанавливаемое на голове.In yet other embodiments, a sensor may also be mounted on the front panel 120 that detects the movement of the head-mounted display device 100, such as an Inertial measurement unit (IMU) 170 configured to measure position information of the device 100. a head-mounted display such as a three-component position angle (or angular velocity) and an acceleration of the head-mounted display device 100 . Typically, the IMU includes three accelerometers and three gyroscopes, and the accelerometers and gyroscopes are mounted on mutually perpendicular measuring axes. An IMU with low accuracy can be further corrected in another way. For example, GPS is used to correct for long-term location drift, a barometer is used to correct altitude, or a magnetometer is used to correct posture. In a scenario such as VR/AR/MR, the position information that is related to the head mounted display device 100 that is obtained by the IMU 170 and the actual images of the scene obtained by the camera modules can be used to determine the location and layout of a real scene in which the head-mounted display device 100 is located.

Для более четкого описания компонентов устройства 100 отображения, устанавливаемого на голове, и взаимных положений между компонентами в этом варианте осуществления этой заявки представлен вид сверху носимого пользователем устройства 100 отображения, устанавливаемого на голове, как показано на фиг. 3. На фиг. 3 показан пример, в котором левый и правый модули камеры включают в себя одну камеру с большим полем обзора и одну камеру с малым полем обзора.To more clearly describe the components of the head-mounted display device 100 and the relative positions between the components, this embodiment of this application presents a plan view of the user-wearable head-mounted display device 100 as shown in FIG. 3. In FIG. 3 shows an example in which the left and right camera modules include one large field of view camera and one small field of view camera.

Левый окуляр 230 и правый окуляр 240, соответственно, соответствующие левому и правому глазу, расположены на задней панели 130 устройства 100 отображения, устанавливаемого на голове. Устройство 100 отображения, устанавливаемое на голове, включает в себя дисплеи, соответствующие левому и правому окулярам. Понятно, что поле обзора дисплея не меньше, чем поле обзора камеры с большим полем обзора в модуле камеры, так что дисплей может полностью отображать изображение, сфотографированное камерой с большим полем обзора. Левый окуляр 230 соответствует левому дисплею 210, а правый окуляр 240 соответствует правому дисплею 220. Левый и правый окуляры могут помочь человеческому глазу сфокусироваться на левом и правом дисплеях и т.п., чтобы левый глаз пользователя, используя левый окуляр 230, мог видеть изображение, отображаемое на левом дисплее 210, а правый глаз пользователя, используя правый окуляр 230, мог видеть изображение, отображаемое на правом дисплее 220. Следует отметить, что левый дисплей 210 и правый дисплей 220 могут представлять собой два независимых дисплея или могут представлять собой разные области отображения на одном дисплее. Это не ограничено данным вариантом выполнения данной заявки.The left eyepiece 230 and the right eyepiece 240, respectively, corresponding to the left and right eyes, are located on the rear panel 130 of the head-mounted display device 100. The head-mounted display device 100 includes displays corresponding to left and right eyepieces. It is understood that the field of view of the display is not smaller than the field of view of the large field of view camera in the camera unit, so that the display can fully display the image captured by the large field of view camera. The left eyepiece 230 corresponds to the left display 210, and the right eyepiece 240 corresponds to the right display 220. The left and right eyepieces can help the human eye to focus on the left and right displays, etc., so that the user's left eye using the left eyepiece 230 can see the image. displayed on the left display 210, and the user's right eye, using the right eyepiece 230, could see the image displayed on the right display 220. It should be noted that the left display 210 and the right display 220 may be two independent displays or may be different areas display on one display. It is not limited to this embodiment of this application.

Из фиг. 3 также видно, что левый модуль 150 камеры, соответствующий левому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 151 с большим полем обзора и камеру с малым полем обзора. 152, и правый модуль камеры, соответствующий правому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 161 с большим полем обзора и камеру 162 с малым полем обзора. IMU 170 также может быть расположен на передней панели 120.From FIG. 3, it can also be seen that the left camera module 150 corresponding to the user's left eye is disposed on the front panel 120 of the head mounted display device 100 including the large field of view camera 151 and the small field of view camera. 152 and a right camera module corresponding to the user's right eye is disposed on the front panel 120 of the head mounted display device 100 including a large field of view camera 161 and a small field of view camera 162. The IMU 170 may also be located on the front panel 120.

Таким образом, после обработки двух изображений, снятых двумя камерами в левом модуле 150 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на левом дисплее 210 перед левым глазом для просмотра левым глазом. После обработки двух изображений, снятых двумя камерами в правом модуле 160 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на правом дисплее 220 перед правым глазом для просмотра правым глазом. Обычно камеры в левом модуле 150 камеры и в правом модуле 160 камеры захватывают изображения одновременно. Кроме того, из-за разницы в расположении между левым модулем 150 камеры и правым модулем 160 камеры также имеется разница в углах обзора между изображениями, одновременно снятыми двумя модулями, и разница в углах обзора такая же, как визуальная разница для лица. Следовательно, получают эффект трехмерного угла обзора, когда два глаза пользователя одновременно просматривают два изображения с левого дисплея 210 и правого дисплея 220.Thus, after processing two images captured by two cameras in the left camera module 150 using the method proposed in this application, the processed image is displayed on the left display 210 in front of the left eye for left eye viewing. After processing the two images taken by the two cameras in the right camera module 160 using the method proposed in this application, the processed image is displayed on the right display 220 in front of the right eye for viewing by the right eye. Typically, cameras in the left camera module 150 and in the right camera module 160 capture images simultaneously. In addition, due to the difference in position between the left camera module 150 and the right camera module 160, there is also a difference in viewing angles between images taken simultaneously by the two modules, and the difference in viewing angles is the same as the visual difference for a face. Therefore, a three-dimensional viewing angle effect is obtained when the user's two eyes simultaneously view two images from the left display 210 and the right display 220.

Понятно, что в этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием левого экрана 210 дисплея и правого экрана 220 дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры левого экрана 210 дисплея и правого экрана 220 дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, в устройстве 100 отображения, устанавливаемом на голове, пользователь отдельно просматривает изображения на дисплеях, используя левый окуляр 230 и правый окуляр 240. Следовательно, оптические центры левого окуляра 230 и правого окуляра 240 также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. На фиг. 4 показан схематический вид, на котором пользователь использует для просмотра устройство отображения, устанавливаемое на голове. В качестве примера используют правый глаз. Центр правого глаза пользователя, оптический центр A правого окуляра 240, оптический центр B правого дисплея 220 и оптический центр C большого поля 161 обзора в правом модуле камеры расположены на прямой или приблизительно расположены на прямой.It is understood that in this application, the large field of view camera in the left camera module and the large field of view camera in the right camera module are used to simulate the user's two eyes to photograph real images of the scene. Therefore, the optical centers of the two cameras are respectively aligned with the centers of the user's left and right eyes. In addition, since real images of the scene are summarized using the left display screen 210 and the right display screen 220 so that the user can feel immersed and experience reality, the optical centers of the left display screen 210 and the right display screen 220 must also be respectively aligned with the centers left and right eyes of the user. In addition, in the head-mounted display device 100, the user separately views images on the displays using the left eyepiece 230 and the right eyepiece 240. Therefore, the optical centers of the left eyepiece 230 and the right eyepiece 240 must also be respectively aligned with the centers of the left and right eyes. user. In FIG. 4 is a schematic view in which a user uses a head-mounted display device to view. The right eye is used as an example. The center of the user's right eye, the optical center A of the right eyepiece 240, the optical center B of the right display 220, and the optical center C of the large field of view 161 in the right camera module are aligned or approximately aligned.

На фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства 100 отображения в соответствии с вариантом осуществления этой заявки. В дополнение к компонентам, показанным на фиг. 1B-3 (например, модуль 150 левой камеры, модуль 160 правой камеры, левый дисплей 210, правый дисплей 220 и IMU 170), устройство 100 отображения, устанавливаемое на голове, также может включать в себя процессор 501, интерфейс 502 внешней памяти, внутреннюю память 503, интерфейс 504 универсальной последовательной шины (universal serial bus, USB), модуль 505 управления зарядкой, модуль 506 управления питанием, аккумулятор 507, модуль 508 беспроводной связи, аудиомодуль 509, динамик 510 , телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, кнопку 514, мотор 515 и индикатор 516.In FIG. 5 is a schematic structural view of another head-mounted display device 100 according to an embodiment of this application. In addition to the components shown in FIG. 1B-3 (for example, the left camera module 150, the right camera module 160, the left display 210, the right display 220, and the IMU 170), the head mounted display device 100 may also include a processor 501, an external memory interface 502, an internal memory 503, universal serial bus (USB) interface 504, charge control module 505, power control module 506, battery 507, wireless communication module 508, audio module 509, speaker 510, telephone receiver 511, microphone 512, connector 513 for headset, button 514, motor 515 and indicator 516.

Понятно, что схематическая структура в этом варианте осуществления настоящего изобретения не представляет собой конкретных ограничений для устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может включать в себя больше или меньше компонентов, чем показано на чертеже, или объединять некоторые компоненты, или разделять некоторые компоненты, или иметь другое расположение компонентов. Компоненты, показанные на чертеже, могут быть реализованы с использованием аппаратного обеспечения, программного обеспечения или комбинации программного и аппаратного обеспечения.It is understood that the schematic structure in this embodiment of the present invention is not particularly limited to the head-mounted display device 100. In some other embodiments of this application, the head mounted display device 100 may include more or fewer components than shown, or combine some components, or separate some components, or have a different arrangement of components. The components shown in the drawing may be implemented using hardware, software, or a combination of software and hardware.

Процессор 501 включает в себя один или несколько блоков обработки. Например, процессор 501 может включать в себя прикладной процессор (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, видеокодер/декодер, процессор цифровой обработки сигналов (digital signal processor, DSP), процессор основной полосы частот и/или нейросетевой процессор (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров.The processor 501 includes one or more processing units. For example, processor 501 may include an application processor (AP), a modem processor, a graphics processing unit (GPU), an image signal processor (ISP), a controller, a video encoder/decoder, a digital processor signals (digital signal processor, DSP), baseband processor and / or neural network processor (neural-network processing unit, NPU). The various processing units may be independent components or may be integrated into one or more processors.

Контроллер может генерировать сигнал управления работой на основе кода операции команды и сигнала временной последовательности для управления чтением команд и выполнением команд.The controller may generate an operation control signal based on the command opcode and the time sequence signal to control the reading of the commands and the execution of the commands.

В процессоре 501 также может быть размещена память для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 501 представляет собой кэш. В памяти может храниться инструкция или данные, которые в данный момент или циклически использует процессор 501. Если процессору 501 необходимо снова использовать команду или данные, процессор 501 может напрямую вызвать команду или данные из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 501, тем самым повышая эффективность системы.The processor 501 may also include memory for storing instructions and data. In some embodiments, the memory in processor 501 is a cache. The memory may store an instruction or data that is currently or cyclically used by the processor 501. If the processor 501 needs to reuse the instruction or data, the processor 501 may directly recall the instruction or data from memory. This avoids re-access and reduces the waiting time of the processor 501, thereby improving system efficiency.

В некоторых вариантах осуществления процессор 501 может включать в себя один или несколько интерфейсов. Интерфейс может включать в себя интерфейс для связи между интегральными схемами (inter-integrated circuit, I2C), интерфейс для соединения цифровых аудиоустройств (inter-integrated circuit sound, I2S), интерфейс с импульсной кодовой модуляцией (pulse code modulation, PCM), интерфейс универсального асинхронного приемопередатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), a интерфейс модуля идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или тому подобное.In some embodiments, processor 501 may include one or more interfaces. The interface may include an interface for communication between integrated circuits (inter-integrated circuit, I2C), an interface for connecting digital audio devices (inter-integrated circuit sound, I2S), an interface with pulse code modulation (pulse code modulation, PCM), a universal asynchronous receiver/transmitter (UART), a mobile industry processor interface (MIPI), a general-purpose input/output (GPIO) interface, a subscriber identity module, SIM), universal serial bus interface (USB) and/or the like.

Понятно, что схематические взаимосвязи интерфейсных соединений между модулями в этом варианте осуществления данной заявки являются просто иллюстративными описаниями и не представляют собой ограничения на конструкцию устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может использовать способы подключения интерфейса, отличные от тех, что применяют в вышеупомянутом варианте осуществления, или может использовать комбинацию нескольких способов подключения интерфейса.It is understood that the schematic relationships of interface connections between modules in this embodiment of this application are merely illustrative descriptions and do not represent limitations on the design of the head-mounted display device 100. In some other embodiments of this application, the head-mounted display device 100 may use different interface connection methods than those used in the above embodiment, or may use a combination of several interface connection methods.

Модуль 505 управления зарядкой выполнен с возможностью получения входных данных о зарядке от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 505 управления зарядкой может принимать входные данные о зарядке от проводного зарядного устройства с использованием интерфейса 504 USB. В некоторых вариантах осуществления беспроводной зарядки модуль 505 управления зарядкой может принимать входные данные от беспроводной зарядки с использованием катушки беспроводной зарядки устройства 100 отображения, устанавливаемого на голове. При зарядке аккумулятора модуль 505 управления зарядкой также может подавать питание на устройство отображения, устанавливаемое на голове, используя модуль управления питанием.The charge control module 505 is configured to receive charging input from the charger. The charger can be wireless or wired. In some wired charging embodiments, charge control module 505 may receive charging input from a wired charger using USB interface 504. In some wireless charging embodiments, charge control module 505 may receive input from wireless charging using the wireless charging coil of head-mounted display 100. When charging the battery, the charge control unit 505 can also supply power to the head-mounted display device using the power control unit.

Модуль 506 управления питанием выполнен с возможностью подключения к аккумулятору 507, модулю 505 управления зарядкой и процессору 501. Модуль 506 управления питанием принимает входные данные от аккумулятора 507 и/или модуля 505 управления зарядкой для подачи питания на процессор 501, внутреннюю память, левый дисплей 210, правый дисплей 220, модуль 150 камеры, модуль 160 камеры, модуль беспроводной связи и т.п. Модуль 506 управления питанием также может быть выполнен с возможностью отслеживания таких параметров, как емкость аккумулятора 507, количество циклов аккумулятора 507 и состояние работоспособности (утечка электричества и сопротивление) аккумулятора 507. В некоторых других вариантах осуществления модуль 506 управления питанием может быть расположен в процессоре 501. В некоторых других вариантах осуществления модуль 506 управления питанием и модуль 505 управления зарядкой могут быть расположены в одном компоненте.The power control module 506 is configured to be connected to the battery 507, the charge control module 505, and the processor 501. The power control module 506 receives input from the battery 507 and/or the charge control module 505 to provide power to the processor 501, internal memory, left display 210 , a right display 220, a camera module 150, a camera module 160, a wireless communication module, and the like. The power management module 506 may also be configured to monitor parameters such as the capacity of the battery 507, the number of cycles of the battery 507, and the health status (leakage and resistance) of the battery 507. In some other embodiments, the power management module 506 may be located in the processor 501 In some other embodiments, the power management module 506 and the charge management module 505 may be located in the same component.

Модуль 508 беспроводной связи может обеспечивать решение беспроводной связи, применяемое к устанавливаемому на голове устройству 100 отображения, включая беспроводную локальную сеть (wireless local area networks, WLAN) (например, сеть беспроводной связи (wireless fidelity, Wi-Fi)), Bluetooth (bluetooth, BT), глобальную навигационную спутниковую систему (global navigation satellite system, GNSS), частотную модуляцию (frequency modulation, FM), технологию беспроводной связи ближнего радиуса действия (Near Field Communication, NFC), инфракрасный порт (infrared, IR) или тому подобное. Модуль 508 беспроводной связи представлять собой один или несколько компонентов, в которые интегрирован по меньшей мере один модуль управления передачей данных. Модуль 508 беспроводной связи принимает электромагнитную волну с помощью антенны, выполняет частотную модуляцию и фильтрацию сигнала электромагнитной волны и отправляет обработанный сигнал на процессор 501. Модуль 508 беспроводной связи также может принимать сигнал, который должен быть отправлен от процессора 501, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал, полученный после частотной модуляции и усиления, в электромагнитную волну, используя антенну для излучения.The wireless communication module 508 can provide a wireless communication solution applied to the head-mounted display device 100, including wireless local area networks (WLAN) (e.g., wireless fidelity, Wi-Fi), Bluetooth (bluetooth , BT), global navigation satellite system (GNSS), frequency modulation (FM), Near Field Communication (NFC), infrared (IR), or the like . The wireless communication module 508 is one or more components into which at least one communication control module is integrated. The wireless communication module 508 receives an electromagnetic wave through an antenna, performs frequency modulation and filtering of the electromagnetic wave signal, and sends the processed signal to the processor 501. The wireless communication module 508 can also receive a signal to be sent from the processor 501, perform frequency modulation and signal amplification and converting the signal obtained after the frequency modulation and amplification into an electromagnetic wave using the radiation antenna.

Устанавливаемое на голове устройство 100 отображения реализует функцию отображения с использованием графического процессора (GPU), левого дисплея 210, правого дисплея 220, прикладного процессора и т.п. Графический процессор представляет собой микропроцессор для обработки изображений, и он подключен к левому дисплею 210, правому дисплею 220 и прикладному процессору. Графический процессор выполнен с возможностью выполнения математических и геометрических вычислений, а также с возможностью выполнения графического рендеринга. Процессор 501 может включать в себя один или несколько графических процессоров, и один или несколько графических процессоров выполняют программную инструкцию для генерации или изменения отображаемой информации.The head-mounted display device 100 implements a display function using a graphics processing unit (GPU), a left display 210, a right display 220, an application processor, or the like. The graphics processor is an image processing microprocessor and is connected to the left display 210, the right display 220 and the application processor. The graphics processor is configured to perform mathematical and geometric calculations, as well as to perform graphics rendering. The processor 501 may include one or more GPUs, and the one or more GPUs execute a software instruction to generate or modify displayed information.

В некоторых вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой интегрированный HMD. Таким образом, устройство 100 отображения, устанавливаемое на голове, может выполнять обработку полученного изображения и информации о положении устройства 100 отображения, устанавливаемого на голове, используя, например, CPU, GPU, NPU, прикладной процессор и т.п., предварительную обработку и объединение изображения низкой четкости, захваченного камерой с большим полем обзора, и изображения высокой четкости, захваченного камерой с малым полем обзора, для получения реального изображения сцены; генерировать изображение, которое включает в себя виртуальный объект; и составлять изображение, которое включает в себя виртуальный объект, с реальным изображением сцены.In some embodiments of this application, the head mounted display device 100 may be an integrated HMD. Thus, the head display device 100 can perform processing of the acquired image and position information of the head display device 100 using, for example, a CPU, GPU, NPU, application processor, or the like, pre-processing, and combining a low-definition image captured by a large field of view camera and a high-definition image captured by a small field of view camera to obtain a real image of the scene; generate an image that includes the virtual object; and compose an image that includes the virtual object with the real image of the scene.

Изображение низкого разрешения, захваченное камерой с большим полем обзора, описывается относительно изображения, захваченного камерой с малым полем обзора, а разрешение изображения, захваченного камерой с большим полем обзора, ниже, чем разрешение изображения, полученного камерой с малым полем обзора. Изображение низкой четкости, захваченное камерой с большим полем обзора, удовлетворяет требованиям пользователя к разрешению изображения фоновой области во время просмотра изображения с помощью HDM. Аналогично, изображение высокого разрешения, захваченное камерой с малым полем обзора, описывается относительно изображения, захваченного камерой с большим полем обзора, а разрешение изображения, захваченного камерой с малым полем обзора, выше, чем разрешение изображения, полученного камерой с большим полем обзора. Изображение высокой четкости, захваченное камерой с малым полем обзора, удовлетворяет требованиям пользователя к разрешению изображения центральной области во время просмотра изображения с помощью HDM.The low resolution image captured by the large field of view camera is described relative to the image captured by the small field of view camera, and the resolution of the image captured by the large field of view camera is lower than the resolution of the image captured by the small field of view camera. The low-definition image captured by the large field of view camera satisfies the user's requirement for image resolution of the background area while viewing the image using HDM. Similarly, a high-resolution image captured by a small field of view camera is described relative to an image captured by a large field of view camera, and the resolution of an image captured by a small field of view camera is higher than that of an image captured by a large field of view camera. The high-definition image captured by the small field of view camera satisfies the user's requirements for image resolution of the central area while viewing the image using HDM.

В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой раздельный HMD. То есть, устройство 100 отображения, устанавливаемое на голове, может полностью или частично передавать обработку данных, выполняемую над полученным изображением и информацией о положении устройства 100 отображения, устанавливаемого на голове, другому электронному устройству или прибору. Например, устройство 100 отображения, устанавливаемое на голове, может отправлять, используя, например, интерфейс 504 USB, полученное изображение высокой четкости и изображение низкой четкости, а также полученное положение устройства 100 отображения, устанавливаемого на голове, на другое электронное устройство (например, мобильный телефон, персональный компьютер или планшетный компьютер), подключенный к устройству 100 отображения, устанавливаемому на голове. Электронное устройство выполняет обработку данных, а затем возвращает результат обработки на устройство 100 отображения, устанавливаемое на голове, для отображения на устройстве 100 отображения, устанавливаемом на голове. В этом примере устройство 100 отображения, устанавливаемое на голове, может не включать в себя какое-либо одно или несколько из следующих аппаратных устройств: GPU, NPU, прикладной процессор и т.п.In some other embodiments of this application, the head mounted display device 100 may be a separate HMD. That is, the head-mounted display device 100 can fully or partially transmit the data processing performed on the acquired image and position information of the head-mounted display device 100 to another electronic device or instrument. For example, the head display device 100 can send, using, for example, the USB interface 504, the received high-definition image and the low-definition image, as well as the received position of the head-mounted display device 100, to another electronic device (for example, a mobile telephone, personal computer, or tablet computer) connected to the head-mounted display device 100 . The electronic device performs data processing and then returns the processing result to the head mounted display device 100 for display on the head mounted display device 100 . In this example, the head-mounted display device 100 may not include any one or more of the following hardware devices: GPU, NPU, application processor, and the like.

Левый дисплей 210 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего левому глазу, а правый дисплей 220 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего правому глазу. Левый дисплей 210 и правый дисплей 220 могут включать в себя панель отображения. Панель отображения может представлять собой жидкокристаллический дисплей (liquid crystal display, LCD), органический светодиод (organic light-emitting diode, OLED), активную матрицу на органических светодиодах (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (flex light-emitting diode, FLED), MiniLED, MicroLED, Micro-OLED, светоизлучающий диод с квантовыми точками (quantum dot light emitting diode, QLED) или тому подобное.The left display 210 is configured to display an image, video or the like corresponding to the left eye, and the right display 220 is configured to display an image, video or the like corresponding to the right eye. Left display 210 and right display 220 may include a display panel. The display panel may be a liquid crystal display (LCD), an organic light-emitting diode (OLED), an active-matrix organic light emitting diode (AMOLED), a flexible LED (flex light- emitting diode, FLED), MiniLED, MicroLED, Micro-OLED, quantum dot light emitting diode (QLED), or the like.

Устройство 100 отображения, устанавливаемое на голове, может реализовывать функцию фотографирования с помощью ISP, модуля 150 камеры, модуля 160 камеры, видеокодера/декодера, GPU, левого дисплея 210, правого дисплея 220, прикладного процессора и т.п.The head-mounted display device 100 can realize a photographing function with an ISP, a camera unit 150, a camera unit 160, a video encoder/decoder, a GPU, a left display 210, a right display 220, an application processor, and the like.

ISP выполнен с возможностью обработки данных, возвращаемых модулем 150 камеры и модулем 160 камеры. Например, когда модуль камеры захватывает изображение, свет передают на светочувствительный элемент камеры через линзу, так что оптический сигнал преобразуют в электрический сигнал; и светочувствительный элемент камеры передает электрический сигнал на ISP для обработки, так что электрический сигнал преобразуют в видимое изображение. ISP может дополнительно выполнить алгоритмическую оптимизацию шума, яркости и общего вида изображения. ISP также может оптимизировать такие параметры, как экспозиция и цветовая температура сфотографированной сцены. В некоторых вариантах осуществления ISP может быть расположен в модуле 150 камеры и модуле 160 камеры.The ISP is configured to process the data returned by the camera module 150 and the camera module 160. For example, when the camera module captures an image, light is transmitted to the photosensitive element of the camera through the lens, so that the optical signal is converted into an electrical signal; and the photosensitive element of the camera transmits the electrical signal to the ISP for processing, so that the electrical signal is converted into a visible image. The ISP can additionally perform algorithmic optimizations for noise, brightness, and overall appearance of the image. The ISP can also optimize parameters such as the exposure and color temperature of the photographed scene. In some embodiments, the ISP may be located in the camera module 150 and the camera module 160.

Модуль 150 камеры и модуль 160 камеры могут быть выполнены с возможностью захвата неподвижного изображения или видео. Оптическое изображение объекта создают с помощью линзы и проецируют на светочувствительный элемент. Светочувствительный элемент может представлять собой устройство с зарядовой связью (charge coupled device, CCD) или комплементарный металлооксидный полупроводник (complementary metal-oxide-semiconductor, CMOS). Светочувствительный элемент преобразует оптический сигнал в электрический сигнал, а затем передает электрический сигнал на ISP, так что электрический сигнал преобразуют в сигнал цифрового изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP преобразует сигнал цифрового изображения в сигнал изображения в стандартном формате, таком как RGB или YUV. В некоторых вариантах осуществления устройство 100 отображения, устанавливаемое на голове, может включать в себя один или N модулей 150 камеры и один или M модулей 160 камеры. N и M являются положительными целыми числами больше 1.The camera module 150 and the camera module 160 may be configured to capture a still image or video. An optical image of the object is created using a lens and projected onto a photosensitive element. The photosensitive element can be a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS). The photosensitive element converts the optical signal into an electrical signal, and then transmits the electrical signal to the ISP, so that the electrical signal is converted into a digital image signal. The ISP outputs the digital image signal to the DSP for processing. The DSP converts the digital image signal into an image signal in a standard format such as RGB or YUV. In some embodiments, the head mounted display device 100 may include one or N camera modules 150 and one or M camera modules 160. N and M are positive integers greater than 1.

Процессор цифровых сигналов выполнен с возможностью обработки цифрового сигнала и может также обрабатывать другой цифровой сигнал в дополнение к сигналу цифрового изображения. Например, когда устройство 100 отображения, устанавливаемое на голове, выполняет выбор частоты, процессор цифровых сигналов выполняет преобразование Фурье и т.п. на частотной энергии.The digital signal processor is configured to process a digital signal and may also process another digital signal in addition to the digital image signal. For example, when the head display device 100 performs frequency selection, the digital signal processor performs a Fourier transform, or the like. on frequency energy.

Видеокодер/декодер выполнен с возможностью сжатия или распаковки цифрового видео. Устройство 100 отображения, устанавливаемое на голове, может поддерживать один или несколько типов видеокодеров/декодеров. Таким образом, устройство 100 отображения, устанавливаемое на голове, может воспроизводить или записывать видео в нескольких форматах кодирования, таких как формат экспертной группы MPEG (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3 и MPEG 4.The video encoder/decoder is configured to compress or decompress digital video. The head-mounted display device 100 may support one or more types of video encoders/decoders. Thus, the head-mounted display device 100 can play or record video in multiple coding formats such as MPEG (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3, and MPEG 4.

NPU – это нейросетевой процессор (neural-network, NN); и он быстро обрабатывает входную информацию с помощью биологической нейросетевой структуры, такой как способ передачи между нервными клетками человеческого мозга, и может дополнительно постоянно выполнять самообучение. NPU может быть использован для реализации такого приложения, как интеллектуальное распознавание в устройстве 100 отображения, устанавливаемом на голове, например, распознавание изображений, распознавание лиц, распознавание речи или понимание текста.NPU is a neural network processor (neural-network, NN); and it quickly processes the input information with the biological neural network structure, such as the transmission method between the nerve cells of the human brain, and can further continuously perform self-learning. The NPU can be used to implement an application such as intelligent recognition in the head-mounted display device 100, such as image recognition, face recognition, speech recognition, or text understanding.

Интерфейс 502 внешней памяти может быть выполнен с возможностью подключения к внешней карте памяти, такой как карта MicroSD, для расширения возможностей хранения устройства 100 отображения, устанавливаемого на голове. Внешняя карта памяти обменивается данными с процессором 501 с помощью интерфейса 502 внешней памяти, чтобы реализовать функцию хранения данных, например, сохранение файла, такого как музыка или видео, на внешней карте памяти.The external memory interface 502 may be configured to connect to an external memory card, such as a MicroSD card, to expand the storage capabilities of the head-mounted display device 100. The external memory card communicates with the processor 501 via the external memory interface 502 to realize a data storage function such as storing a file such as music or video on the external memory card.

Внутренняя память 503 может быть выполнена с возможностью хранения компьютерного исполняемого программного кода, а исполняемый программный код включает в себя инструкцию. Внутренняя память 503 может включать в себя область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, прикладную программу, требуемую по меньшей мере одной функцией (например, функцией воспроизведения голоса или функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и адресная книга) и т.п., созданные во время использования устройства 100 отображения, устанавливаемого на голове. Кроме того, внутренняя память 503 может включать в себя высокоскоростную память с произвольным доступом или может включать в себя энергонезависимую память, такую как по меньшей мере одна память на магнитных дисках, флэш-память или универсальный флэш-накопитель (universal flash storage, UFS). Процессор 501 выполняет инструкцию, хранящуюся во внутренней памяти 503, и/или инструкцию, хранящуюся в памяти, расположенной в процессоре 501, для выполнения различных функциональных приложений и обработки данных устройства 100 отображения, устанавливаемого на голове.The internal memory 503 may be configured to store computer executable program code, and the executable program code includes an instruction. The internal memory 503 may include a program storage area and a data storage area. The program storage area may store an operating system, an application program required by at least one function (eg, a voice playback function or a picture playback function), and the like. The data storage area may store data (eg, audio data and an address book) and the like created during use of the head-mounted display device 100 . In addition, the internal memory 503 may include high-speed random access memory, or may include non-volatile memory such as at least one magnetic disk memory, flash memory, or universal flash storage (UFS). The processor 501 executes an instruction stored in the internal memory 503 and/or an instruction stored in the memory located in the processor 501 to execute various functional applications and data processing of the head-mounted display device 100.

Устройство 100 отображения, устанавливаемое на голове, может реализовывать звуковую функцию, например, воспроизводить или записывать музыку, используя аудиомодуль 509, динамик 510, телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, прикладной процессор и тому подобное.The head-mounted display device 100 can realize an audio function such as playing or recording music using an audio module 509, a speaker 510, a telephone receiver 511, a microphone 512, a headset jack 513, an application processor, and the like.

Аудиомодуль 509 выполнен с возможностью преобразования цифровой аудиоинформации в выходной аналоговый аудиосигнал, а также преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 509 также может быть выполнен с возможностью кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 509 может быть расположен в процессоре 501, или некоторые функциональные модули аудиомодуля 509 могут быть расположены в процессоре 501.The audio module 509 is configured to convert the digital audio information into an analog audio output signal, as well as convert the analog audio input into a digital audio signal. Audio module 509 may also be configured to encode and decode an audio signal. In some embodiments, the audio module 509 may be located in the processor 501, or some functional modules of the audio module 509 may be located in the processor 501.

Динамик 510 также называют "громкоговорителем", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Устройство 100 отображения, устанавливаемое на голове, может прослушивать музыку или звонки в режиме громкой связи с помощью динамика 510.Speaker 510 is also referred to as a "loudspeaker" and is configured to convert an audio electrical signal into an audio signal. The head-mounted display device 100 can listen to music or calls hands-free using the speaker 510.

Телефонный приемник 511 также называют "наушником", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал Если устройство 100 отображения, устанавливаемое на голове, отвечает на вызов или принимает голосовое сообщение, телефонный приемник 511 можно разместить рядом с человеческим ухом для приема голоса.The telephone receiver 511 is also referred to as an "earphone" and is capable of converting an audio electrical signal into an audio signal. If the head-mounted display device 100 answers a call or receives a voice message, the telephone receiver 511 can be placed near the human ear to receive the voice. .

Микрофон 512 также называют "микрофоном" или "микрофоном", и он выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При получении голосового сообщения пользователь может говорить, приближая рот к микрофону 512, чтобы ввести звуковой сигнал в микрофон 512. По меньшей мере один микрофон 512 может быть расположен в устройстве 100 отображения, устанавливаемом на голове. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено два микрофона 512, чтобы реализовывать функцию шумоподавления в дополнение к получению звукового сигнала. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено три, четыре или более микрофонов 512, чтобы собирать звуковой сигнал и реализовывать шумоподавление, а также дополнительно распознавать источник звука для реализации функции направленной записи и т.п.Microphone 512 is also referred to as a "microphone" or "microphone" and is configured to convert an audio signal into an electrical signal. Upon receipt of a voice message, the user may speak by placing his or her mouth close to the microphone 512 to introduce an audio signal into the microphone 512. At least one microphone 512 may be located in the head-mounted display device 100. In some other embodiments, two microphones 512 may be located in the head-mounted display device 100 to provide a noise canceling function in addition to receiving an audio signal. In some other embodiments, three, four, or more microphones 512 may be located in the head-mounted display device 100 to collect the audio signal and implement noise reduction, as well as additionally recognize the sound source to implement the directional recording function, and the like.

Гнездо 513 для гарнитуры выполнено с возможностью подключения проводной гарнитуры. Гнездо 513 для гарнитуры может представлять собой интерфейс USB или стандартный 3,5 мм интерфейс открытой платформы мобильных терминалов (open mobile terminal platform, OMTP) или стандартный интерфейс ассоциации телекоммуникационной отрасли США (cellular telecommunications industry association of the USA, CTIA).The headset jack 513 is configured to connect a wired headset. The headset jack 513 may be a USB interface or a standard 3.5 mm open mobile terminal platform (OMTP) interface or a standard cellular telecommunications industry association of the USA (CTIA) interface.

Кнопка 514 включает в себя кнопку включения, кнопку громкости и т.п. Кнопка 514 может быть механической кнопкой 514 или сенсорной кнопкой 514. Устройство 100 отображения, устанавливаемое на голове, может принимать ввод от кнопки 514 и формировать входной сигнал кнопки, относящийся к пользовательским настройкам и управлению функциями устройства 100 отображения, устанавливаемого на голове.The button 514 includes a power button, a volume button, and the like. The button 514 may be a mechanical button 514 or a touch button 514. The head display device 100 may receive input from the button 514 and generate a button input related to user settings and control of the functions of the head display device 100.

Мотор 515 может генерировать вибрацию. Мотор 515 может быть выполнен с возможностью обеспечения вибрации для входящего вызова или может быть выполнен с возможностью обеспечения вибрационной обратной связи на касания. Например, сенсорные операции, выполняемые в разных приложениях (например, фотосъемка и воспроизведение звука), могут соответствовать различным эффектам вибрационной обратной связи. Для операций касания, выполняемых в разных областях левого дисплея 210 и правого дисплея 220, мотор 515 также может соответствовать различным эффектам вибрационной обратной связи. Различные сценарии приложений (например, напоминание о времени, получение информации, будильник и игра) также могут соответствовать различным эффектам вибрационной обратной связи. В качестве альтернативы можно настроить вибрационный эффект обратной связи при касании.Motor 515 may generate vibration. Motor 515 may be configured to provide vibration for an incoming call, or may be configured to provide vibration feedback on touch. For example, touch operations performed in different applications (such as taking photos and playing audio) may correspond to different vibration feedback effects. For touch operations performed in different areas of the left display 210 and the right display 220, the motor 515 may also correspond to different vibration feedback effects. Different application scenarios (such as time reminder, getting information, alarm clock and game) can also correspond to different vibration feedback effects. Alternatively, you can set the vibration feedback effect on touch.

Индикатор 516 может представлять собой световой индикатор и может быть выполнен с возможностью индикации состояния зарядки и замены батареи, или может быть выполнен с возможностью индикации сообщения, пропущенного вызова, уведомления и т.п.The indicator 516 may be an indicator light and may be configured to indicate the status of charging and battery replacement, or may be configured to indicate a message, missed call, notification, or the like.

Все технические решения в следующих вариантах осуществления могут быть реализованы в устройстве 100 отображения, устанавливаемом на голове, показанном на фиг. 1B-5.All the technical solutions in the following embodiments can be implemented in the head mounted display device 100 shown in FIG. 1B-5.

На фиг. 6 приведена блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки. Способ, в частности, включает в себя следующие этапы.In FIG. 6 is a flowchart of an image processing method according to an embodiment of this application. The method specifically includes the following steps.

S101. В ответ на обнаруженную пользовательскую операцию запуска получают первое изображение первого разрешения с помощью первой камеры и одновременно получают второе изображение второго разрешения с помощью второй камеры.S101. In response to the detected custom trigger operation, a first image of the first resolution is obtained using the first camera, and a second image of the second resolution is simultaneously obtained using the second camera.

В этом варианте осуществления этой заявки две первые камеры могут быть использованы для имитации двух глаз пользователя (первая камера с левой стороны соответствует левому глазу, а первая камера с правой стороны соответствует правому глазу). Для получения изображения или видео в максимальном диапазоне, видимом двумя глазами пользователя, оптические центры двух первых камер соответственно выровнены с центрами двух глаз пользователя, а поле обзора каждой первой камеры должно быть близко к полю зрения человеческого глаза. Таким образом, два первых изображения, полученные одновременно двумя первыми камерами, можно рассматривать как два изображения в пределах максимального диапазона, видимого двумя глазами пользователя, и их можно использовать в качестве изображения фоновых областей в реальных сценах, видимых пользователем. Когда две первые камеры получают первые изображения, две вторые камеры используют для получения изображений областей визуальной фокусировки пользователя (вторая камера с левой стороны соответствует левому глазу, а вторая камера с правой стороны соответствует правому глазу), а именно изображения центральных областей. Как упомянуто выше, диапазон области визуальной фокусировки пользователя меньше максимального диапазона, видимого двумя глазами пользователя, и для области визуальной фокусировки требуется сравнительно высокая четкость. Следовательно, поле зрения второй камеры меньше поля зрения первой камеры, а разрешение (а именно второе разрешение) второй камеры выше, чем разрешение (а именно, первое разрешение) первой камеры.In this embodiment of this application, the first two cameras can be used to simulate the user's two eyes (the first camera on the left side corresponds to the left eye, and the first camera on the right side corresponds to the right eye). To obtain an image or video in the maximum range visible to the user's two eyes, the optical centers of the first two cameras are respectively aligned with the centers of the user's two eyes, and the field of view of each first camera should be close to the field of view of the human eye. Thus, the first two images taken simultaneously by the two first cameras can be considered as two images within the maximum range visible with the two eyes of the user, and they can be used as an image of background areas in actual scenes seen by the user. When the first two cameras acquire the first images, the second two cameras are used to acquire images of the user's visual focus areas (the second camera on the left side corresponds to the left eye and the second camera on the right side corresponds to the right eye), namely, images of the central areas. As mentioned above, the range of the user's visual focus area is less than the maximum range visible with the user's two eyes, and relatively high definition is required for the visual focus area. Therefore, the field of view of the second camera is smaller than the field of view of the first camera, and the resolution (namely the second resolution) of the second camera is higher than the resolution (namely the first resolution) of the first camera.

Поля обзора фоновой области и центральной области, а также требования к четкости для пользователя во время просмотра с близкого расстояния определяют на основе визуальной особенности человеческого глаза. Например, поле зрения первой камеры может находиться в диапазоне от 100 градусов до 200 градусов, а разрешение (а именно, первое разрешение) первой камеры может варьироваться от VGA до 720p. Поле зрения второй камеры может находиться в диапазоне от 20 градусов до 60 градусов, а разрешение (а именно, второе разрешение) второй камеры может варьироваться от 720p до 2Kp.The fields of view of the background area and the center area, as well as the clarity requirements for the user during close viewing, are determined based on the visual feature of the human eye. For example, the field of view of the first camera may range from 100 degrees to 200 degrees, and the resolution (namely, the first resolution) of the first camera may range from VGA to 720p. The field of view of the second camera may range from 20 degrees to 60 degrees, and the resolution (namely, the second resolution) of the second camera may range from 720p to 2Kp.

Например, пользовательская операция запуска может представлять собой операцию запуска пользователем приложения AR, пользовательской операцией, которая запускает службу, или операцией, посредством которой пользователь включает камеру. Например, пользователь может коснуться элемента управления, нажать физическую кнопку или ввести определенную голосовую команду или заранее заданный жест. Это не ограничено данным вариантом выполнения данной заявки.For example, the user start operation may be a user start operation of the AR application, a user operation that starts a service, or an operation by which the user turns on the camera. For example, the user can tap a control, press a physical button, or enter a specific voice command or a predefined gesture. It is not limited to this embodiment of this application.

После обнаружения пользовательской операции запуска устройство отображения, устанавливаемое на голове, управляет двумя первыми камерами и двумя вторыми камерами для одновременного получения изображений для получения двух первых изображений большого поля обзора. Из-за особой разницы в местоположении между двумя первыми камерами только в горизонтальном направлении имеется сравнительно небольшая разница в углах обзора между двумя полученными первыми изображениями только в горизонтальном направлении. Например, как показано на фиг. 7, сфотографированные объекты на первом изображении включают в себя дерево, собаку и мяч, а первое изображение является изображением первого разрешения.Upon detecting the user's triggering operation, the head-mounted display device controls the first two cameras and the second two cameras to acquire images simultaneously to acquire the first two images of a large field of view. Due to the particular position difference between the two first cameras in the horizontal direction only, there is a relatively small difference in viewing angles between the two first images acquired in the horizontal direction only. For example, as shown in FIG. 7, the photographed objects in the first image include a tree, a dog, and a ball, and the first image is a first resolution image.

Поскольку поле зрения второй камеры меньше, чем поле зрения первой камеры, второе изображение, полученное второй камерой, является частью содержимого первого изображения и является содержимым центральной области первого изображения, но разрешение второго изображения выше, чем у первого изображения. Например, как показано на фиг. 7 сфотографированный объект на втором изображении представляет собой дерево, а второе изображение является изображением второго разрешения. Можно отметить, что на фиг. 7, для обозначения изображения второго разрешения используют затенение, чтобы отличить его от изображения первого разрешения. Ниже это повторно не описано.Since the field of view of the second camera is smaller than the field of view of the first camera, the second image captured by the second camera is part of the content of the first image and is the content of the central region of the first image, but the resolution of the second image is higher than that of the first image. For example, as shown in FIG. 7, the photographed object in the second image is a tree, and the second image is a second resolution image. It may be noted that in Fig. 7, shading is used to indicate the second resolution image to distinguish it from the first resolution image. This is not described again below.

Следует отметить, что в этом варианте осуществления этой заявки устройство отображения, устанавливаемое на голове, имеет два модуля камеры (каждый из которых включает в себя первую камеру и вторую камеру), соответственно, соответствующих двум глазам пользователя, и два дисплея. То есть первая камера и вторая камера с левой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с левой стороны для просмотра левым глазом пользователя. Первая камера и вторая камера с правой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с правой стороны для просмотра правым глазом пользователя. Поскольку для левой и правой сторон выполняют одинаковую обработку изображений, ниже в качестве примера для описания используют процесс обработки изображения на одной из сторон. Ниже это повторно не описано.It should be noted that in this embodiment of this application, the head-mounted display device has two camera modules (each including a first camera and a second camera), respectively, corresponding to the user's two eyes, and two displays. That is, the first camera and the second camera on the left side acquire images, and after image processing, the processed image is displayed on the display on the left side for viewing by the user's left eye. The first camera and the second camera on the right side receive images, and after image processing, the processed image is displayed on the display on the right side for viewing by the user's right eye. Since the same image processing is performed on the left and right sides, the image processing on one side is used as an example for description. This is not described again below.

Кроме того, поскольку видео, сфотографированное камерой, также включает в себя множество последовательных кадров изображений, обработку видео также можно понимать как обработку множества кадров изображений. Поэтому в этой заявке не описан способ обработки видео.In addition, since the video captured by the camera also includes a plurality of consecutive image frames, video processing can also be understood as processing of a plurality of image frames. Therefore, this application does not describe a video processing method.

S102. Отдельно осуществляют предварительную обработку первого изображения и второго изображения.S102. The first image and the second image are pre-processed separately.

Предварительная обработка включает в себя такую обработку, как устранение искажений и баланс белого. Камера состоит из группы линз, а характерная особенность линз вызывает искажение сфотографированного изображения. Следовательно, обработку снимаемого изображения необходимо выполнять на основе физических характеристик каждой камеры. Кроме того, из-за воздействия таких факторов, как окружающий свет, исходное изображение, снятое камерой, искажается. Следовательно, необходимо выполнить дополнительную обработку, например баланс белого, на сфотографированном изображении. То есть предварительную обработку первого изображения выполняют на основе физических характеристик первой камеры, а предварительную обработку второго изображения выполняют на основе физических характеристик второй камеры. Следует отметить, что предварительная обработка не изменяет поля зрения, разрешение, сфотографированные объекты и т.п. на первом и втором изображении.Pre-processing includes processing such as de-warping and white balance. A camera is made up of a group of lenses, and a characteristic feature of the lenses causes distortion of the photographed image. Therefore, the processing of the captured image needs to be performed based on the physical characteristics of each camera. In addition, due to factors such as ambient light, the original image captured by the camera is distorted. Therefore, additional processing, such as white balance, needs to be performed on the photographed image. That is, the first image is pre-processed based on the physical characteristics of the first camera, and the second image is pre-processed based on the physical characteristics of the second camera. It should be noted that pre-processing does not change the field of view, resolution, photographed objects, etc. in the first and second images.

Как исправление искажений изображения, так и баланс белого могут быть выполнены с использованием соответствующих технологий в данной области техники. Подробности здесь не описаны.Both image distortion correction and white balance can be performed using appropriate techniques in the art. Details are not described here.

S103. Выравнивают угол обзора предварительно обработанного второго изображения с углом обзора обработанного первого изображения на основе местоположения второй камеры относительно первой камеры.S103. The viewing angle of the pre-processed second image is aligned with the viewing angle of the processed first image based on the location of the second camera relative to the first camera.

Предварительно обработанное второе изображение и предварительно обработанное первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять. Выше подробно описано взаимное местоположение первой камеры и второй камеры в одном модуле камеры. Следовательно, разница углов обзора между двумя изображениями может быть определена на основе взаимного местоположения, а затем угол обзора предварительно обработанного второго изображения может быть отрегулирован на основе разницы углов обзора для согласования с углом обзора предварительно обработанного первого изображения. Из области компьютерной графики понятно, что процесс регулировки угла обзора включает в себя такие процессы, как вращение, перемещение и калибровка некопланарных строк на предварительно обработанном втором изображении. Для соответствующего способа регулировки угла обзора следует обратиться к предшествующему уровню техники. Подробности здесь не описаны.The preprocessed second image and the preprocessed first image have the same photographed object, but there is a certain difference in the angle of view between the images of the same photographed object in the two images due to the different positioning of the first camera and the second camera. Therefore, the viewing angles of the two images need to be aligned. The relative position of the first camera and the second camera in the same camera module has been described in detail above. Therefore, the viewing angle difference between the two images can be determined based on the relative position, and then the viewing angle of the pre-processed second image can be adjusted based on the viewing angle difference to match the viewing angle of the pre-processed first image. From the field of computer graphics it is clear that the process of adjusting the viewing angle includes such processes as rotating, moving and calibrating non-coplanar lines in the pre-processed second image. For the appropriate method of adjusting the viewing angle, reference should be made to the prior art. Details are not described here.

Следует отметить, что в качестве альтернативы угол обзора второго изображения может быть сначала выровнен с углом обзора первого изображения на одной и той же стороне, а затем осуществляют предварительную обработку второго изображения, полученного после выравнивания угла обзора. Последовательность этапа выравнивания угла обзора и этапа предварительной обработки не ограничена в этом варианте осуществления данной заявки.It should be noted that, alternatively, the viewing angle of the second image can be first aligned with the viewing angle of the first image on the same side, and then the second image obtained after the alignment of the viewing angle is pre-processed. The sequence of the viewing angle alignment step and the pre-processing step is not limited in this embodiment of the present application.

S104. Получают информацию о положении устройства отображения, устанавливаемого на голове, и на основе предварительно обработанного первого изображения генерируют третье изображение, которое включает в себя виртуальный объект.S104. Information about the position of the display device mounted on the head is obtained, and on the basis of the pre-processed first image, a third image is generated, which includes a virtual object.

Например, устройство отображения, устанавливаемое на голове, выполняет одноканальное извлечение данных и понижающую дискретизацию предварительно обработанного первого изображения и со ссылкой на информацию о положении (то есть информацию о положении устройства отображения, устанавливаемого на голове, во время получения первого изображения), полученную от датчика движения (например, IMU), вычисляет информацию о местоположении и положении устройства отображения, устанавливаемого на голове, информацию о глубине реальной окружающей среды и результат трехмерной реконструкции, используя алгоритм одновременной локализацию и построения карты SLAM (Simultaneously Localization and Mapping) алгоритм. Затем соответствующим приложением (например, приложением AR) в устройстве отображения, устанавливаемом на голове, генерируют третье изображение, которое включает в себя виртуальный объект, со ссылкой на виртуальный объект. Как показано на фиг. 7, виртуальный объект, сгенерированный устройством отображения, устанавливаемым на голове, является роботом, а изображение, а именно третье изображение, которое включает в себя робота, генерируют на основе вычисленной информации о локализации и положении, информации о глубине окружающей среды и результата трехмерной реконструкции.For example, the head-mounted display device performs single-channel data extraction and downsampling of the pre-processed first image, and with reference to the position information (i.e., the position information of the head-mounted display device at the time of acquisition of the first image) received from the sensor (e.g., IMU), calculates location and position information of a head-mounted display device, depth information of the real environment, and a 3D reconstruction result using the Simultaneously Localization and Mapping (SLAM) algorithm. Then, a third image, which includes the virtual object, is generated in the head-mounted display device with a reference to the virtual object by an appropriate application (for example, an AR application). As shown in FIG. 7, the virtual object generated by the head-mounted display device is a robot, and an image, namely a third image that includes the robot, is generated based on the calculated location and position information, the environment depth information, and the 3D reconstruction result.

Кроме того, чтобы можно было естественным образом смешивать виртуальный объект, сгенерированный независимо соответствующим приложением, с реальной сценой, чтобы пользователь не ощущал резкой выраженности и неестественности, виртуальный объект может быть дополнительно отрегулирован на основе реального изображения сцены. Например, разрешение виртуального объекта адаптируют к разрешению реального изображения сцены, регулируют местоположение виртуального объекта и вычисляют тень виртуального объекта на основе условий освещения в реальной сцене.In addition, in order to naturally blend the virtual object generated independently by the corresponding application with the real scene so that the user does not feel harsh and unnatural, the virtual object can be further adjusted based on the actual image of the scene. For example, the resolution of the virtual object is adapted to the resolution of the real image of the scene, the location of the virtual object is adjusted, and the shadow of the virtual object is calculated based on the lighting conditions in the real scene.

S105. Объединяют в виде четвертого изображения реальной сцены предварительно обработанное первое изображение со вторым изображением, полученным после совмещения угла обзора, где четвертое изображение включает в себя изображение первого разрешения и изображение второго разрешения.S105. The pre-processed first image is merged as the fourth image of the real scene with the second image obtained after the viewing angle is aligned, where the fourth image includes the first resolution image and the second resolution image.

Например, устройство отображения, устанавливаемое на голове, в качестве целевых областей определяет область в предварительно обработанном первом изображении и область во втором изображении, полученном после совмещения угла обзора, которые имеют перекрывающиеся углы обзора. То есть изображения в целевых областях в двух изображениях являются изображениями, полученными путем одновременного фотографирования одного и того же сфотографированного объекта под одним и тем же углом обзора. Объединение изображений выполняют на предварительно обработанном первом изображении и втором изображении, полученном после совмещения угла обзора, для получения четвертого изображения. Изображение целевой области на четвертом изображении такое же, как изображение целевой области на втором изображении, полученном после совмещения угла обзора, и имеет сравнительно высокое второе разрешение. Изображение области, отличной от целевой области, в четвертом изображении такое же, как изображение в предварительно обработанном первом изображении, и имеет сравнительно низкое первое разрешение. Например, как показано на фиг. 7 на четвертом изображении разрешение дерева является вторым разрешением, а разрешение собаки, мяча и т.п., кроме дерева, является первым разрешением.For example, the head-mounted display device determines as target areas an area in a pre-processed first image and an area in a second image obtained after viewing angle alignment, which have overlapping viewing angles. That is, the images in the target areas in the two images are images obtained by photographing the same photographed object at the same time from the same viewing angle. The image merging is performed on the pre-processed first image and the second image obtained after the alignment of the viewing angle to obtain the fourth image. The image of the target area in the fourth image is the same as the image of the target area in the second image obtained after the alignment of the angle of view, and has a relatively high second resolution. The image of the area other than the target area in the fourth image is the same as the image in the pre-processed first image and has a relatively low first resolution. For example, as shown in FIG. 7 in the fourth image, the resolution of the tree is the second resolution, and the resolution of the dog, ball, etc. other than the tree is the first resolution.

Понятно, что целевая область на четвертом изображении является областью визуального фокуса пользователя, а именно центральной областью, и требует сравнительно высокого разрешения. Область, отличная от целевой области на четвертом изображении, является вышеуказанной фоновой областью и требует сравнительно низкого разрешения, но имеет относительно большое поле зрения.It is understood that the target area in the fourth image is the user's visual focus area, namely the center area, and requires a relatively high resolution. The area other than the target area in the fourth image is the above background area and requires a relatively low resolution but has a relatively large field of view.

Например, в вышеупомянутом процессе объединения изображений изображение целевой области на предварительно обработанном первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.For example, in the above image merging process, the image of the target area in the pre-processed first image may be removed, and then may be filled with the image of the target area in the second image obtained after the angle of view is aligned. After filling, in order to avoid such a problem as the overlapping feeling caused by the image composition process, the edge positions of the composition of the two images (namely, the edge positions of the target areas) are mixed using a weighted blending method, so that the final composite image (namely, the fourth image) is more natural and real.

Например, целевые области могут быть определены с использованием способа сопоставления характерных точек. Следует отметить, что, хотя изображения целевых областей на двух изображениях получены путем одновременного фотографирования одного и того же сфотографированного объекта и имеют одинаковый угол обзора, поскольку две фотографии получают двумя камерами, находящимися в разных местах, а значения пикселей изображений в целевых областях в двух изображениях не полностью согласованы из-за таких факторов, как свет, то целевые области необходимо определять на основе двух изображений.For example, target areas may be determined using a feature point matching method. It should be noted that although the images of the target areas in the two images are obtained by photographing the same photographed object at the same time and have the same viewing angle, since the two photographs are taken by two cameras located in different places, and the pixel values of the images in the target areas in the two images are not fully matched due to factors such as light, the target areas need to be determined based on the two images.

Проще говоря, распознавание характерных точек выполняют отдельно на двух изображениях, а затем сравнивают сходство характерных точек на двух изображениях для определения целевых областей. То есть области с одинаковыми характерными точками на двух изображениях определяют как области с одинаковым углом обзора, а именно как целевые области. Характерная точка – это один или несколько пикселей, и сходство характерных точек на двух изображениях может быть одинаковым соотношением между пиксельными значениями характерных точек и пиксельными значениями пикселей вокруг характерных точек по следующей причине: Хотя пиксельные значения пикселей в целевых областях двух изображений различаются из-за таких факторов, как свет, поскольку целевые области отображают один и тот же сфотографированный объект, имеет место фиксированная взаимосвязь между пикселем в целевой области и пикселями вокруг этого пикселя. Например, для одного и того же листа, сфотографированного в одно и то же время, на изображении 1 свет относительно сильный, а весь лист сравнительно яркий; а на изображении 2 свет относительно темный, а весь лист сравнительно темный. Другими словами, пиксельное значение листа на изображении 1 отличается от пиксельного значения листа на изображении 2. Однако разница между пиксельными значениями разных частей листа на изображении 1 такая же, как разница между пиксельными значениями разных частей листа на изображении 2.In simple terms, feature point recognition is performed separately on two images, and then the similarity of feature points in the two images is compared to determine target areas. That is, areas with the same feature points in the two images are defined as areas with the same viewing angle, namely as target areas. A feature point is one or more pixels, and the similarity of the feature points in two images may be the same ratio between the pixel values of the feature points and the pixel values of the pixels around the feature points due to the following reason: Although the pixel values of the pixels in the target areas of the two images differ due to such factors such as light, since the target areas display the same photographed object, there is a fixed relationship between a pixel in the target area and the pixels around that pixel. For example, for the same leaf, photographed at the same time, in image 1 the light is relatively strong and the entire leaf is relatively bright; and in image 2, the light is relatively dark and the entire leaf is relatively dark. In other words, the pixel value of the leaf in image 1 is different from the pixel value of the leaf in image 2. However, the difference between the pixel values of different parts of the leaf in image 1 is the same as the difference between the pixel values of different parts of the leaf in image 2.

Метод распознавания характерных точек может представлять собой один или несколько из следующих: алгоритм SIFT, алгоритм SURF (Speeded Up Robust Features), алгоритм FAST, алгоритм ORB (ORiented Brief and Rotated BRIEF) или т.п. В этом варианте осуществления настоящей заявки конкретный способ распознавания характерной точки не ограничен.The feature point recognition method may be one or more of the following: SIFT algorithm, SURF (Speeded Up Robust Features) algorithm, FAST algorithm, ORB (ORiented Brief and Rotated BRIEF) algorithm, or the like. In this embodiment of the present application, the specific feature point recognition method is not limited.

Конечно, целевые области могут быть определены с использованием другого способа. Например, из-за фиксированного взаимного местоположения первой камеры и второй камеры, местоположение целевой области в предварительно обработанном первом изображении также фиксировано, и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, также фиксировано. Следовательно, местоположение целевой области в предварительно обработанном первом изображении и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, могут быть определено заранее, и затем выполняют объединение изображений непосредственно на основе местоположений. Способ определения целевой области также не ограничен в этом варианте осуществления данной заявки.Of course, the target regions may be determined using another method. For example, due to the fixed relative position of the first camera and the second camera, the location of the target area in the preprocessed first image is also fixed, and the location of the target area in the second image obtained after equalizing the viewing angle is also fixed. Therefore, the location of the target area in the pre-processed first image and the location of the target area in the second image obtained after equalizing the viewing angle can be determined in advance, and then image merging is performed directly based on the locations. The method for determining the target area is also not limited in this embodiment of this application.

Следует отметить, что в этом варианте осуществления настоящей заявки этап S105 может быть выполнен перед этапом S104, или этапы S104 и S105 могут быть выполнены одновременно. Это не ограничено в данной заявке.It should be noted that in this embodiment of the present application, step S105 may be performed before step S104, or steps S104 and S105 may be performed simultaneously. It is not limited in this application.

S106. Объединяют четвертое изображение с третьим изображением, чтобы получить пятое изображение, и отображают пятое изображение, причем пятое изображение включает в себя реальную сцену и виртуальный объект.S106. The fourth image is combined with the third image to obtain the fifth image, and the fifth image is displayed, the fifth image including the real scene and the virtual object.

В частности, объединение изображений выполняют для четвертого изображения и третьего изображения, так что составное изображение (а именно, пятое изображение) включает в себя виртуальный объект из третьего изображения, а также включает в себя реальную сцену из четвертого изображения; другими словами, реализуют объединение реальности и виртуальности.Specifically, image merging is performed for the fourth image and the third image, so that the composite image (namely, the fifth image) includes the virtual object from the third image and also includes the real scene from the fourth image; in other words, they realize the unification of reality and virtuality.

Например, в процессе объединения третьего изображения и четвертого изображения, местоположение виртуального объекта вычисляют, когда третье изображение генерируют на этапе S104. Следовательно, изображение в том же месте на четвертом изображении может быть удалено, а виртуальный объект может быть помещен на третьем изображении. Для смешивания на краю размещенной области используют способ взвешенного смешивания, чтобы получить пятое изображение. Другими словами, для обработки используют способ объединения изображений, описанный на этапе S105.For example, in the process of combining the third image and the fourth image, the location of the virtual object is calculated when the third image is generated in step S104. Therefore, the image at the same location in the fourth image can be removed and the virtual object can be placed in the third image. For blending at the edge of the placed area, a weighted blending method is used to obtain a fifth image. In other words, the image combining method described in step S105 is used for processing.

В качестве альтернативы, в процессе объединения третьего изображения и четвертого изображения изображение или текстура виртуального объекта может быть прикреплена к одному и тому же местоположению на четвертом изображении на основе местоположения виртуального объекта, которое вычисляют на предыдущем этапе. Например, объединение изображений может быть реализовано с помощью шейдера (shader). Другими словами, третье изображение и четвертое изображение используют для совместного участия в рендеринге. Для получения информации о конкретном способе визуализации следует обратиться к соответствующему уровню техники. Подробности здесь не описаны.Alternatively, in the process of combining the third image and the fourth image, the image or texture of the virtual object may be attached to the same location in the fourth image based on the location of the virtual object that is calculated in the previous step. For example, combining images can be implemented using a shader. In other words, the third image and the fourth image are used to participate in rendering together. For information on a particular imaging method, refer to the relevant prior art. Details are not described here.

Следует отметить, что конкретный способ объединения изображений не ограничен в этом варианте осуществления данной заявки.It should be noted that the specific method of combining images is not limited in this embodiment of this application.

Из вышеизложенного понятно, что устройство отображения, устанавливаемое на голове, может отдельно отображать на левом и правом дисплеях изображения с сочетанием реальности и виртуальности, полученные в соответствии с вышеизложенным способом, и между изображениями на левом и правом дисплеях имеет место определенная разница углов обзора, так что пользователь может наслаждаться 3D-эффектом во время просмотра.From the foregoing, it is clear that the head-mounted display device can separately display on the left and right displays the images with a combination of reality and virtuality obtained in accordance with the above method, and there is a certain difference in viewing angles between the images on the left and right displays, so that the user can enjoy the 3D effect while browsing.

Кроме того, поскольку поле обзора фоновой области на отображаемом изображении велико, то для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, изображение центральной области имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.In addition, since the field of view of the background area in the displayed image is large, a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. In addition, the image of the central area has a high resolution, so that the user can be provided with a high definition image within the depth of field of the line of sight. It is understood that the technical solution presented in this application helps to improve the sense of immersion, the sense of reality and the visual experience of the user.

Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений могут быть уменьшены, тем самым помогая уменьшить задержку во время отображения.In addition, the image of the background area has a low resolution, so that the amount of data during image processing and computational complexity can be reduced, thereby helping to reduce the delay during display.

Понятно, что для реализации вышеупомянутых функций вышеупомянутый терминал или тому подобное включает в себя соответствующие аппаратные структуры и/или программные модули для выполнения этих функций. Специалисту в области техники понятно, что в сочетании с описанными в вариантах осуществления примерами, изложенными в этой спецификации, блоки, алгоритмы и этапы могут быть реализованы в вариантах осуществления этой заявки с помощью аппаратного обеспечения или сочетания аппаратного обеспечения компьютерного программного обеспечения. Будет ли функция выполнена аппаратным обеспечением или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалисты в области техники могут применять различные способы для реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за пределы объема вариантов осуществления настоящего изобретения.It is understood that, in order to implement the above functions, the aforementioned terminal or the like includes appropriate hardware structures and/or software modules for performing these functions. One skilled in the art will appreciate that, in combination with the examples described in the embodiments set forth in this specification, the blocks, algorithms, and steps may be implemented in the embodiments of this application using hardware or a combination of computer software hardware. Whether the function is performed by hardware or by hardware controlled by computer software depends on particular applications and design constraints. Those skilled in the art may use various methods to implement the described functions for each particular application, but the implementation should not be considered outside the scope of the embodiments of the present invention.

В вариантах осуществления этой заявки вышеупомянутый терминал или тому подобное может быть разделен на функциональные модули на основе вышеупомянутых примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на основе соответствующей функции, или две или более функций могут быть интегрированы в один модуль обработки. Интегрированный модуль может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля. Следует отметить, что в вариантах осуществления настоящего изобретения разделение на модули является примером и представляет собой просто логическое разделение функций. В фактической реализации может использоваться другой способ разделения.In the embodiments of this application, the aforementioned terminal or the like may be divided into functional modules based on the aforementioned method examples. For example, each functional unit may be obtained by separation based on a corresponding function, or two or more functions may be integrated into one processing unit. An integrated module may be implemented in hardware, or may be implemented as a software function module. It should be noted that in the embodiments of the present invention, the division into modules is an example and is simply a logical separation of functions. The actual implementation may use a different partitioning method.

Приведенное выше описание реализаций позволяет специалисту в данной области техники ясно понять, что в целях удобного и краткого описания разделение вышеупомянутых функциональных модулей взято в качестве примера для иллюстрации. В реальном приложении вышеупомянутые функции могут быть назначены различным функциональным модулям для реализации в соответствии с требованиями. То есть внутренняя структура устройства разделена на различные функциональные модули для реализации всех или некоторых из вышеупомянутых функций. Для подробных рабочих процессов вышеупомянутой системы, устройства и блока следует обратиться к соответствующим процессам в вышеупомянутых вариантах осуществления способа. Подробности здесь снова не описаны.The above description of the implementations will enable one skilled in the art to clearly understand that, for purposes of convenience and brevity, the division of the above functional modules is taken as an example for illustration. In a real application, the above functions can be assigned to different function modules to be implemented according to the requirements. That is, the internal structure of the device is divided into various functional modules to implement all or some of the above functions. For detailed working processes of the aforementioned system, apparatus, and unit, refer to the respective processes in the aforementioned method embodiments. The details are again not described here.

Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один процессор, либо каждый из блоков может быть выполнен физически отдельно, либо два или несколько блоков могут быть интегрированы в один блок. Интегрированный блок может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля.The functional blocks in the embodiments of this application may be integrated into a single processor, or each of the blocks may be physically implemented separately, or two or more blocks may be integrated into one block. The integrated unit may be implemented in hardware, or may be implemented as a software function module.

Если интегрированный блок реализован в виде программного функционального блока, который продают или используют в качестве независимого продукта, то интегрированный блок может быть сохранен на машинном носителе информации. Понимая это, технические решение настоящего изобретения по сути или часть, вносящая вклад в существующий уровень техники, или все или некоторые технические решения могут быть реализованы в виде программного продукта. Программный продукт хранят на носителе информации, и он включает в себя несколько команд, предназначенных для того, чтобы вычислительное устройство (которое может представлять собой персональный компьютер, сервер, сетевое устройство и т.п.) или процессор 501 выполнял все или некоторые этапы способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый носитель информации включает в себя: любой носитель, способный хранить программный код, такой как флэш-память, съемный жесткий диск, постоянная память, память произвольного доступа, магнитный диск или оптический диск.If the integrated block is implemented as a software functional block that is sold or used as an independent product, then the integrated block may be stored on a computer storage medium. Understanding this, the technical solution of the present invention in essence or a part contributing to the existing state of the art, or all or some of the technical solutions can be implemented as a software product. The software product is stored on a storage medium and includes several instructions for causing the computing device (which may be a personal computer, server, network device, etc.) or processor 501 to perform all or some of the steps of the methods described in the embodiments of the present invention. The aforementioned storage medium includes: any medium capable of storing program code such as flash memory, removable hard disk, read only memory, random access memory, magnetic disk or optical disk.

Вышеприведенное описание представляет собой всего лишь отдельные реализации настоящей заявки, и не предполагается, что оно ограничивает объем защиты настоящего изобретения. Любые изменения или замены в пределах технического объема, раскрытого в этой заявке, должны подпадать под объем защиты этой заявки. Следовательно, объем защиты этой заявки должен соответствовать объему защиты формулы изобретения.The foregoing description is only a separate implementation of the present application, and is not intended to limit the scope of protection of the present invention. Any modifications or substitutions within the technical scope disclosed in this application shall fall within the protection scope of this application. Therefore, the scope of protection of this application should be consistent with the scope of protection of the claims.

Claims

1. Способ обработки изображений, применяемый в устройстве отображения, устанавливаемом на голове, в котором расположено два модуля, причем каждый модуль содержит модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры содержит первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, и каждый модуль выполнен с возможностью реализации способа, содержащего этапы, на которых:1. An image processing method applied to a head-mounted display device, in which two modules are located, each module containing a camera module, a display screen corresponding to the camera module, and a processing module, the camera module comprising a first camera and a second camera, with this field of view of the first camera is larger than the field of view of the second camera, and each module is configured to implement a method comprising the steps of:

получают, с помощью первой камеры, в ответ на обнаруженную операцию запуска, первое изображение, имеющее первое разрешение, и получают, с помощью второй камеры, второе изображение, имеющее второе разрешение, причем первое разрешение меньше второго разрешения;obtaining, with the first camera, in response to the detected triggering operation, a first image having a first resolution, and obtaining, with the second camera, a second image having a second resolution, the first resolution being smaller than the second resolution;

генерируют, с помощью модуля обработки, четвертое изображение на основе первого изображения и второго изображения, причем четвертое изображение является реальным изображением сцены и содержит изображение с первым разрешением и изображение со вторым разрешением;generating, with the processing module, a fourth image based on the first image and the second image, the fourth image being a real scene image and containing a first resolution image and a second resolution image;

генерируют, с помощью модуля обработки, пятое изображение на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, причем пятое изображение содержит реальное изображение сцены и виртуальный объект; иgenerating, with the processing module, a fifth image based on the fourth image and the third image containing the virtual object, the fifth image containing the real scene image and the virtual object; and

отображают на экране дисплея модуля пятое изображение.displaying a fifth image on the display screen of the module.

2. Способ по п. 1, в котором расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.2. The method according to claim 1, wherein the distance from the optical center of the first chamber of one module to the optical center of the first chamber of the other module is between 61 millimeters and 65 millimeters.

3. Способ по п. 2, в котором расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.3. The method of claim 2, wherein the distance from the optical center of the first chamber to the optical center of the second chamber in each module is less than 20 millimeters.

4. Способ по любому из пп. 1-3, в котором каждый модуль дополнительно включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.4. The method according to any one of paragraphs. 1-3, in which each module further includes an eyepiece, and the display screen is located between the eyepiece and the camera module.

5. Способ по п. 4, в котором оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.5. The method of claim. 4, wherein the optical center of the eyepiece, the optical center of the display screen and the optical center of the first camera in each module are located in a straight line.

6. Способ по любому из пп. 1-5, в котором этап генерирования, модулем обработки, четвертого изображения на основе первого изображения и второго изображения содержит подэтапы, на которых:6. The method according to any one of paragraphs. 1-5, wherein the step of generating, by the processing unit, a fourth image based on the first image and the second image comprises sub-steps of:

регулируют, с помощью модуля обработки, угол обзора второго изображения так, чтобы он был таким же, как угол обзора первого изображения; иadjusting, by means of the processing unit, a viewing angle of the second image so that it is the same as the viewing angle of the first image; and

генерируют четвертое изображение на основе скорректированного второго изображения и первого изображения.generating a fourth image based on the corrected second image and the first image.

7. Способ по п. 6, в котором этап регулировки, модулем обработки, угла обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения, содержит подэтап, на котором:7. The method of claim 6, wherein the step of adjusting, by the processing module, the viewing angle of the second image to be the same as the viewing angle of the first image, comprises a sub-step of:

выполняют, с помощью модуля обработки, поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.performing, with the help of the processing module, rotation, translation and calibration of non-coplanar lines on the second image so that the viewing angle of the second image is the same as the viewing angle of the first image.

8. Способ по любому из пп. 6 или 7, в котором этап генерирования, модулем обработки, четвертого изображения на основе скорректированного второго изображения и первого изображения содержит подэтапы, на которых:8. The method according to any one of paragraphs. 6 or 7, wherein the step of generating, by the processing unit, a fourth image based on the corrected second image and the first image, comprises sub-steps of:

определяют, с помощью модуля обработки, в качестве целевых областей, область в скорректированном втором изображении и область в первом изображении, имеющие перекрывающиеся углы обзора; иdetermining, by the processing module, as target areas, an area in the corrected second image and an area in the first image having overlapping viewing angles; and

заменяют изображение целевой области в первом изображении на скорректированное второе изображение.replacing the target area image in the first image with the corrected second image.

9. Способ по любому из пп. 1-8, дополнительно содержащий, перед этапом генерирования, модулем обработки, пятого изображения на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, этап, на котором:9. The method according to any one of paragraphs. 1-8, further comprising, before the generating step, the processing module, a fifth image based on the fourth image and a third image containing a virtual object, a step in which:

генерируют, с помощью модуля обработки, на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения, третье изображение, содержащее виртуальный объект.generating, by means of the processing module, based on the position information of the head-mounted display device and the first image, a third image containing the virtual object.

10. Способ по любому из пп. 1-9, в котором этап генерирования, модулем обработки, пятого изображения на основе четвертого изображения и третьего изображения, содержащего виртуальный объект, содержит подэтапы, на которых:10. The method according to any one of paragraphs. 1-9, wherein the step of generating, by the processing unit, a fifth image based on the fourth image and the third image containing the virtual object comprises sub-steps of:

регулируют, с помощью модуля обработки, разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; иadjusting, with the processing module, the resolution of the third image based on the first resolution of the first image and/or adjusting the shadow of the virtual object in the third image based on the light information in the first image; and

генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.generating a fifth image based on the fourth image and the corrected third image.

11. Устройство отображения, устанавливаемое на голове, содержащее два модуля и память, причем каждый модуль содержит модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры содержит первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, память выполнена с возможностью хранения компьютерного программного кода, причем компьютерный программный код содержит компьютерные инструкции, вызывающие, при считывании модулем обработки, из памяти, выполнение каждым модулем устройства отображения, устанавливаемого на голове, операций, на которых:11. A head-mounted display device comprising two modules and a memory, each module comprising a camera module, a display screen corresponding to the camera module, and a processing module, the camera module comprising a first camera and a second camera, wherein the field of view of the first camera is larger than the field of view of the second camera, the memory is configured to store computer program code, the computer program code comprising computer instructions causing, when read by the processing module from the memory, each head-mounted display device module to perform operations on which:

12. Устройство отображения, устанавливаемое на голове, по п. 11, в котором расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.12. The head-mounted display device according to claim 11, wherein the distance from the optical center of the first camera of one module to the optical center of the first camera of the other module is between 61 millimeters and 65 millimeters.

13. Устройство отображения, устанавливаемое на голове, по п. 12, в котором расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.13. The head-mounted display device of claim 12, wherein the distance from the optical center of the first camera to the optical center of the second camera in each module is less than 20 millimeters.

14. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-13, в котором каждый модуль дополнительно включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.14. Display device mounted on the head, according to any one of paragraphs. 11-13, in which each module further includes an eyepiece, and the display screen is located between the eyepiece and the camera module.

15. Устройство отображения, устанавливаемое на голове, по п. 14, в котором когда устройство отображения, устанавливаемое на голове, расположено горизонтально, линия соединения между оптическим центром первой камеры и оптическим центром второй камеры в каждом модуле параллельна горизонтальной плоскости.15. The head-mounted display device of claim 14, wherein when the head-mounted display device is positioned horizontally, the connection line between the optical center of the first camera and the optical center of the second camera in each module is parallel to the horizontal plane.

16. Устройство отображения, устанавливаемое на голове, по п. 14 или 15, в котором оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.16. The head-mounted display device according to claim 14 or 15, wherein the optical center of the eyepiece, the optical center of the display screen, and the optical center of the first camera in each module are located in a straight line.

17. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-16, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:17. Display device mounted on the head, according to any one of paragraphs. 11-16, in which the processing module, when reading computer instructions from the memory, causes each module in the head-mounted display device to perform operations on which:

18. Устройство отображения, устанавливаемое на голове, по п. 17, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операции, на которой:18. The head-mounted display device of claim 17, wherein the processing module, when reading computer instructions from the memory, causes each module in the head-mounted display device to perform an operation that:

19. Устройство отображения, устанавливаемое на голове, по п. 17 или 18, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:19. The head-mounted display device of claim 17 or 18, wherein the processing module, when reading computer instructions from the memory, causes each module in the head-mounted display device to perform operations that:

20. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-19, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операции, на которой:20. Display device mounted on the head, according to any one of paragraphs. 11-19, in which the processing module, when reading computer instructions from the memory, causes each module in the head-mounted display device to perform an operation on which:

21. Устройство отображения, устанавливаемое на голове, по любому из пп. 11-20, в котором модуль обработки, при считывании компьютерных инструкций из памяти, вызывает выполнение каждым модулем в устройстве отображения, устанавливаемом на голове, операций, на которых:21. Display device mounted on the head, according to any one of paragraphs. 11-20, in which the processing module, when reading computer instructions from the memory, causes each module in the head-mounted display device to perform operations on which:

22. Машиночитаемый носитель информации, содержащий компьютерные инструкции, вызывающие, при исполнении указанных инструкций терминалом, выполнение терминалом способа обработки изображения по любому из пп. 1-10.22. A computer-readable storage medium containing computer instructions that cause, when these instructions are executed by the terminal, the terminal executes the image processing method according to any one of paragraphs. 1-10.