RU2807472C2

RU2807472C2 - Method and electronic device for determining acceptance of face feature

Info

Publication number: RU2807472C2
Application number: RU2021138984A
Authority: RU
Inventors: Тяньло ЧЭНЬ; Лей ЦИНЬ; Хэн ЧЖОУ; Синь ДИН; Юнтао ЦЗЯН
Original assignee: Хонор Дивайс Ко., Лтд.
Priority date: 2019-06-11
Filing date: 2020-06-09
Publication date: 2023-11-15

Abstract

FIELD: image processing technology.

SUBSTANCE: invention relates to a method for determining the validity of a facial feature and an electronic device. The method includes: determining position information and/or face change information based on a face feature of a first video image, where the position information is used to represent the deviation of a person's head indicated by the face feature in the first video image, the face change information is used to represent a change state the position of a person's head in the first video image and the second video image, and the second video image is an image frame preceding the first video image in the video stream to which the first video image relates; and determining whether the face feature is an invalid feature based on the position information and/or the face change information, and further determining whether to perform 3D reconstruction processing on the person's face in the first video image.

EFFECT: simplifying the three-dimensional reconstruction of a face in a video image due to the preliminary analysis of a facial feature to determine the possibility of its use in reconstruction.

10 cl, 13 dwg

Description

[0001] Настоящая заявка испрашивает приоритет на основании патентной заявки Китая №. 201910502644.3, поданной в Национальное управление интеллектуальной собственности Китая 11 июня 2019 г. и озаглавленной «СПОСОБ ОПРЕДЕЛЕНИЯ ДОПУСТИМОСТИ ПРИЗНАКА ЛИЦА И ЭЛЕКТРОННОЕ УСТРОЙСТВО», которая полностью включена в настоящий документ посредством ссылки. [0001] The present application claims priority based on Chinese Patent Application No. 201910502644.3, filed with the National Intellectual Property Administration of China on June 11, 2019, entitled “METHOD FOR DETERMINING THE ELIGIBILITY OF FACIAL FEATURES AND ELECTRONIC DEVICE,” which is incorporated herein by reference in its entirety.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF TECHNOLOGY TO WHICH THE INVENTION RELATES

[0002] Варианты осуществления настоящей заявки относятся к области технологий обработки изображений и, в частности, к способу определения допустимости признака лица и электронному устройству. [0002] Embodiments of the present application relate to the field of image processing technologies and, in particular, to a method for determining the validity of a facial feature and an electronic device.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE ART

[0003] В настоящее время камеры на некоторых портативных компьютерах спроектированы так, чтобы их можно было скрыть, и они расположены под экранами. Когда пользователи получают изображения через камеры на ноутбуках, лицо на изображении имеет угол подъема вверх, и пользовательский опыт оставляет желать лучшего. Поэтому угол лица нужно скорректировать. В настоящее время общая технология трехмерной реконструкции выполняет трехмерную реконструкцию на одном кадре изображения лица, например, с использованием технологии трехмерной морфируемой модели (3d morphable model, 3DMM) для исправления лица на изображении с камеры для улучшения качества изображения. Пользовательский опыт. Технология трехмерной реконструкции обычно реконструирует и корректирует лицо на основе распознанных признаков лица. Следовательно, эффект лица технологии трехмерной реконструкции зависит от точности распознавания точки признака в признаке лица.[0003] Currently, the cameras on some laptop computers are designed to be hidden and are located under the screens. When users receive images through cameras on laptops, the face in the image has an upward angle and the user experience leaves much to be desired. Therefore, the angle of the face needs to be adjusted. Currently, general 3D reconstruction technology performs 3D reconstruction on a single frame of a face image, for example, using 3D morphable model (3DMM) technology to correct the face in a camera image to improve image quality. User experience. 3D reconstruction technology typically reconstructs and corrects the face based on recognized facial features. Therefore, the face effect of 3D reconstruction technology depends on the recognition accuracy of the feature point in the face feature.

[0004] В настоящее время способы машинного обучения обычно используются для определения допустимости признака лица, но машинное обучение основано на предварительно обученной модели, а достоверность модели зависит от обучающих выборок. Следовательно, достоверность определения не может быть определена, а способ определения, основанный на машинном обучении, очень сложен. [0004] Currently, machine learning methods are commonly used to determine the validity of a facial feature, but machine learning is based on a pre-trained model, and the validity of the model depends on the training samples. Therefore, the accuracy of the determination cannot be determined, and the determination method based on machine learning is very complex.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

[0005] Варианты осуществления настоящей заявки предоставляют способ определения допустимости признака лица и электронное устройство, чтобы решить проблему высокой сложности определения способа, основанного на машинном обучении.[0005] Embodiments of the present application provide a method for determining the validity of a facial feature and an electronic device to solve the problem of high complexity in determining a method based on machine learning.

[0006] Согласно первому аспекту вариант осуществления настоящей заявки предоставляет способ определения допустимости признака лица. Способ может выполняться любым электронным устройством или может выполняться микросхемой или процессором в электронном устройстве. Способ включает в себя: получение признаков лица первого видеоизображения; определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, где информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, используется информация об изменении лица для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении второе видеоизображение представляет собой кадр изображения, предшествующий первому видеоизображению в видеопотоке, которому принадлежит первое видеоизображение, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества; и определение того, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица.[0006] According to a first aspect, an embodiment of the present application provides a method for determining the validity of a facial feature. The method may be performed by any electronic device or may be performed by a chip or processor in an electronic device. The method includes: obtaining facial features of the first video image; determining position information and/or face change information based on the face feature of the first video image, where the position information is used to represent the deviation of the head of a person indicated by the face feature in the first video image, the face change information is used to represent the state of the change in the position of the person's head in the first the video image and the second video image, the second video image is an image frame preceding the first video image in the video stream to which the first video image belongs, and the number of video images between the second video image and the first video image is within a predetermined number range; and determining whether the face feature is an invalid feature based on the position information and/or the face change information.

[0007] Согласно вышеизложенному решению информация о положении и/или информация об изменении лица определяются/определяется на основе признака лица, чтобы определить, является ли признак лица недопустимым признаком. Модель обучения не требуется, а сложность невысока.[0007] According to the above solution, position information and/or face change information are/are determined based on the face feature to determine whether the face feature is an invalid feature. No learning model is required and the complexity is low.

[0008] В возможной реализации определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения включает в себя: дополнительное определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения.[0008] In an exemplary implementation, determining position information and/or face change information based on the face feature of the first video image includes: further determining position information and/or face change information based on the face feature of the first video image when the face feature is not includes a feature point located in an edge region of the first video image.

[0009] Когда признак лица включает в себя точку признака, расположенную в краевой области, после трехмерной реконструкции на краю изображения может остаться пробел, и эффект будет плохим. Например, когда точка признака находится слишком близко к краю изображения, может быть определено, что признак лица является недопустимым признаком. В этом случае нет необходимости выполнять операцию определения информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения и последующих операций. Это повышает точность трехмерной реконструкции и может сократить время определения.[0009] When a face feature includes a feature point located in an edge region, after 3D reconstruction, a gap may be left at the edge of the image, and the effect will be poor. For example, when a feature point is too close to the edge of the image, it may be determined that the face feature is an invalid feature. In this case, it is not necessary to perform the operation of determining position information and/or face change information based on the face feature of the first video image and subsequent operations. This improves the accuracy of the 3D reconstruction and can reduce detection time.

[0010] В возможной реализации информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека. Информация об изменении лица может включать в себя по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходства изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения.[0010] In an exemplary implementation, the position information may include at least one of a horizontal deflection used to represent the rotation of the person's head to the left or right, a vertical deflection used to represent the raising or lowering of the person's head, and a tilt used to represent the degree tilt of a person's head. The facial change information may include at least one of a displacement of a head position of a person in the first video image relative to a head position of a person in a second video image and an image similarity between the facial image of the first video image and the facial image of the second video image.

[0011] В возможной реализации определение того, является ли признак лица недопустимым признаком на основе информации о положении и/или информации об изменении лица, может включать в себя: определение того, что признак лица в первом видеоизображении является недопустимым признаком, когда определяется, что в выполняется по меньшей мере одно из следующих условий: [0011] In an exemplary implementation, determining whether a face feature is an invalid feature based on position information and/or face change information may include: determining that a face feature in the first video image is an invalid feature when determining that at least one of the following conditions is met:

вышеупомянутое смещение больше первого порогового значения; the above offset is greater than the first threshold value;

вышеупомянутое сходство изображения больше второго порогового значения; the above image similarity is greater than the second threshold value;

вышеупомянутое горизонтальное отклонение больше третьего порогового значения; the above horizontal deviation is greater than the third threshold value;

вышеупомянутое вертикальное отклонение больше четвертого порогового значения; илиthe above vertical deviation is greater than the fourth threshold value; or

вышеупомянутый наклон больше пятого порогового значения. the above slope is greater than the fifth threshold value.

[0012] В вышеупомянутой реализации определяется, является ли признак лица недопустимым признаком, на основании результата сравнения информации о положении и/или информации об изменении лица с пороговым значением. Сложность невысока, а время обработки невелико.[0012] In the above implementation, it is determined whether the face feature is an invalid feature based on the result of comparing the position information and/or face change information with a threshold value. The complexity is low and the processing time is short.

[0013] В возможной реализации признак лица может включать в себя N групп точек признака, где N - положительное целое число, большее или равное 1, а различные группы точек признака принадлежат разным органам лица; определение смещения в информации об изменении лица на основе признака лица первого видеоизображения включает в себя: определение расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N; и определение среднего значения N групп расстояний в качестве смещения или определение среднего значения нормализованных N групп расстояний в качестве смещения.[0013] In an exemplary implementation, a facial feature may include N groups of feature points, where N is a positive integer greater than or equal to 1, and different groups of feature points belong to different organs of the face; determining the offset in the face change information based on the facial feature of the first video image includes: determining the distance between a reference point of the i-th group of feature points in the first video image and a reference point of the i-th group of feature points in the second video image to obtain N groups of distances, where i is a positive integer less than or equal to N; and determining the average of the N distance groups as an offset or determining the average of the normalized N distance groups as an offset.

[0014] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения смещения. Смещение используется для определения точности отслеживания точек признака и низкой сложности.[0014] The above implementation provides a simple and efficient way to determine the offset. Bias is used to determine feature point tracking accuracy and low complexity.

[0015] В возможной реализации признак лица может включать в себя M групп точек признака, где M - положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица; определение сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения включает в себя: определение сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное M; j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения; j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения; и определение среднего значения M сходств как сходства изображений.[0015] In a possible implementation, a facial feature may include M groups of feature points, where M is a positive integer greater than or equal to 1, and different groups of feature points belong to different organs of the face; determining image similarity in face change information based on a facial feature of the first video image includes: determining the similarity between the j-th local feature image in the first video image and the j-th local feature image in the second video image to obtain M similarities, where j is a positive an integer less than or equal to M; The j-th local feature image in the first video image is determined based on the range enclosed by the j-th group of feature points of the first video image; The j-th local feature image in the second video image is determined based on the range enclosed by the j-th group of feature points of the second video image; and determining the average value of M similarities as image similarities.

[0016] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения сходства изображений. Состояние изменения текстуры двух соседних кадров изображений определяется с помощью сходства изображения, а состояние изменения текстуры используется для определения, является ли отслеживание точек признака точным, а также для определения того, является ли признак лица допустимым. Сложность невысокая.[0016] The above implementation provides a simple and efficient way to determine image similarity. The texture change state of two adjacent image frames is determined using the image similarity, and the texture change state is used to determine whether the feature point tracking is accurate and also to determine whether the face feature is valid. The difficulty is low.

[0017] В возможной реализации признак лица может включать в себя признак левой щеки, признак правой щеки и признак носа; определение горизонтального отклонения на основе признака лица первого видеоизображения включает в себя: определение первого расстояния между опорной точкой признака левой щеки и опорной точкой признака носа и второго расстояния между опорной точкой признака правой щеки и опорной точкой признака носа; и определение отношения первого расстояния ко второму расстоянию в качестве горизонтального отклонения или определение отношения второго расстояния к первому расстоянию в качестве горизонтального отклонения, где опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака правой щеки; или опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, а опорная точка признака правой щеки является пикселем, соответствующим среднему значению координат точек признака, включенных в признак правой щеки.[0017] In an exemplary implementation, a facial feature may include a left cheek feature, a right cheek feature, and a nose feature; determining a horizontal deviation based on the face feature of the first video image includes: determining a first distance between a left cheek feature reference point and a nose feature reference point and a second distance between a right cheek feature reference point and a nose feature reference point; and determining the ratio of the first distance to the second distance as the horizontal deviation or determining the ratio of the second distance to the first distance as the horizontal deviation, where the left cheek feature reference point is a preset feature point in the left cheek feature, the nose feature reference point is a preset feature point in the nose feature, and the reference point of the right cheek feature is a preset point of the right cheek feature; or the left cheek feature reference point is a pixel corresponding to the average value of the coordinates of the feature points included in the left cheek feature, the nose feature reference point is a pixel corresponding to the average value of the coordinates of the feature points included in the nose feature, and the right cheek feature reference point is a pixel, corresponding to the average value of the coordinates of the feature points included in the sign of the right cheek.

[0018] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения горизонтального отклонения. Горизонтальное отклонение используется, чтобы определить, имеет ли голова человека положение чрезмерного поворота влево или вправо, и дополнительно определить, является ли признак лица допустимым. Сложность невысокая.[0018] The above implementation provides a simple and efficient method for determining horizontal deviation. Horizontal deviation is used to determine whether a person's head has an excessive rotation to the left or right, and further determine whether the facial feature is acceptable. The difficulty is low.

[0019] В возможной реализации признак лица может включать в себя признак глаза, признак подбородка и признак носа; определение вертикального отклонения на основе признака лица первого видеоизображения включает в себя: определение третьего расстояния между опорной точкой признака глаза и опорной точкой признака носа и четвертого расстояния между опорной точкой признака подбородка и опорная точка признака носа; и определение отношения третьего расстояния к четвертому расстоянию в качестве горизонтального отклонения или определение отношения четвертого расстояния к третьему расстоянию как вертикального отклонения, где опорной точкой признака глаза является предварительно установленная точка признака в признаке глаза, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака подбородка предварительно установленной точкой признака в признаке подбородка; или опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа , а опорная точка признака подбородка является пикселем, соответствующим среднему значению координат точек признака, включенных в признак подбородка.[0019] In an exemplary implementation, a facial feature may include an eye feature, a chin feature, and a nose feature; determining a vertical deviation based on the face feature of the first video image includes: determining a third distance between an eye feature reference point and a nose feature reference point and a fourth distance between a chin feature reference point and a nose feature reference point; and determining the ratio of the third distance to the fourth distance as a horizontal deviation or determining the ratio of the fourth distance to the third distance as a vertical deviation, where the eye feature reference point is a preset feature point in the eye feature, the nose feature reference point is a preset feature point in the nose feature , and the reference point of the chin attribute is a preset attribute point in the chin attribute; or the eye feature reference point is the pixel corresponding to the average value of the coordinates of the feature points included in the eye feature, the nose feature reference point is the pixel corresponding to the average value of the coordinates of the feature points included in the nose feature, and the chin feature reference point is the pixel corresponding to the average value coordinates of the feature points included in the chin feature.

[0020] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения вертикального отклонения. Вертикальное отклонение используется для определения того, имеет ли голова человека положение чрезмерного подъема или опускания, а также для дальнейшего определения того, является ли признак лица допустимым. Сложность невысокая.[0020] The above implementation provides a simple and efficient method for determining vertical deviation. Vertical deviation is used to determine whether a person's head has an excessive elevation or depression position, and to further determine whether the facial feature is acceptable. The difficulty is low.

[0021] В возможной реализации признак лица может включать в себя признак левого глаза и признак правого глаза; определение наклона на основе признака лица первого видеоизображения включает в себя: определение угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза в качестве наклона , где опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точки признака, включенной в признак правого глаза; или опорной точкой признака левого глаза является точка признака зрачка левого глаза в признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза в признаке правого глаза.[0021] In an exemplary implementation, the facial feature may include a left eye feature and a right eye feature; determining the tilt based on the face feature of the first video image includes: determining an angle in the horizontal direction of the offset of the connection line between the reference point of the left eye feature and the reference point of the right eye feature as a tilt, where the reference point of the left eye feature is a pixel corresponding to the average value of the coordinates of the points features included in the left eye feature, and the reference point of the right eye feature is a pixel corresponding to the average value of the coordinates of the feature point included in the right eye feature; or the left eye feature reference point is the left eye pupil feature point in the left eye feature, and the right eye feature reference point is the right eye pupil feature point in the right eye feature.

[0022] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения наклона. Наклон используется, чтобы определить, имеет ли голова человека положение чрезмерного наклона, и дополнительно определить, является ли признак лица допустимым. Сложность невысокая.[0022] The above implementation provides a simple and efficient method for determining the slope. Tilt is used to determine whether a person's head has an excessive tilt position and further determine whether a facial cue is acceptable. The difficulty is low.

[0023] Согласно второму аспекту вариант осуществления настоящей заявки дополнительно предоставляет устройство для определения допустимости признака лица, включая блоки, отдельно выполненные с возможностью выполнения способа согласно первому аспекту или согласно любой реализации первого аспекта.[0023] According to a second aspect, an embodiment of the present application further provides an apparatus for determining the validity of a face attribute, including units separately configured to perform the method of the first aspect or any implementation of the first aspect.

[0024] Согласно третьему аспекту вариант осуществления настоящей заявки дополнительно предоставляет электронное устройство, включая процессор и память, где процессор соединен с памятью; память выполнена с возможностью хранения программной инструкции; процессор выполнен с возможностью чтения программной инструкции, хранящейся в памяти, чтобы реализовать способ согласно первому аспекту и любой возможной реализации первого аспекта.[0024] According to a third aspect, an embodiment of the present application further provides an electronic device including a processor and a memory, where the processor is coupled to the memory; the memory is configured to store a program instruction; the processor is configured to read a program instruction stored in memory to implement the method according to the first aspect and any possible implementation of the first aspect.

[0025] Согласно четвертому аспекту вариант осуществления настоящей заявки дополнительно предоставляет компьютерный носитель данных, на котором компьютерный носитель данных хранит программную инструкцию, и когда программная инструкция выполняется на электронном устройстве, электронное устройство получает возможность выполнять способ в соответствии с первым аспектом и любой возможной реализацией первого аспекта.[0025] According to a fourth aspect, an embodiment of the present application further provides a computer storage medium on which the computer storage medium stores a program instruction, and when the program instruction is executed on an electronic device, the electronic device is enabled to execute the method in accordance with the first aspect and any possible implementation of the first aspect. aspect.

[0026] Согласно пятому аспекту вариант осуществления настоящей заявки дополнительно предоставляет компьютерный программный продукт, где, когда компьютерный программный продукт работает на электронном устройстве, электронное устройство может выполнять способ согласно первому аспекту и любой возможной реализации первый аспект.[0026] According to a fifth aspect, an embodiment of the present application further provides a computer program product, wherein, when the computer program product runs on an electronic device, the electronic device may execute the method according to the first aspect and any possible implementation of the first aspect.

[0027] Согласно шестому аспекту вариант осуществления настоящей заявки дополнительно предоставляет микросхему, при этом микросхема соединена с памятью в электронном устройстве, и выполняет способ согласно первому аспекту и любой возможной реализации первого аспекта.[0027] According to a sixth aspect, an embodiment of the present application further provides a chip, wherein the chip is coupled to a memory in an electronic device, and performs a method according to the first aspect and any possible implementation of the first aspect.

[0028] Кроме того, технические эффекты, привнесенные вторым аспектом в шестой аспект, см. в описании первого аспекта. Подробности не описаны здесь снова.[0028] In addition, for the technical effects brought by the second aspect to the sixth aspect, see the description of the first aspect. The details are not described here again.

[0029] Следует отметить, что «соединение» в этом варианте осуществления настоящей заявки означает, что два компонента прямо или косвенно комбинируются друг с другом. [0029] It should be noted that "connection" in this embodiment of the present application means that two components are directly or indirectly combined with each other.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0030] Фиг. 1 - схематическая диаграмма результата трехмерной реконструкции согласно варианту осуществления этой заявки;[0030] FIG. 1 is a schematic diagram of a three-dimensional reconstruction result according to an embodiment of this application;

[0031] Фиг. 2 - схематическая диаграмма деформации лица при трехмерной реконструкции из-за отказа признака лица согласно варианту осуществления этой заявки;[0031] FIG. 2 is a schematic diagram of facial deformation during 3D reconstruction due to facial feature failure according to an embodiment of this application;

[0032] Фиг. Фиг. 3 - схематическая структурная диаграмма электронного устройства согласно варианту осуществления этой заявки;[0032] FIG. Fig. 3 is a schematic structure diagram of an electronic device according to an embodiment of this application;

[0033] Фиг. 4 - схематическая структурная диаграмма другого электронного устройства согласно варианту осуществления этой заявки;[0033] FIG. 4 is a schematic block diagram of another electronic device according to an embodiment of this application;

[0034] Фиг. 5 - схематическая блок-схема последовательности операций способа определения допустимости признака лица согласно варианту осуществления этой заявки;[0034] FIG. 5 is a schematic flowchart of a method for determining the validity of a facial attribute according to an embodiment of this application;

[0035] Фиг. 6A - схематическая диаграмма плохого результата лица после трехмерной реконструкции согласно варианту осуществления этой заявки;[0035] FIG. 6A is a schematic diagram of a poor facial outcome after 3D reconstruction according to an embodiment of this application;

[0036] Фиг. 6B - схематическая диаграмма краевой области согласно варианту осуществления этой заявки;[0036] FIG. 6B is a schematic diagram of an edge region according to an embodiment of this application;

[0037] Фиг. 6C - схематическая диаграмма края изображения согласно варианту осуществления этой заявки;[0037] FIG. 6C is a schematic diagram of an image edge according to an embodiment of this application;

[0038] Фиг. 7 - схематическая диаграмма точки признака, включенной в признак лица, согласно варианту осуществления этой заявки;[0038] FIG. 7 is a schematic diagram of a feature point included in a face feature according to an embodiment of this application;

[0039] Фиг. 8 - схематическая диаграмма локального изображения признака лица согласно варианту осуществления этой заявки;[0039] FIG. 8 is a schematic diagram of a local facial feature image according to an embodiment of this application;

[0040] Фиг. 9 - схематическая блок-схема последовательности операций другого способа определения допустимости признака лица согласно варианту осуществления этой заявки;[0040] FIG. 9 is a schematic flowchart of another method for determining the validity of a facial feature according to an embodiment of this application;

[0041] Фиг. 10 - схематическая структурная диаграмма устройства 10 согласно варианту осуществления этой заявки; и[0041] FIG. 10 is a schematic block diagram of a device 10 according to an embodiment of this application; And

[0042] Фиг. 11 - схематическая структурная диаграмма электронного устройства 11 согласно варианту осуществления этой заявки. [0042] FIG. 11 is a schematic structure diagram of an electronic device 11 according to an embodiment of this application.

Описание вариантов осуществленияDescription of Embodiments

[0043] Варианты осуществления настоящей заявки могут быть применены к сцене съемки электронного устройства, или к сцене мониторинга электронного устройства, или к сцене видеозвонка или видеоконференции между электронными устройствами, и, конечно же, в качестве альтернативы могут быть применены к сцене, в которой электронное устройство выполняет трехмерную реконструкцию головы человека на захваченном изображении. Например, когда между электронными устройствами осуществляется видеозвонок, локальное электронное устройство передает изображение лица локального пользователя на одноранговое электронное устройство для отображения, чтобы достичь цели видеосвязи.[0043] Embodiments of the present application may be applied to a scene of shooting an electronic device, or to a scene of monitoring an electronic device, or to a scene of a video call or video conference between electronic devices, and of course, alternatively, may be applied to a scene in which an electronic the device performs a 3D reconstruction of a person's head in the captured image. For example, when a video call is made between electronic devices, the local electronic device transmits the local user's face image to the peer electronic device for display to achieve the purpose of the video call.

[0044] Любая из вышеперечисленных сцен включает в себя процесс сбора и обработки изображения лица электронным устройством. Например, как показано на фиг. 1, когда камера на электронном устройстве расположена под или над экраном, и когда пользователь собирает изображение с помощью камеры на электронном устройстве, лицо на изображении может иметь угол подъема вверх или угол наклона, как показанный на фиг. 1 (а). В этом случае электронное устройство может использовать технологию трехмерной реконструкции для корректировки угла лица на изображении. В качестве другого примера, во время видеонаблюдения необходимо скорректировать угол лица на изображении наблюдения, чтобы повысить точность распознавания лиц. В этом случае электронное устройство также может использовать технологию трехмерной реконструкции для корректировки угла лица на изображении. Технология трехмерной реконструкции обычно основана на узнаваемых признаках лица. Например, лицо, показанное на фиг. 1 (б) реконструирован и уравновешен. Скорректированное изображение лица может быть показано на фиг. 1 (в). Можно узнать, что в любой из вышеупомянутых сцен для улучшения качества видеозвонка или улучшения эффекта обработки изображения электронным устройством, чтобы получить более точные признаки лица и тому подобное, технология для трехмерной реконструкции изображения лица. Эффект лица, получаемый с помощью технологии трехмерной реконструкции, в основном зависит от точного распознавания точки признака в признаке лица.[0044] Any of the above scenes involves the process of collecting and processing a face image by an electronic device. For example, as shown in FIG. 1, when the camera on the electronic device is positioned below or above the screen, and when the user collects an image using the camera on the electronic device, the face in the image may have an upward angle or an angle of inclination as shown in FIG. 1(a). In this case, the electronic device can use 3D reconstruction technology to adjust the angle of the face in the image. As another example, during video surveillance, it is necessary to adjust the angle of the face in the surveillance image to improve the accuracy of face recognition. In this case, the electronic device can also use 3D reconstruction technology to adjust the angle of the face in the image. 3D reconstruction technology is usually based on recognizable facial features. For example, the person shown in FIG. 1 (b) reconstructed and balanced. The corrected face image can be shown in FIG. 1 (c). It can be learned that in any of the above scenes, to improve the quality of a video call or improve the image processing effect of an electronic device to obtain more accurate facial features and the like, technology for three-dimensional facial image reconstruction. The face effect obtained by 3D reconstruction technology mainly depends on the accurate recognition of the feature point in the face feature.

[0045] В процессе трехмерной реконструкции изображения лица, если угол положения головы чрезмерно велик, например, чрезмерно большой угол подъема лица вверх или чрезмерно большой угол наклона, или точка признака в собранном изображение лица находится близко к краю изображения лица, или лицо движется слишком быстро во время сбора изображения лица, не удается отслеживать точку признака в признаке лица в реальном времени и т. д. Это приводит к неточному распознаванию точки признака в признаке лица, и, следовательно, эффект последующей коррекции угла лица плохой, например, как показано на фиг. 2.[0045] In the process of 3D face image reconstruction, if the head position angle is excessively large, such as the upward angle of the face is excessively large or the tilt angle is excessively large, or the feature point in the collected face image is close to the edge of the face image, or the face is moving too fast when collecting a face image, it is not possible to track the feature point in the face feature in real time, etc. This results in inaccurate recognition of the feature point in the face feature, and therefore the effect of subsequent face angle correction is poor, for example, as shown in FIG. . 2.

[0046] Исходя из этого, технические решения, представленные в вариантах осуществления настоящей заявки, могут хорошо решить проблему, заключающуюся в том, что в любой из вышеупомянутых сцен, когда электронное устройство выполняет обработку трехмерной реконструкции на захваченном изображении лица, распознавание точки признака в признаке лица является неточным, что приводит к плохому эффекту исправления угла лица позже. Основная идея состоит в том, чтобы определить, используя признак лица в распознанном видеоизображении, информацию о положении, используемую для представления текущего угла положения головы и/или информацию об изменении лица, используемую для представления состояния изменения положения головы отслеживаемого человека, чтобы определить, является ли распознанный признак лица недопустимым признаком. Недопустимый признак относится к неточно распознанной точке признака.[0046] Based on this, the technical solutions presented in the embodiments of the present application can well solve the problem that in any of the above scenes, when an electronic device performs 3D reconstruction processing on a captured face image, recognizing a feature point in a feature face is inaccurate, resulting in poor face angle correction effect later. The basic idea is to determine, using the face feature in the recognized video image, the position information used to represent the current head position angle and/or the face change information used to represent the head position change state of the tracked person to determine whether a recognized facial feature is an unacceptable feature. An invalid feature refers to an inaccurately recognized feature point.

[0047] Вышеупомянутое электронное устройство может быть электронным устройством с функцией захвата изображения, таким как портативный компьютер, мобильный телефон, цифровая камера или iPad, или может быть настольным компьютером, носимым устройством и т.п., что не ограничивается вариантами осуществления настоящей заявки. В качестве альтернативы электронное устройство может быть устройством, например сервером, имеющим только функцию обработки изображений. В частности, электронное устройство имеет источник сигнала, и источник сигнала может быть источником обработанного контента электронного устройства, которым может быть изображение или видеокадр. Источником изображения может быть сеть, мобильный носитель данных, камера, устройство камеры и т.п. Источник сигнала выполнен с возможностью ввода подлежащего обработке видеоизображения, в электронное устройство, а электронное устройство выполнено с возможностью обработки подлежащего обработке видеоизображения. Например, способ определения допустимости признака лица, предусмотренный этим вариантом осуществления настоящей заявки, используется для определения того, что признак лица является допустимым. В качестве другого примера, когда определяется, что признак лица является допустимым, угол лица может быть скорректирован на основе способа трехмерной реконструкции. В необязательном случае электронное устройство может иметь функцию отображения, поэтому электронное устройство, представленное в этом варианте осуществления настоящей заявки, может дополнительно отображать обработанное видеоизображение. В этом случае нет необходимости выводить обработанное видеоизображение на устройство отображения. Например, электронное устройство может быть видеокамерой с функцией отображения или интеллектуальным оконечным устройством, таким как ноутбук или планшетный компьютер. В другом необязательном случае электронное устройство не имеет функции отображения, и электронное устройство выводит обработанное видеоизображение на устройство отображения. Устройство отображения в данном документе может быть устройством с функцией отображения, например дисплеем, или может быть экраном дисплея. Устройство отображения выполнено с возможностью приема сигнала изображения, передаваемого электронным устройством, и отображения принятого сигнала изображения.[0047] The above-mentioned electronic device may be an electronic device with an image capturing function such as a laptop computer, a mobile phone, a digital camera or an iPad, or may be a desktop computer, a wearable device or the like, which is not limited to embodiments of the present application. Alternatively, the electronic device may be a device, such as a server, having only an image processing function. In particular, the electronic device has a signal source, and the signal source may be a source of processed content of the electronic device, which may be an image or video frame. The image source may be a network, a mobile storage medium, a camera, a camera device, or the like. The signal source is configured to input the video image to be processed into the electronic device, and the electronic device is configured to process the video image to be processed. For example, the facial feature validity determination method provided by this embodiment of the present application is used to determine that the facial feature is valid. As another example, when it is determined that a face feature is valid, the angle of the face may be adjusted based on the 3D reconstruction method. Optionally, the electronic device may have a display function, so the electronic device provided in this embodiment of the present application may further display the processed video image. In this case, there is no need to output the processed video image to the display device. For example, the electronic device may be a video camera with a display function or a smart terminal device such as a laptop or tablet computer. In another optional case, the electronic device does not have a display function, and the electronic device outputs the processed video image to the display device. The display device herein may be a device with a display function, such as a display, or may be a display screen. The display device is configured to receive an image signal transmitted by an electronic device and display the received image signal.

[0048] Например, источник сигнала может быть создан внутри электронного устройства. Например, электронное устройство включает в себя камеру для сбора сигнала изображения. Источник сигнала может формироваться внешним устройством. Например, другое устройство камеры, независимое от электронного устройства, захватывает изображение лица и отправляет захваченное изображение на электронное устройство. Следующее описание дается с использованием примера, в котором источник сигнала формируется внутри электронного устройства.[0048] For example, the signal source may be created within an electronic device. For example, the electronic device includes a camera for collecting an image signal. The signal source can be generated by an external device. For example, another camera device, independent of the electronic device, captures an image of a face and sends the captured image to the electronic device. The following description is given using an example in which a signal source is generated within an electronic device.

[0049] Нижеследующее сначала кратко описывает структуру электронного устройства, к которому может быть применен вариант осуществления настоящего изобретения. В частности, как показано на фиг. 3, электронное устройство может включать в себя процессор 110, память 120 и камеру 130. Электронное устройство может дополнительно включать в себя экран 140 дисплея. Процессор 110 может включать в себя один или несколько процессоров. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, память, видеокодек, процессор цифровых сигналов (digital signal processor, DSP), процессор основной полосы частот и/или блок обработки нейронной сети (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров. Контроллер может быть нервным центром и командным центром электронного устройства. Контроллер может формировать сигнал управления операцией в соответствии с кодом операции команды и сигналом синхронизации для завершения управления выборкой и выполнением команды.[0049] The following first briefly describes the structure of an electronic device to which an embodiment of the present invention can be applied. In particular, as shown in FIG. 3, the electronic device may include a processor 110, a memory 120, and a camera 130. The electronic device may further include a display screen 140. Processor 110 may include one or more processors. For example, processor 110 may include an application processor (AP), a modem processor, a graphics processing unit (GPU), an image signal processor (ISP), a controller, memory, a video codec, a digital signal processor. (digital signal processor, DSP), baseband processor and/or neural-network processing unit (NPU). The various processing units may be independent components or may be integrated into one or more processors. The controller can be the nerve center and command center of an electronic device. The controller can generate an operation control signal in accordance with the command operation code and the timing signal to complete the command fetch and execution control.

[0050] В процессоре 110 может быть дополнительно размещена память для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 110 является кэш-памятью. В памяти может храниться инструкция или данные, которые процессор 110 только что использовал или использовал циклически. Если процессору 110 необходимо снова использовать команду или данные, команда или данные могут быть непосредственно вызваны из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 110, тем самым повышая эффективность системы.[0050] Processor 110 may further include memory for storing instructions and data. In some embodiments, the memory in processor 110 is a cache memory. The memory may store instructions or data that processor 110 has just used or used cyclically. If processor 110 needs to use the instruction or data again, the instruction or data may be directly recalled from memory. This avoids repeated access and reduces latency of the processor 110, thereby increasing system efficiency.

[0051] Следует отметить, что процессор 110 может запускать программный код способа определения допустимости признака лица, предусмотренного в вариантах осуществления настоящей заявки, для выполнения процесса определения допустимости признака лица в следующем описании. Конкретный процесс определения допустимости признака лица будет описан ниже.[0051] It should be noted that the processor 110 may run the facial feature validity determination method program code provided in the embodiments of the present application to perform the facial feature validity determination process in the following description. The specific process for determining the acceptability of a facial attribute will be described below.

[0052] Память 120 может быть выполнена с возможностью хранения кода программы, исполняемого компьютером. Исполняемый программный код включает в себя инструкцию. Выполняя инструкцию, хранящуюся в памяти 120, процессор 110 выполняет различные функциональные приложения и обработку данных электронного устройства. Память 120 может включать в себя область хранения программ и область хранения данных. В области хранения программ может храниться программный код операционной системы и приложения (например, приложения камеры, приложения WeChat, приложения QQ или приложения видеочата). В области хранения данных могут храниться персональные данные (например, изображение, полученное до определения допустимости признака лица, и изображение после трехмерной реконструкции), созданные во время использования электронного устройства.[0052] Memory 120 may be configured to store program code executable by a computer. The executable program code includes an instruction. By executing the instruction stored in the memory 120, the processor 110 performs various functional applications and data processing of the electronic device. The memory 120 may include a program storage area and a data storage area. The program storage area can store operating system and application code (such as camera applications, WeChat applications, QQ applications, or video chat applications). The data storage area may store personal data (eg, an image taken before facial validity is determined and an image after 3D reconstruction) created during use of the electronic device.

[0053] Следует отметить, что память 120 может дополнительно хранить программный код способа определения допустимости признака лица, предусмотренного в вариантах осуществления настоящей заявки. При запуске кода процессор 110 выполняет процесс определения допустимости признака лица в нижеследующем описании, чтобы реализовать функцию определения допустимости признака лица. Память 120 может дополнительно хранить другое содержимое, например, память 120 хранит признаки лица. Следует понимать, что память 120 может дополнительно хранить другое содержимое, упомянутое ниже, например, от первого порогового значения до пятого порогового значения.[0053] It should be noted that the memory 120 may further store program code for a method for determining the validity of a face feature provided in the embodiments of the present application. When the code is executed, the processor 110 executes the facial validity determination process in the following description to implement the facial validity determination function. Memory 120 may further store other content, for example, memory 120 stores facial features. It should be understood that memory 120 may additionally store other contents mentioned below, for example, from the first threshold value to the fifth threshold value.

[0054] Память 120 может включать в себя высокоскоростную память с произвольным доступом и может дополнительно включать в себя энергонезависимую память, такую как, по меньшей мере, одно устройство хранения на магнитных дисках, устройство флэш-памяти и универсальный флеш-накопитель (universal flash storage, UFS).[0054] Memory 120 may include high-speed random access memory and may further include nonvolatile memory such as at least one magnetic disk storage device, a flash memory device, and universal flash storage , UFS).

[0055] Экран 140 дисплея выполнен с возможностью отображения изображения, видео и т.п., например, выполнен с возможностью отображения неподвижного изображения или видео, которое получено камерой 130 и которое не подвергалось трехмерной реконструкции, или выполнено с возможностью отображать неподвижное изображение или видео после трехмерной реконструкции. Экран 140 дисплея включает в себя панель дисплея. Панель дисплея может использовать жидкокристаллический дисплей (liquid crystal display, LCD), органический светоизлучающий диод (organic light-emitting diode, OLED), органический светоизлучающий диод с активной матрицей (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (flex light-emitting diode, FLED), Miniled, MicroLed, Micro-oLed, светоизлучающий диод с квантовыми точками (quantum dot light emitting diodes, QLED) и тому подобное. В некоторых вариантах осуществления электронное устройство может включать в себя 1 или N экранов 140 дисплея, а N - положительное целое число больше 1. Экран 140 дисплея выполнен с возможностью отображения домашнего интерфейса или отображения интерфейса дисплея приложения, такого как интерфейс дисплея приложения видеовызова. Экран 140 дисплея может дополнительно отображать видеоизображение, такое как видеоизображение, после трехмерной реконструкции во время видеовызова.[0055] The display screen 140 is configured to display an image, video, or the like, for example, configured to display a still image or video that is captured by the camera 130 and which has not been subjected to three-dimensional reconstruction, or configured to display a still image or video after 3D reconstruction. The display screen 140 includes a display panel. The display panel can use liquid crystal display (LCD), organic light-emitting diode (OLED), active-matrix organic light emitting diode (AMOLED), flexible LED (flex light -emitting diode, FLED), Miniled, MicroLed, Micro-oLed, light emitting diode with quantum dots (quantum dot light emitting diodes, QLED) and the like. In some embodiments, the electronic device may include 1 or N display screens 140, and N is a positive integer greater than 1. The display screen 140 is configured to display a home interface or display an application display interface, such as a video calling application display interface. The display screen 140 may further display a video image, such as a video image, after three-dimensional reconstruction during a video call.

[0056] В частности, в этом варианте осуществления настоящей заявки камера 130 может быть выполнена с возможностью получения неподвижного изображения или видео перед трехмерной реконструкцией. Например, электронное устройство представляет собой портативный компьютер, который также может называться персональным компьютером (person computer, PC). Как показано на фиг. 4, камера 130 может быть расположена под экраном 140 дисплея. Камера 130 может включать в себя светочувствительные элементы, такие как группа линз и датчик изображения. Группа линз включает в себя множество линз (выпуклые линзы или вогнутые линзы) для сбора световых сигналов, отраженных объектом, который нужно сфотографировать, и передачи собранных световых сигналов на датчик изображения. Датчик изображения формирует изображение фотографируемого объекта на основе световых сигналов.[0056] In particular, in this embodiment of the present application, camera 130 may be configured to acquire a still image or video prior to 3D reconstruction. For example, an electronic device is a laptop computer, which may also be called a personal computer (PC). As shown in FIG. 4, camera 130 may be located below the display screen 140. Camera 130 may include photosensitive elements such as a lens array and an image sensor. The lens group includes a plurality of lenses (convex lenses or concave lenses) for collecting light signals reflected by an object to be photographed and transmitting the collected light signals to an image sensor. The image sensor forms an image of the photographed object based on light signals.

[0057] Электронное устройство может дополнительно включать в себя датчик 150 касания, который также называется «сенсорной панелью», как показано на фиг. 4. Датчик 150 касания выполнен с возможностью обнаружения операции касания, применимой к датчику 150 касания или рядом с ним. Датчик 150 касания может передавать обнаруженную операцию касания процессору 110 для определения типа события касания. Визуальный вывод, связанный с операцией касания, может быть обеспечен через экран 140 дисплея. Электронное устройство может дополнительно включать в себя другие устройства ввода, такие как физическая клавиатура и мышь.[0057] The electronic device may further include a touch sensor 150, also referred to as a “touch pad,” as shown in FIG. 4. The touch sensor 150 is configured to detect a touch operation applied to or adjacent to the touch sensor 150. Touch sensor 150 may transmit the detected touch operation to processor 110 to determine the type of touch event. The visual output associated with the touch operation may be provided through the display screen 140. The electronic device may further include other input devices such as a physical keyboard and mouse.

[0058] Датчик 150 касания может обнаруживать операцию касания пользователя на сенсорном экране и отправлять операцию касания в процессор 110. На основе операции касания процессор 110 может определять значок, соответствующий операции касания, то есть определять приложение, по которому должен щелкнуть пользователь. Датчик 150 касания может обнаруживать операцию касания пользователя на сенсорном экране и отправлять операцию касания в процессор 110. На основе операции касания процессор 110 может определять значок, соответствующий операции касания, то есть определять приложение, по которому должен щелкнуть пользователь. Предполагая, что процессор 110 определяет на основе операции касания, что пользователь нажимает на приложение видеочата, процессор 110 запускает приложение камеры, отображает интерфейс видоискателя и запускает камеру 130. Камера 130 захватывает видеоизображение, и интерфейс видоискателя отображает видеоизображение. Конечно, интерфейс видоискателя дополнительно включает в себя управление видеосъемкой. Когда датчик 150 касания обнаруживает операцию для запуска управления съемкой, камера 130 собирает видеоизображение.[0058] The touch sensor 150 may detect a user's touch operation on the touch screen and send the touch operation to the processor 110. Based on the touch operation, the processor 110 may determine an icon corresponding to the touch operation, that is, determine an application to be clicked by the user. The touch sensor 150 may detect a user's touch operation on the touch screen and send the touch operation to the processor 110. Based on the touch operation, the processor 110 may determine an icon corresponding to the touch operation, that is, determine an application to be clicked by the user. Assuming that the processor 110 determines, based on the touch operation, that the user is clicking on the video chat application, the processor 110 launches the camera application, displays the viewfinder interface, and launches the camera 130. The camera 130 captures a video image, and the viewfinder interface displays the video image. Of course, the viewfinder interface additionally includes video shooting controls. When the touch sensor 150 detects an operation to trigger shooting control, the camera 130 collects a video image.

[0059] Точно так же электронное устройство может альтернативно принимать операцию ввода через физическую клавиатуру и отправлять операцию ввода процессору 110. Процессор 110 определяет значок, соответствующий операции ввода, такой как приложение видеочата. В качестве альтернативы электронное устройство может принимать операцию ввода с помощью мыши и отправлять операцию ввода процессору 110. Процессор 110 определяет значок, соответствующий операции ввода.[0059] Similarly, the electronic device may alternatively receive an input operation through a physical keyboard and send the input operation to processor 110. Processor 110 determines an icon corresponding to the input operation, such as a video chat application. Alternatively, the electronic device may receive a mouse input operation and send the input operation to processor 110. Processor 110 determines an icon corresponding to the input operation.

[0060] Как показано на фиг. 3, электронное устройство может дополнительно включать в себя аудиомодуль 160, динамик 160A, телефонную трубку 160B, микрофон 160C и гнездо 160D для наушников для реализации аудиофункций, таких как воспроизведение музыки и запись звука.[0060] As shown in FIG. 3, the electronic device may further include an audio module 160, a speaker 160A, a handset 160B, a microphone 160C, and a headphone jack 160D for implementing audio functions such as music playback and audio recording.

[0061] Аудиомодуль 160 выполнен с возможностью преобразования цифровой аудиоинформации в аналоговый аудиосигнал для вывода и дополнительно выполнен с возможностью преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 160 может быть дополнительно выполнен с возможностью кодирования и декодирования аудиосигналов. В некоторых вариантах осуществления аудиомодуль 160 может быть размещен в процессоре 110, или некоторые из функциональных модулей аудиомодуля 160 могут быть размещены в процессоре 110.[0061] Audio module 160 is configured to convert digital audio information into an analog audio signal for output, and is further configured to convert analog audio input to a digital audio signal. Audio module 160 may be further configured to encode and decode audio signals. In some embodiments, audio module 160 may be housed in processor 110, or some of the functional modules of audio module 160 may be housed in processor 110.

[0062] Динамик 160A, также называемый «громкоговорителем», выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Электронное устройство может слушать музыку через динамик 160A или слушать звонок в режиме громкой связи.[0062] The speaker 160A, also referred to as a “loudspeaker,” is configured to convert an audio electrical signal into an audio signal. The electronic device can listen to music through the 160A speaker or listen to a call in hands-free mode.

[0063] Телефонная трубка 160B, также называемая «трубкой», выполнена с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Когда электронное устройство принимает вызов или голосовое сообщение, телефонную трубку 160B можно поднести близко к уху для приема голоса.[0063] The handset 160B, also referred to as a “handset,” is configured to convert an audio electrical signal into an audio signal. When an electronic device receives a call or voice message, the handset 160B can be held close to the ear to receive the voice.

[0064] Микрофон 160C, также называемый «микрофоном» (англ. «mike»), выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При совершении вызова или отправке голосового сообщения пользователь может приблизить рот к микрофону 160C и издать звук, чтобы ввести звуковой сигнал в микрофон 160C. Электронное устройство 100 может быть снабжено, по меньшей мере, одним микрофоном 160C. В некоторых других вариантах осуществления электронное устройство может быть снабжено двумя микрофонами 160C, которые могут реализовывать функцию шумоподавления в дополнение к сбору звуковых сигналов. В некоторых других вариантах осуществления электронное устройство может быть альтернативно снабжено тремя, четырьмя или более микрофонами 160C для реализации сбора звукового сигнала, уменьшения шума, распознавания источника звука, направленной записи и подобных функций.[0064] The microphone 160C, also referred to as a “microphone,” is configured to convert an audio signal into an electrical signal. When making a call or sending a voice message, the user can move their mouth close to the 160C microphone and make a sound to input an audio signal into the 160C microphone. The electronic device 100 may be provided with at least one microphone 160C. In some other embodiments, the electronic device may be provided with two microphones 160C that may provide noise reduction functionality in addition to collecting audio signals. In some other embodiments, the electronic device may alternatively be provided with three, four, or more microphones 160C to implement audio collection, noise reduction, audio source recognition, directional recording, and similar functions.

[0065] Гнездо 160D для наушников выполнено с возможностью подключения проводного наушника. Гнездо 160D для наушников может быть USB-интерфейсом 170 или может быть стандартным интерфейсом открытой платформы мобильного терминала 3,5 мм (open mobile terminal platform, OMTP), ассоциация индустрии сотовой связи США (cellular telecommunications industry association of the USA, CTIA) стандартный интерфейс и т.п.[0065] The headphone jack 160D is configured to connect a wired headphone. The headphone jack 160D may be a USB interface 170 or may be a standard 3.5 mm open mobile terminal platform (OMTP) cellular telecommunications industry association of the USA (CTIA) standard interface and so on.

[0066] Модуль 180 управления зарядкой выполнен с возможностью приема входного сигнала зарядки от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 180 управления зарядкой может принимать вход зарядки проводного зарядного устройства через интерфейс USB. В некоторых вариантах осуществления беспроводной зарядки модуль 180 управления зарядкой может принимать ввод беспроводной зарядки через катушку беспроводной зарядки электронного устройства. При зарядке аккумулятора 182 модуль 180 управления зарядкой также может одновременно подавать питание на электронное устройство через модуль 181 управления питанием.[0066] The charging control module 180 is configured to receive a charging input signal from the charger. The charger can be wireless or wired. In some wired charging embodiments, the charging control module 180 may receive the charging input of a wired charger via a USB interface. In some wireless charging embodiments, charging control module 180 may receive wireless charging input through the wireless charging coil of an electronic device. When charging the battery 182, the charging control module 180 can also simultaneously supply power to the electronic device through the power control module 181.

[0067] Модуль 181 управления питанием выполнен с возможностью подключения аккумулятора 182, модуля 180 управления зарядкой и процессора 110. Модуль 181 управления питанием принимает входные данные от аккумулятора 182 и/или модуля 180 управления зарядкой и подает питание на процессор 110, экран 140 дисплея, камеру 130 и т.п. Модуль 181 управления питанием может быть дополнительно выполнен с возможностью отслеживания параметров, таких как емкость аккумулятора, время цикла аккумулятора и состояние работоспособности аккумулятора (утечка и импеданс). В некоторых других вариантах осуществления модуль 181 управления питанием альтернативно может быть размещен в процессоре 110. В некоторых других вариантах осуществления модуль 181 управления питанием и модуль 180 управления зарядкой альтернативно могут быть размещены в одном и том же устройстве.[0067] Power management module 181 is configured to connect battery 182, charging management module 180, and processor 110. Power management module 181 receives input from battery 182 and/or charging management module 180 and supplies power to processor 110, display screen 140, camera 130, etc. The power management module 181 may be further configured to monitor parameters such as battery capacity, battery cycle time, and battery health status (leakage and impedance). In some other embodiments, the power management module 181 may alternatively be housed in the processor 110. In some other embodiments, the power management module 181 and the charging management module 180 may alternatively be housed in the same device.

[0068] Хотя это не показано на фиг. 3, электронное устройство может дополнительно включать в себя датчик давления, датчик гироскопа, датчик барометрического давления, магнитный датчик, датчик ускорения, датчик расстояния, датчик внешней освещенности, датчик отпечатков пальцев, датчик температуры и т.п. Кроме того, электронное устройство может дополнительно включать в себя индикатор, такой как световой индикатор, который используется для индикации состояния зарядки, изменения мощности, сообщения, уведомления и т.п.[0068] Although not shown in FIG. 3, the electronic device may further include a pressure sensor, a gyroscope sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a distance sensor, an ambient light sensor, a fingerprint sensor, a temperature sensor and the like. In addition, the electronic device may further include an indicator, such as an indicator light, that is used to indicate charging status, power changes, messages, notifications, and the like.

[0069] Со ссылкой на схему архитектуры электронного устройства, показанного на фиг. 3, и используя в качестве примера сцену видеочата посредством электронного устройства, ниже подробно описывается способ определения допустимости признака, полученного в процессе захвата видеоизображения электронным устройством и выполнения обработки трехмерной реконструкции лица человека на захваченном видеоизображении. В этой заявке термин «по меньшей мере один» означает один или несколько, то есть, включая один, два, три или более; а термин «множество» означает два или более двух, то есть включая два, три или более. Кроме того, следует понимать, что такие термины, как «первый» и «второй» в описаниях данной заявки, используются только для целей описания и не должны пониматься как указание или подтекст относительной значимости или как указание или подтекст порядка. Термин «и/или» описывает взаимосвязь между ассоциированными объектами и указывает, что могут существовать три взаимосвязи. Например, A и/или B могут представлять следующие три случая: Существует только A, существуют как A, так и B, и существует только B. A и B могут быть в единственном или множественном числе. Символ «/» обычно указывает связь «или» между связанными объектами. «По меньшей мере, один из следующих элементов» или подобное выражение означает любую комбинацию этих элементов, включая любую комбинацию одного элемента или множества элементов. Например, «по меньшей мере один из a, b или c» может представлять a, b, c, ab, ac, bc или abc, где a, b и c могут быть единственными или множественными.[0069] With reference to the architecture diagram of the electronic device shown in FIG. 3, and using a video chat scene via an electronic device as an example, a method for determining the validity of a feature obtained in the process of capturing a video image by an electronic device and performing 3D reconstruction processing of a person's face on the captured video image is described below in detail. In this application, the term “at least one” means one or more, that is, including one, two, three or more; and the term "many" means two or more than two, that is, including two, three or more. In addition, it should be understood that terms such as “first” and “second” in the specifications of this application are used for descriptive purposes only and should not be construed as an indication or implication of relative importance or as an indication or implication of order. The term "and/or" describes the relationship between associated objects and indicates that three relationships can exist. For example, A and/or B can represent the following three cases: Only A exists, both A and B exist, and only B exists. A and B can be singular or plural. The "/" symbol typically indicates an "or" relationship between related objects. “At least one of the following elements” or a similar expression means any combination of these elements, including any combination of a single element or a plurality of elements. For example, “at least one of a, b, or c” may represent a, b, c, ab, ac, bc, or abc, where a, b, and c may be singular or plural.

[0070] Ниже описывается способ определения допустимости признака лица, предусмотренной в варианте осуществления этой заявки, со ссылкой на фиг. 5. Способ может выполняться электронным устройством и, в частности, может выполняться процессором 110 электронного устройства. Например, когда процессор 110 в электронном устройстве принимает инструкцию ввода для видеочата, инициированного пользователем, процессор 110 запускает камеру для сбора видеоизображения, определяет допустимость признака лица, извлеченной из видеоизображения, и выполняет трехмерная реконструкция лица человека на основе результата определения и отображает видеоизображение после трехмерной реконструкции на экране 140 дисплея. Например, процессор 110 может вызвать камеру для сбора видеоизображения и дать команду экрану 140 дисплея отобразить видеоизображение после трехмерной реконструкции в интерфейсе видеочата. Процессор 110 выполняет следующую процедуру способа для определения допустимости признака лица для видеоизображения, собранного камерой.[0070] A method for determining the validity of a facial feature provided in an embodiment of this application is described below with reference to FIG. 5. The method may be performed by an electronic device and, in particular, may be performed by a processor 110 of the electronic device. For example, when the processor 110 in an electronic device receives an input instruction for a user-initiated video chat, the processor 110 starts a camera to collect a video image, determines the validity of a facial feature extracted from the video image, and performs a three-dimensional reconstruction of the person's face based on the determination result, and displays the video image after the three-dimensional reconstruction on the screen 140 display. For example, processor 110 may trigger a camera to collect video and instruct display screen 140 to display the video image after 3D reconstruction in a video chat interface. The processor 110 performs the following method procedure to determine whether a facial feature is valid for a video image collected by a camera.

[0071] S501: Процессор 110 получает признак лица первого видеоизображения.[0071] S501: The processor 110 obtains the face feature of the first video image.

[0072] В этом варианте осуществления настоящей заявки для простоты описания подлежащее обработке видеоизображение, собранное текущей камерой 130, упоминается как первое видеоизображение, а кадр изображения, предшествующий первому видеоизображению в видеопотоке, - как которому принадлежит первое видеоизображение, называется вторым видеоизображением, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества. Например, предварительно установленный диапазон количества составляет 0-8. Когда предварительно установленный диапазон количества равен 0, второе видеоизображение представляет собой кадр изображения, непосредственно предшествующий первому видеоизображению. Когда предварительно установленный диапазон количества равен 1, второе видеоизображение представляет собой видеоизображение, которое предшествует первому видеоизображению и отстоит от первого видеоизображения на один кадр.[0072] In this embodiment of the present application, for ease of description, the video image to be processed collected by the current camera 130 is referred to as the first video image, and the image frame preceding the first video image in the video stream as to which the first video image belongs is called the second video image, and the number of video images between the second video image and the first video image is within a preset amount range. For example, the preset quantity range is 0-8. When the preset quantity range is 0, the second video image is an image frame immediately preceding the first video image. When the preset number range is 1, the second video image is a video image that precedes the first video image and is one frame apart from the first video image.

[0073] Процессор 110 может получить признак лица посредством отслеживания лица в видеопотоке или способом извлечения признаков, который не ограничен в настоящей заявке.[0073] The processor 110 may obtain the facial feature by tracking the face in the video stream or by a feature extraction method, which is not limited herein.

[0074] S502: Процессор 110 определяет информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения.[0074] S502: The processor 110 determines position information and/or face change information based on the face feature of the first video image.

[0075] Информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, а информация об изменении лица используется для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении. Например, информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека. Информация об изменении лица может включать в себя по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходства изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения.[0075] The position information is used to represent the deviation of the person's head indicated by the face feature in the first video image, and the face change information is used to represent the state of the change in the position of the person's head in the first video image and the second video image. For example, the position information may include at least one of a horizontal deviation used to represent the rotation of the person's head to the left or right, a vertical deviation used to represent the raising or lowering of the person's head, and a tilt used to represent the degree of tilt of the person's head. The facial change information may include at least one of a displacement of a head position of a person in the first video image relative to a head position of a person in a second video image and an image similarity between the facial image of the first video image and the facial image of the second video image.

[0076] S503: Процессор 110 определяет, является ли признак лица первого видеоизображения недопустимым признаком, на основе информации о положении и/или информации об изменении лица.[0076] S503: The processor 110 determines whether the face feature of the first video image is an invalid feature based on the position information and/or the face change information.

[0077] В одном примере процессор 110 может определить, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица следующим образом:[0077] In one example, processor 110 may determine whether a face feature is an invalid feature based on position information and/or face change information as follows:

[0078] Процессор 110 определяет, что признак лица в первом видеоизображении является недопустимым признаком, когда определяется, что выполняется по меньшей мере одно из следующих условий 1-5.[0078] Processor 110 determines that the face feature in the first video image is an invalid feature when it is determined that at least one of the following conditions 1-5 is met.

[0079] Условие 1: Смещение положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении, включенном в информацию об изменении лица, больше первого порогового значения.[0079] Condition 1: The displacement of the position of the person's head in the first video image relative to the position of the person's head in the second video image included in the face change information is greater than the first threshold value.

[0080] Условие 2: Сходство изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения, включенным в информацию об изменении лица, больше второго порогового значения.[0080] Condition 2: The image similarity between the face image of the first video image and the face image of the second video image included in the face change information is greater than the second threshold value.

[0081] Условие 3: Горизонтальное отклонение, используемое для представления поворота головы человека влево или вправо, включенное в информацию о положении, больше третьего порогового значения.[0081] Condition 3: The horizontal deviation used to represent the rotation of a person's head to the left or right included in the position information is greater than the third threshold value.

[0082] Условие 4: Вертикальное отклонение, используемое для представления подъема или опускания головы человека, включенного в информацию о положении, больше четвертого порогового значения.[0082] Condition 4: The vertical deviation used to represent the raising or lowering of the head of a person included in the position information is greater than the fourth threshold value.

[0083] Условие 5: Наклон, используемый для представления степени наклона головы человека, включенной в информацию о положении, больше пятого порогового значения.[0083] Condition 5: The tilt used to represent the degree of tilt of a person's head included in the position information is greater than the fifth threshold value.

[0084] Например, первое пороговое значение, второе пороговое значение, третье пороговое значение, четвертное пороговое значение и пятое пороговое значение могут быть предварительно сконфигурированными значениями, например, первое пороговое значение, второе пороговое значение, третье пороговое значение, четвертное пороговое значение и пятое пороговое значение предварительно сохраняется в памяти 120. Например, первое пороговое значение и второе пороговое значение могут быть определены на основании требования модели трехмерной реконструкции для краткосрочного диапазона движения лица. Например, когда диапазон движения большой и движение быстрое, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, третье пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла поворота лица левого или правого поворота головы. Например, когда угол поворота головы влево или вправо велик, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, четвертное пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла лица при подъеме или опускании головы. Например, когда угол подъема или опускания головы большой, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, пятое пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла наклона лица при наклоне головы. Например, когда угол наклона головы велик, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется.[0084] For example, the first threshold value, the second threshold value, the third threshold value, the fourth threshold value and the fifth threshold value may be preconfigured values, for example, the first threshold value, the second threshold value, the third threshold value, the fourth threshold value and the fifth threshold value the value is pre-stored in memory 120. For example, the first threshold value and the second threshold value may be determined based on the requirement of the 3D reconstruction model for the short-term range of facial motion. For example, when the range of motion is large and the movement is fast, and when the angle of the face is adjusted using a 3D reconstruction model, the face becomes deformed. For example, a third threshold value may be determined based on the 3D reconstruction model's requirement for a left or right head rotation angle. For example, when the head rotation angle to the left or right is large, and when the angle of the face is adjusted using a 3D reconstruction model, the face becomes deformed. For example, a quarter threshold may be determined based on the 3D reconstruction model's requirement for the angle of the face when raising or lowering the head. For example, when the angle of raising or lowering the head is large, and when the angle of the face is corrected using a 3D reconstruction model, the face becomes deformed. For example, a fifth threshold value may be determined based on the requirement of the 3D reconstruction model for the face angle when tilting the head. For example, when the head angle is large, and when the angle of the face is corrected using a 3D reconstruction model, the face becomes deformed.

[0085] Например, определение того, является ли признак лица видеоизображения в видеопотоке недопустимым признаком, используется в качестве примера, то есть первое видеоизображение является изображением в видеопотоке. Во время определения может быть упомянута информация об изменении лица. Определение может выполняться на основе информации об изменении лица или на основе информации о положении и информации об изменении лица. Например, когда определяется, что любое из условий с 1 по 5 удовлетворяется, определяется, что признак лица в видеоизображении в видеопотоке является недопустимым признаком. Когда определяется, что ни одно из условий с 1 по 5 не выполняется, определяется, что признак лица в видеоизображении в видеопотоке является допустимым признаком. В качестве другого примера, определение того, является ли признак лица одного видеоизображения (видеоизображение не изображением в видеопотоке, а изображением, снятым отдельно) недопустимым признаком, используется в качестве примера, то есть первое видеоизображение это изображение, снятое отдельно. Во время определения того, является ли признак лица первого видеоизображения недопустимым признаком, информация об изменении лица не упоминается, и в этом случае определение может выполняться только на основе информации о положении. Например, когда определяется, что любое из условий с 3 по 5 удовлетворяется, определяется, что признак лица первого видеоизображения является недопустимым признаком. Когда определяется, что ни одно из условий с 3 по 5 не выполняется, определяется, что признак лица первого видеоизображения является допустимым признаком.[0085] For example, determining whether a face feature of a video image in a video stream is an invalid feature is used as an example, that is, the first video image is an image in the video stream. During the determination, information about facial change may be mentioned. The determination may be made based on the face change information or based on the position information and the face change information. For example, when it is determined that any of the conditions 1 to 5 are satisfied, it is determined that the face feature in the video image in the video stream is an invalid feature. When it is determined that none of the conditions 1 to 5 are satisfied, it is determined that the face feature in the video image in the video stream is a valid feature. As another example, determining whether a face feature of one video image (the video image is not an image in a video stream, but an image captured separately) is an invalid feature is used as an example, that is, the first video image is an image captured separately. At the time of determining whether the face feature of the first video image is an invalid feature, the face change information is not mentioned, and in this case, the determination can be made only based on the position information. For example, when it is determined that any of the conditions 3 to 5 are satisfied, it is determined that the face feature of the first video image is an invalid feature. When it is determined that none of the conditions 3 to 5 are satisfied, it is determined that the face feature of the first video image is a valid feature.

[0086] Следует понимать, что, когда определяется, что выполняется по меньшей мере одно из следующих условий, порядок определения условий может не быть настроен, или, конечно, порядок определения условий может быть настроен, что не ограничивается в этом варианте осуществления настоящей заявки. Когда порядок определения условий настроен, например, порядок условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 настраивается для определения. Сначала определяется условие 1, а когда выполняется условие 1, определяется, что признак лица первого видеоизображения является недопустимым признаком. В этом случае условие 2 - условие 5 может больше не определяться. Когда условие 1 не выполняется, определяется, выполняется ли условие 2, и так далее.[0086] It should be understood that when it is determined that at least one of the following conditions is satisfied, the order of determining the conditions may not be customized, or, of course, the order of determining the conditions may be customized, which is not limited in this embodiment of the present application. When the order of condition definition is configured, for example, the order of condition 1 -> condition 2 -> condition 3 -> condition 4 -> condition 5 is configured for the definition. First, condition 1 is determined, and when condition 1 is satisfied, it is determined that the face feature of the first video image is an invalid feature. In this case, condition 2 - condition 5 may no longer be defined. When condition 1 is not met, it is determined whether condition 2 is true, and so on.

[0087] Кроме того, когда порядок определения условий сконфигурирован, параметр, необходимый для определения условия, может быть определен на основе порядка определения условий. Затем на основе параметра определяется, выполняется ли условие. Если условие не выполняется, определяется параметр, необходимый для определения следующего условия, а затем определяется, выполняется ли следующее условие определения, и так далее. Например, порядок условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 конфигурируется для определения. Смещение определяется на основе признаков лица первого видеоизображения. Когда определяется, что смещение не удовлетворяет условию 1, сходство изображения определяется на основе признака лица первого видеоизображения. Когда определяется, что сходство изображения не удовлетворяет условию 2, горизонтальное отклонение определяется на основе признака лица первого видеоизображения. Конечно, если определено, что смещение удовлетворяет условию 1, определяется, что признак лица первого видеоизображения является недопустимым признаком. В этом случае больше не выполняется определение сходства изображения на основе признака лица первого видеоизображения, ни определение того, выполняется ли условие 2, и так далее.[0087] In addition, when the order of determining the conditions is configured, a parameter required for determining the condition can be determined based on the order of determining the conditions. It then determines based on the parameter whether the condition is true. If the condition is not met, the parameter needed to define the next condition is determined, and then it is determined whether the next definition condition is true, and so on. For example, the order of condition 1 -> condition 2 -> condition 3 -> condition 4 -> condition 5 is configured to be defined. The bias is determined based on the facial features of the first video image. When it is determined that the offset does not satisfy Condition 1, the image similarity is determined based on the face feature of the first video image. When it is determined that the image similarity does not satisfy Condition 2, the horizontal deviation is determined based on the face feature of the first video image. Of course, if it is determined that the offset satisfies Condition 1, it is determined that the face feature of the first video image is an invalid feature. In this case, image similarity determination based on the face feature of the first video image is no longer performed, nor is determination of whether condition 2 is satisfied, and so on.

[0088] Во время захвата видеоизображения возможно, что из видеоизображения будет захвачена только часть головы человека из-за внезапного подъема человека и других действий. Следовательно, количество точек признака, включенных в захваченный признак лица, может не соответствовать требованию для последующей коррекции угла лица. В этом случае может быть определено, что полученный признак лица является недопустимым признаком. В примере после получения признака лица первого видеоизображения и перед выполнением этапа S502 процессор 110 может сначала определить, что количество точек признака, включенных в признак лица, находится в пределах предварительно установленного диапазона количества, а затем выполнить этап S502, который то есть определять информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. При определении того, что количество признаков лица первого видеоизображения выходит за пределы предварительно установленного диапазона количества, процессор 110 может напрямую определить, что полученный признак лица первого видеоизображения является недопустимым признаком. В другом примере после получения признака лица первого видеоизображения и перед выполнением этапа S502 процессор 110 может сначала определить, что количество точек признака, включенных в признак лица, является предварительно установленным пороговым значением количества, а затем выполнить этап S502, то есть, определять информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. При определении того, что количество признаков лица первого видеоизображения не является предварительно установленным пороговым значением количества, процессор 110 может определить, что полученный признак лица первого видеоизображения является недопустимым признаком. Например, для трехмерной реконструкции головы человека требуется 68 точек признака. Если количество точек признака в полученном признаке лица не равно 68, определяется, что полученный признак лица является недопустимым признаком.[0088] During video capture, it is possible that only part of the person's head will be captured from the video image due to the person's sudden rise and other actions. Therefore, the number of feature points included in the captured face feature may not meet the requirement for subsequent face angle correction. In this case, it may be determined that the obtained facial feature is an invalid feature. In the example, after receiving the face feature of the first video image and before executing step S502, the processor 110 may first determine that the number of feature points included in the face feature is within a predetermined number range, and then perform step S502, which is, that is, determining the position information and/or face change information based on the face feature of the first video image. When determining that the number of facial features of the first video image is outside the predetermined number range, the processor 110 may directly determine that the obtained facial feature of the first video image is an invalid feature. In another example, after obtaining the face feature of the first video image and before executing step S502, the processor 110 may first determine that the number of feature points included in the face feature is a predetermined number threshold value, and then perform step S502, that is, determining position information and/or face change information based on the face feature of the first video image. Upon determining that the number of face features of the first video image is not a predetermined count threshold, the processor 110 may determine that the obtained face feature of the first video image is an invalid feature. For example, 3D reconstruction of a human head requires 68 feature points. If the number of feature points in the obtained face feature is not equal to 68, it is determined that the obtained face feature is an invalid feature.

[0089] Например, предварительно установленный диапазон количества или предварительно установленное пороговое значение количества определяется в соответствии с требованием модели трехмерной реконструкции к количеству точек признака.[0089] For example, a preset quantity range or a preset quantity threshold is determined in accordance with the requirement of the 3D reconstruction model for the number of feature points.

[0090] В одном примере, когда процессор 110 получает признак лица первого видеоизображения способом отслеживания лица, отслеживаемые точки признака могут превышать диапазон изображения из-за того, что движение лица является чрезмерно быстрым. На основании этого, когда процессор 110 получает признак лица первого видеоизображения на этапе S501, если признак лица первого видеоизображения включает в себя точки признака, которые превышают диапазон изображения, процессор 110 определяет, что признак лица первого видеоизображения изображение является недопустимым признаком и больше не выполняет S502.[0090] In one example, when the processor 110 acquires a facial feature of the first video image by the face tracking method, the tracked feature points may exceed the range of the image due to the fact that the movement of the face is excessively fast. Based on this, when the processor 110 receives the face feature of the first video image in step S501, if the face feature of the first video image includes feature points that exceed the image range, the processor 110 determines that the face feature of the first video image is an invalid feature and no longer executes S502 .

[0091] В возможной реализации во время последующей коррекции угла лица может потребоваться уменьшение или увеличение доли лица в видеоизображении. В этом случае процессор 110 может, в частности, выполнять этап S502 следующим образом: [0091] In a possible implementation, during subsequent correction of the face angle, it may be necessary to reduce or increase the proportion of the face in the video image. In this case, the processor 110 may specifically perform step S502 as follows:

определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения. Например, когда признак лица первого видеоизображения включает в себя точку признака, расположенную в краевой области первого видеоизображения, процессор 110 напрямую определяет, что признак лица первого видеоизображения является недопустимой точкой признака. Например, как показано на фиг. 6A, некоторые из точек признака, включенных в признак брови, расположены в краевой области видеоизображения. Следовательно, после коррекции угла лица с помощью технологии трехмерной реконструкции остается область черного пространства. determining position information and/or face change information based on a face feature of the first video image, when the face feature does not include a feature point located in an edge region of the first video image. For example, when the face feature of the first video image includes a feature point located in an edge region of the first video image, the processor 110 directly determines that the face feature of the first video image is an invalid feature point. For example, as shown in FIG. 6A, some of the feature points included in the eyebrow feature are located in the edge region of the video image. Therefore, after correcting the facial angle using 3D reconstruction technology, an area of black space remains.

[0092] В частности, процессор 110 может определить, включает ли признак лица первого видеоизображения точку признака, расположенную за пределами краевой области первого видеоизображения, следующими способами:[0092] Specifically, processor 110 may determine whether a face feature of the first video image includes a feature point located outside of an edge region of the first video image in the following ways:

[0093] Способ 1: Уменьшение или увеличение доли лица в видеоизображении может указываться коэффициентом масштабирования, так что процессор 110 может определять размер краевой области на основе коэффициента масштабирования и определять, основываясь на размере краевой области , включает ли признак лица первого видеоизображения точку признака, расположенную за пределами краевой области первого видеоизображения. Обратимся к краевой области, показанной на фиг. 6B, например.[0093] Method 1: Decreasing or increasing the proportion of a face in a video image may be indicated by a scaling factor, such that processor 110 may determine the size of an edge region based on the scaling factor and determine, based on the size of the edge region Δ, whether the face feature of the first video image includes a feature point located outside the edge region of the first video image. Turning now to the edge region shown in FIG. 6B, for example.

[0094] Способ 2: Процессор 110 может определять пороговое значение расстояния на основе коэффициента масштабирования, и когда признак лица включает в себя точку признака, расстояние которой от края первого видеоизображения меньше порогового значения расстояния, определять, что признак лица первого видеоизображения включает в себя точку признака, расположенную за пределами краевой области первого видеоизображения. Когда признак лица не включает в себя точку признака, расстояние которой от края первого видеоизображения меньше порогового значения расстояния, определяется, что признак лица первого видеоизображения не включает в себя точку признака, расположенную за пределами краевой области первого видеоизображения.[0094] Method 2: Processor 110 may determine a distance threshold based on the scaling factor, and when the face feature includes a feature point whose distance from the edge of the first video image is less than the distance threshold, determine that the face feature of the first video image includes the point feature located outside the edge region of the first video image. When the face feature does not include a feature point whose distance from the edge of the first video image is less than a distance threshold, it is determined that the face feature of the first video image does not include a feature point located outside the edge region of the first video image.

[0095] Следует отметить, что край изображения относится к кругу пикселей, расположенному на самом внешнем слое изображения. Обратимся к краю изображения, показанного на фиг. 6C, например.[0095] It should be noted that the edge of the image refers to the circle of pixels located on the outermost layer of the image. Let us turn to the edge of the image shown in Fig. 6C, for example.

[0096] Далее используются примеры для описания процесса, в котором процессор 110 определяет информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. Как описано выше, информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, вертикального отклонения и наклона. Информация об изменении лица может включать в себя по меньшей мере одно из смещения и сходства изображения.[0096] Next, examples are used to describe a process in which the processor 110 determines position information and/or face change information based on the face feature of the first video image. As described above, the position information may include at least one of horizontal deflection, vertical deflection, and tilt. The facial change information may include at least one of image offset and image similarity.

[0097] Пример 1 описывает способ определения смещения в информации об изменении лица на основе признака лица первого видеоизображения.[0097] Example 1 describes a method for determining an offset in face change information based on a face feature of a first video image.

[0098] Признак лица первого видеоизображения, полученного процессором 110, может включать в себя N групп точек признака. N групп точек признака можно разделить на основе органов лица, которым принадлежат точки признака. N - положительное целое число, большее или равное 1, то есть разные группы точек признака принадлежат разным органам лица, а одна и та же группа точек признака принадлежит одному и тому же органу лица.[0098] The facial feature of the first video image obtained by the processor 110 may include N groups of feature points. N groups of feature points can be divided based on the facial organs to which the feature points belong. N is a positive integer greater than or equal to 1, that is, different groups of attribute points belong to different facial organs, and the same group of attribute points belongs to the same facial organ.

[0099] Например, как показано на фиг. 7, признаки лица включают в себя признак брови, признак глаз, признак щеки, признак носа, признак рта и признак подбородка. В качестве примера, во время группирования точки признака, принадлежащие к признакам брови, могут быть классифицированы в одну группу, точки признака, принадлежащие к признаку глаза, могут быть классифицированы в одну группу, точки признака, принадлежащие к признаку рта, могут быть отнесены к одной группе, точки признака, принадлежащие признаку носа, могут быть классифицированы в одну группу, точки признака, принадлежащие признаку подбородка, могут быть классифицированы в одну группу, а точки признака, принадлежащие признакам щеки щек, могут быть классифицированы в одну группу. В другом примере способа брови могут быть разделены на левую бровь и правую бровь, глаза могут быть разделены на левый глаз и правый глаз, а щеки могут быть разделены на левую щеку и правую щеку. Во время группирования точки признака, принадлежащие к признаку брови, классифицируются на две группы, то есть точки признака, принадлежащие к признаку левой брови, классифицируются в одну группу, а точки признака, принадлежащие к признаку правой брови, классифицируются в одну группу.; точки признака, принадлежащие признаку глаза, классифицируются на две группы, то есть точки признака, принадлежащие признаку левого глаза, классифицируются в одну группу, а точки признака, принадлежащие признаку правого глаза, классифицируются в одну группу; точки признака, принадлежащие к признаку щеки, классифицируются на две группы, то есть точки признака, принадлежащие к признаку левой щеки, классифицируются в одну группу, а точки признака, принадлежащие к признаку правой щеки, классифицируются в одну группу; точки признака, принадлежащие признаку рта, классифицируются в одну группу; точки признака, принадлежащие признаку носа, классифицируются в одну группу; и точки признака, принадлежащие признаку подбородка, классифицируются в одну группу.[0099] For example, as shown in FIG. 7, the facial features include an eyebrow feature, an eye feature, a cheek feature, a nose feature, a mouth feature, and a chin feature. As an example, during grouping, feature points belonging to the eyebrow feature may be classified into one group, feature points belonging to the eye feature may be classified into one group, feature points belonging to the mouth feature may be classified into one group, feature points belonging to the nose feature can be classified into one group, feature points belonging to the chin feature can be classified into one group, and feature points belonging to the cheek features can be classified into one group. In another example of the method, the eyebrows can be divided into a left eyebrow and a right eyebrow, the eyes can be divided into a left eye and a right eye, and the cheeks can be divided into a left cheek and a right cheek. During grouping, the feature points belonging to the eyebrow feature are classified into two groups, that is, the feature points belonging to the left eyebrow feature are classified into one group, and the feature points belonging to the right eyebrow feature are classified into one group.; the feature points belonging to the eye feature are classified into two groups, that is, the feature points belonging to the left eye feature are classified into one group, and the feature points belonging to the right eye feature are classified into one group; The feature points belonging to the cheek feature are classified into two groups, that is, the feature points belonging to the left cheek feature are classified into one group, and the feature points belonging to the right cheek feature are classified into one group; feature points belonging to the mouth feature are classified into one group; feature points belonging to the nose feature are classified into one group; and the feature points belonging to the chin feature are classified into one group.

[00100] Процессор 110 может определять смещение в информации об изменении лица на основе признака лица первого видеоизображения следующим образом: [00100] The processor 110 may determine an offset in the face change information based on the face feature of the first video image as follows:

определение расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N. determining the distance between the reference point of the i-th group of feature points in the first video image and the reference point of the i-th group of feature points in the second video image to obtain N groups of distances, where i is a positive integer less than or equal to N.

[00101] В возможном варианте среднее значение N групп расстояний может быть определено как смещение. Другим способом среднее значение нормализованных N групп расстояний может быть определено как смещение.[00101] Optionally, the average of the N distance groups may be defined as an offset. Another way is that the average of the normalized N groups of distances can be defined as the offset.

[00102] Например, опорная точка i-й группы точек признака может быть предварительно установленной точкой признака в i-й группе точек признака, или опорная точка i-й группы точек признака может быть пикселем, соответствующим среднее значение координат i-й группы точек признака. Например, признак подбородка на фиг. 7 используется в качестве примера. Точки признака, включенные в признак подбородка, являются точками 51-57 признака, а опорной точкой группы, к которой принадлежит признак подбородка, может быть одна из точек 51-57 признака, например точка 54 признака. В качестве альтернативы вычисляется среднее значение горизонтальных координат точек 51-57 признака и среднее значение вертикальных координат точек 51-57 признака соответственно, а пиксель, соответствующий полученным координатам в первом видеоизображении (или втором видеоизображении) ) является опорной точкой.[00102] For example, the reference point of the i-th feature point group may be a preset feature point in the i-th feature point group, or the control point of the i-th feature point group may be a pixel corresponding to the average value of the coordinates of the i-th feature point group . For example, the chin feature in Fig. 7 is used as an example. The feature points included in the chin feature are feature points 51-57, and the reference point of the group to which the chin feature belongs may be one of the feature points 51-57, for example feature point 54. Alternatively, the average of the horizontal coordinates of feature points 51-57 and the average of the vertical coordinates of feature points 51-57 are calculated, respectively, and the pixel corresponding to the obtained coordinates in the first video image (or second video image) is a reference point.

[00103] Например, процессор 110 может нормализовать N групп расстояний, используя расстояние между двумя глазами в первом видеоизображении в качестве опорного значения. Расстояние между двумя глазами может быть расстоянием между идентифицированным зрачком левого глаза и идентифицированным зрачком правого глаза. В качестве альтернативы расстояние между двумя глазами может быть расстоянием между опорной точкой признака левого глаза и опорной точкой признака правого глаза в первом видеоизображении. Опорная точка признака левого глаза может быть пикселем, соответствующим среднему значению координат точек признака, включенных в признак левого глаза, а опорная точка признака правого глаза может быть пикселем, соответствующим среднему значению координат точки признака, включенной в признак правого глаза.[00103] For example, processor 110 may normalize the N distance groups using the distance between two eyes in the first video image as a reference value. The distance between the two eyes may be the distance between the identified pupil of the left eye and the identified pupil of the right eye. Alternatively, the distance between the two eyes may be the distance between the left eye feature reference point and the right eye feature reference point in the first video image. The left eye feature reference point may be a pixel corresponding to the average value of the coordinates of feature points included in the left eye feature, and the right eye feature reference point may be a pixel corresponding to the average value of the coordinates of the feature point included in the right eye feature.

[00104] Пример 2 описывает способ, которым процессор 110 определяет сходство изображения в информации об изменении лица на основе признака лица первого видеоизображения.[00104] Example 2 describes a method in which processor 110 determines image similarity in face change information based on the face feature of the first video image.

[00105] Признак лица полученного первого видеоизображения могут включать в себя M групп точек признака. Группы M точек признака могут быть разделены на основе органов лица, которым принадлежат точки признака. M - положительное целое число, большее или равное 1, то есть разные группы точек признака принадлежат разным органам лица, а одна и та же группа точек признака принадлежит одному и тому же органу лица. Например, способ группировки признаков лица в примере 2 может быть таким же, как и способ группирования признаков лица в примере 1, или отличаться от него.[00105] The facial feature of the acquired first video image may include M groups of feature points. Groups M of feature points can be divided based on the facial organs to which the feature points belong. M is a positive integer greater than or equal to 1, that is, different groups of feature points belong to different facial organs, and the same group of feature points belongs to the same facial organ. For example, the method of grouping facial features in Example 2 may be the same as or different from the method of grouping facial features in Example 1.

[00106] После группирования признаков лица процессор 110 может получить локальное изображение признака группы на основе диапазона, включенного в каждую группу точек признака, например, как показано на фиг. 8.[00106] After grouping the facial features, processor 110 may obtain a local group feature image based on the range included in each group of feature points, for example, as shown in FIG. 8.

[00107] Определение сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения может быть реализовано следующим образом: [00107] Determining image similarity in face change information based on the face feature of the first video image can be implemented as follows:

определение сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное N; и определение среднего значения N сходств как сходства изображения. determining a similarity between the j-th local feature image in the first video image and the j-th local feature image in the second video image to obtain M similarities, where j is a positive integer less than or equal to N; and determining the average value of N similarities as image similarity.

[00108] j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения. j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения.[00108] The jth local feature image in the first video image is determined based on the range enclosed by the jth group of feature points of the first video image. The jth local feature image in the second video image is determined based on the range enclosed by the jth group of feature points of the second video image.

[00109] Например, размер j-го локального изображения признака в первом видеоизображении такой же, как размер j-го локального изображения признака во втором видеоизображении. Когда размер j-го локального изображения признака в первом видеоизображении отличается от размера j-го локального изображения признака во втором видеоизображении, размер j-го локального изображения признака в первом видеоизображении или размер j-го локального изображения признака во втором видеоизображении может быть отрегулирован так, чтобы размер j-го локального изображения признака в первом видеоизображении был таким же, как размер j-ого локального изображения признака во втором видеоизображении.[00109] For example, the size of the j-th local feature image in the first video image is the same as the size of the j-th local feature image in the second video image. When the size of the j-th local feature image in the first video image is different from the size of the j-th local feature image in the second video image, the size of the j-th local feature image in the first video image or the size of the j-th local feature image in the second video image can be adjusted so that so that the size of the j-th local feature image in the first video image is the same as the size of the j-th local feature image in the second video image.

[00110] В примере, когда j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения, может быть определено j-е изображение, сформированное диапазоном, заключенным j-й группой точек признака первого видеоизображения, и разница между значением пикселя каждого пикселя j-го изображения первого видеоизображения и средним значением пикселей j-го изображения первого видеоизображения вычисляется, чтобы получить j-е локальное изображения признака первого видеоизображения. Аналогичным образом, когда j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения, может быть определено j-е изображение, сформированное пикселями в диапазоне, заключенном j-й группой точек признака второго видеоизображения, и разница между значением пикселя каждого пикселя j-го изображения второго видеоизображения и средним значением пикселей j-го изображения второго видеоизображения вычисляется, чтобы получить j-е локальное изображение признака второго видеоизображения.[00110] In an example where the j-th local feature image in the first video image is determined based on the range enclosed by the j-th group of feature points of the first video image, the j-th image formed by the range enclosed by the j-th group of feature points of the first video image may be determined. video image, and the difference between the pixel value of each pixel of the j-th image of the first video image and the average pixel value of the j-th image of the first video image is calculated to obtain the j-th local feature image of the first video image. Similarly, when the j-th local feature image in the second video image is determined based on the range enclosed by the j-th group of feature points of the second video image, the j-th image formed by pixels in the range enclosed by the j-th group of feature points of the second video image can be determined , and the difference between the pixel value of each pixel of the jth image of the second video image and the average value of the pixels of the jth image of the second video image is calculated to obtain the jth local feature image of the second video image.

[00111] Например, j-е изображение формируется диапазоном, заключенным j-й группой точек признака определяемого видеоизображения (первое видеоизображение или второе видеоизображение), а j-е изображение включает в себя L пикселей. j-е локальное изображения признака определяемого видеоизображения можно определить по следующей формуле: [00111] For example, the j-th image is formed by the range enclosed by the j-th group of feature points of the defined video image (the first video image or the second video image), and the j-th image includes L pixels. The j-th local feature image of the video image being determined can be determined by the following formula:

fj k(x,y) = gj k(x,y)- fj k(x,y) = gj k(x,y)-

где fj k(x,y) представляет значение пикселя k-го пикселя j-го локального изображения признака определяемого видеоизображения; gj k (x,y) представляет значение пикселя k-го пикселя j-го изображения видеоизображения, подлежащего определению.where fj k(x,y) represents the pixel value of the k-th pixel of the j-th local image of the feature of the determined video image; gj k (x,y) represents the pixel value of the kth pixel of the jth image of the video image to be determined.

[00112] Например, сходство может быть среднеквадратической ошибкой, структурным сходством (structural similarity, SSIM), отношением сигнал/шум (signal to noise ratio, SNR), пиковым отношением сигнала к шуму (peak signal to noise ratio, PSNR), или тому подобное.[00112] For example, the similarity may be root mean square error, structural similarity (SSIM), signal to noise ratio (SNR), peak signal to noise ratio (PSNR), or the like. similar.

[00113] Пример 3 описывает способ, которым процессор 110 определяет горизонтальное отклонение в информации о положении на основе признака лица первого видеоизображения. В частности, можно использовать любой из следующих способов:[00113] Example 3 describes a method in which processor 110 determines a horizontal deviation in position information based on a face feature of a first video image. Specifically, you can use any of the following methods:

[00114] Способ 1: Признаки лица включают в себя признак левой щеки, признак правой щеки и признак носа; [00114] Method 1: Facial features include a left cheek feature, a right cheek feature, and a nose feature;

определяется первое расстояние между опорной точкой признака левой щеки и опорной точкой признака носа, а также определяется второе расстояние между опорной точкой признака правой щеки и опорной точкой признака носа; иthe first distance is determined between the reference point of the left cheek feature and the reference point of the nose feature, and the second distance is determined between the reference point of the right cheek feature and the reference point of the nose feature; And

отношение первого расстояния ко второму расстоянию определяется в качестве горизонтального отклонения, или отношение второго расстояния к первому расстоянию определяется в качестве горизонтального отклонения, гдеthe ratio of the first distance to the second distance is defined as the horizontal deviation, or the ratio of the second distance to the first distance is defined as the horizontal deviation, where

опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки , опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака признаке правой щеки; илиthe left cheek feature reference point is a preset feature point in the left cheek feature, the nose feature reference point is a preset feature point in the nose feature, and the right cheek feature reference point is a preset feature point in the right cheek feature; or

опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат признака левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, и опорная точка признака правой щеки представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в признак правой щеки; илиthe left cheek feature reference point is the pixel corresponding to the average value of the left cheek feature coordinates, the nose feature reference point is the pixel corresponding to the average value of the coordinates of the feature points included in the nose feature, and the right cheek feature reference point is the pixel corresponding to the average value of the point coordinates signs included in the right cheek sign; or

опорной точкой признака левой щеки является центральный пиксель изображения признака левой щеки, образованный диапазоном, заключенным точками признака, включенными в признак левой щеки, опорной точкой признака носа является центральный пиксель изображения признака носа формируется диапазоном, заключенным точками признака, включенными в признак носа, а опорной точкой признака правой щеки является центральный пиксель изображения признака правой щеки, образованной диапазоном, заключенным точками признака, включенными в признак правой щеки. the reference point of the left cheek feature is the central pixel of the left cheek feature image formed by the range enclosed by the feature points included in the left cheek feature, the reference point of the nose feature is the central pixel of the nose feature image formed by the range enclosed by the feature points included in the nose feature, and the reference point the right cheek feature point is the central pixel of the right cheek feature image formed by the range enclosed by the feature points included in the right cheek feature.

[00115] Способ 2: Признаки лица включают в себя точку кончика носа и точку спинки носа; [00115] Method 2: Facial features include a nasal tip point and a nasal dorsum point;

получены трехмерные координаты точки кончика носа и точки спинки носа на признаках лица; в частности, трехмерные координаты точки кончика носа и точки спинки носа в признаке лица могут быть определены на основе отношения преобразования между системой координат изображения и системой координат камеры; иthree-dimensional coordinates of the point of the tip of the nose and the point of the back of the nose on facial features were obtained; in particular, the three-dimensional coordinates of the nose tip point and the nose back point in the face feature can be determined based on the transformation relationship between the image coordinate system and the camera coordinate system; And

Горизонтальное отклонение определяется на основе трехмерных координат точки кончика носа и точки спинки носа. Например, трехмерные координаты точки кончика носа - (xn, yn, zn), а трехмерные координаты точки спинки носа - (xs, ys, zs). В частности, горизонтальное отклонение можно определить с помощью следующей формулы, где Xw представляет собой горизонтальное отклонение. The horizontal deviation is determined based on the three-dimensional coordinates of the nasal tip point and the nasal dorsum point. For example, the three-dimensional coordinates of the point of the tip of the nose are (xn, yn, zn), and the three-dimensional coordinates of the point of the back of the nose are (xs, ys, zs). Specifically , the horizontal deviation can be determined using the following formula, where Xw represents the horizontal deviation.

Xw = arctan ( ) Xw = arctan ( )

[00116] Пример 4 описывает способ определения вертикального отклонения в информации о положении на основе признака лица первого видеоизображения. В частности, можно использовать любой из следующих способов:[00116] Example 4 describes a method for determining vertical deviation in position information based on a face feature of a first video image. Specifically, you can use any of the following methods:

[00117] Способ 1: Признаки лица включают в себя признак глаза, признак подбородка и признак носа; [00117] Method 1: Facial features include an eye feature, a chin feature, and a nose feature;

определяется третье расстояние между опорной точкой признака глаза и опорной точкой признака носа, и определяется четвертое расстояние между опорной точкой признака подбородка и опорной точкой признака носа; иa third distance is determined between a reference point of the eye feature and a reference point of the nose feature, and a fourth distance is determined between a reference point of the chin feature and a reference point of the nose feature; And

отношение третьего расстояния к четвертому расстоянию определяется в качестве горизонтального отклонения, или отношение четвертого расстояния к третьему расстоянию определяется как вертикальное отклонение, гдеthe ratio of the third distance to the fourth distance is defined as the horizontal deviation, or the ratio of the fourth distance to the third distance is defined as the vertical deviation, where

опорная точка признака глаза является предварительно установленной точкой признака в признаке глаза, опорной точкой признака носа является предварительно установленная точка признака в признаке носа, а опорная точка признака подбородка является предварительно установленной точкой признака в признаке подбородка; илиthe eye feature reference point is a preset feature point in the eye feature, the nose feature reference point is a preset feature point in the nose feature, and the chin feature reference point is a preset feature point in the chin feature; or

опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, и опорная точка признака подбородка представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в признак подбородка; илиthe eye feature reference point is the pixel corresponding to the average value of the coordinates of the feature points included in the eye feature, the nose feature reference point is the pixel corresponding to the average value of the coordinates of the feature points included in the nose feature, and the chin feature reference point is the pixel corresponding to the average value coordinates of the feature points included in the chin feature; or

опорной точкой признака глаза является центральный пиксель изображения признака левой щеки, образованного диапазоном, заключенным точками признака, включенными в признак глаза, опорной точкой признака носа является центральный пиксель изображения признака носа, образованного диапазоном, заключенным точками признака, включенными в признак носа, а опорной точкой признака подбородка является центральный пиксель изображения признака правой щеки, образованный диапазоном, заключенным точками признака, включенными в признак подбородка. the reference point of the eye feature is the central pixel of the left cheek feature image formed by the range enclosed by the feature points included in the eye feature, the reference point of the nose feature is the central pixel of the nose feature image formed by the range enclosed by the feature points included in the nose feature, and the reference point The chin feature is the central pixel of the right cheek feature image formed by the range enclosed by the feature points included in the chin feature.

[00118] Способ 2: Признаки лица включают в себя точку кончика носа и точку спинки носа; [00118] Method 2: Facial features include a nasal tip point and a nasal dorsum point;

Горизонтальное отклонение определяется на основе трехмерных координат точки кончика носа и точки спинки носа. Например, трехмерные координаты точки кончика носа - (xn, yn, zn), а трехмерные координаты точки спинки носа - (xs, ys, zs). В частности, вертикальное отклонение можно определить с помощью следующей формулы, где Yw представляет собой вертикальное отклонение. The horizontal deviation is determined based on the three-dimensional coordinates of the nasal tip point and the nasal dorsum point. For example, the three-dimensional coordinates of the point of the tip of the nose are (xn, yn, zn), and the three-dimensional coordinates of the point of the back of the nose are (xs, ys, zs). Specifically , the vertical deviation can be determined using the following formula, where Yw represents the vertical deviation.

Yw = arctan Yw = arctan

[00119] Пример 5 описывает способ определения наклона в информации о положении на основе признака лица первого видеоизображения.[00119] Example 5 describes a method for determining slant in position information based on a face feature of a first video image.

[00120] Признаки лица включают в себя признак левого глаза и признак правого глаза. В частности, наклон можно определить следующим образом: [00120] The facial features include a left eye feature and a right eye feature. Specifically, the slope can be defined as follows:

определение угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза как наклон, гдеdetermining the angle in the horizontal direction of the displacement of the connection line between the reference point of the left eye sign and the reference point of the right eye sign as a slope, where

опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак правого глаза; илиthe reference point of the left eye feature is a pixel corresponding to the average value of the coordinates of the feature points included in the left eye feature, and the reference point of the right eye feature is a pixel corresponding to the average value of the coordinates of the feature points included in the right eye feature; or

опорной точкой признака левого глаза является точка признака зрачка левого глаза на признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза на признаке правого глаза; илиthe reference point of the left eye feature is the point of the left eye pupil feature on the left eye feature, and the reference point of the right eye feature is the point of the right eye pupil feature on the right eye feature; or

опорной точкой признака левого глаза является центральный пиксель изображения признака левого глаза, образованного диапазоном, заключенным точками признака, включенными в признак левого глаза, а опорной точкой признака правого глаза является центральный пиксель изображения признака правого глаза, образованное диапазоном, заключенным точками признака, включенными в признак правого глаза. the left eye feature reference point is the central pixel of the left eye feature image formed by the range enclosed by the feature points included in the left eye feature, and the right eye feature reference point is the central pixel of the right eye feature image formed by the range enclosed by the feature points included in the feature right eye.

[00121] Например, координаты опорной точки признака левого глаза (x1, y1), а координаты опорной точки признака правого глаза (x2, y2). Наклон Zw можно определить по следующей формуле: [00121] For example, the coordinates of the reference point of the left eye feature are (x1, y1), and the coordinates of the reference point of the right eye feature are (x2, y2). The slope Zw can be determined by the following formula:

Zw = arctan Zw = arctan

[00122] Что касается конкретной сцены приложения, нижеследующее подробно описывает решение, предоставленное в этом варианте осуществления настоящей заявки.[00122] Regarding a specific application scene, the following describes in detail the solution provided in this embodiment of the present application.

[00123] Приложение для сцены видеосъемки используется в качестве примера, а коррекция угла лица в видеоизображении, захваченном камерой 130, используется в качестве примера для подробного описания процесса реализации настоящей заявки с использованием технологии трехмерной реконструкции, такой как модель 3DMM, для определения допустимости признака лица перед коррекцией угла лица. Поскольку влияние технологии 3DMM на трехмерную реконструкцию лица основано на допустимости признака лица, сначала необходимо определить допустимость признака лица. Например, когда точка признака является недопустимой, трехмерная реконструкция не может выполняться на кадре видеоизображения, чтобы предотвратить плохой результат реконструкции (как показано на фиг. 2), тем самым улучшая взаимодействие с пользователем.[00123] An application for a video scene is used as an example, and correction of the angle of a face in a video image captured by the camera 130 is used as an example to describe in detail the process of implementing the present application using a three-dimensional reconstruction technology such as a 3DMM model to determine the validity of a facial feature before correcting the angle of the face. Since the effect of 3DMM technology on 3D facial reconstruction is based on the validity of the facial feature, the validity of the facial feature must first be determined. For example, when a feature point is invalid, 3D reconstruction cannot be performed on a video frame to prevent a poor reconstruction result (as shown in Fig. 2), thereby improving the user experience.

[00124] Фиг. 9 - схематическая блок-схема последовательности операций способа определения допустимости признака лица. Способ может выполняться электронным устройством или процессором 110 электронного устройства. Например, камера 130 собирает кадр видеоизображения в видеопотоке, а затем вводит кадр видеоизображения в процессор 110. Процессор 110 определяет допустимость признака лица. Для простоты описания подлежащее обработке видеоизображение в этом варианте осуществления также упоминается как первое видеоизображение, а кадр изображения, предшествующий первому видеоизображению в видеопотоке, упоминается как второе видеоизображение. Кроме того, на фиг. 9, настройка порядка выполнения нескольких условий используется в качестве примера для иллюстрации. Порядок выполнения условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 является только примером и конкретно не ограничивает конкретный порядок выполнения условия 1 условием 5. Способ может включать в себя следующие этапы:[00124] FIG. 9 is a schematic flowchart of a method for determining the validity of a facial attribute. The method may be performed by an electronic device or an electronic device processor 110. For example, camera 130 collects a frame of video in a video stream and then inputs the frame of video to processor 110. Processor 110 determines whether the facial feature is valid. For ease of description, the video image to be processed in this embodiment is also referred to as the first video image, and the image frame preceding the first video image in the video stream is referred to as the second video image. In addition, in FIG. 9, setting the order of multiple conditions is used as an example for illustration. The order of condition 1 -> condition 2 -> condition 3 -> condition 4 -> condition 5 is only an example and does not specifically limit the specific order of condition 1 to condition 5. The method may include the following steps:

[00125] S901: Получение первого видеоизображения и получение признака лица первого видеоизображения. Например, признаки лица включают в себя признаки левой щеки, признаки правой щеки, признаки носа, признаки рта, признаки левого глаза, признаки правого глаза, признаки левой брови и признаки правой брови.[00125] S901: Obtaining the first video image and obtaining the face feature of the first video image. For example, facial features include left cheek features, right cheek features, nose features, mouth features, left eye features, right eye features, left eyebrow features, and right eyebrow features.

[00126] S902: Определение, является ли количество точек признака, включенных в признак лица, предварительно установленным пороговым значением количества. Если да, выполняется S909. Если нет, выполняется S903. S902 является лишь примером. В качестве альтернативы, на основе предварительно установленного диапазона количества можно определить, соответствует ли количество точек признака, включенных в признак лица, требованию для трехмерной реконструкции. Фиг. 9 в качестве примера используется предварительно установленное пороговое значение количества.[00126] S902: Determining whether the number of feature points included in the face feature is a preset quantity threshold. If yes, S909 is executed. If not, S903 is executed. S902 is just an example. Alternatively, based on the preset number range, it can be determined whether the number of feature points included in the face feature meets the requirement for 3D reconstruction. Fig. 9 uses a preset quantity threshold as an example.

[00127] S903: Определение, есть ли точка признака, расположенная в краевой области изображения или за пределами диапазона изображения среди точек признака, включенных в признак лица. Если да, выполняется S909. Если нет, выполняется S904.[00127] S903: Determining whether there is a feature point located in the edge region of the image or outside the image range among the feature points included in the face feature. If yes, S909 is executed. If not, S904 is executed.

[00128] S904: Группирование точек признака, включенных в признак лица, на основе органов, которым принадлежат точки признака, чтобы получить m групп. Например, как показано на фиг. 8, группы m представляют собой восемь групп, включающих в себя группу признаков левой щеки, группу признаков правой щеки, группу признаков носа, группу признаков рта, группу признаков левого глаза, группу признаков правого глаза, группу признаков левой брови, и группа признаков правой брови.[00128] S904: Grouping the feature points included in the face feature based on the organs to which the feature points belong to obtain m groups. For example, as shown in FIG. 8, the m groups are eight groups including a left cheek feature group, a right cheek feature group, a nose feature group, a mouth feature group, a left eye feature group, a right eye feature group, a left eyebrow feature group, and a right eyebrow feature group. .

[00129] После завершения группирования получаются опорные точки этих групп точек признака. В варианте осуществления, показанном на фиг. 9, опорная точка группы точек признака представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в группу, например, как показано на фиг. 10.[00129] Once the grouping is complete, the reference points of these feature point groups are obtained. In the embodiment shown in FIG. 9, the reference point of a feature point group is a pixel corresponding to the average value of the coordinates of feature points included in the group, for example, as shown in FIG. 10.

[00130] S905: Определение того, больше ли смещение положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении чем первое пороговое значение. Если да, выполняется S909. Если нет, выполняется S906.[00130] S905: Determining whether the displacement of the head position of the person in the first video image relative to the head position of the person in the second video image is greater than the first threshold value. If yes, S909 is executed. If not, S906 is executed.

[00131] Например, расстояние между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении определяется для получения m групп расстояний, где i представляет собой положительное целое число, меньшее или равное m. Чтобы исключить влияние расстояния между головой человека и экраном на размер изображения, m групп расстояний могут быть нормализованы. Например, нормализация выполняется с использованием расстояния между опорной точкой левого глаза и опорной точкой правого глаза в первом видеоизображении в качестве опорного значения для получения нормализованных m групп расстояний. Среднее значение нормализованных m групп расстояний определяется как смещение положения головы человека на первом видеоизображении относительно положения головы человека на втором видеоизображении.[00131] For example, the distance between the reference point of the i-th feature point group in the first video image and the reference point of the i-th feature point group in the second video image is determined to obtain m distance groups, where i is a positive integer less than or equal to m. To eliminate the influence of the distance between the person's head and the screen on the image size, m groups of distances can be normalized. For example, normalization is performed using the distance between the left eye reference point and the right eye reference point in the first video image as a reference value to obtain normalized m distance groups. The average of the normalized m group distances is defined as the displacement of the position of the person's head in the first video image relative to the position of the person's head in the second video image.

[00132] S906: Получение локального изображения признака каждой группы точек признака на основе диапазона, заключенного каждой группой.[00132] S906: Obtaining a local feature image of each group of feature points based on the range enclosed by each group.

[00133] Например, изображения, образованные диапазонами, заключенными группами точек признака первого видеоизображения и второго видеоизображения, соответствуют одно за другим и преобразуются в одинаковый размер. Значение пикселя каждого пикселя в каждом изображении после преобразования размера за вычетом среднего значения пикселя изображения, тем самым устраняя влияние интенсивности света и получая локальное изображение признака каждой группы.[00133] For example, images formed by ranges enclosed by feature point groups of the first video image and the second video image are matched one after the other and converted to the same size. The pixel value of each pixel in each image after size conversion is minus the average pixel value of the image, thereby eliminating the influence of light intensity and obtaining a local feature image of each group.

[00134] S907: Определение того, больше ли сходство изображения между признаками лица первого видеоизображения и второго видеоизображения чем второе пороговое значение, на основе локального изображения признака каждой группы в первом видеоизображении и втором видеоизображении. Если да, выполняется S909. Если нет, выполняется S908.[00134] S907: Determining whether the image similarity between the facial features of the first video image and the second video image is greater than the second threshold value based on the local feature image of each group in the first video image and the second video image. If yes, S909 is executed. If not, S908 is executed.

[00135] Например, сходство определяется на основе среднеквадратической ошибки. Получают среднеквадратическую ошибку локальных изображений признаков одной и той же группы органов первого видеоизображения и второго видеоизображения. Если среднее значение среднеквадратичных ошибок всех локальных изображений признаков больше второго порогового значения, можно определить, что части, показанные на изображениях локальных областей тех же частей, сильно изменяются, отслеживание точек признака неточно, и признак лица является недопустимым.[00135] For example, similarity is determined based on the root mean square error. The root mean square error of local images of features of the same group of organs of the first video image and the second video image is obtained. If the average of the root mean square errors of all local feature images is greater than the second threshold, it can be determined that the parts shown in the local region images of the same parts vary greatly, the feature point tracking is inaccurate, and the face feature is invalid.

[00136] S908: Определение - не чрезмерно ли велико отклонение головы человека. Если нет, процесс завершается. Если да, выполняется S909.[00136] S908: Determining whether the deviation of a person's head is excessive. If not, the process ends. If yes, S909 is executed.

[00137] Например, отклонение головы человека может включать в себя горизонтальное отклонение, вертикальное отклонение и наклон. Конкретный способ расчета был описан выше, и подробности здесь снова не описываются.[00137] For example, the deflection of a person's head may include horizontal deflection, vertical deflection, and tilt. The specific method of calculation has been described above and the details are again not described here.

[00138] Например, определяется, не чрезмерно ли велико отклонение головы человека. В частности, когда определяется, что выполняется любое из следующих условий, определяется, что отклонение головы человека чрезмерно велико: [00138] For example, it is determined whether the deviation of the person's head is excessive. Specifically, when it is determined that any of the following conditions are satisfied, it is determined that the deviation of the person's head is excessively large:

условие 3: горизонтальное отклонение больше третьего порогового значения; condition 3: horizontal deviation is greater than the third threshold value;

условие 4: вертикальное отклонение больше четвертого порогового значения; илиcondition 4: vertical deviation is greater than the fourth threshold value; or

условие 5: наклон больше пятого порогового значения. condition 5: the slope is greater than the fifth threshold value.

[00139] S909: Определение того, что этот признак лица является недопустимым признаком.[00139] S909: Determining that this facial feature is an invalid feature.

[00140] Например, при определении того, что первое видеоизображение является недопустимым признаком, процессор 110 может не выполнять обработку трехмерной реконструкции первого видеоизображения, а отображать первое видеоизображение пользователю через экран 140 дисплея. При определении того, что первое видеоизображение является допустимым признаком, процессор 110 может выполнять обработку трехмерной реконструкции первого видеоизображения и отображать первое видеоизображение после обработки трехмерной реконструкции пользователю через экран 140 дисплея.[00140] For example, when determining that the first video image is an invalid feature, the processor 110 may not perform 3D reconstruction processing of the first video image, but display the first video image to the user via the display screen 140. Upon determining that the first video image is a valid feature, the processor 110 may perform 3D reconstruction processing of the first video image and display the first video image after the 3D reconstruction processing to the user via the display screen 140.

[00141] На основе той же концепции, что и вышеупомянутый способ, вариант осуществления настоящей заявки дополнительно предоставляет устройство 10. Как показано на фиг. 10, устройство 1100 может быть, в частности, процессором в электронном устройстве, или микросхемой, или системой микросхем, или модулем в электронном устройстве, и т.п. Например, устройство может включать в себя блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения. Блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения выполнены с возможностью выполнения этапов способа, показанных в вариантах осуществления, соответствующих фиг. 5 и фиг. 9. Например, блок 1001 получения может быть выполнен с возможностью получения признака лица первого видеоизображения. Первый блок 1002 определения выполнен с возможностью определения информации о положении и/или информации об изменении лица на основе признака лица. Второй блок 1003 определения выполнен с возможностью определения того, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица.[00141] Based on the same concept as the above method, an embodiment of the present application further provides an apparatus 10. As shown in FIG. 10, device 1100 may be, in particular, a processor in an electronic device, or a chip, or a system of chips, or a module in an electronic device, or the like. For example, the device may include a receiving unit 1001, a first determining unit 1002, and a second determining unit 1003. The receiving unit 1001, the first determining unit 1002, and the second determining unit 1003 are configured to perform the method steps shown in the embodiments corresponding to FIGS. 5 and fig. 9. For example, the acquisition unit 1001 may be configured to obtain a face feature of the first video image. The first determination unit 1002 is configured to determine position information and/or face change information based on the face feature. The second determination unit 1003 is configured to determine whether a face feature is an invalid feature based on position information and/or face change information.

[00142] Вариант осуществления настоящей заявки дополнительно предоставляет электронное устройство. Как показано на фиг. 11, электронное устройство 11 может включать в себя процессор 1110. Необязательно, электронное устройство 11 может дополнительно включать в себя память 1120. Память 1120 может быть расположена внутри электронного устройства 11 или может быть расположена вне электронного устройства 11. Блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения, показанные на фиг. 10, могут быть полностью реализованы процессором 1110. Необязательно, устройство 11 может дополнительно включать в себя экран 1130 дисплея и камеру 1140. Процессор 1110 связан с памятью 1120, экраном 1130 дисплея и камерой 1140. Соединения в этом варианте осуществления данной заявки представляют собой косвенные связи или коммуникационные соединения между устройствами, блоками или модулями и могут быть электрическими, механическими или другой формы и используются для обмена информацией между устройствами, блоками или модулями. Следует отметить, что экран дисплея и камера в этом варианте осуществления настоящей заявки могут располагаться или не располагаться на электронном устройстве. Например, экран дисплея и/или камера могут использоваться как внешнее устройство для подключения к электронному устройству.[00142] An embodiment of the present application further provides an electronic device. As shown in FIG. 11, the electronic device 11 may include a processor 1110. Optionally, the electronic device 11 may further include a memory 1120. The memory 1120 may be located within the electronic device 11 or may be located outside the electronic device 11. Receiving unit 1001, first unit 1002 definitions and the second definition block 1003 shown in FIG. 10 may be implemented entirely by processor 1110. Optionally, device 11 may further include a display screen 1130 and a camera 1140. Processor 1110 is coupled to memory 1120, display screen 1130, and camera 1140. The connections in this embodiment of this application are indirect connections or communication connections between devices, blocks or modules and may be electrical, mechanical or other forms and are used to exchange information between devices, blocks or modules. It should be noted that the display screen and camera in this embodiment of the present application may or may not be located on the electronic device. For example, the display screen and/or camera can be used as an external device to connect to an electronic device.

[00143] В частности, память 1120 выполнена с возможностью хранения программной инструкции. Экран 1130 дисплея выполнен с возможностью отображения интерфейса предварительного просмотра фотографий, а интерфейс предварительного просмотра фотографий включает в себя изображение, собираемое камерой 1140. Процессор 1110 выполнен с возможностью вызова программной инструкции, хранящейся в памяти 1120, так что электронное устройство 1100 выполняет этапы, выполняемые электронным устройством в способе определения допустимости признака лица, показанного на фиг. 5 и фиг. 9.[00143] In particular, memory 1120 is configured to store a program instruction. The display screen 1130 is configured to display a photo preview interface, and the photo preview interface includes an image collected by the camera 1140. The processor 1110 is configured to call a program instruction stored in the memory 1120 such that the electronic device 1100 performs steps performed by the electronic device in the facial attribute validity determination method shown in FIG. 5 and fig. 9.

[00144] Следует понимать, что электронное устройство 1100 может быть выполнено с возможностью реализации способа определения допустимости признака лица, показанного на фиг. 5 и фиг. 9 в этом варианте осуществления настоящей заявки. Для получения информации о связанных признаках см. предыдущее описание. Подробности не описаны здесь снова.[00144] It should be understood that the electronic device 1100 may be configured to implement the facial feature validity determination method shown in FIG. 5 and fig. 9 in this embodiment of the present application. For information about related characteristics, see the previous description. The details are not described here again.

[00145] Специалист в данной области техники должен понимать, что варианты осуществления настоящей заявки могут быть предоставлены как способ, система или компьютерный программный продукт. Следовательно, настоящая заявка может использовать форму вариантов осуществления только аппаратных средств, вариантов осуществления только программного обеспечения или варианты осуществления с комбинацией программного и аппаратного обеспечения. Кроме того, настоящая заявка может использовать форму компьютерного программного продукта, который реализован на одном или нескольких пригодных для использования компьютером носителях (включая, помимо прочего, запоминающее устройство на магнитных дисках, CD-ROM, оптическую память и т.п.), включая компьютерный программный код.[00145] One skilled in the art will understand that embodiments of the present application may be provided as a method, system, or computer program product. Therefore, the present application may take the form of hardware-only embodiments, software-only embodiments, or embodiments with a combination of software and hardware. In addition, the present application may take the form of a computer program product that is implemented on one or more computer-readable media (including, but not limited to, magnetic disk storage, CD-ROM, optical memory, and the like), including a computer program code.

[00146] Настоящая заявка описана со ссылкой на блок-схемы и/или блок-схемы последовательности операций способа, устройства (системы) и компьютерного программного продукта в соответствии с вариантами осуществления настоящей заявки. Следует понимать, что компьютерные программные инструкции могут использоваться для реализации каждого процесса и/или каждого блока в блок-схемах последовательности операций и/или блок-схемах, а также комбинации процесса и/или блока в блок-схемах последовательности операций и/или блок-схемах. Эти компьютерные программные инструкции могут быть предоставлены для универсального компьютера, специализированного компьютера, встроенного процессора или процессора другого программируемого устройства обработки данных для создания машины, так что инструкции, выполняемые компьютером или процессором другого программируемого устройства устройство обработки данных формирует устройство для реализации конкретной функции в одном или нескольких процессах в блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.[00146] This application is described with reference to flowcharts and/or flowcharts of a method, apparatus (system), and computer program product in accordance with embodiments of the present application. It should be understood that computer program instructions may be used to implement each process and/or each block in the flowcharts and/or flowcharts, as well as combinations of process and/or block in the flowcharts and/or flowcharts. schemes. These computer program instructions may be provided to a general purpose computer, a special purpose computer, an embedded processor, or a processor of another programmable data processing device to create a machine, such that the instructions executed by the computer or the processor of another programmable data processing device form a device for implementing a specific function in one or multiple processes in flowcharts and/or in one or more blocks in flowcharts.

[00147] Эти компьютерные программные инструкции могут храниться в считываемой компьютером памяти, которая может давать команду компьютеру или другому программируемому устройству обработки данных работать определенным образом, поэтому инструкции, хранящиеся в считываемой компьютером памяти, формируют продукт, который включает в себя устройство инструкций. Устройство инструкций реализует конкретную функцию в одном или нескольких процессах на блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.[00147] These computer program instructions may be stored in computer readable memory, which may command a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory form a product that includes an instruction device. An instruction device implements a particular function in one or more processes in flowcharts and/or in one or more blocks in flowcharts.

[00148] В качестве альтернативы эти компьютерные программные инструкции могут быть загружены в компьютер или другое программируемое устройство обработки данных, так что на компьютере или другом программируемом устройстве выполняется последовательность операций и этапов, тем самым формируя реализованную на компьютере обработку. Следовательно, инструкции, выполняемые на компьютере или другом программируемом устройстве, предоставляют этапы для реализации конкретной функции в одном или нескольких процессах на блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.[00148] Alternatively, these computer program instructions may be loaded into a computer or other programmable processing device such that a series of operations and steps are performed on the computer or other programmable device, thereby forming computer-implemented processing. Therefore, instructions executed on a computer or other programmable device provide steps for implementing a particular function in one or more flowchart processes and/or in one or more block diagrams.

[00149] Ясно, что специалист в данной области техники может внести различные модификации и изменения в варианты осуществления настоящей заявки, не выходя за пределы объема вариантов осуществления настоящей заявки. Настоящая заявка предназначена для охвата этих модификаций и вариаций при условии, что они подпадают под объем защиты, определенный следующей формулой изобретения и их эквивалентными технологиями. [00149] It will be appreciated that one skilled in the art may make various modifications and changes to the embodiments of the present application without departing from the scope of the embodiments of the present application. This application is intended to cover these modifications and variations provided that they fall within the scope of protection defined by the following claims and their equivalent technologies.

Claims

1. Способ определения возможности использования признака лица для трехмерной реконструкции лица в видеоизображении, содержащий: 1. A method for determining the possibility of using a facial feature for three-dimensional reconstruction of a face in a video image, containing:

получение посредством электронного устройства признака лица первого видеоизображения; obtaining, by means of an electronic device, a facial feature of the first video image;

определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, при этом информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, информация об изменении лица используется для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении, второе видеоизображение является кадром изображения, предшествующим первому видеоизображению в видеопотоке, которому принадлежит первое видеоизображение, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества; иdetermining, by an electronic device, position information and/or face change information based on a face feature of the first video image, wherein the position information is used to represent a deviation of the person's head indicated by the face feature in the first video image, the face change information is used to represent a position change state a human head in the first video image and the second video image, the second video image is an image frame preceding the first video image in the video stream to which the first video image belongs, and the number of video images between the second video image and the first video image is within a predetermined number range; And

определение посредством электронного устройства того, является ли признак лица признаком, который невозможно использовать для трехмерной реконструкции лица, на основе информации о положении и/или информации об изменении лица;determining via an electronic device whether the facial feature is a feature that cannot be used for three-dimensional facial reconstruction based on the position information and/or the facial change information;

при этом информация о положении содержит по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека; или информация об изменении лица содержит по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходство изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения;wherein the position information comprises at least one of a horizontal deviation used to represent the rotation of the person's head to the left or right, a vertical deviation used to represent the raising or lowering of the person's head, and a tilt used to represent the degree of tilt of the person's head; or the face change information comprises at least one of a displacement of a head position of a person in the first video image relative to a head position of a person in the second video image and an image similarity between the face image of the first video image and the face image of the second video image;

при этом признак лица содержит N групп точек признака, где N представляет собой положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица, при этом определение посредством электронного устройства смещения в информации об изменении лица на основе признака лица первого видеоизображения содержит: wherein the facial feature contains N groups of feature points, where N is a positive integer greater than or equal to 1, and different groups of feature points belong to different organs of the face, wherein the electronic device determines the bias in the facial change information based on the face feature of the first video contains:

определение посредством электронного устройства расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N; иdetermining, by an electronic device, a distance between a reference point of the i-th feature point group in the first video image and a reference point of the i-th feature point group in the second video image to obtain N distance groups, where i is a positive integer less than or equal to N; And

определение посредством электронного устройства среднего значения N групп расстояний в качестве смещения или определение среднего значения нормализованных N групп расстояний в качестве смещения. determining, by an electronic device, the average value of the N groups of distances as an offset, or determining the average value of the normalized N groups of distances as an offset.

2. Способ по п. 1, в котором определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения содержит 2. The method according to claim 1, wherein determining, by means of an electronic device, position information and/or face change information based on the face feature of the first video image comprises

определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения. determining, by an electronic device, position information and/or face change information based on a face feature of the first video image, when the face feature does not include a feature point located in an edge region of the first video image.

3. Способ по п. 1, в котором определение посредством электронного устройства того, является ли признак лица признаком, который невозможно использовать для трехмерной реконструкции лица, на основе информации о положении и/или информации об изменении лица содержит 3. The method of claim 1, wherein determining by an electronic device whether a facial feature is a feature that cannot be used for three-dimensional facial reconstruction based on position information and/or facial change information comprises

определение электронным устройством того, что признак лица в первом видеоизображении является признаком, который невозможно использовать для трехмерной реконструкции лица, когда определяется, что выполняется по меньшей мере одно из следующих условий: determining by an electronic device that a facial feature in the first video image is a feature that cannot be used for three-dimensional facial reconstruction when it is determined that at least one of the following conditions is met:

смещение больше первого порогового значения; the offset is greater than the first threshold;

сходство изображений больше второго порогового значения; image similarity is greater than the second threshold value;

горизонтальное отклонение больше третьего порогового значения; horizontal deviation is greater than the third threshold value;

вертикальное отклонение больше четвертого порогового значения; илиvertical deviation is greater than the fourth threshold value; or

наклон больше пятого порогового значения.the slope is greater than the fifth threshold value.

4. Способ по п. 1, в котором признак лица содержит M групп точек признака, где M представляет собой положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица; 4. The method according to claim 1, wherein the facial feature contains M groups of feature points, where M is a positive integer greater than or equal to 1, and different groups of feature points belong to different organs of the face;

определение посредством электронного устройства сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения содержит determining, by an electronic device, image similarity in the face change information based on the face feature of the first video image, comprising

определение посредством электронного устройства сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное M; determining, by an electronic device, a similarity between the j-th local feature image in the first video image and the j-th local feature image in the second video image to obtain M similarities, where j is a positive integer less than or equal to M;

j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения; j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения; иThe j-th local feature image in the first video image is determined based on the range enclosed by the j-th group of feature points of the first video image; The j-th local feature image in the second video image is determined based on the range enclosed by the j-th group of feature points of the second video image; And

определение посредством электронного устройства среднего значения M сходств как сходства изображений. determining by an electronic device the average value M of similarities as image similarities.

5. Способ по любому из пп. 1, 3 или 4, в котором признак лица содержит признак левой щеки, признак правой щеки и признак носа; 5. Method according to any one of paragraphs. 1, 3 or 4, wherein the face feature comprises a left cheek feature, a right cheek feature and a nose feature;

определение посредством электронного устройства горизонтального отклонения на основе признаков лица первого видеоизображения содержит: Determination by means of an electronic device of horizontal deviation based on facial features of the first video image contains:

определение посредством электронного устройства первого расстояния между опорной точкой признака левой щеки и опорной точкой признака носа и второго расстояния между опорной точкой признака правой щеки и опорной точкой признака носа; иdetermining, by an electronic device, a first distance between a left cheek feature reference point and a nose feature reference point and a second distance between a right cheek feature reference point and a nose feature reference point; And

определение посредством электронного устройства отношения первого расстояния ко второму расстоянию в качестве горизонтального отклонения или определение отношения второго расстояния к первому расстоянию в качестве горизонтального отклонения, при этомdetermining by an electronic device the ratio of the first distance to the second distance as a horizontal deviation or determining the ratio of the second distance to the first distance as a horizontal deviation, wherein

опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака в признаке правой щеки; илиthe left cheek feature reference point is a preset feature point in the left cheek feature, the nose feature reference point is a preset feature point in the nose feature, and the right cheek feature reference point is a preset feature point in the right cheek feature; or

опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке носа, а опорной точкой признака правой щеки является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке правой щеки. the reference point of the left cheek feature is the pixel corresponding to the average value of the coordinates of the feature points contained in the left cheek feature, the reference point of the nose feature is the pixel corresponding to the average value of the coordinates of the feature points contained in the nose feature, and the reference point of the right cheek feature is the pixel corresponding the average value of the coordinates of the feature points contained in the right cheek feature.

6. Способ по любому из пп. 1, 3, 4 или 5, в котором признак лица содержит признак глаза, признак подбородка и признак носа; 6. Method according to any one of paragraphs. 1, 3, 4 or 5, wherein the facial feature comprises an eye feature, a chin feature and a nose feature;

определение посредством электронного устройства вертикального отклонения на основе признаков лица первого видеоизображения содержит: Determination by means of an electronic device of vertical deviation based on facial features of the first video image contains:

определение посредством электронного устройства третьего расстояния между опорной точкой признака глаза и опорной точкой признака носа и четвертого расстояния между опорной точкой признака подбородка и опорной точкой признака носа; иdetermining by means of an electronic device a third distance between a reference point of the eye feature and a reference point of the nose feature and a fourth distance between a reference point of the chin feature and a reference point of the nose feature; And

определение посредством электронного устройства отношения третьего расстояния к четвертому расстоянию в качестве горизонтального отклонения или определение отношения четвертого расстояния к третьему расстоянию как вертикальное отклонение, при этомdetermining by an electronic device the ratio of the third distance to the fourth distance as a horizontal deviation or determining the ratio of the fourth distance to the third distance as a vertical deviation, wherein

опорная точка признака глаза является предварительно установленной точкой признака в признаке глаза, опорной точкой признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака подбородка является предварительно установленной точкой признака в признаке подбородка; илиthe eye feature reference point is a preset feature point in the eye feature, the nose feature reference point is a preset feature point in the nose feature, and the chin feature reference point is a preset feature point in the chin feature; or

опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке носа, и опорная точка признака подбородка представляет собой пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке подбородка. the eye feature reference point is the pixel corresponding to the average value of the coordinates of the feature points contained in the eye feature, the nose feature reference point is the pixel corresponding to the average value of the coordinates of the feature points contained in the nose feature, and the chin feature reference point is the pixel corresponding to the average value coordinates of the feature points contained in the chin feature.

7. Способ по любому из пп. 1, 3, 4, 5 или 6, в котором признак лица содержит признак левого глаза и признак правого глаза; 7. Method according to any one of paragraphs. 1, 3, 4, 5 or 6, wherein the face feature comprises a left eye feature and a right eye feature;

определение посредством электронного устройства наклона на основе признака лица первого видеоизображения содержит determining, by means of an electronic device, a tilt based on the face feature of the first video image, comprising

определение посредством электронного устройства угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза в качестве наклона, при этомdetermining, by an electronic device, an angle in the horizontal direction of the offset of the connection line between the reference point of the left eye sign and the reference point of the right eye sign as an inclination, wherein

опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке правого глаза; или опорной точкой признака левого глаза является точка признака зрачка левого глаза в признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза в признаке правого глаза. the reference point of the left eye feature is a pixel corresponding to the average value of the coordinates of the feature points contained in the left eye feature, and the reference point of the right eye feature is a pixel corresponding to the average value of the coordinates of the feature points contained in the right eye feature; or the left eye feature reference point is the left eye pupil feature point in the left eye feature, and the right eye feature reference point is the right eye pupil feature point in the right eye feature.

8. Электронное устройство для определения возможности использования признака лица для трехмерной реконструкции лица в видеоизображении, содержащее по меньшей мере один процессор и по меньшей мере одну память, при этом8. An electronic device for determining the possibility of using a facial feature for three-dimensional reconstruction of a face in a video image, containing at least one processor and at least one memory, wherein

память выполнена с возможностью хранения программной инструкции; иthe memory is configured to store a program instruction; And

процессор выполнен с возможностью чтения программной инструкции, хранящейся в памяти, для реализации способа по любому из пп. 1-7. the processor is configured to read a program instruction stored in memory to implement the method according to any one of claims. 1-7.

9. Компьютерный носитель данных, при этом компьютерный носитель данных хранит компьютерную инструкцию и, когда компьютерная инструкция выполняется на электронном устройстве, электронному устройству предоставляется возможность выполнять способ по любому из пп. 1-7.9. A computer storage medium, wherein the computer storage medium stores a computer instruction and, when the computer instruction is executed on an electronic device, the electronic device is enabled to execute the method of any one of claims. 1-7.

10. Микросхема, при этом микросхема соединена с памятью в электронном устройстве и микросхема считывает и выполняет компьютерную инструкцию, хранящуюся в памяти, для выполнения способа по любому из пп. 1-7.10. A microcircuit, wherein the microcircuit is connected to a memory in the electronic device and the microcircuit reads and executes a computer instruction stored in the memory to perform the method according to any one of claims. 1-7.