Claims (49)
1. Способ принятия решения о выполнении операции на основе групп выражений лица, характеризующийся тем, что его осуществляют с помощью электронного устройства, и включающий1. A method for making a decision to perform an operation based on groups of facial expressions, characterized in that it is carried out using an electronic device, and including
получение текущего изображения лица целевого объекта, выполнение идентификации лица живого тела целевого объекта на основе текущего изображения лица и по результатам идентификации определение того, является ли личность целевого объекта законной, при этом идентификация лица живого тела включает идентификацию живого тела и идентификацию лица, иobtaining a current face image of the target object, performing face identification of the target object's living body based on the current face image and, based on the identification results, determining whether the identity of the target object is legal, wherein the living body's face identification includes living body identification and face identification, and
если личность целевого объекта законна, то выполняют получение текущей группы выражений текущего изображения лица,if the identity of the target object is legal, then get the current group of expressions of the current face image,
определение команды, подлежащей исполнению в соответствии с текущей группой выражений лица,determining the command to be executed in accordance with the current group of facial expressions,
выполнение операции, соответствующей команде, подлежащей исполнению.performing the operation corresponding to the command to be executed.
2. Способ по п. 1, отличающийся тем, что стадия выполнения идентификации лица живого тела целевого объекта на основе текущего изображения лица включает2. The method according to claim. 1, characterized in that the stage of performing face identification of the living body of the target object based on the current image of the face includes
выполнение идентификации живого тела на текущем изображении лица и определение, получена ли информация текущего изображения лица напрямую от реального живого тела, при этомperforming identification of the living body on the current face image, and determining whether the information of the current face image is obtained directly from the real living body, wherein
когда информация о текущем изображении лица напрямую поступает от реального живого тела, по текущему изображению лица выполняют идентификацию лица и определение того, соответствует ли текущее изображение лица каждому из хранимых изображений лица в хранимой библиотеке изображений лица,when information about the current face image is directly received from the real living body, face identification is performed on the current face image and determination of whether the current face image corresponds to each of the stored face images in the stored face image library,
если да, то подтверждают, что личность целевого объекта законна.if so, confirm that the target's identity is legitimate.
3. Способ по п. 2, отличающийся тем, что стадия получения текущей группы выражений текущего изображения лица включает3. The method according to claim 2, characterized in that the stage of obtaining the current group of expressions of the current face image includes
определение текущей группы выражений текущего изображения лица на основе текущего изображения лица и хранимой библиотеки изображений лица.determining the current expression group of the current face image based on the current face image and the stored face image library.
4. Способ по п. 3, отличающийся тем, что стадия определения текущей группы выражений лица текущего изображения лица на основе текущего изображения лица и хранимой библиотеки изображений лица включает4. The method according to claim 3, characterized in that the step of determining the current group of facial expressions of the current face image based on the current face image and the stored face image library includes
получение первой модели признаков выражения лица, соответствующей текущему изображению лица, и получение второй модели признаков выражения лица, соответствующей каждому из хранимых изображений лица в хранимой библиотеке изображений лица,obtaining a first face expression feature model corresponding to the current face image, and obtaining a second facial expression feature model corresponding to each of the stored face images in the stored face image library,
сравнение первой модели признаков выражения лица с каждым из вторых моделей признаков выражения лица для определения степени сходства между текущим изображением лица и каждым из хранимых изображений лица,comparing the first face expression feature model with each of the second facial expression feature models to determine the degree of similarity between the current face image and each of the stored face images,
на основе степени сходства определение целевого изображения лица, соответствующего текущему изображению лица,based on the degree of similarity, determining the target face image corresponding to the current face image,
получение учетной записи пользователя, соответствующей целевому изображению лица,obtaining a user account corresponding to the target face image,
определение текущей группы выражений лица, соответствующей текущему изображению лица, согласно учетной записи пользователя.determining the current group of facial expressions corresponding to the current face image, according to the user account.
5. Способ по п. 4, отличающийся тем, что стадия получения первой модели признаков выражения лица, соответствующей текущему изображению лица, и получения второй модели признаков выражения лица, соответствующей каждому из хранимых изображений лица в хранимой библиотеке изображений лица, включает5. The method according to claim 4, characterized in that the step of obtaining the first facial expression feature model corresponding to the current face image and obtaining the second facial expression feature model corresponding to each of the stored face images in the stored face image library comprises
определение первого набора координат положения ключевых точек черт лица на текущем изображении лица в соответствии с текущим изображением лица,determining the first set of coordinates for the position of key points of facial features on the current face image in accordance with the current face image,
использование первого набора координат положения в качестве первой модели признаков выражения лица, соответствующей текущему изображению лица,using the first set of position coordinates as the first facial expression feature model corresponding to the current face image,
согласно каждому из вторых наборов координат положения ключевых точек черт лица каждого из хранимых изображений лица в хранимой библиотеке изображений лица,according to each of the second sets of coordinates of the position of the key points of the facial features of each of the stored face images in the stored face image library,
при этом каждый из вторых наборов координат положения используют как вторую модель признаков выражения лица, соответствующую каждому из хранимых изображений лица в хранимой библиотеке изображений лица.wherein each of the second sets of position coordinates is used as a second facial expression feature model corresponding to each of the stored face images in the stored face image library.
6. Способ по п. 4, отличающийся тем, что стадия получения первой модели признаков выражения лица, соответствующей текущему изображению лица, и получения второй модели признаков выражения лица, соответствующей каждому из хранимых изображений лица в хранимой библиотеке изображений лица, дополнительно содержит6. The method according to claim 4, characterized in that the step of obtaining the first model of features of facial expression corresponding to the current face image, and obtaining the second model of features of facial expression corresponding to each of the stored face images in the stored face image library, further comprises
введение текущего изображения лица в нейронную сеть идентификации выражения лица, которая определяет первую модель признаков выражения лица, соответствующую текущему изображению лица,introducing the current face image into the facial expression identification neural network, which determines the first facial expression feature model corresponding to the current face image,
введение каждого изображения лица в библиотеке изображений лица в нейронную сеть идентификации выражения лица, чтобы нейронная сеть идентификации выражения лица определяла вторую модель признаков выражения лица, соответствующую каждому из хранимых изображений лица в хранимой библиотеке изображений лица.introducing each face image in the face image library into the facial expression identification neural network, so that the facial expression identification neural network determines a second facial expression feature model corresponding to each of the stored face images in the stored face image library.
7. Способ по п. 4, отличающийся тем, что стадия определения текущей группы выражений лица, соответствующей текущему изображению лица в соответствии с учетной записью пользователя, включает7. The method according to claim. 4, characterized in that the step of determining the current group of facial expressions corresponding to the current face image in accordance with the user account, includes
поиск групп выражений лица, соответствующих учетной записи пользователя, в заранее созданной базе данных групп,search for groups of facial expressions corresponding to a user account in a pre-created database of groups,
получение группы выражений лица, соответствующей текущему изображению лица,getting a group of facial expressions corresponding to the current face image,
определение группы выражений лица, соответствующей текущему изображению лица, в качестве текущей группы выражений лица.determining a facial expression group corresponding to the current face image as the current facial expression group.
8. Способ по п. 1, отличающийся тем, что стадия определения подлежащей исполнению команды, соответствующей текущей группе выражений лица, включает8. The method according to claim 1, characterized in that the step of determining the command to be executed corresponding to the current group of facial expressions includes
поиск команды, подлежащей исполнению в соответствии с текущей группой выражений лица, в заранее созданной базе данных команд, при этом соответствующая взаимосвязь между группой выражений лица и командой, подлежащей исполнению, хранится в базе данных команд, и команда, подлежащая исполнению, соответствует по меньшей мере одной группе выражений лица.search for a command to be executed in accordance with the current group of facial expressions in a pre-created command database, wherein the corresponding relationship between the group of facial expressions and the command to be executed is stored in the command database, and the command to be executed corresponds to at least one group of facial expressions.
9. Способ по п. 8, отличающийся тем, что база данных команд содержит, по меньшей мере, команду перевода, команду платежной операции и/или команду тревоги,9. The method according to claim 8, characterized in that the command database contains at least a transfer command, a payment transaction command and/or an alarm command,
при этом команда тревоги представляет собой команду аварийной сигнализации по меньшей мере одного типа, причем каждый тип команды тревоги соответствует одному типу режима тревоги, разные типы команд тревоги соответствуют разным группам выражений лица,wherein the alarm command is an alarm command of at least one type, each type of alarm command corresponds to one type of alarm mode, different types of alarm commands correspond to different groups of facial expressions,
команда платежной операции представляет собой команду платежной операции по меньшей мере одного типа, каждому типу команды платежной операции соответствует сумма платежа, и разные типы команд платежной операции соответствуют разным группам выражений лица.the payment transaction command is a payment transaction command of at least one type, each type of payment transaction command corresponds to a payment amount, and different types of payment transaction commands correspond to different groups of facial expressions.
10. Способ по п. 1, отличающийся тем, что дополнительно включает следующие стадии:10. The method according to p. 1, characterized in that it additionally includes the following steps:
когда пользователь регистрируется, выполняют получение учетной записи пользователя и сбор предварительно сохраненных изображений лица пользователя,when a user registers, acquiring a user account and collecting pre-stored images of the user's face,
определение второй модели признаков выражения лица из хранимых изображений лица, хранение соответствующей взаимосвязи между учетной записью пользователя и второй моделью признаков выражения лица и сохранение соответствующей взаимосвязи между учетной записью пользователя и хранимыми изображениями лица,determining a second facial expression feature model from the stored facial images, storing the corresponding relationship between the user account and the second facial expression feature model, and storing the corresponding relationship between the user account and the stored facial images,
определение группы выражений каждого изображения лица на основе каждой из вторых моделей признаков выражения лица,determining a group of expressions of each face image based on each of the second facial expression feature models,
сохранение соответствующей взаимосвязи между группой выражений лица, установленной пользователем, и командой, подлежащей исполнению.maintaining an appropriate relationship between the group of facial expressions set by the user and the command to be executed.
11. Устройство для принятия решения о выполнении операции на основе групп выражений лица, выполняемой электронным устройством, содержащее11. A device for deciding whether to perform an operation based on groups of facial expressions performed by an electronic device, containing
модуль получения изображения лица, выполненный с возможностью получать текущее изображение лица целевого объекта,a face image acquisition module configured to acquire the current face image of the target object,
модуль идентификации живого тела, выполненный с возможностью определять, получена ли информация текущего изображения лица напрямую от реального живого тела,a living body identification module configured to determine whether current face image information is obtained directly from a real living body,
модуль идентификации лица, выполненный с возможностью выполнять идентификацию лица живого тела целевого объекта на основе текущего изображения лица и определять, по результатам идентификации, является ли личность целевого объекта законной,a face identification module, configured to perform face identification of the living body of the target based on the current face image, and determine, from the results of the identification, whether the identity of the target is legal,
модуль получения признаков выражения лица, выполненный с возможностью получать текущую группу выражений лица текущего изображения лица, когда по результатам идентификации, проведенной модулем идентификации лица, личность является законной,a face expression feature acquisition module, configured to obtain the current group of facial expressions of the current face image, when the identity is legal based on the results of the identification performed by the face identification module,
модуль определения команд, выполненный с возможностью определять команду, подлежащую исполнению в соответствии с текущей группой выражений лица,a command determination module configured to determine a command to be executed in accordance with the current group of facial expressions,
модуль выполнения операций, выполненный с возможностью выполнять операцию, соответствующую команде, подлежащей исполнению.an operation execution module configured to perform an operation corresponding to the instruction to be executed.
12. Электронное устройство, содержащее устройство получения изображения, процессор и запоминающее устройство, при этом устройство получения изображения выполнено с возможностью получать визуальную информацию,12. An electronic device containing an image acquisition device, a processor and a memory device, while the image acquisition device is configured to receive visual information,
в запоминающем устройстве хранится компьютерная программа, выполняющая способ по любому из пп. 1-10 при запуске ее процессором.the storage device stores a computer program that performs the method according to any one of paragraphs. 1-10 when it is started by the processor.
13. Микросхема с хранимой на ней программой, выполненной с возможностью при запуске ее процессором выполнять стадии способа по любому из пп. 1-10.13. Chip with a program stored on it, configured to perform the steps of the method according to any one of paragraphs when it is launched by the processor. 1-10.