JP6684009B1 - Program, video processing device, and authentication method - Google Patents
Program, video processing device, and authentication method Download PDFInfo
- Publication number
- JP6684009B1 JP6684009B1 JP2019183319A JP2019183319A JP6684009B1 JP 6684009 B1 JP6684009 B1 JP 6684009B1 JP 2019183319 A JP2019183319 A JP 2019183319A JP 2019183319 A JP2019183319 A JP 2019183319A JP 6684009 B1 JP6684009 B1 JP 6684009B1
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- authentication
- face
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims description 98
- 230000008569 process Effects 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 17
- 230000001815 facial effect Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 101000642688 Homo sapiens Syntaxin-3 Proteins 0.000 description 1
- 101000697800 Homo sapiens Syntaxin-4 Proteins 0.000 description 1
- 101000697810 Homo sapiens Syntaxin-5 Proteins 0.000 description 1
- 101000697781 Homo sapiens Syntaxin-6 Proteins 0.000 description 1
- 101000831895 Homo sapiens Syntaxin-7 Proteins 0.000 description 1
- 101000648224 Homo sapiens Syntaxin-8 Proteins 0.000 description 1
- 108010091769 Shiga Toxin 1 Proteins 0.000 description 1
- 108010090763 Shiga Toxin 2 Proteins 0.000 description 1
- 102100029932 Syntaxin-1A Human genes 0.000 description 1
- 102100035936 Syntaxin-2 Human genes 0.000 description 1
- 102100035937 Syntaxin-3 Human genes 0.000 description 1
- 102100027975 Syntaxin-4 Human genes 0.000 description 1
- 102100027973 Syntaxin-5 Human genes 0.000 description 1
- 102100027866 Syntaxin-6 Human genes 0.000 description 1
- 102100024174 Syntaxin-7 Human genes 0.000 description 1
- 102100028808 Syntaxin-8 Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラムを提供する。【解決手段】 カメラからの映像を分析し、あらかじめ登録した人物のデータと比較し、十分な精度で判定できているかの処理を行う。顔特徴データに付帯する情報（服装、骨格、歩行姿勢）は関与比率を低くして計算を行う、又は計算に加えない。可能性が低い場合、該当人物は含まれないとして、通常のデジタルサイネージとして機能するための、一般広告を表示する。該当の可能性がある場合、より精度をあげて特定の人物の撮影ができるように、特定の人物の視線を誘導する広告映像に切り替えて表示する。【選択図】 図５PROBLEM TO BE SOLVED: To provide a program capable of appropriately capturing a face image of a person to be authenticated and enhancing accuracy of person authentication when performing person authentication based on a face image captured by a camera. A video from a camera is analyzed, compared with data of a person registered in advance, and processing is performed to determine whether or not the determination can be performed with sufficient accuracy. The information (clothes, skeleton, walking posture) incidental to the facial feature data is calculated with a low participation rate or is not added to the calculation. If it is unlikely, the corresponding person is not included and a general advertisement is displayed to function as a normal digital signage. If there is a possibility of this, the advertisement video that guides the line of sight of a specific person is displayed by switching so that the specific person can be photographed more accurately. [Selection diagram]
Description
本発明は、プログラム、映像処理装置及び認証方法に関するものである。 The present invention relates to a program, a video processing device, and an authentication method.
近年の人工知能技術の普及により、監視カメラで特定の人物を検知できる顔認証カメラの利用も広がっている。例えば、警備会社においては、警備人員の不足の問題に対して、顔認証技術を用いた監視映像システムを導入する事で、人間に代わって不審な人物を検知するなどの需要が広がっている。 With the recent widespread use of artificial intelligence technology, the use of face recognition cameras capable of detecting a specific person with surveillance cameras is also expanding. For example, in security companies, by introducing a surveillance video system using face recognition technology to the problem of lack of security personnel, demand for detecting suspicious persons instead of humans is expanding.
また、従来は人物認証システムは、監視カメラの映像用いて、人物の顔の特徴を検出し、特徴として抽出したデータの同一性を比較して個人を特定する、特徴抽出型の技術が用いられてきた。これに対して、近年急速に成長している人工知能技術で、ディープラーニングの手法を用いる事で、人物の顔に加え、人体の他の特徴も加えて判定することでカメラで撮影した顔の映像が十分でない場合でも、個人を特定できる技術が開発されている
人物認証の分野において、従来は、カメラと画像分析サーバを接続し、画像分析サーバにおいて、カメラの映像を分析し、予め登録された人物認証データと突合して人物を特定する。
In addition, conventionally, a person authentication system uses a feature extraction type technology that detects a facial feature of a person using a video image of a surveillance camera and compares the extracted data as a feature to identify an individual. Came. On the other hand, with artificial intelligence technology that has grown rapidly in recent years, by using the method of deep learning, in addition to the person's face, other features of the human body are also added to determine the face taken by the camera. In the field of personal authentication, where a technology that can identify an individual is being developed even when the video is not sufficient, conventionally, a camera and an image analysis server were connected, and the video of the camera was analyzed by the image analysis server and registered in advance. A person is identified by collating with the person authentication data.
複数の施設に渡って、同一の人物を発見するような用途では、従来のシステムでは、データセンターやクラウドセンターに大型のサーバを配備して、各施設には、画像処理サーバを配備して、人物の画像の切り出しを行い、切出した人物の画像を人物認証サーバに送信して、その後の処理をデーターセンター又はクラウドセンターに配備された人物認証サーバで行う。 For applications such as finding the same person across multiple facilities, conventional systems deploy large servers in data centers and cloud centers, and deploy image processing servers in each facility. The image of the person is cut out, the image of the cut out person is transmitted to the person authentication server, and the subsequent processing is performed by the person authentication server provided in the data center or the cloud center.
ところで、顔認証の技術では、十分な顔認証精度を持つためには、対象人物を限りなく正面から撮影する必要がある。近年、３Ｄ顔認証技術により、横顔や斜め上下左右からの撮影でも可能とする技術が開発されているが、まだ十分な顔認識精度が得られていない。特に監視カメラは、天井など目立たない位置に設置されるため、顔認証を行う映像としては不適切な場所に設置せざるをえない問題がある。 By the way, in the face recognition technique, in order to have sufficient face recognition accuracy, it is necessary to photograph the target person from the front as much as possible. In recent years, a 3D face authentication technology has been developed that enables shooting from a side profile or from diagonally up, down, left, and right, but sufficient face recognition accuracy has not yet been obtained. In particular, since the surveillance camera is installed in an inconspicuous position such as the ceiling, there is a problem that the surveillance camera must be installed in an unsuitable place as an image for face recognition.
また、従来のシステムでは、画像処理サーバから人物認証サーバに人物の映像が含まれるデータを送るため、個人情報保護の観点からとても高いセキュリティを保つ環境の構築が必要で、保守や運用のコストが大変高額になる問題がある。 Further, in the conventional system, since the image processing server sends the data including the person's image to the person authentication server, it is necessary to construct an environment that maintains a very high security from the viewpoint of protecting personal information, and the maintenance and operation costs are low. There is a problem that it becomes very expensive.
また、ディープラーニングの技術を使う用途では、ディープラーニングの技術の特徴である「再学習による性能が向上する」利点を活かす仕組みが求められるため、システムのセキュリティの問題を回避すべく、各施設にはシステムを導入し、例えば再学習等により向上した人物認証データに入れ替える場合には、人為的に全ての施設を入れ替えて回る作業を行う方法もあるが、頻繁にデータを入れ替える必要のある場合、実運用上現実的ではない問題を抱えていた。 In addition, in applications that use deep learning technology, a mechanism that takes advantage of the characteristic of deep learning technology "improving performance by re-learning" is required, so in order to avoid system security problems, each facility is Has introduced a system, for example, when replacing with person authentication data improved by re-learning etc., there is also a method of artificially replacing all facilities and going around, but if it is necessary to replace data frequently, I had a problem that was not realistic in actual operation.
本発明はかかる事情に鑑みてなされたものであり、その目的は、カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラム、映像処理装置、映像処理方法及びに認証方法を提供することにある。
また、本発明の目的は、人物等の認証対象を認証する場合に、秘匿性の高いデータを高い信頼性で安価に扱うことができる認証方法を提供することにある。
The present invention has been made in view of such circumstances, and an object thereof is to appropriately capture a face image of a person to be authenticated when performing person authentication based on a face image captured by a camera. An object of the present invention is to provide a program, a video processing device, a video processing method, and an authentication method that can improve the accuracy of authentication.
Another object of the present invention is to provide an authentication method capable of handling highly confidential data with high reliability and at low cost when authenticating an authentication target such as a person.
上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明のプログラムは、ディスプレイの正面側を撮像するカメラの撮像画像を基に前記ディスプレイの表示画面を制御する複数の映像処理装置がある場合に、前記複数の映像処理装置の各々が実行するプログラムであって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を有し、前記画像生成工程は、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証工程を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程とを前記映像処理装置に実行させ、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程と、前記登録工程の登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置による前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する前記更新工程とを有する。
In order to solve the above-mentioned problems of the conventional technology and achieve the above-mentioned object, a program of the present invention controls a display screen of the display based on a captured image of a camera that captures the front side of the display . When there is a video processing device, a program executed by each of the plurality of video processing devices, the face detection step of detecting a face image from the captured image, and the captured image based on the detected face image. A characteristic data generation step of generating characteristic data of the person shown in FIG. 4, a person determination step of performing a person determination processing of whether or not the person can be authenticated based on the generated characteristic data, and the person determination processing An image generation step of generating an image to be displayed on the display, and an authentication step of performing authentication processing of a person shown in the captured image, based on the result of Degree, when the person determining step likely a person is displayed in the captured image is a certain standards but in which the determined authentication in the authentication step satisfies a first condition that it is impossible , A first display step of displaying a line-of-sight guidance image on the display for guiding a person candidate displayed in the captured image so as to match the line of sight with the camera, and the person authentication in the authentication step in the person determination step. When it is determined that the second condition that it is possible is satisfied, the authentication step based on the captured image and a plurality of face authentication data registered in the memory in advance is performed, and a person is identified by the authentication processing. If authenticated, when determining a notifying step of notifying the monitoring center in association with the image of the person who detects the person detection notification, and the second condition is satisfied, according to the attribute of the authenticated person A second display step of displaying a predetermined image on the display, the case does not satisfy the first condition and the second condition and when the third condition is satisfied, corresponding to the third condition And a third display step of displaying an image on the display, which is not for a person having a specific attribute, and causing the image processing device to execute the second processing step, and when it is determined that the second condition is satisfied, the authenticated person A registration step of registering the feature data of the above as the face authentication data in the face authentication data registration server of the monitoring center, and synchronization in which the face authentication data registration server disappears after the start-up update step in accordance with the registration of the registration step. The update for updating the face authentication data registered in the memory with the face authentication data related to the registration by the other video processing device acquired via the processing server. And a step.
好適には、前記第３の条件は、前記撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの条件である。 Preferably, the third condition is a condition that the possibility that a person is shown in the captured image does not meet the certain criterion.
好適には、前記特徴データ生成工程は、前記顔画像を基に、前記特徴データとして顔特徴データを生成し、前記顔特徴データを基に、前記人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前工程をさらに有し、前記人物判定工程は、前記第１の人物判定前工程の結果を基に、前記人物判定処理を行う。 Preferably, the feature data generating step generates face feature data as the feature data based on the face image, and based on the face feature data, an age estimation process, a gender estimation process, and a face feature of the person. The method further includes a first person determination pre-process that performs at least one of the determination processes, and the person determination process performs the person determination process based on a result of the first person determination pre-process.
好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の服装特徴データを生成し、前記服装特徴データを基に、前記人物の服装判定処理を行う第２の人物判定前工程をさらに有し、前記人物判定工程は、前記第２の人物判定前工程の結果を基に、前記人物判定処理を行う。 Preferably, the feature data generation step generates clothing feature data of the person as the feature data based on the captured image in which the face image is detected, and based on the clothing feature data of the person, The method further includes a second person determination pre-process for performing clothes determination processing, and the person determination step performs the person determination process based on the result of the second person determination pre-process.
好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の骨格特徴データを生成し、前記骨格特徴データを基に、前記人物の身長判定処理を行う第３の人物判定前工程をさらに有し、前記人物判定工程は、前記第３の人物判定前工程の結果を基に、前記人物判定処理を行う。 Preferably, the feature data generating step generates skeleton feature data of the person as the feature data based on the captured image in which the face image is detected, and based on the skeleton feature data, the skeleton feature data of the person is generated. The method further includes a third person determination pre-process for performing height determination processing, and the person determination step performs the person determination process based on a result of the third person determination pre-process.
好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の歩行姿勢特徴データを生成し、前記歩行姿勢特徴データを基に、前記人物の歩行特徴判定処理を行う第４の人物判定前工程をさらに有し、前記人物判定工程は、前記第４の人物判定前工程の結果を基に、前記人物判定処理を行う。 Preferably, the characteristic data generating step generates walking posture characteristic data of the person as the characteristic data based on the captured image in which the face image is detected, and based on the walking posture characteristic data, The method further includes a fourth person determination pre-process that performs a person walking feature determination process, and the person determination step performs the person determination process based on a result of the fourth person determination pre-process.
好適には、前記特徴データ生成工程は、ＡＩソフトウェアの学習済モデルにより前記特徴データを生成する。 Preferably, the characteristic data generating step generates the characteristic data by a trained model of AI software.
好適には、前記認証処理の結果を、監視センターに通知する認証結果送信工程をさらに前記映像処理装置に実行させる。 Preferably, the image processing apparatus is further caused to execute an authentication result transmitting step of notifying the monitoring center of the result of the authentication processing.
本発明の映像処理装置は、ディスプレイと、前記ディスプレイの正面側を撮像するカメラと、前記カメラの撮像画像を入力し、前記ディスプレイの表示画面を制御する処理部とを有する映像処理装置であって、前記処理部は、前記撮像画像から顔画像を検出する顔検出部と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成部と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定部と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成部と、前記撮像画像に映し出された人物の認証処理を行う認証部と、を有し、前記画像生成部は、前記人物判定部で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示処理と、前記人物判定部で前記認証部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証部による認証処理を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知処理と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示処理と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示処理とを行い、複数の前記映像処理装置がある場合において、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録し、当該登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置の前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する。
Video processing apparatus of the present invention is a video processing apparatus having a display, a camera for imaging the front of the display, and a processing unit that inputs the captured image of the camera, controls a display screen of the display The processing unit includes a face detection unit that detects a face image from the captured image, a feature data generation unit that generates feature data of the person shown in the captured image based on the detected face image, A person determination unit that performs a person determination process of whether or not the person can be authenticated based on the generated feature data, and an image generation unit that generates an image to be displayed on the display based on the result of the person determination process. And an authentication unit that performs an authentication process for the person displayed in the captured image, and the image generation unit has a certain possibility that the person is displayed in the captured image by the person determination unit. If it is determined that the first condition that the authentication by the authentication unit is not possible is satisfied, the line-of-sight guidance that guides the person candidate displayed in the captured image so as to match the line of sight with the camera. When the first display process of displaying an image on the display and the second condition that the person determination unit can authenticate a person in the authentication unit satisfy the second condition, the captured image and the captured image are stored in advance. When the person is authenticated by the authentication processing, the authentication processing is performed by the authentication unit based on a plurality of face authentication data registered in the memory, and the person detection notification is monitored in association with the image of the detected person. A notification process of notifying the center, a second display process of displaying a predetermined image according to the attribute of the authenticated person on the display when it is determined that the second condition is satisfied, Article And a case where the second condition is not satisfied is defined as a case where the third condition is satisfied, and an image which is not for a person having a specific attribute associated with the third condition is displayed on the display. When the display processing is performed and there are a plurality of video processing devices, when it is determined that the second condition is satisfied, the characteristic data of the authenticated person is used as the face authentication data, and the face of the monitoring center is used. The face authentication relating to the registration of the other video processing device that is registered in the authentication data registration server and is acquired via the synchronization processing server that is deleted by the face authentication data registration server in accordance with the registration The face authentication data registered in the memory is updated with data .
本発明の認証方法は、ディスプレイの正面側を撮像するカメラの撮像画像を基に認証を行い、前記ディスプレイの表示画面を制御する認証方法であって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、予め登録した複数の顔認証データを基に、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を複数拠点にそれぞれ存在する映像処理装置の各々が実行し、前記画像生成工程において、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予め登録した複数の顔認証データとを基にした前記認証工程での前記認証処理を行い、当該認証処理で人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程と、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程とを前記映像処理装置が実行し、前記登録工程の登録に応じて前記顔認証データ登録サーバが同期処理サーバを立ち上げる立ち上げ工程と、前記顔認証データ登録サーバが、前記立ち上げ工程で立ち上げた前記同期処理サーバを経由して、前記複数拠点にそれぞれ存在する前記映像処理装置の各々に前記登録工程で登録された顔認証データを送る送信工程と、前記映像処理装置が、前記送信工程で受けた前記顔認証データで、前記認証処理に用いる顔認証データを更新する更新工程と、前記更新工程の後に、前記顔認証データ登録サーバが、前記同期処理サーバを消去する消去工程とを有する。
The authentication method of the present invention is an authentication method for performing authentication based on a captured image of a camera that captures a front side of a display and controlling a display screen of the display, and a face detection for detecting a face image from the captured image. A step, a characteristic data generation step of generating characteristic data of the person shown in the captured image based on the detected face image, and whether or not the person can be authenticated based on the generated characteristic data. The person determination step of performing the person determination processing, the image generation step of generating an image to be displayed on the display based on the result of the person determination processing, and the captured image based on a plurality of face authentication data registered in advance. and each execution of the image processing device present respectively an authentication step of performing authentication of a person projected on the plurality of locations, in the image generation step, the image pickup by the person determination step If it could have been displayed a person in the image there is a certain standard in which the determined authentication in the authentication step satisfies a first condition that it is impossible, a person candidates displayed on the captured image A second display step of displaying a line-of-sight guidance image on the display to guide the camera to match the line of sight with the camera, and a second condition that the person can be authenticated in the authentication step in the person determination step. when it is determined that meet, have rows the authentication process in the authentication process based on a plurality of face authentication data registered in advance with the captured image, if the person in the authentication process is authenticated, the person A notification step of notifying the monitoring center in association with the image of the detected person, and a predetermined image corresponding to the attribute of the authenticated person when it is determined that the second condition is satisfied. To And Shimesuru second display step, a case does not satisfy the first condition and the second condition and when the third condition is satisfied, the person of a specific attribute associated with the third condition A third display step of displaying an image not on the display on the display, and when it is determined that the second condition is satisfied, the characteristic data of the authenticated person is used as the face authentication data, The image processing apparatus performs a registration step of registering in a face authentication data registration server, the face authentication data registration server starts up a synchronization processing server in accordance with the registration in the registration step, and the face authentication data The registration server passes through the synchronization processing server started in the start-up step, to the face registered in the registration step in each of the video processing devices respectively existing in the plurality of bases. The step of sending the identification data, the step of updating the face authentication data used in the authentication process by the image processing apparatus with the face authentication data received in the step of transmitting, and the face authentication after the updating step. The data registration server erases the synchronization processing server.
本発明によれば、カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラム、映像処理装置、映像処理方法及びに認証方法を提供することができる。
本発明によれば、人物等の認証対象を認証する場合に、秘匿性の高いデータを高い信頼性で安価に扱うことができる認証方法を提供することができる。
ADVANTAGE OF THE INVENTION According to this invention, when performing person authentication based on the face image imaged with the camera, it is possible to appropriately capture the face image of the person to be authenticated and to improve the accuracy of person authentication. A device, an image processing method, and an authentication method can be provided.
According to the present invention, it is possible to provide an authentication method capable of handling highly confidential data with high reliability and at low cost when authenticating an authentication target such as a person.
以下、本発明の実施形態に係わる映像処理装置が組みこまれたサイネージシステムを説明する。
本実施形態のサイネージシステムは、大型ディスプレイに複数の広告映像を切り替えて表示する装置（以下デジタルサイネージと言う）である
Hereinafter, a signage system incorporating a video processing device according to an embodiment of the present invention will be described.
The signage system of this embodiment is a device (hereinafter referred to as a digital signage) that switches and displays a plurality of advertisement images on a large display.
視線誘導型顔認証カメラ装置は、特定の人物を顔認証を中心として、人物に関係する特徴データを総合的に映像分析し、高い精度で特定の人物を検知する。
視線を誘導するために、監視カメラを設置した場合には、視聴者に威圧感を与えて、逆に顔を遠ざけてしまう傾向があり、デジタルサイネージに全て組み込んで一体化させた構造とする。
The line-of-sight guidance type face authentication camera device comprehensively performs image analysis of characteristic data relating to a person, centering on the face authentication of the person, and detects the person with high accuracy.
If a surveillance camera is installed to guide the line of sight, it tends to give a viewer an intimidating feeling and, on the contrary, tends to move away from the face. Therefore, the structure is integrated into a digital signage.
映像処理装置は、近年技術の進歩が著しい、人工知能（AI）の技術が利用できるものを利用する。
近年の人工知能の技術、特に深層学習を用いて、適切な学習を行う事により、人物に関係する各種分析データが同時に取り出すことが出来る。例えば 人物の顔の特徴データと同時に、性別を推定することが可能で、かつ年齢の推定も可能となる。
同時に服装の種類や色のデータ、骨格のデータ、及び歩行する姿勢のデータなどである。
これらのデータを用いて、年齢、性別の推定、顔の詳細な特徴判定、服装の判定、身長の判定や歩行姿勢の特徴を判定できる。
As the image processing device, a device that can use artificial intelligence (AI) technology, which has been remarkably advanced in recent years, is used.
By performing appropriate learning using recent artificial intelligence technology, especially deep learning, various analysis data related to a person can be extracted at the same time. For example, it is possible to estimate the gender and the age at the same time as the feature data of the face of the person.
At the same time, it includes data such as clothing type and color data, skeleton data, and walking posture data.
Using these data, it is possible to estimate age and sex, determine detailed features of the face, determine clothes, determine height, and determine the characteristics of walking posture.
これらのデータを総合判断することで、高い精度で特定の人物を検知することができる。
手法として、カメラからの映像を分析し、あらかじめ登録した人物のデータと比較し、十分な精度で判定できているかの処理を行う。
この場合、顔特徴データに付帯する情報（服装、骨格、歩行姿勢）は関与比率を低くして計算を行う、又は計算に加えない。
By making a comprehensive determination of these data, it is possible to detect a specific person with high accuracy.
As a method, the image from the camera is analyzed, compared with the data of the person registered in advance, and a process is performed to determine whether or not the determination can be made with sufficient accuracy.
In this case, the information (clothes, skeleton, walking posture) incidental to the facial feature data is calculated with a low participation rate or is not added to the calculation.
可能性が低い場合、該当人物は含まれないとして、通常のデジタルサイネージとして機能するための、一般広告を表示する。
該当の可能性がある場合、より精度をあげて特定の人物の撮影ができるように、特定の人物の視線を誘導する広告映像に切り替えて表示する
例えば、より近い距離に誘導したい場合には、文字や表示内容を小さくする。
また、例えば、顔の向きを右から左に誘導したい場合には、画面の中心を左に移動する表示を行う。
また、例えば、犯罪の種類に応じて、心理学的に反応する映像を表示して、特定の犯罪に注意を喚起し、視線を誘導する。
また、例えば、本装置を適度な感覚で複数並べ、連動して映像が移動することで、特定の人物が視線を大きく振る動作を誘導する。
If it is unlikely, the corresponding person is not included and a general advertisement is displayed to function as a normal digital signage.
If there is a possibility that it will be applicable, it will switch to an advertising image that guides the line of sight of a specific person so that it is possible to shoot a specific person with higher accuracy.For example, if you want to guide a closer distance, Make text and display smaller.
In addition, for example, when it is desired to guide the face from right to left, the center of the screen is moved to the left.
In addition, for example, a psychologically reactive image is displayed according to the type of crime to call attention to a specific crime and guide the line of sight.
Further, for example, by arranging a plurality of the present devices with an appropriate sense and moving the images in conjunction with each other, a specific person is guided to make a large eye gaze.
＜第１実施形態＞
図１は、本発明の第１実施形態に係るサイネージステム６１の全体構成図である。
図１に示すように、サイネージステム６１は、例えば、視線誘導型顔認証カメラ装置６５と、施設毎にある個別監視センター６７Ａとを有する。
監視センターには顔認証データ登録サーバ１７と、映像監視サーバ１６とを有する
<First Embodiment>
FIG. 1 is an overall configuration diagram of a signage stem 61 according to the first embodiment of the present invention.
As shown in FIG. 1, the signage stem 61 has, for example, a line-of-sight guiding face
The surveillance center has a face authentication
図２は、図1に示す視線誘導型顔認証カメラ装置６５の構成図である。
図２に示すように、視線誘導型顔認証カメラ装置６５は、例えば、カメラ７１、ディスプレイ７３、電源装置７５及び映像処理装置７７を有する。
FIG. 2 is a configuration diagram of the line-of-sight guidance type face
As shown in FIG. 2, the gaze-guided face
カメラ７１は、ディスプレイ７３の正面側を撮像する。カメラ７１は、例えばＵＳＢカメラである。
カメラ７１は、例えば、ディスプレイ７３の上部又は上方に設置さている。
The
The
ディスプレイ７３は、例えば、映像処理装置７７の制御により画面表示を行う。例えば、広告等の画像を画面表示する。
The
電源装置７５は、カメラ７１、ディスプレイ７３及び映像処理装置７７に駆動電力を供給する。
The
映像処理装置７７は、カメラ７１からの撮像画像を基に、人物認証・顔認証を行い、それに応じた画像を生成し、ディスプレイ７３に表示させる。
また、映像処理装置７７は、人物の認証結果を監視センター６７Ａの顔認証データ登録サーバ１７に登録したり、顔認証データ登録サーバ１７から人物の認証情報を受信する。
また、映像処理装置７７は、認証結果を映像監視サーバ１６にも出力する。
The
The
The
図３は、図２に示す映像処理装置７７の機能構成図である。
図３に示すように、映像処理装置７７は、例えば、映像録画メモリ８１、顔認証データメモリ８３、出力映像メモリ８５及び処理部８７を有する。
FIG. 3 is a functional configuration diagram of the
As shown in FIG. 3, the
映像録画メモリ８１は、カメラ７１からの撮像画像（データ）を記憶する。
顔認証データメモリ８３は、処理部８７が生成したデータ等を記憶する。
さらには、処理部８７が生成したデータと、顔認証データメモリ８３に格納された人物の特徴データを照合することで、人物を特定して検知する。
出力映像メモリ８５は、ディスプレイ７３に表示する画像（画面画像）を記憶する。
The
The face
Further, by comparing the data generated by the processing unit 87 with the feature data of the person stored in the face
The
処理部８７は、映像分析処理、通信制御及び映像出力処理を行う。
本明細書で記載した処理部８７の処理は、ＣＰＵとＧＰＵにおいてプログラムを実行することで実現される。
The processing unit 87 performs video analysis processing, communication control, and video output processing.
The processing of the processing unit 87 described in this specification is realized by executing a program in the CPU and the GPU.
図４は、図３に示す処理部８７機能ブロック図である。
図４に示すように、処理部８７は、例えば、顔検出部９１、特徴データ生成部９３、人物判定部９５、データ分析部９４、表示画像生成部９７、認証部９９を、機能ブロックとして有している。
図５は、図２に示す視線誘導型顔認証カメラ装置の動作を説明するためのフロー図である。
FIG. 4 is a functional block diagram of the processing unit 87 shown in FIG.
As illustrated in FIG. 4, the processing unit 87 includes, for example, a
FIG. 5 is a flow chart for explaining the operation of the line-of-sight guidance type face recognition camera device shown in FIG.
顔検出部９１は、カメラ７１から入力して映像録画メモリ８１に記憶された撮像画像を読みだして、当該撮像画像から顔画像を検出する。
The
特徴データ生成部９３は、顔検出部９１で検出した顔画像を基に、撮像画像に映し出された人物の特徴データを生成する。
特徴データ生成部９３による処理は、例えば、AIソフトウェアの学習済モデルで実行する。
データ分析部９４は、特長データ生成部９３のデータを分析して、年齢、性別、顔の特徴判定、服装判定、身長判定、歩行特徴判定を行う。
The feature
The processing by the characteristic
The
人物判定部９５は、データ分析部９4の判定結果を基に、人物の認証が可能か否かの人物判定処理を行う。
具体的には、人物判定部９５は、撮像画像内に人物が映し出されている可能性が一定基準有るが認証部９９での認証が不可であるとの第１の条件を満たしたか否かの判定を行う。ここで、認証部９９での認証が不可か否かは、撮像画像について簡易的な人物認証処理あるいは人物検出処理を行い、一定の基準を満たすか否かを基に判断する。
また、人物判定部９５は、認証部９９での人物の認証が可能であるとの第２の条件を満たすか否かを判定する。
人物判定部９５は、人物判定部が撮像画像内に人物が映し出されている可能性が一定基準を満たさないとの第３の条件を満たすか否かの判定を行う。
The
Specifically, whether or not the
Further, the
The
画像生成部９７は、人物判定部９５の人物判定処理の結果を基に、ディスプレイ７３に表示する画像を生成する画像生成処理を行う。
The image generation unit 97 performs an image generation process of generating an image to be displayed on the
認証部９９は、撮像画像に映し出された人物の認証処理を行う。
認証部９９は、例えば、データ分析部９4が判定結果を基に、認証処理を行う。
このとき、認証部９９は、当該生成した判定結果と、顔認証データメモリ８３から読み出した複数の人物の特徴データ(認証用特徴でータ)とを比較して人物の認証を行う。本実施形態の特徴データには、人物ＩＤが対応付けられている。
The
The
At this time, the
認証部９９は、例えば、複数の認証用データのうち、何れか一つでも第１の基準値（例えば９５％）を超えた一致度であれば認証成功とする。
ここで、認証用データが、本人が協力して適切な環境で取得したホワイトリストデータである場合には９９．５％以上の一致度で認証成功とし、ホワイトリストデータ以外のブラックリストデータであれば８０％以上の一致度で認証成功とする。
The
Here, if the authentication data is whitelist data that the person collaborated and acquired in an appropriate environment, the authentication is successful with a matching degree of 99.5% or more, and blacklist data other than the whitelist data may be used. For example, if the degree of agreement is 80% or more, the authentication is successful.
以下、画像生成部９７の処理を説明する。
画像生成部９７は、人物判定部９５において第１の条件を満たしたと判定された場合に、撮像画像に映し出された人物候補がカメラ７１に視線を合わせるように誘導する視線誘導画像を表示する視線誘導処理を行う。
The processing of the image generation unit 97 will be described below.
When the
具体的には、画像生成部９７は、ディスプレイ７３の正面に位置する人物がカメラ７１が位置する方向を見るように誘導する（カメラ７１が位置する方向に注目する画像が表示されるように）視線誘導画像を表示する。視線誘導画像は、広告画像や告知画像等、特に限定されない。
また、画像生成部９７は、人物判定部９５において認証部９９での人物の認証が可能であるとの第２の条件を満たすと判定された場合に、撮像画像を基にした認証処理を認証部９９に行わせる。
Specifically, the image generation unit 97 guides a person located in front of the
Further, the image generation unit 97 authenticates the authentication process based on the captured image when the
画像生成部９７は、認証部９９による認証処理により人物が認証された場合には、後述する所定の画像（人物の属性に対応付けられた画像）をディスプレイ７３に表示する第２の表示処理を行う。
When the person is authenticated by the authentication processing by the
画像生成部９７は、人物判定部９５が撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの第３の条件を満たすと判定した場合に、当該第３の条件に対応付けられた画像（人物の属性とは無関係のをディスプレイ７３に表示する第２の表示処理を行う。
当該第２の画像は、例えば、特定の属性の人物に対してではない、一般的な広告画像等である。
When the
The second image is, for example, a general advertisement image that is not for a person having a specific attribute.
また、画像生成部９７は、図５に示すように、特徴データ生成部９３において、特徴データとして顔特徴データを生成する。
また、画像生成部９７は、特徴データ生成部９３が生成した顔特徴データを基に、人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前処理を行う。
そして、人物判定部９５は、第１の人物判定前処理の結果を基に、人物判定処理を行う。
Further, as shown in FIG. 5, the image generation unit 97 causes the characteristic
In addition, the image generation unit 97 performs at least one of a person age estimation process, a gender estimation process, and a face feature determination process based on the face feature data generated by the feature
Then, the
また、特徴データ生成部９３は、顔画像が検出された撮像画像を基に、特徴データとして服装特徴データを生成する。
また、画像生成部９７は、当該服装特徴データを基に、人物の服装判定処理を行う第２の人物判定前処理を行う。
そして、人物判定部９５は、当該第２の人物判定前処理の結果を基に、人物判定処理を行う。
The feature
Further, the image generation unit 97 performs a second person determination pre-process for performing a person clothing determination process based on the clothing feature data.
Then, the
また、特徴データ生成部９３は、顔画像が検出された撮像画像を基に、特徴データとして人物の骨格特徴データを生成する。
また、画像生成部９７は、当該骨格特徴データを基に、人物の身長判定処理を行う第３の人物判定前処理を行う。
人物判定部９５は、当該第３の人物判定前工程の結果を基に、人物判定処理を行う。
The feature
Further, the image generation unit 97 performs a third person determination preprocessing for performing person height determination processing based on the skeleton feature data.
The
また、特徴データ生成部９３は、顔画像が検出された前記撮像画像を基に、特徴データとして人物の歩行姿勢特徴データを生成する。
画像生成部９７は、当該歩行姿勢特徴データを基に、人物の歩行特徴判定処理を行う第４の人物判定前処理を行う。
人物判定部９５は、当該第４の人物判定前工程の結果を基に、人物判定処理を行う。
Further, the feature
The image generation unit 97 performs a fourth person determination preprocessing that performs a person's walking characteristic determination processing based on the walking posture characteristic data.
The
処理部８７は、認証部９９による認証処理の結果を、例えば、個別監視センター６７Ａやクラウド監視センター６７Ｂに送信する認証結果送信処理を行う。
The processing unit 87 performs an authentication result transmission process of transmitting the result of the authentication process by the
以下、図５を参照しながら、視線誘導型顔認証カメラ装置６５の動作例を説明する。
図５に示す各ステップを説明する。
ステップＳＴＸ１：
図２に示すカメラ７１が撮像したディスプレイ７３の正面側の撮像画像が図３に示す映像録画メモリ８１に記憶される。
Hereinafter, an operation example of the line-of-sight guidance type face
Each step shown in FIG. 5 will be described.
Step STX1:
A captured image on the front side of the
ステップＳＴＸ２：
図２に示す視線誘導型顔認証カメラ装置６５の図３に示す処理部８７がプログムを実行して図４に示す顔検出部９１の機能を実現する。
顔検出部９１は、カメラ７１からの当該撮像画像から顔画像を検出する。
Step STX2:
The processing unit 87 shown in FIG. 3 of the line-of-sight guided face
The
ステップＳＴＸ３：
特徴データ生成部９３は、顔検出部９１で検出した顔画像を基に、撮像画像に含まれる人物の特徴データを生成する。
特徴データ生成部９３は、例えば、顔検出部９１で検出した顔画像と、当該顔画像及び撮像画像から得られる人物画像をAIソフトウェアの学習済モデルに入力し、顔特徴データ、服装特徴データ、骨格特徴データ、歩行姿勢特徴データを学習モデルにより出力する。
Step STX3:
The feature
The feature
ステップＳＴＸ４：
画像生成部９７は、特徴データ生成部９３が生成した顔特徴データを基に、人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前処理を行う。
また、画像生成部９７は、当該服装特徴データを基に、人物の服装判定処理を行う第２の人物判定前処理を行う。
また、画像生成部９７は、当該骨格特徴データを基に、人物の身長判定処理を行う第３の人物判定前処理を行う。
また、画像生成部９７は、当該歩行姿勢特徴データを基に、人物の歩行特徴判定処理を行う第４の人物判定前処理を行う。
Step STX4:
The image generation unit 97 performs a first person determination preprocessing that performs at least one of a person age estimation process, a gender estimation process, and a face feature determination process based on the face feature data generated by the feature
Further, the image generation unit 97 performs a second person determination pre-process for performing a person clothing determination process based on the clothing feature data.
Further, the image generation unit 97 performs a third person determination preprocessing for performing person height determination processing based on the skeleton feature data.
In addition, the image generation unit 97 performs a fourth person determination preprocessing that performs a person's walking characteristic determination processing based on the walking posture characteristic data.
ステップＳＴＸ５：
人物判定部９５は、第１〜４の人物判定前処理の結果を基に、人物判定処理を行う。
具体的には、人物判定部９５は、撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたか否かの判定を行う。
このとき、人物判定部９５は、第１〜４の人物判定前処理の結果を予め決められた重み付けをして利用する。当該重み付けは、AIソフトウェアの学習モデルにより決定してもよい。
また、人物判定部９５は、認証部９９での人物の認証が可能であるとの第２の条件を満たすか否かを判定する。
人物判定部９５は、人物判定部が撮像画像内に人物が映し出されている可能性が一定基準を満たさないとの第３の条件を満たすか否かの判定を行う。
Step STX5:
The
Specifically, whether or not the
At this time, the
Further, the
The
ステップＳＴＸ６：
表示画像生成部９７は、人物判定部９５において第１の条件を満たしたと判定された場合に、撮像画像に映し出された人物候補がカメラ７１に視線を合わせるように誘導する視線誘導画像を表示する視線誘導処理を行う。
具体的には、表示画像生成部９７は、ディスプレイ７３の正面に位置する人物がカメラ７１が位置する方向を見るように誘導する（カメラ７１が位置する方向に注目する画像が表示されるように）視線誘導画像を表示する。
Step STX6:
When the
Specifically, the display image generation unit 97 guides a person located in front of the
ステップＳＴＸ７：
人物判定部９５において認証部９９での人物の認証が可能であるとの第２の条件を満たすと判定された場合に、撮像画像を基にした認証処理を認証部９９に行わせる。
処理部８７は、認証部９９の認証処理の結果（人物検知通知）を、図１に示す個別監視センター６７Aや、図６に示すクラウド監視センター６７Bに出力する。例えば、人物検知通知には、人物ＩＤが含まれる。
Step STX7:
When the
The processing unit 87 outputs the result (person detection notification) of the authentication processing of the
ステップＳＴＸ８：
表示画像生成部９７は、認証部９９による認証処理により人物が認証された場合に、当該認証された人物の属性に応じた所定の画像をディスプレイ７３に表示する第１の表示処理を行う。
当該所定の画像は、例えば、当該認証された人物が興味を持つ広告画像等である。
Step STX8:
When the person is authenticated by the authentication process by the
The predetermined image is, for example, an advertisement image in which the authenticated person is interested.
ステップＳＴＸ９：
表示画像生成部９７は、人物判定部９５が撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの第３の条件を満たすと判定した場合に、当該第３の条件に対応付けられた第２の画像をディスプレイ７３に表示する第２の表示処理を行う。
当該第２の画像は、例えば、特定の属性の人物に対してではない、一般的な広告画像等である。
Step STX9:
When the display image generation unit 97 determines that the
The second image is, for example, a general advertisement image that is not for a person having a specific attribute.
以上説明したように、サイネージステム６１によれば、図２に示すカメラ７１で撮像した撮像画像から得られた顔画像を基に人物認証を行う場合に、認証対象の人物の視線をカメラ７１の方向に効果的に誘導できる。これにより、顔画像を適切に撮像できるようにし、人物認証の精度を高めることができる。
As described above, according to the signage stem 61, when performing person authentication based on a face image obtained from a captured image captured by the
また、サイネージステム６１によれば、人物判定部９５において、認証部９９での人物の認証が可能であるとの判断を認証前に行うため、明らかに認証が難しい撮像画像を基にした認証処理が行われることを回避できる。これにより、認証処理の負荷を軽減できる。
Further, according to the signage system 61, since the
また、サイネージステム６１によれば、ディスプレイ７３を見る人物を認証した後に、当該人物に適した画像をディスプレイ７３に表示するため、画像表示による効果を高めることができる。
Further, according to the signage system 61, after the person who views the
＜第１実施形態の変形例＞
図６は、本発明の第１実施形態の変形例に係るサイネージステム６１の全体構成図である。
図６に示すように、サイネージステム６１Ａは、例えば、複数の施設にそれぞれ設けられた視線誘導型顔認証カメラ装置６５−１〜６５−ｎと、クラウド監視センター６７Bとを有する。
視線誘導型顔認証カメラ装置６５−１〜６５−ｎは、第１実施形態で説明した視線誘導型顔認証カメラ装置６５と同じである。視線誘導型顔認証カメラ装置６５−１〜６５−ｎは、第１実施形態で説明した視線誘導型顔認証カメラ装置６５の機能に加えて、本実施形態で説明する機能を有している。
サイネージステム６１によれば、複数の施設において、第１実施形態で説明した効果を得ることができる。
<Modification of First Embodiment>
FIG. 6 is an overall configuration diagram of a signage stem 61 according to a modified example of the first embodiment of the present invention.
As shown in FIG. 6, the signage stem 61A includes, for example, line-of-sight guidance type face authentication camera devices 65-1 to 65-n provided in a plurality of facilities, respectively, and a
The line-of-sight guide type face authentication camera devices 65-1 to 65-n are the same as the line-of-sight guide type face
According to the signage stem 61, the effects described in the first embodiment can be obtained in a plurality of facilities.
＜第２実施形態＞
図７は、本発明の第２実施形態の顔認証データ登録の更新を行う全体構成図である。
図７に示すように、例えば視線誘導型顔認証カメラ装置６５−１〜６５−ｎ、顔認証データ登録サーバ１７、同期処理サーバ１９を有する。
<Second Embodiment>
FIG. 7 is an overall configuration diagram for updating face authentication data registration according to the second embodiment of the present invention.
As shown in FIG. 7, for example, it has line-of-sight guided face authentication camera devices 65-1 to 65-n, a face authentication
新たに人物を登録する場合、クラウド監視センター６７Ｂの顔認証データ登録サーバ１７にＰＣ１８を接続して行う。
新たに登録したい人物の顔の写真、人物の全身の写真、人物の歩行の動画を顔認証データ登録サーバ１７にアップロードすると、顔認証データ登録サーバでは、該写真及び動画を
顔認証データ登録サーバ１７のＡＩソフトウェアの学習済モデルにより人物の特徴データとして格納する。
また、視線誘導型顔認証カメラ装置６５-1〜６５-ｎから人物検知通通知が送られた場合にも同様な処理を行い、人物の特徴データとして格納する。人物検知通知や特徴データには、人物ＩＤが含まれる。
When newly registering a person, the
When a photograph of the face of the person who wants to be newly registered, a photograph of the whole body of the person, and a moving image of the walking of the person are uploaded to the face authentication
Also, when the person detection notification is sent from the line-of-sight guidance type face authentication camera devices 65-1 to 65-n, the same processing is performed and the characteristic data of the person is stored. The person detection notification and the feature data include a person ID.
顔認証データ登録サーバ１７に人物の特徴データの追加、削除、新規登録がなされると、視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容を顔認証データ登録サーバ１７に格納された人物の特徴データと同期させるため、仮想サーバとしてクラウド上に同期処理サーバ19を立ち上げる。
When the feature data of a person is added to, deleted from, or newly registered in the face authentication
同期処理サーバ１９の立ち上げは、顔認証データ登録サーバ１７が、視線誘導型顔認証カメラ装置６５-1〜６５-ｎのいずれかの人物検知通知に応じて行う、又はＰＣ１８から人物の顔の写真、及び人物の全体の写真、及び人物の歩行の動画の送信を受け、新たな顔認証データが追加された場合に行う。
同期処理サーバ１９が立ち上がったら、同期処理サーバ１９を経由して顔認証データ登録サーバ１７の全ての人物の特徴データを視線誘導型顔認証カメラ装置６５-1〜６５-ｎに送り、視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容を更新する。
The synchronization processing server 19 is started up by the face authentication
When the synchronization processing server 19 starts up, the feature data of all the persons in the face authentication
すなわち、第２の条件を満たしたと判定した場合に、撮像画像を基にした認証処理を認証部９９に行わせ、認証処理により人物が認証された場合に、人物検知通知を映像処理装置７７から監視センター装置６７Ｂに行う（人物検知工程）。
そして、当該通知を受けた監視センター装置６７Ｂの顔認証データ登録装置に対し、認証された人物の前記特徴データを顔認証データとし登録する（第１の登録工程）。
あた、人物検知通知に係る特徴データを、顔認証データとして、視線誘導型顔認証カメラ装置６５−１〜６５−ｎの顔認証データメモリ８３に登録する（第２の登録工程）。
That is, when it is determined that the second condition is satisfied, the
Then, the characteristic data of the authenticated person is registered as face authentication data in the face authentication data registration device of the
The feature data relating to the person detection notification is registered as face authentication data in the face
視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容の更新が終了したら、顔認証データ登録サーバ１７は同期処理サーバ１９を消滅させ、視線誘導型顔認証カメラ装置６５-1〜６５-ｎがハッキングされないセキュリティを担保する。
After updating the contents of the face authentication data memory in the line-of-sight guided face authentication camera devices 65-1 to 65-n, the face authentication
図８は、同期処理サーバ１９の機能ブロック図である。
図８に示すように、同期処理サーバ１９は、例えば、メモリ２９及び処理部３３を有する。
インタフェース２７は、ネットワークを介して、顔認証データ登録サーバ１７と視線誘導型顔認証カメラ装置６５-1〜６５-ｎと通信を行う。
処理部３３は顔認証データ登録サーバ１７からデータを受け取り、メモリ２９に格納して、視線誘導型顔認証カメラ装置６５-1〜６５-ｎへ送信する。
FIG. 8 is a functional block diagram of the synchronization processing server 19.
As shown in FIG. 8, the synchronization processing server 19 has, for example, a
The
The
図９は、顔認証データ登録サーバ１７の機能ブロック図である。
図９に示すように、顔認証データ登録サーバ１７は、例えば、インタフェース４７、メモリ４９、顔認証データベース５１及び処理部５３を有する。
FIG. 9 is a functional block diagram of the face authentication
As shown in FIG. 9, the face authentication
インタフェース４７は、ＰＣ１８と通信を行う。
人物の特徴データを追加する場合、ＰＣ１８に入力された人物の顔の写真、全身の写真、歩行の動画などを受信する。
又は視線誘導型顔認証カメラ装置６５-1〜６５-ｎによる人物検知の通報により、該当人物の画像を受信する。
The
When adding the characteristic data of the person, the photograph of the person's face, the photograph of the whole body, the moving image of the person, etc. input to the
Alternatively, the image of the person is received by the notification of the person detection by the line-of-sight guidance type face authentication camera devices 65-1 to 65-n.
メモリ４９は、処理部５３が実行するプログラム、並びに当該プログラムの実行に用いられるデータが記憶されている。
データベース５１は、例えば、それぞれの人物毎に複数の人物認証データが記憶されている。
The
The database 51 stores, for example, a plurality of person authentication data for each person.
処理部５３は、メモリ４９から読み出したプログラムを実行し、以下に示す処理を行う。
処理部５３は、追加登録したい人物の顔の写真、全身の写真、歩行の動画などの入力に応じて、又は視線誘導型顔認証カメラ装置６５-1〜６５-ｎが人物検知の通報により、該当人物の画像を送信し、それを受信した場合、ＡＩソフトウェアの学習済モデルを実行し、人物の特徴データを生成し、顔認証データベース５１に追加記録する。すでに顔認証データベース５１に含まれる人物の特徴データが追加される場合には、人物番号（ＩＤ）と関連付けて、記録される。
The
The
以下、図１０に示す各ステップを説明する。
顔認証データ登録サーバ１７に接続されたＰＣ１８を介して、追加したい人物の画像又は映像の入力を行う。
Hereinafter, each step shown in FIG. 10 will be described.
An image or video of the person to be added is input via the
又は、視線誘導型顔認証カメラ装置６５-1〜６５-ｎから人物検知通知により、人物の写真を受信する。 Alternatively, the photograph of the person is received by the person detection notification from the line-of-sight guidance type face authentication camera devices 65-1 to 65-n.
入力された人物の画像又は映像をＡＩソフトウェアの学習済モデルにより顔特徴データを生成し、服装特徴データを生成し、骨格データを生成し、歩行姿勢特徴データを生成する。 Face feature data is generated from the input image or video of a person by a learned model of AI software, clothing feature data is generated, skeleton data is generated, and walking posture feature data is generated.
生成された顔特徴データ、服装特徴データ、骨格データ、歩行姿勢特徴データをデータ分析し、年齢判定、性別判定、顔特徴判定、服装判定、身長判定、歩行特徴判定のデータとして、人物ＩＤに対応付けられて顔認証データベースに記録する。 Data analysis of the generated facial feature data, clothing feature data, skeleton data, and walking posture feature data, corresponding to person IDs as data for age determination, gender determination, face characteristic determination, clothing determination, height determination, walking characteristic determination It is attached and recorded in the face recognition database.
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
The present invention is not limited to the above embodiments.
That is, those skilled in the art may make various changes, combinations, sub-combinations, and substitutions with respect to the constituent elements of the above-described embodiments within the technical scope of the present invention or the equivalent scope thereof.
本実施形態は、以下でもよい。
（１）複数のディスプレイを使って正面の顔以外、斜めからの顔も撮影する
（２）ロボットを使って視聴誘導(視線誘導)させる
（３）音声を発して視聴誘導する
（４）天気などの一般情報の表示して視聴誘導させる
（５）対象者の好む映像や音声を表示して視聴誘導させる
（６）緊急情報を表示して視聴誘導を行う
（７）ニュース情報を表示して視聴誘導を行う
The present embodiment may be as follows.
(1) Use multiple displays to capture not only frontal faces but also diagonal faces (2) Use a robot to guide viewing (gaze) (3) Produce viewing by audio (4) Weather etc. General information is displayed to guide viewing (5) Video and audio preferred by the target person is displayed to guide viewing (6) Emergency information is displayed to guide viewing (7) News information is displayed and viewed Induce
また、上述した実施形態では、視線誘導型顔認証カメラ装置６５と、顔認証データ登録サーバ１７及び顔認証データ登録サーバ1７とを個別に設けたが、視線誘導型顔認証カメラ装置６５に顔認証データ登録サーバ１７及び顔認証データ登録サーバ1７の機能を持たせてもよい。
Further, in the above-described embodiment, the line-of-sight guidance type face
本発明は、人物等の認証システムに適用可能である。 INDUSTRIAL APPLICABILITY The present invention can be applied to an authentication system for a person or the like.
１６…映像監視サーバ
１７…顔認証データ登録サーバ
１８…ＰＣ
１９…同期処理サーバ
２７、４７…インタフェース
２９、４９…メモリ
３３、５３…処理部
５１…顔認証データベース
６１，６１Ａ…サイネージステム
６５，６５−１〜６５−ｎ…視線誘導型顔認証カメラ装置
６７ａ…個別監視センター
６７ｂ…クラウド監視センター
７1…カメラ
７３…ディスプレイ
７５…電源装置
７７…映像処理装置
８１…映像録画メモリ
８３…顔認証データメモリ
８５…出力映像メモリ
８７…処理部
９１…顔検出部
９３…特徴データ生成部
９４…データ分析部
９５…人物判定部
９７…表示画像生成部
９９…認証部
16 ...
19 ...
Claims (9)
前記撮像画像から顔画像を検出する顔検出工程と、
前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、
前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、
前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、
前記撮像画像に映し出された人物の認証処理を行う認証工程と、
を有し、
前記画像生成工程は、
前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、
前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証工程を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、
前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、
前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程と
を前記映像処理装置に実行させ、
前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程と、
前記登録工程の登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置による前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する前記更新工程と
を有するプログラム。 A program executed by each of the plurality of video processing devices when there are a plurality of video processing devices that control the display screen of the display based on a captured image of a camera that captures the front side of the display,
A face detection step of detecting a face image from the captured image,
A characteristic data generating step of generating characteristic data of the person shown in the captured image based on the detected face image;
A person determination step of performing a person determination process as to whether or not the person can be authenticated based on the generated characteristic data;
An image generation step of generating an image to be displayed on the display based on the result of the person determination processing,
An authentication step of performing authentication processing of the person shown in the captured image,
Have
The image generation step,
When it is determined in the person determination step that the first condition that there is a certain criterion that a person is displayed in the captured image is a certain criterion but the authentication in the authentication step is impossible, the image capturing is performed. A first display step of displaying on the display a line-of-sight guidance image that guides the person candidate displayed in the image so as to match the line of sight with the camera.
When it is determined in the person determination step that the second condition that the person can be authenticated in the authentication step is satisfied, it is based on the captured image and a plurality of face authentication data registered in the memory in advance . A notification step of causing the authentication step to be performed, and when the person is authenticated by the authentication processing, notifying the monitoring center in association with the detected person image of the person detection notification;
A second display step of displaying a predetermined image according to the attribute of the authenticated person on the display when it is determined that the second condition is satisfied;
The case where the first condition and the second condition are not satisfied is defined as a case where the third condition is satisfied, and an image which is not for a person having a specific attribute associated with the third condition is displayed on the display. And causing the video processing device to perform a third display step of displaying,
A registration step of registering the characteristic data of the authenticated person as the face authentication data in the face authentication data registration server of the monitoring center when it is determined that the second condition is satisfied;
The face authentication data registration server is started up according to the registration in the registration process and disappears after the update process. The face authentication data related to the registration by the other image processing device acquired via the synchronization processing server is stored in the memory. The updating step of updating the registered face authentication data,
A program having .
請求項１に記載のプログラム。 The program according to claim 1, wherein the third condition is a condition that the possibility that a person is displayed in the captured image does not meet the certain criterion.
前記顔特徴データを基に、前記人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前工程をさらに有し、
前記人物判定工程は、前記第１の人物判定前工程の結果を基に、前記人物判定処理を行う
請求項１又は請求項２に記載のプログラム。 The feature data generating step generates face feature data as the feature data based on the face image,
Further comprising a first person determination pre-process that performs at least one of age estimation processing of the person, gender estimation processing, and face characteristic determination processing based on the face characteristic data,
The program according to claim 1 or 2, wherein the person determining step performs the person determining process based on a result of the first person determining pre-step.
前記服装特徴データを基に、前記人物の服装判定処理を行う第２の人物判定前工程
をさらに有し、
前記人物判定工程は、前記第２の人物判定前工程の結果を基に、前記人物判定処理を行う
請求項１〜３のいずれかに記載のプログラム。 The feature data generating step generates clothing feature data of the person as the feature data based on the captured image in which the face image is detected,
Further comprising a second person determination pre-process for performing the person's clothing determination processing based on the clothing feature data,
The program according to claim 1, wherein the person determination step performs the person determination process based on a result of the second person determination pre-process.
前記骨格特徴データを基に、前記人物の身長判定処理を行う第３の人物判定前工程
をさらに有し、
前記人物判定工程は、前記第３の人物判定前工程の結果を基に、前記人物判定処理を行う
請求項１〜４のいずれかに記載のプログラム。 The characteristic data generating step generates skeleton characteristic data of the person as the characteristic data based on the captured image in which the face image is detected,
Further comprising a third person determination pre-process for performing the person height determination process based on the skeleton feature data,
The program according to claim 1, wherein the person determination step performs the person determination process based on a result of the third person determination previous step.
前記歩行姿勢特徴データを基に、前記人物の歩行特徴判定処理を行う第４の人物判定前工程をさらに有し、
前記人物判定工程は、前記第４の人物判定前工程の結果を基に、前記人物判定処理を行う
請求項１〜５のいずれかに記載のプログラム。 The characteristic data generating step generates walking posture characteristic data of the person as the characteristic data based on the captured image in which the face image is detected,
Further comprising a fourth person determination pre-process for performing the person's walking characteristic determination processing based on the walking posture characteristic data,
The program according to claim 1, wherein the person determination step performs the person determination process based on a result of the fourth person determination pre-process.
請求項１〜６のいずれかに記載のプログラム。 The program according to any one of claims 1 to 6, wherein the characteristic data generating step generates the characteristic data by a learned model of AI software.
前記ディスプレイの正面側を撮像するカメラと、
前記カメラの撮像画像を入力し、前記ディスプレイの表示画面を制御する処理部と
を有する映像処理装置であって、
前記処理部は、
前記撮像画像から顔画像を検出する顔検出部と、
前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成部と、
前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定部と、
前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成部と、
前記撮像画像に映し出された人物の認証処理を行う認証部と、
を有し、
前記画像生成部は、
前記人物判定部で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示処理と、
前記人物判定部で前記認証部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証部による認証処理を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知処理と、
前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示処理と、
前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示処理と
を行い、
複数の前記映像処理装置がある場合において、
前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録し、
当該登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置の前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する
映像処理装置。 Display,
A camera for imaging the front side of the display,
A video processing device having a processing unit for inputting a captured image of the camera and controlling a display screen of the display ,
The processing unit is
A face detection unit that detects a face image from the captured image,
A characteristic data generation unit that generates characteristic data of the person shown in the captured image based on the detected face image;
Based on the generated feature data, a person determination unit that performs a person determination process of whether or not the person can be authenticated,
An image generation unit that generates an image to be displayed on the display based on the result of the person determination process,
An authentication unit that performs authentication processing of the person shown in the captured image,
Have
The image generation unit,
In the case where the person determination unit determines that the first condition that there is a certain criterion that a person is displayed in the captured image as a reference but the authentication unit cannot perform authentication, the image capturing is performed. A first display process of displaying a line-of-sight guidance image on the display in which a person candidate displayed in an image guides the camera so as to match the line of sight with the camera,
When the person determination section determines that the second condition that the person can be authenticated by the authentication section is satisfied, it is based on the captured image and a plurality of face authentication data registered in the memory in advance. A notification process of performing authentication processing by the authentication unit, and when a person is authenticated by the authentication processing, notifying the monitoring center in association with the image of the person who has detected the person detection notification,
A second display process of displaying a predetermined image according to the attribute of the authenticated person on the display when it is determined that the second condition is satisfied;
The case where the first condition and the second condition are not satisfied is defined as a case where the third condition is satisfied, and an image which is not for a person having a specific attribute associated with the third condition is displayed on the display. The third display process to display
And then
When there are multiple video processing devices,
When it is determined that the second condition is satisfied, the characteristic data of the authenticated person is registered as the face authentication data in the face authentication data registration server of the monitoring center,
In response to the registration, the face authentication data registration server is registered in the memory with the face authentication data related to the registration of the other video processing device acquired via the synchronization processing server that disappears after the startup update process. An image processing apparatus for updating the face authentication data .
前記撮像画像から顔画像を検出する顔検出工程と、
前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、
前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、
前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、
予め登録した複数の顔認証データを基に、前記撮像画像に映し出された人物の認証処理を行う認証工程と、
を複数拠点にそれぞれ存在する映像処理装置の各々が実行し、
前記画像生成工程において、
前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、
前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予め登録した複数の顔認証データとを基にした前記認証工程での前記認証処理を行い、当該認証処理で人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、
前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、
前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程と、
前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程と
を前記映像処理装置が実行し、
前記登録工程の登録に応じて前記顔認証データ登録サーバが同期処理サーバを立ち上げる立ち上げ工程と、
前記顔認証データ登録サーバが、前記立ち上げ工程で立ち上げた前記同期処理サーバを経由して、前記複数拠点にそれぞれ存在する前記映像処理装置の各々に前記登録工程で登録された顔認証データを送る送信工程と、
前記映像処理装置が、前記送信工程で受けた前記顔認証データで、前記認証処理に用いる顔認証データを更新する更新工程と、
前記更新工程の後に、前記顔認証データ登録サーバが、前記同期処理サーバを消去する消去工程と
を有する認証方法。
An authentication method for performing authentication based on a captured image of a camera that captures the front side of a display, and controlling the display screen of the display,
A face detection step of detecting a face image from the captured image,
A characteristic data generating step of generating characteristic data of the person shown in the captured image based on the detected face image;
A person determination step of performing a person determination process as to whether or not the person can be authenticated based on the generated characteristic data;
An image generation step of generating an image to be displayed on the display based on the result of the person determination processing,
An authentication step of performing authentication processing of the person shown in the captured image based on a plurality of face authentication data registered in advance;
Is executed by each of the video processing devices existing in a plurality of locations ,
In the image generation step,
When it is determined in the person determination step that the first condition that there is a certain criterion that a person is displayed in the captured image is a certain criterion but the authentication in the authentication step is impossible, the image capturing is performed. A first display step of displaying on the display a line-of-sight guidance image that guides the person candidate displayed in the image so as to match the line of sight with the camera.
When it is determined that the second condition is satisfied that it is possible to authenticate the person in the authentication process with the person determination step, the authentication based on the plurality of face authentication data registered in advance with the captured image There line the authentication process in the step, if the person in the authentication process has been authenticated, a notifying step of notifying the monitoring center in association with the image of a person that has detected a person detection notification,
A second display step of displaying a predetermined image according to the attribute of the authenticated person on the display when it is determined that the second condition is satisfied;
The case where the first condition and the second condition are not satisfied is defined as a case where the third condition is satisfied, and an image which is not for a person having a specific attribute associated with the third condition is displayed on the display. A third display step of displaying,
A registration step of registering the characteristic data of the authenticated person as the face authentication data in a face authentication data registration server of the monitoring center when it is determined that the second condition is satisfied.
The image processing apparatus performs a
A startup step in which the face authentication data registration server starts a synchronization processing server in accordance with registration in the registration step;
The face authentication data registration server passes the face authentication data registered in the registration step to each of the image processing devices respectively existing in the plurality of locations via the synchronization processing server started in the startup step. Sending process to send,
An updating step in which the image processing device updates the face authentication data used in the authentication processing with the face authentication data received in the transmitting step;
And an erasing step of erasing the synchronization processing server by the face authentication data registration server after the updating step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183319A JP6684009B1 (en) | 2019-10-03 | 2019-10-03 | Program, video processing device, and authentication method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183319A JP6684009B1 (en) | 2019-10-03 | 2019-10-03 | Program, video processing device, and authentication method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6684009B1 true JP6684009B1 (en) | 2020-04-22 |
| JP2021060691A JP2021060691A (en) | 2021-04-15 |
Family
ID=70286882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019183319A Active JP6684009B1 (en) | 2019-10-03 | 2019-10-03 | Program, video processing device, and authentication method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6684009B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11763600B2 (en) | 2020-07-08 | 2023-09-19 | Square Enix Co., Ltd. | Non-transitory computer-readable medium and face authentication system including face authentication program |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006236244A (en) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | Face authenticating device, and entering and leaving managing device |
| JP2009187130A (en) * | 2008-02-04 | 2009-08-20 | Panasonic Electric Works Co Ltd | Face authentication device |
| JP2010218039A (en) * | 2009-03-13 | 2010-09-30 | Nec Corp | System and method for authenticating face |
| JP5521688B2 (en) * | 2010-03-25 | 2014-06-18 | 富士ゼロックス株式会社 | Information browsing apparatus and information browsing control program |
| JP2013235445A (en) * | 2012-05-09 | 2013-11-21 | Konica Minolta Inc | Information terminal, printing setting program, printing system, and recording medium with printing setting program recorded thereon |
| JP6341646B2 (en) * | 2013-10-17 | 2018-06-13 | セーレン株式会社 | Try-on support device and method |
| JP6376869B2 (en) * | 2014-07-10 | 2018-08-22 | キヤノン株式会社 | Data synchronization system, control method thereof, authorization server, and program thereof |
| JP6828817B2 (en) * | 2017-06-05 | 2021-02-10 | 日本電気株式会社 | Face recognition system, face recognition method, biometrics system, biometrics method and recording medium |
| JP6860431B2 (en) * | 2017-06-08 | 2021-04-14 | 株式会社日立製作所 | Computer system, interactive control method, and computer |
| JP2019016098A (en) * | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2019
- 2019-10-03 JP JP2019183319A patent/JP6684009B1/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11763600B2 (en) | 2020-07-08 | 2023-09-19 | Square Enix Co., Ltd. | Non-transitory computer-readable medium and face authentication system including face authentication program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021060691A (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11106920B2 (en) | People flow estimation device, display control device, people flow estimation method, and recording medium | |
| CN101379528B (en) | Face authentication device, face authentication method, and program | |
| US20220148337A1 (en) | Living body detection method and apparatus, electronic device, and storage medium | |
| JP6823267B2 (en) | Information processing equipment, information processing systems, control methods, and programs | |
| WO2016059786A1 (en) | Impersonation detection device, impersonation detection method, and recording medium | |
| US11776308B2 (en) | Frictionless access control system embodying satellite cameras for facial recognition | |
| WO2007105768A1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
| CN107078917A (en) | Trustship videoconference | |
| US11756336B2 (en) | Iris authentication device, iris authentication method, and recording medium | |
| JP6440327B2 (en) | Crime prevention system, crime prevention method, and robot | |
| KR20110067716A (en) | Apparatus and method for registering a plurlity of face image for face recognition | |
| JP2011060058A (en) | Imaging apparatus and monitoring system | |
| CN111565298B (en) | Video processing method, device, equipment and computer readable storage medium | |
| US20230306792A1 (en) | Spoof Detection Based on Challenge Response Analysis | |
| JP6684009B1 (en) | Program, video processing device, and authentication method | |
| JP5088463B2 (en) | Monitoring system | |
| JP6437217B2 (en) | Image output device, image management system, image processing method, and program | |
| JP2008009689A (en) | Face registering device, face authentication device, and face registration method | |
| JP2010218039A (en) | System and method for authenticating face | |
| JP2021196741A (en) | Image processing device, image processing method and program | |
| JP7400886B2 (en) | Video conferencing systems, video conferencing methods, and programs | |
| WO2022222735A1 (en) | Information processing method and apparatus, computer device, and storage medium | |
| US11586282B2 (en) | Method, device, and computer program product for monitoring user | |
| Tyagi et al. | A survey of unconstrained face recognition algorithm and its applications | |
| JP2022123142A (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191009 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191009 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6684009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |