JP2023021762A - Online authentication device, method, and program - Google Patents

Online authentication device, method, and program Download PDF

Info

Publication number
JP2023021762A
JP2023021762A JP2021126829A JP2021126829A JP2023021762A JP 2023021762 A JP2023021762 A JP 2023021762A JP 2021126829 A JP2021126829 A JP 2021126829A JP 2021126829 A JP2021126829 A JP 2021126829A JP 2023021762 A JP2023021762 A JP 2023021762A
Authority
JP
Japan
Prior art keywords
face
authentication
images
online
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021126829A
Other languages
Japanese (ja)
Other versions
JP7266071B2 (en
Inventor
成亮 舩田
Naruaki Funada
稔洋 濱田
Toshihiro Sawada
裕之 木原
Hiroyuki Kihara
育造 柳原
Ikuzo Yanagihara
俊治 兵頭
Toshiharu Hyodo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions West Japan Ltd
Original Assignee
Hitachi Solutions West Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions West Japan Ltd filed Critical Hitachi Solutions West Japan Ltd
Priority to JP2021126829A priority Critical patent/JP7266071B2/en
Publication of JP2023021762A publication Critical patent/JP2023021762A/en
Application granted granted Critical
Publication of JP7266071B2 publication Critical patent/JP7266071B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

To provide an online authentication device, an online authentication method, and an online authentication program which perform individual identification by a face authentication in an online medical care.SOLUTION: A face authentication device 22 as an online authentication device has an image capture unit 24 to capture images displayed on a screen in chronological order and to generate multiple capture images, a face detecting unit 25 to detect a face image from each of the multiple capture images, a face template generating unit 26 to confirm that prescribed quality requirements are satisfied based on the multiple face images and to generate the face template used for the face authentication, and a face authentication 27 to perform the personal identification of a person by the face authentication using the face template.SELECTED DRAWING: Figure 4

Description

本開示は、オンライン診療における本人確認を実現する技術に関する。 The present disclosure relates to a technique for realizing personal identification in online medical care.

医師が離れた場所にいる患者をビデオ通話等によって診療するオンライン診療が注目されている。オンライン診療では様々な面で安全性の確保が重要である。 Online medical care, in which a doctor treats a patient at a remote location by video call or the like, is attracting attention. It is important to ensure safety in various aspects of online medical consultation.

特許文献1には、オンライン診療の安全性確保に関する技術が開示されている。 Patent Literature 1 discloses a technique for ensuring the safety of online medical care.

特許文献1の技術は、オンライン診療の録画が患者と医師との合意なしに行われることを防止するための技術である。オンライン診療対応装置は、オンライン診療の相手側のオンライン診療対応装置から受信した映像音声信号に基づき映像および音声を再生すると共に、使用者の映像および音声を信号化した映像音声信号を相手側のオンライン診療対応装置へ送信する。オンライン診療対応装置は、相手側のオンライン診療対応装置から受信した映像音声信号を記録することで、オンライン診療の録画を行う録画部と、当該オンライン診療対応装置の使用者と相手側のオンライン診療対応装置の使用者との間で、オンライン診療を録画することの合意が成立した場合に限り、録画部にオンライン診療の録画を行わせる録画制御部とを備える。 The technique of Patent Document 1 is a technique for preventing recording of online medical care without agreement between a patient and a doctor. The online medical care compatible device reproduces video and audio based on the video and audio signals received from the online medical care compatible device on the other side of the online medical care, and also transmits the video and audio signals obtained by converting the user's video and voice to the online medical care compatible device on the other side of the online medical care. Send to a clinical-ready device. The online medical care compatible device records the video and audio signals received from the other party's online medical care compatible device, and the recording unit that records the online medical care, and the online medical care compatible device and the other party's online medical care. A recording control unit that causes the recording unit to record the online medical treatment only when an agreement to record the online medical treatment is established with the user of the device.

特開2021-52310号公報Japanese Patent Application Laid-Open No. 2021-52310

オンライン診療において確保すべき安全性には、オンライン診療の録画が患者と医師との合意なしに行われることを防止することの他に、医師および/または患者の本人確認を確実に行うことがある。しかしながら、オンライン診療における本人確認を実現する技術は提案されていない。 Security to be ensured in online consultations includes ensuring physician and/or patient identity verification, as well as preventing the recording of online consultations without the consent of the patient and physician. . However, no technique has been proposed for realizing identity verification in online medical care.

多くの場合、オンライン診療では、汎用的な通信アプリやオンライン会議アプリが用いられる。その構成において、通常、患者の本人確認では、患者がパーソナルコンピュータ等のカメラに被保険者証をかざし、それを医師がパーソナルコンピュータ等の画面上で目視により確認するという手法が採られている。また、医師の本人確認では、医師がパーソナルコンピュータ等のカメラに身分証明書や医師免許をかざし、それを患者がパーソナルコンピュータ等の画面上で目視により確認するという手法が採られている。 In many cases, online medical consultations use general-purpose communication apps and online meeting apps. In such a system, the identification of a patient usually involves a method in which the patient holds an insurance card over a camera of a personal computer or the like, and the doctor visually confirms it on the screen of the personal computer or the like. Further, in identity verification by a doctor, a method is adopted in which the doctor holds an identification card or doctor's license over a camera of a personal computer or the like, and the patient visually confirms it on the screen of the personal computer or the like.

本開示のひとつの目的は、オンライン診療において顔認証による本人確認を行う技術を提供することである。 One object of the present disclosure is to provide a technology for performing personal identification by face authentication in online medical care.

本開示のひとつの態様によるオンライン認証装置は、画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する画面キャプチャ部と、前記複数のキャプチャ画像のそれぞれから顔画像を検出する顔検出部と、複数の前記顔画像に基づいて所定の品質条件が満たされることを確認し、顔認証に用いられる顔テンプレートを生成する顔テンプレート生成部と、前記顔テンプレートを用いた顔認証により人物の本人確認を行う顔認証部と、有する。 An online authentication device according to one aspect of the present disclosure includes a screen capturing unit that captures images displayed on a screen in time series and generates a plurality of captured images, and a face image that is detected from each of the plurality of captured images. a face detection unit that checks that a predetermined quality condition is satisfied based on the plurality of face images, a face template generation unit that generates a face template used for face authentication, and face authentication using the face template and a face authentication unit that verifies the identity of a person.

本開示のひとつの態様によれば、オンライン診療において顔認証による本人確認が可能となる。 According to one aspect of the present disclosure, it is possible to verify a person's identity by face authentication in online medical care.

本実施形態に係るオンライン認証装置の構成例を示す模式図である。1 is a schematic diagram showing a configuration example of an online authentication device according to an embodiment; FIG. 本実施形態に係る顔認証装置のハードウェアの構成例を示すブロック図である。2 is a block diagram showing a hardware configuration example of a face authentication device according to the present embodiment; FIG. 本実施形態に係る顔認証用UI(User Interface)の一例を示す模式図である。It is a schematic diagram which shows an example of UI (User Interface) for face authentication which concerns on this embodiment. 本実施形態に係る顔認証装置の機能の構成例を示すブロック図である。2 is a block diagram showing a configuration example of functions of the face authentication device according to the embodiment; FIG. 本実施形態に係るクラウド環境の構成例を示すブロック図である。1 is a block diagram showing a configuration example of a cloud environment according to this embodiment; FIG. 本実施形態に係る顔認証本人確認アプリケーションの構成例を示す図である。It is a figure which shows the structural example of the face authentication personal-identification application which concerns on this embodiment. 本実施形態に係る顔認証の全体の処理を示すフローチャートである。4 is a flowchart showing the overall processing of face authentication according to the embodiment; 図7に示す顔画像品質チェックの処理の詳細を示すフローチャートである。FIG. 8 is a flowchart showing the details of the face image quality check process shown in FIG. 7; FIG. 図7に示す顔認証の結果通知の処理の詳細を示すフローチャートである。FIG. 8 is a flow chart showing the details of processing for notifying the result of face authentication shown in FIG. 7; FIG. 本実施形態に係る顔特徴量リングバッファの最大格納数を調整する処理を示すフローチャートである。9 is a flowchart showing processing for adjusting the maximum number of stored facial feature value ring buffers according to the present embodiment. 本実施形態に係る通信時間と発生確率との関係の一例を示す通信時間分布のグラフである。It is a graph of communication time distribution showing an example of the relationship between communication time and occurrence probability according to the present embodiment. 本実施形態に係る通信時間分布に基づいて顔特徴量リングバッファの最大格納数を決定する処理の一例を示すフローチャートである。7 is a flowchart showing an example of processing for determining the maximum number of stored facial feature value ring buffers based on the communication time distribution according to the present embodiment; 本実施形態に係る発生確率が最大の通信時間と顔特徴量リングバッファの最大格納数との関係の一例を示すグラフである。7 is a graph showing an example of the relationship between the communication time with the maximum probability of occurrence and the maximum number of stored facial feature value ring buffers according to the present embodiment; 本実施形態に係る照合スコアの閾値の調整処理を示すフローチャートである。7 is a flow chart showing a matching score threshold adjustment process according to the present embodiment. 本実施形態に係るキャプチャ画像の輝度と発生確率との関係を示す輝度分布のグラフである。7 is a luminance distribution graph showing the relationship between the luminance of a captured image and the occurrence probability according to the embodiment; 本実施形態に係る輝度分布に基づいて照合スコアの閾値を算出する処理を示すフローチャートである。9 is a flowchart showing processing for calculating a matching score threshold based on a luminance distribution according to the embodiment; 本実施形態に係る発生確率が最大の輝度と照合スコアの閾値との関係の一例を示すグラフである。8 is a graph showing an example of the relationship between the luminance with the highest probability of occurrence and the threshold value of the matching score according to the embodiment;

以下、本発明の実施形態について図面を参照して説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(本実施形態)
図1は、本実施形態に係るオンライン認証装置の構成例を示す模式図である。
(this embodiment)
FIG. 1 is a schematic diagram showing a configuration example of an online authentication device according to this embodiment.

患者11は、患者宅10において、医療機関20に属する医療従事者21(例えば医師、看護師、検査技師等)からオンライン診療を受けることができる。オンライン認証システムは、オンライン診療において、患者11及び医療従事者21が本人であることを認証するための装置である。 A patient 11 can receive online medical care at a patient's home 10 from a medical worker 21 (for example, a doctor, a nurse, a laboratory technician, etc.) belonging to a medical institution 20 . The online authentication system is a device for authenticating the identity of the patient 11 and the medical staff 21 in online medical care.

オンライン認証装置は、患者11が利用する端末12と、医療従事者21が利用する顔認証装置22と、患者11及び医療従事者21の認証を行うためのクラウド環境50と、を含んで構成される。 The online authentication device includes a terminal 12 used by the patient 11, a face authentication device 22 used by the medical staff 21, and a cloud environment 50 for authenticating the patient 11 and the medical staff 21. be.

端末12の例として、スマートフォン、タブレット、PC(Personal Computer)等が挙げられる。顔認証装置22の例として、PC、タブレット、スマートフォン等が挙げられる。クラウド環境50は、サーバ51及びストレージ52を含んで構成される。 Examples of the terminal 12 include smart phones, tablets, PCs (Personal Computers), and the like. Examples of the face authentication device 22 include PCs, tablets, smartphones, and the like. A cloud environment 50 includes a server 51 and a storage 52 .

端末12と顔認証装置22とサーバ51とは、通信ネットワークを通じて互いにデータを送受信できる。通信ネットワークの例として、インターネット、セルラ網、無線LAN(Local Area Network)、有線LAN等が挙げられる。 The terminal 12, the face authentication device 22, and the server 51 can exchange data with each other through a communication network. Examples of communication networks include the Internet, cellular networks, wireless LANs (Local Area Networks), and wired LANs.

従来より、患者11と医療従事者21のオンライン認証は、例えば次のステップS1~ステップS6の手順によって行われている。 Conventionally, online authentication of the patient 11 and the medical staff 21 is performed, for example, by the following steps S1 to S6.

(ステップS1)端末12は、カメラを通じて患者11の顔を撮像する。以下、この患者11の顔を撮像した画像を、患者11の撮像顔画像と称する。端末12は、患者11の撮像顔画像を、顔認証装置22へ送信する。
(ステップS2)顔認証装置22は、端末12から患者11の撮像顔画像を受信する。
(ステップS3)顔認証装置22は、カメラを通じて医療従事者21の顔を撮像する。以下、その医療従事者21の顔を撮像した画像を、医療従事者21の撮像顔画像と称する。
(ステップS4)顔認証装置22は、サーバ51から、患者11の認証用顔画像と、医療従事者21の認証用顔画像とを取得する。患者11の認証用顔画像は、認証用に患者11の顔を撮像した画像であり、サーバ51に予め登録される。医療従事者21の認証顔画像は、認証用に医療従事者21の顔を撮像した画像であり、サーバ51に予め登録される。
(ステップS5)顔認証装置22は、患者11の撮像顔画像と認証用顔画像とを照合し、端末12の前にいる患者11が本人であるか否かを認証する。加えて、顔認証装置22は、医療従事者21の撮像顔画像と認証用顔画像と照合し、顔認証装置22の前にいる医療従事者21が本人であるか否かを認証する。
(ステップS6)顔認証装置22は、患者11及び医療従事者21の認証結果を、患者11の端末12に表示させる。加えて、顔認証装置22は、患者11及び医療従事者21の認証結果を、当該顔認証装置22に表示する。
(Step S1) The terminal 12 takes an image of the face of the patient 11 through the camera. Hereinafter, the image obtained by capturing the face of the patient 11 is referred to as the captured face image of the patient 11 . The terminal 12 transmits the captured face image of the patient 11 to the face authentication device 22 .
(Step S<b>2 ) The face authentication device 22 receives the captured face image of the patient 11 from the terminal 12 .
(Step S3) The face authentication device 22 images the face of the medical worker 21 through a camera. Hereinafter, the image obtained by imaging the face of the medical worker 21 will be referred to as the captured face image of the medical worker 21 .
(Step S<b>4 ) The face authentication device 22 acquires the face image for authentication of the patient 11 and the face image for authentication of the medical staff 21 from the server 51 . The face image for authentication of the patient 11 is an image obtained by imaging the face of the patient 11 for authentication, and is registered in the server 51 in advance. The authentication face image of the medical staff 21 is an image of the face of the medical staff 21 captured for authentication, and is registered in the server 51 in advance.
(Step S5) The face authentication device 22 collates the captured face image of the patient 11 with the face image for authentication, and authenticates whether the patient 11 in front of the terminal 12 is the person himself/herself. In addition, the face authentication device 22 collates the captured face image of the medical worker 21 with the face image for authentication, and authenticates whether the medical worker 21 in front of the face authentication device 22 is the person himself/herself.
(Step S<b>6 ) The face authentication device 22 causes the terminal 12 of the patient 11 to display the authentication results of the patient 11 and the medical staff 21 . Additionally, the face authentication device 22 displays the authentication results of the patient 11 and the medical staff 21 on the face authentication device 22 .

これにより、患者11は、端末12に表示される認証結果に基づき、オンライン診療を行う医療従事者21が本人であるか否かを確認できる。医療従事者21は、顔認証装置22に表示される認証結果に基づき、オンライン診療を受ける患者11が本人であるか否かを確認できる。 As a result, the patient 11 can confirm whether or not the medical staff 21 performing the online medical treatment is the person himself/herself based on the authentication result displayed on the terminal 12 . Based on the authentication result displayed on the face authentication device 22, the medical staff 21 can confirm whether the patient 11 undergoing online medical treatment is the person himself/herself.

しかし、患者11の撮像顔画像の画像品質(例えば輝度)が低い場合、顔認証装置22は、患者11の撮像顔画像を十分な精度で認証することができない。端末12のカメラを制御して患者11の撮像顔画像の画像品質を高めることも考えられるが、そのためには顔認証装置22から端末12のカメラを制御する必要があり、セキュリティの観点から好ましくない。また、端末12に専用アプリケーションをインストールさせ、当該専用アプリケーションに端末12のカメラを制御させることも考えられるが、オンライン診療の汎用性を高める観点から好ましくない。 However, when the image quality (for example, brightness) of the captured face image of the patient 11 is low, the face authentication device 22 cannot authenticate the captured face image of the patient 11 with sufficient accuracy. It is conceivable to control the camera of the terminal 12 to improve the image quality of the captured face image of the patient 11, but for that purpose it is necessary to control the camera of the terminal 12 from the face authentication device 22, which is not preferable from the viewpoint of security. . It is also conceivable to install a dedicated application on the terminal 12 and allow the dedicated application to control the camera of the terminal 12, but this is not preferable from the viewpoint of increasing the versatility of online medical care.

そこで以下では、患者11の端末12に特別な対処を行うことなく、患者11の撮像顔画像を十分な精度で認証することを可能にする技術の実施形態について説明する。 Therefore, hereinafter, an embodiment of a technology that enables authentication of the captured face image of the patient 11 with sufficient accuracy without special handling of the terminal 12 of the patient 11 will be described.

図2は、本実施形態に係る顔認証装置22のハードウェアの構成例を示すブロック図である。 FIG. 2 is a block diagram showing a hardware configuration example of the face authentication device 22 according to this embodiment.

顔認証装置22は、プロセッサ61、メインメモリ62、記憶装置63、通信装置64、入力装置65、表示装置66、及び、バス67を含んで構成される。 The face authentication device 22 includes a processor 61 , a main memory 62 , a storage device 63 , a communication device 64 , an input device 65 , a display device 66 and a bus 67 .

プロセッサ61、メインメモリ62、記憶装置63、通信装置64、入力装置65、及び、表示装置66は、バス67を通じてデータを送受信できる。 Processor 61 , main memory 62 , storage device 63 , communication device 64 , input device 65 and display device 66 can send and receive data through bus 67 .

プロセッサ61は、他の部品と協働して、顔認証装置22が有する機能を実現する。例えば、プロセッサ61は、コンピュータプログラムを実行することにより、顔認証装置22が有する機能を実現する。プロセッサ61は、CPU(Central Processing Unit)、コントローラ、又は、制御装置等と読み替えられてもよい。 The processor 61 implements the functions of the face authentication device 22 in cooperation with other components. For example, the processor 61 implements the functions of the face authentication device 22 by executing a computer program. The processor 61 may be read as a CPU (Central Processing Unit), a controller, a control device, or the like.

メインメモリ62は、顔認証装置22にて用いられるコンピュータプログラム及びデータ等を記憶する。メインメモリ62は、例えば、ROM(Real Only Memory)、RAM(Random Access Memory)、及び/又は、フラッシュメモリによって構成される。 The main memory 62 stores computer programs and data used in the face authentication device 22 . The main memory 62 is composed of, for example, ROM (Real Only Memory), RAM (Random Access Memory), and/or flash memory.

記憶装置63は、不揮発性記憶媒体によって構成され、顔認証装置22にて用いられるコンピュータプログラム及びデータ等を記憶する。記憶装置63は、例えば、SSD(Solid State Drive)、HDD(Hard Disk Drive)、及び/又は、フラッシュメモリによって構成される。 The storage device 63 is configured by a non-volatile storage medium and stores computer programs, data, etc. used in the face authentication device 22 . The storage device 63 is configured by, for example, an SSD (Solid State Drive), HDD (Hard Disk Drive), and/or flash memory.

通信装置64は、通信ネットワークを通じて、端末12又はサーバ51と通信を行う。通信装置64は、有線通信及び無線通信のいずれに対応してもよい。 The communication device 64 communicates with the terminal 12 or the server 51 through the communication network. The communication device 64 may support either wired communication or wireless communication.

入力装置65は、入力を受け付ける。入力装置65の例として、キーボード、マウス、タッチパッド、マイク等が挙げられる。 The input device 65 accepts inputs. Examples of input device 65 include a keyboard, mouse, touchpad, microphone, and the like.

表示装置66は、画像を表示する。表示装置66の例として、液晶ディスプレイ、有機ELディスプレイ等が挙げられる。 The display device 66 displays images. Examples of the display device 66 include a liquid crystal display and an organic EL display.

図3は、本実施形態に係る顔認証用UI(User Interface)の一例を示す模式図である。 FIG. 3 is a schematic diagram showing an example of a UI (User Interface) for face authentication according to this embodiment.

図3に示すように、顔認証装置22の表示装置66には、患者11の撮像顔画像と、医療従事者21の撮像顔画像とが表示される。 As shown in FIG. 3 , a captured face image of the patient 11 and a captured face image of the medical staff 21 are displayed on the display device 66 of the face authentication device 22 .

顔認証用UIは、患者11の撮像顔画像と医療従事者21の撮像顔画像とが表示された表示装置66に合わせて表示される。顔認証用UIは、フレーム枠71と、閉じるボタン72と、顔枠73と、ガイドメッセージ表示エリア74と、患者の認証結果表示エリア75と、医療従事者の認証結果表示エリア76とを含んでよい。 The UI for face authentication is displayed in accordance with the display device 66 on which the captured face image of the patient 11 and the captured face image of the medical staff 21 are displayed. The face authentication UI includes a frame frame 71, a close button 72, a face frame 73, a guide message display area 74, a patient authentication result display area 75, and a medical staff authentication result display area 76. good.

フレーム枠71には、患者11の撮像顔画像と医療従事者21の撮像顔画像とが並べて配置される。後述する画面キャプチャ部24(図4参照)は、当該フレーム枠71に囲まれた範囲内の画像を、キャプチャする。フレーム枠71は、半透明であってよい。また、フレーム枠71は、例えば医療従事者21の操作によって、任意に拡大、縮小又は移動されてよい。これにより、医療従事者21は、患者11及び医療従事者21の撮像顔画像を含むようにフレーム枠71を簡単に設定することができる。なお、画面キャプチャ部24は、フレーム枠71の撮像顔画像に患者11及び医療従事者21の上半身あるいは顔の画像が含まれるようにフレーム枠71を自動的に設定してもよい。 In the frame frame 71, the captured face image of the patient 11 and the captured face image of the medical staff 21 are arranged side by side. The screen capture unit 24 (see FIG. 4), which will be described later, captures the image within the range surrounded by the frame frame 71 . The frame border 71 may be translucent. Also, the frame 71 may be arbitrarily enlarged, reduced, or moved, for example, by the operation of the medical staff 21 . Thereby, the medical staff 21 can easily set the frame 71 so as to include the captured face images of the patient 11 and the medical staff 21 . Note that the screen capture unit 24 may automatically set the frame 71 so that the captured face image of the frame 71 includes the upper body or face images of the patient 11 and the medical worker 21 .

閉じるボタン72は、例えばフレーム枠71の右上の角に配置される。閉じるボタン72が押下されると、フレーム枠71は閉じられてよい。 The close button 72 is arranged at the upper right corner of the frame 71, for example. When the close button 72 is pressed, the frame 71 may be closed.

顔枠73は、患者11の撮像顔画像の顔部分を囲むように表示される。加えて、顔枠73は、医療従事者21の撮像顔画像の顔部分を囲むように表示される。例えば、後述する顔検出部25(図4参照)は、撮像顔画像から顔部分を検出すると、その検出した顔部分を囲むように顔枠73を表示することにしてよい。 The face frame 73 is displayed so as to surround the face portion of the captured face image of the patient 11 . In addition, the face frame 73 is displayed so as to surround the face portion of the captured face image of the medical worker 21 . For example, when the face detection unit 25 (see FIG. 4), which will be described later, detects a face part from the captured face image, the face frame 73 may be displayed so as to surround the detected face part.

ガイドメッセージ表示エリア74には、顔品質チェックがOK又はNGであることを示すメッセージが表示される。例えば、顔検出部25は、表示されている患者11の撮像顔画像について、顔品質チェック結果がOKであるかNGであるかを示すメッセージを、ガイドメッセージ表示エリア74に出力する。 A guide message display area 74 displays a message indicating whether the face quality check is OK or NG. For example, the face detection unit 25 outputs to the guide message display area 74 a message indicating whether the face quality check result of the displayed captured face image of the patient 11 is OK or NG.

患者の認証結果表示エリア75には、患者11の顔認証結果に関するメッセージが表示される。例えば、後述する顔認証部27(図4参照)は、患者11の顔認証結果がOKの場合、患者11の本人確認情報(例えば患者11の番号及び患者11の氏名)を患者の認証結果表示エリア75に表示し、患者11の顔認証結果がNGの場合、その旨を患者の認証結果表示エリア75に表示する。 A message regarding the face authentication result of the patient 11 is displayed in the patient authentication result display area 75 . For example, when the face authentication result of the patient 11 is OK, the face authentication unit 27 (see FIG. 4), which will be described later, displays the identification information of the patient 11 (for example, the number of the patient 11 and the name of the patient 11) as the patient's authentication result. If the face authentication result of the patient 11 is NG, a message to that effect is displayed in the patient authentication result display area 75 .

医療従事者の認証結果表示エリア76には、医療従事者21の顔認証結果に関するメッセージが表示される。例えば、顔認証部27は、医療従事者21の顔認証結果がOKの場合、医療従事者21の本人確認情報(例えば医療従事者21の番号及び医療従事者21の氏名)を医療従事者の認証結果表示エリア76に表示し、医療従事者21の顔認証結果がNGの場合、その旨を医療従事者の認証結果表示エリア76に表示する。 A message regarding the face authentication result of the medical staff 21 is displayed in the medical staff authentication result display area 76 . For example, when the face authentication result of the medical worker 21 is OK, the face authentication unit 27 transmits the identification information of the medical worker 21 (for example, the number of the medical worker 21 and the name of the medical worker 21) to the medical worker's name. It is displayed in the authentication result display area 76 , and if the face authentication result of the medical staff 21 is NG, that effect is displayed in the medical staff authentication result display area 76 .

図4は、本実施形態に係る顔認証装置22の機能の構成例を示すブロック図である。 FIG. 4 is a block diagram showing a functional configuration example of the face authentication device 22 according to this embodiment.

顔認証装置22が備えるプロセッサ61は、クライアント側の顔認証本人確認アプリケーション23を実行する。顔認証本人確認アプリケーション23の実行により、画面キャプチャ部24、顔検出部25、顔テンプレート生成部26、及び、顔認証部27が実現される。 A processor 61 included in the face authentication device 22 executes the client-side face authentication/identity verification application 23 . A screen capture unit 24 , a face detection unit 25 , a face template generation unit 26 , and a face authentication unit 27 are implemented by executing the face authentication/identity verification application 23 .

画面キャプチャ部24は、画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する。顔検出部25は、複数のキャプチャ画像のそれぞれから顔画像を検出する。顔テンプレート生成部26は、複数の顔画像に基づいて所定の品質条件が満たされることを確認し、顔認証に用いられる顔テンプレートを生成する。顔認証部27は、顔テンプレートを用いた顔認証により患者11の本人確認を行う。 The screen capture unit 24 captures images displayed on the screen in time series to generate a plurality of captured images. The face detection unit 25 detects face images from each of the plurality of captured images. A face template generation unit 26 confirms that a predetermined quality condition is satisfied based on a plurality of face images, and generates a face template used for face authentication. The face authentication unit 27 performs identity verification of the patient 11 by face authentication using a face template.

これにより、画面からキャプチャした複数の顔画像を用いて品質を確認し、良好な顔画面を用いて顔認証を行うので、オンライン診療において顔認証による良好な本人確認が可能になる。例えば、汎用的なパーソナルコンピュータ等に搭載されたカメラで撮影される顔画像により良好な本人確認が可能である。 As a result, the quality is confirmed using a plurality of face images captured from the screen, and face authentication is performed using a good face screen. For example, a face image captured by a camera installed in a general-purpose personal computer or the like can be used for good personal identification.

また、顔テンプレート生成部26は、複数の顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たしたら、顔画像から顔テンプレートを生成してよい。特徴量は、顔認証に利用可能なそれぞれの人の顔の特徴を表す情報であり、例えば、顔の輪郭の形状や、眼、鼻、口などのパーツの配置、形状、及び大きさの情報を含んでよい。 Further, the face template generation unit 26 extracts feature amounts from each of the plurality of face images, and generates a face template from the face images when the feature amounts of the plurality of face images mutually satisfy a predetermined quality condition. you can A feature amount is information that represents the characteristics of each person's face that can be used for face authentication. For example, information on the shape of the contour of the face, and the arrangement, shape, and size of parts such as the eyes, nose, and mouth. may contain

これにより、複数の顔画像の特徴量を相互に照合するので、容易に顔画像の品質を確保する処理を行うことができる。 As a result, since the feature amounts of a plurality of face images are compared with each other, it is possible to easily perform the process of ensuring the quality of the face images.

また、顔テンプレート生成部26は、顔画像同士の特徴量の一致あるいは不一致の度合いを表す照合スコアを算出し、照合スコアを閾値と比較することにより、所定の品質条件が満たされるか否か判定してよい。 The face template generation unit 26 also calculates a matching score representing the degree of matching or non-matching of the feature amounts of the face images, and compares the matching score with a threshold value to determine whether or not a predetermined quality condition is satisfied. You can

また、顔テンプレート生成部26は、複数のキャプチャ画像のそれぞれの明るさを算出し、明るさの度数分布を算出し、度数分布に基づいて閾値を決定してよい。 Further, the face template generator 26 may calculate the brightness of each of the plurality of captured images, calculate the frequency distribution of the brightness, and determine the threshold value based on the frequency distribution.

これにより、キャプチャ画像の明るさから閾値を決めるので、顔画像同士の照合における画像の明るさの影響を低減し、顔テンプレートの品質確保を可能にする。 As a result, since the threshold is determined from the brightness of the captured image, it is possible to reduce the influence of the brightness of the images in matching between the face images and to ensure the quality of the face template.

また、顔テンプレート生成部26は、オンライン認証装置が接続されたネットワークにおける通信性能を測定し、通信性能に基づいて、所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数又は周期を決定してよい。 In addition, the face template generation unit 26 measures the communication performance in the network to which the online authentication device is connected, and based on the communication performance, determines whether or not the predetermined quality condition is satisfied. A period may be determined.

通信性能には、通信時間、又は、通信速度等が含まれてよい。通信性能の測定は、オンライン認証装置(顔認証本人確認アプリケーション23が搭載された医療機関20の顔認証装置22)とクラウド環境50に構築されたサーバ51との間を測定したものであってもよい。あるいは、通信性能の測定は、オンライン認証装置と、患者11の端末12との間を測定したものであってもよい。 Communication performance may include communication time, communication speed, or the like. Even if the communication performance is measured between the online authentication device (the face authentication device 22 of the medical institution 20 equipped with the face authentication identity verification application 23) and the server 51 built in the cloud environment 50 good. Alternatively, communication performance may be measured between the online authentication device and the terminal 12 of the patient 11 .

これにより、通信状況によって顔画像の変化が滞ったときに誤って所定の品質条件が満たされたとする誤判定を抑制することができる。 As a result, it is possible to suppress an erroneous determination that a predetermined quality condition has been satisfied when the change in the face image is delayed due to communication conditions.

また、顔検出部25は、キャプチャ画像から顔を検出すると、当該顔の領域を示す顔枠73を画面に表示してよい。顔認証部27は、患者11の本人確認の結果として、当該患者11を示す情報を提示するエリアを前記画面に表示してよい。 Further, when the face detection section 25 detects a face from the captured image, the face detection section 25 may display a face frame 73 indicating the region of the face on the screen. The face authentication unit 27 may display an area for presenting information indicating the patient 11 on the screen as a result of identity verification of the patient 11 .

なお、顔認証本人確認アプリケーション23は、画面キャプチャ部24、顔検出部25、顔テンプレート生成部26、及び、顔認証部27についてのさらなる詳細については後述する。 Further details of the screen capture unit 24, the face detection unit 25, the face template generation unit 26, and the face authentication unit 27 of the face authentication/identity verification application 23 will be described later.

図5は、本実施形態に係るクラウド環境50の構成例を示すブロック図である。 FIG. 5 is a block diagram showing a configuration example of the cloud environment 50 according to this embodiment.

クラウド環境50は、サーバ51及びストレージ52を含んで構成される。サーバ51は、図示しないが、プロセッサ61、メインメモリ62、通信装置64、入力装置65、及び、表示装置66を含んで構成される。ストレージ52は、図示しないが、例えば、SSD、HDD、及び/又は、フラッシュメモリによって構成される。また、ストレージ52は、RAID(Redundant Arrays of Inexpensive Disks)として構成されてもよい。 A cloud environment 50 includes a server 51 and a storage 52 . The server 51 includes a processor 61, a main memory 62, a communication device 64, an input device 65, and a display device 66 (not shown). The storage 52 is configured by, for example, SSD, HDD, and/or flash memory (not shown). The storage 52 may also be configured as RAID (Redundant Arrays of Inexpensive Disks).

ストレージ52には、顔テンプレートDB(Database)57、及び、本人確認情報DB58が構成される。 The storage 52 includes a face template DB (Database) 57 and an identity verification information DB 58 .

顔テンプレートDB57は、予め登録された患者11のマスタ顔テンプレート及び医療従事者21のマスタ顔テンプレートを格納する。なお、顔テンプレートは、顔画像から抽出された顔特徴量から、公知技術である公開型生体認証基盤(PBI;Public Biometric Infrastructure)に基づいて生成されるものであってよい。 The face template DB 57 stores pre-registered master face templates of the patient 11 and master face templates of the medical staff 21 . It should be noted that the face template may be generated based on a public biometric infrastructure (PBI), which is a well-known technique, from facial features extracted from a face image.

本人確認情報DB58は、予め登録された患者11の本人確認情報及び医療従事者21の本人確認情報を格納する。例えば、患者11の本人確認情報には、患者11の識別番号、及び、患者11の氏名等が含まれる。例えば、医療従事者21の本人確認情報には、医療従事者21の識別番号、及び、医療従事者21の氏名等が含まれる。 The identity verification information DB 58 stores identity verification information of the patient 11 and identity verification information of the medical staff 21 registered in advance. For example, the identification information of the patient 11 includes the identification number of the patient 11, the name of the patient 11, and the like. For example, the identification information of the medical staff 21 includes the identification number of the medical staff 21, the name of the medical staff 21, and the like.

サーバ51が備えるプロセッサ61は、サーバ51側の顔認証本人確認アプリケーション53を実行する。サーバ51側の顔認証本人確認アプリケーション53は、顔テンプレート取得部54、本人確認情報取得部55、及び、認証結果通知部56を含んで構成される。 A processor 61 provided in the server 51 executes a face authentication/identity verification application 53 on the server 51 side. The face authentication/identity verification application 53 on the server 51 side includes a face template acquisition section 54 , an identity verification information acquisition section 55 , and an authentication result notification section 56 .

顔テンプレート取得部54は、顔テンプレートDB57から顔テンプレートを取得し、顔認証装置22に送信する。 A face template acquisition unit 54 acquires a face template from the face template DB 57 and transmits it to the face authentication device 22 .

本人確認情報取得部55は、本人確認情報DB58から本人確認情報を取得し、顔認証装置22に送信する。 The identity verification information acquisition unit 55 acquires identity verification information from the identity verification information DB 58 and transmits it to the face authentication device 22 .

認証結果通知部56は、患者11及び医療従事者21の両方の認証に成功した場合、医療従事者21の本人確認情報を、例えばSMSを用いて、患者11の端末12に通知する。 When both the patient 11 and the medical staff 21 have been successfully authenticated, the authentication result notification unit 56 notifies the terminal 12 of the patient 11 of the personal identification information of the medical staff 21 using, for example, SMS.

なお、顔テンプレート取得部54、本人確認情報取得部55、及び、認証結果通知部56についてのさらなる詳細については後述する。 Further details of the face template acquisition unit 54, the personal identification information acquisition unit 55, and the authentication result notification unit 56 will be described later.

図6は、本実施形態に係る顔認証本人確認アプリケーション23、53の構成例を示す図である。 FIG. 6 is a diagram showing a configuration example of the face authentication/identity verification applications 23 and 53 according to this embodiment.

顔認証本人確認アプリケーション23、53は、顔認証部27、顔テンプレート取得部54、本人確認情報取得部55、及び、認証結果通知部56を含んで構成される。 The face authentication/identity verification applications 23 and 53 include a face authentication section 27 , a face template acquisition section 54 , an identity verification information acquisition section 55 , and an authentication result notification section 56 .

顔認証部27は、キャプチャ画像情報901、顔画像情報902、顔特徴量情報903、顔テンプレート情報904、通信時間履歴情報905、輝度履歴情報906、顔品質チェック環境設定情報907、顔品質チェック結果情報908、顔認証環境設定情報909、及び、顔認証結果情報910を含む。 The face authentication unit 27 stores captured image information 901, face image information 902, face feature amount information 903, face template information 904, communication time history information 905, luminance history information 906, face quality check environment setting information 907, and face quality check results. It includes information 908 , face authentication configuration information 909 , and face authentication result information 910 .

キャプチャ画像情報901は、キャプチャ画像を含む情報である。 Captured image information 901 is information including a captured image.

顔画像情報902は、顔の有無を示すフラグと、顔画像とを含む情報である。 The face image information 902 is information including a flag indicating presence/absence of a face and a face image.

顔特徴量情報903は、顔特徴量を含む情報である。 The facial feature amount information 903 is information including facial feature amounts.

顔テンプレート情報904は、顔テンプレートを含む情報である。 The face template information 904 is information containing face templates.

通信時間履歴情報905は、履歴連番と、通信時間とを含む情報である。 The communication time history information 905 is information including history serial number and communication time.

輝度履歴情報906は、履歴連番と、輝度とを含む情報である。 The luminance history information 906 is information including a history serial number and luminance.

顔品質チェック環境設定情報907は、顔特徴量リングバッファの最大格納数と、照合スコアの閾値とを含む情報である。 The face quality check environment setting information 907 is information including the maximum storage number of face feature value ring buffers and a matching score threshold.

顔品質チェック結果情報908は、顔品質チェック結果を含む情報である。 The face quality check result information 908 is information including face quality check results.

顔認証環境設定情報909は、照合スコアの閾値を含む情報である。 The face authentication environment setting information 909 is information including a matching score threshold.

顔認証結果情報910は、ユーザIDと、照合スコアと、本人判定結果とを含む情報である。 The face authentication result information 910 is information including a user ID, a matching score, and an identity determination result.

顔テンプレート取得部54は、登録済み顔テンプレート情報911を含む。 Face template acquisition unit 54 includes registered face template information 911 .

登録済み顔テンプレート情報911は、ユーザIDと、マスタ顔テンプレートとを含む情報である。 Registered face template information 911 is information including a user ID and a master face template.

本人確認情報取得部55は、登録済み本人確認情報912を含む。 Identity verification information acquisition unit 55 includes registered identity verification information 912 .

登録済み本人確認情報912は、ユーザIDと、本人確認情報とを含む情報である。 Registered identity verification information 912 is information including a user ID and identity verification information.

認証結果通知部56は、本人確認結果情報913を含む。 Authentication result notification unit 56 includes identity verification result information 913 .

本人確認結果情報913は、ユーザIDと、本人確認結果とを含む情報である。 The identity confirmation result information 913 is information including a user ID and an identity confirmation result.

図7は、本実施形態に係る顔認証の全体の処理を示すフローチャートである。 FIG. 7 is a flowchart showing the overall processing of face authentication according to this embodiment.

顔認証装置22が備えるプロセッサ61は、表示装置66に表示中の患者11の撮像顔画像及び医療従事者21の撮像顔画像を囲むように、フレーム枠71を表示する(S201)。 The processor 61 included in the face authentication device 22 displays a frame 71 surrounding the captured face image of the patient 11 and the captured face image of the medical staff 21 being displayed on the display device 66 (S201).

プロセッサ61(画面キャプチャ部24)は、フレーム枠71内の画像をキャプチャし、キャプチャ画像を生成する(S202)。 The processor 61 (screen capture unit 24) captures an image within the frame frame 71 and generates a captured image (S202).

プロセッサ61(顔検出部25)は、キャプチャ画像から患者11の顔及び医療従事者21の顔を検出する(S203)。 The processor 61 (face detection unit 25) detects the face of the patient 11 and the face of the medical worker 21 from the captured image (S203).

プロセッサ61(顔検出部25)は、キャプチャ画像から患者11の顔及び医療従事者21の顔を検出できたか否かを判定する(S204)。 The processor 61 (face detection unit 25) determines whether the face of the patient 11 and the face of the medical worker 21 have been detected from the captured image (S204).

キャプチャ画像から患者11の顔及び医療従事者21の顔を検出できなかった場合(S204:NO)、プロセッサ61は、処理をS202に戻す。 If the face of the patient 11 and the face of the medical staff 21 are not detected from the captured image (S204: NO), the processor 61 returns the process to S202.

キャプチャ画像から患者11の顔及び医療従事者21の顔を検出できた場合(S204:YES)、プロセッサ61(顔検出部25)は、検出した顔を囲むような顔枠73(図3参照)を表示装置66に表示する(S205)。 If the face of the patient 11 and the face of the medical staff 21 can be detected from the captured image (S204: YES), the processor 61 (face detection unit 25) generates a face frame 73 surrounding the detected face (see FIG. 3). is displayed on the display device 66 (S205).

プロセッサ61(顔検出部25)は、患者11の撮像顔画像から顔特徴量を抽出し、医療従事者21の撮像顔画像から顔特徴量を抽出する(S206)。 The processor 61 (face detection unit 25) extracts facial features from the captured face image of the patient 11, and extracts facial features from the captured face image of the medical staff 21 (S206).

プロセッサ61(顔検出部25)は、抽出した顔特徴量に基づき、顔品質チェックを行う(S207)。なお、本処理の詳細については後述する(図8参照)。 The processor 61 (face detection unit 25) performs a face quality check based on the extracted facial features (S207). The details of this process will be described later (see FIG. 8).

プロセッサ61は、顔品質チェックの結果がNGの場合(S208:NG)、処理をS202に戻し、顔品質チェックの結果がOKの場合(S208:OK)、処理をS209に進める。 If the result of the face quality check is NG (S208: NG), the processor 61 returns the process to S202, and if the result of the face quality check is OK (S208: OK), the process proceeds to S209.

プロセッサ61(顔テンプレート生成部26)は、患者11の撮像顔画像から抽出した顔特徴量から、PBI技術に基づいて、患者11の顔テンプレートを生成する。加えて、プロセッサ61(顔テンプレート生成部26)は、医療従事者21の撮像顔画像から抽出した顔特徴量から、PBI技術に基づいて、医療従事者21の顔テンプレートを生成する(S209)。 The processor 61 (face template generation unit 26) generates a face template of the patient 11 based on the PBI technique from the face feature quantity extracted from the captured face image of the patient 11. FIG. In addition, the processor 61 (face template generation unit 26) generates a face template of the medical staff 21 based on the PBI technology from the facial features extracted from the captured facial image of the medical staff 21 (S209).

プロセッサ61(顔認証部27)は、顔テンプレートDB57に格納されている患者11のマスタ顔テンプレートをサーバ51から取得し、患者11のマスタ顔テンプレートと、S209にて生成した患者11の顔テンプレートとを照合し、患者11の顔認証を行う。加えて、プロセッサ61(顔認証部27)は、顔テンプレートDB57に格納されている医療従事者21のマスタ顔テンプレートをサーバ51から取得し、医療従事者21のマスタ顔テンプレートと、S209にて生成した医療従事者21の顔テンプレートとを照合し、医療従事者21の顔認証を行う(S210)。 The processor 61 (face authentication unit 27) acquires the master face template of the patient 11 stored in the face template DB 57 from the server 51, and compares the master face template of the patient 11 with the face template of the patient 11 generated in S209. are collated to perform face recognition of the patient 11 . In addition, the processor 61 (face authentication unit 27) acquires the master face template of the medical staff 21 stored in the face template DB 57 from the server 51, and generates the master face template of the medical staff 21 in S209. The face template of the medical staff 21 is collated, and the face of the medical staff 21 is authenticated (S210).

プロセッサ61(顔認証部27)は、S210の顔認証結果をサーバ51へ送信し、サーバ51の認証結果通知部56は、その顔認証結果を患者11の端末12に通知する(S211)。なお、本処理の詳細については後述する(図9参照)。 The processor 61 (face authentication unit 27) transmits the face authentication result of S210 to the server 51, and the authentication result notification unit 56 of the server 51 notifies the terminal 12 of the patient 11 of the face authentication result (S211). The details of this process will be described later (see FIG. 9).

図8は、図7に示す顔画像品質チェック(S207)の処理の詳細を示すフローチャートである。なお、本処理は、患者11の顔特徴量及び医療従事者21の顔特徴量の両方に対して行われる。 FIG. 8 is a flow chart showing the details of the face image quality check (S207) shown in FIG. Note that this process is performed on both the facial feature amount of the patient 11 and the facial feature amount of the medical staff 21 .

顔認証装置22の顔検出部25は、抽出した顔特徴量を顔特徴量リングバッファに記録する(S301)。顔特徴量リングバッファは、複数の顔特徴量を記録可能なリング状のバッファである。例えば、顔検出部25は、顔特徴量リングバッファが一巡するまでは、先頭から順番に顔特徴量を記録し、顔特徴量リングバッファが一巡した後、先頭から順番に上書き記録する。なお、顔特徴量リングバッファの最大格納数(つまり、顔特徴量リングバッファのサイズ)は、可変であってよい。顔特徴量リングバッファの最大格納数の決定方法については後述する(図10参照)。 The face detection unit 25 of the face authentication device 22 records the extracted facial feature amount in the facial feature amount ring buffer (S301). The facial feature amount ring buffer is a ring-shaped buffer capable of recording a plurality of facial feature amounts. For example, the face detection unit 25 sequentially records the facial feature amounts from the top until the face feature amount ring buffer completes one cycle, and then overwrites and records the facial feature amount sequentially from the top after the face feature amount ring buffer has completed one cycle. Note that the maximum number of stored face feature ring buffers (that is, the size of the face feature ring buffer) may be variable. A method for determining the maximum number of stored face feature value ring buffers will be described later (see FIG. 10).

顔検出部25は、顔特徴量リングバッファが一巡したか否かを判定する(S302)。 The face detection unit 25 determines whether or not the face feature value ring buffer has completed a cycle (S302).

次に、顔特徴量リングバッファが一巡していない場合(S302:NO)について説明する。 Next, the case where the face feature amount ring buffer has not made a round (S302: NO) will be described.

顔検出部25は、顔品質チェックがNGであることを示すガイドメッセージを表示装置66に表示する(S303)。そして、顔検出部25は、顔品質チェック結果として「NG」を出力し(S304)、本処理を終了する。 The face detection unit 25 displays a guide message indicating that the face quality check is NG on the display device 66 (S303). Then, the face detection unit 25 outputs "NG" as the face quality check result (S304), and terminates this process.

次に、顔特徴量リングバッファが一巡している場合(S302:YES)について説明する。 Next, the case where the face feature value ring buffer has made a round (S302: YES) will be described.

顔検出部25は、顔特徴量リングバッファに記録されている複数の顔特徴量を相互に照合し、互いの顔特徴量のずれの大きさを示すスコア(以下、照合スコアと称する)を算出する(S305)。照合スコアは、大きいほど、互いの顔特徴量のずれが大きい(つまり類似していない)ことを示す。別言すると、照合スコアは、小さいほど、互いの顔特徴量のずれが小さい(つまり類似している)ことを示す。 The face detection unit 25 compares a plurality of facial feature values recorded in the facial feature value ring buffer with each other, and calculates a score (hereinafter referred to as a matching score) indicating the degree of deviation between the facial feature values. (S305). The higher the matching score, the greater the difference between the facial feature amounts (that is, the less similar). In other words, the smaller the matching score, the smaller the difference between the facial feature amounts (that is, the more similar they are).

顔検出部25は、相互に照合された複数の照合スコアがすべて所定の閾値以下であるか否かを判定する(S306)。なお、当該照合スコアの閾値は、可変であってよい。照合スコアの閾値の決定方法については後述する(図14参照)。 The face detection unit 25 determines whether or not all of the mutually matched multiple matching scores are equal to or less than a predetermined threshold (S306). Note that the matching score threshold may be variable. A method for determining the matching score threshold will be described later (see FIG. 14).

照合スコアの少なくとも1つが閾値より大きい場合(S306:NO)、顔検出部25は、処理をS303に進める。同一人物の互いの顔特徴量の照合スコアが大きいということは、撮像顔画像の画像品質が悪いと想定されるためである。 If at least one matching score is greater than the threshold (S306: NO), the face detection unit 25 advances the process to S303. This is because the fact that the matching score of the facial feature amounts of the same person is large is assumed that the image quality of the captured face image is poor.

複数の照合スコアのすべてが閾値以上である場合(S306:YES)、顔検出部25は、顔品質チェックがOKであることを示すガイドメッセージを表示装置66に表示する(S307)。そして、顔検出部25は、顔品質チェック結果として「OK」を出力し(S308)、本処理を終了する。同一人物の互いの顔特徴量の照合スコアが小さいということは、撮像顔画像の画像品質が良いと想定されるためである。 If all of the matching scores are equal to or greater than the threshold (S306: YES), the face detection unit 25 displays a guide message indicating that the face quality check is OK on the display device 66 (S307). Then, the face detection unit 25 outputs "OK" as the result of the face quality check (S308), and terminates this process. The fact that the matching score of the facial feature amounts of the same person is small is because it is assumed that the image quality of the captured face image is good.

図9は、図7に示す顔認証の結果通知(S211)の処理の詳細を示すフローチャートである。 FIG. 9 is a flow chart showing the details of the face authentication result notification (S211) process shown in FIG.

顔認証装置22の顔認証部27は、S210にて患者11の顔テンプレートとマスタ顔テンプレートとを照合して算出した患者11の照合スコアが所定の閾値以下であるか否かを判定する(S401)。 The face authentication unit 27 of the face authentication device 22 determines whether or not the matching score of the patient 11 calculated by matching the face template of the patient 11 with the master face template in S210 is equal to or less than a predetermined threshold (S401). ).

患者11の照合スコアが閾値よりも大きい場合(S401:NO)、顔認証部27は、患者11の認証結果がNGである旨を示すメッセージを、患者の認証結果表示エリア75に表示し(S402)、処理をS404に進める。 If the matching score of patient 11 is greater than the threshold (S401: NO), face authentication unit 27 displays a message indicating that the authentication result of patient 11 is NG in patient authentication result display area 75 (S402). ), and the process proceeds to S404.

患者11の照合スコアが閾値以下である場合(S401:YES)、顔認証部27は、本人確認情報DB58に格納されている患者11の本人確認情報をサーバ51から取得し、その患者11の本人確認情報を、患者の認証結果表示エリア75に表示し(S403)、処理をS404に進める。 If the matching score of patient 11 is equal to or less than the threshold (S401: YES), face authentication unit 27 acquires the identity verification information of patient 11 stored in identity verification information DB 58 from server 51, and confirms the identity of patient 11. The confirmation information is displayed in the patient authentication result display area 75 (S403), and the process proceeds to S404.

顔認証部27は、S210にて医療従事者21の顔テンプレートとマスタ顔テンプレートとを照合して算出した医療従事者21の照合スコアが所定の閾値以下であるか否かを判定する(S404)。 The face authentication unit 27 determines whether or not the matching score of the medical staff 21 calculated by matching the face template of the medical staff 21 with the master face template in S210 is equal to or less than a predetermined threshold (S404). .

医療従事者21の照合スコアが閾値よりも大きい場合(S404:NO)、顔認証部27は、医療従事者21の認証結果がNGである旨を示すメッセージを、医療従事者の認証結果表示エリア76に表示し(S405)、処理をS407に進める。 When the matching score of medical staff 21 is greater than the threshold (S404: NO), face authentication unit 27 displays a message indicating that the authentication result of medical staff 21 is NG in the medical staff authentication result display area. 76 (S405), and the process proceeds to S407.

医療従事者21の照合スコアが閾値以下である場合(S404:YES)、顔認証部27は、本人確認情報DB58に格納されている医療従事者21の本人確認情報をサーバ51から取得し、その医療従事者21の本人確認情報を、医療従事者の認証結果表示エリア76に表示し(S406)、処理をS407に進める。 When the matching score of the medical staff 21 is equal to or less than the threshold (S404: YES), the face authentication unit 27 acquires the personal verification information of the medical staff 21 stored in the personal verification information DB 58 from the server 51, The identification information of the medical staff 21 is displayed in the medical staff authentication result display area 76 (S406), and the process proceeds to S407.

顔認証部27は、患者11及び医療従事者21が共に本人であると認証されたか否かを判定する(S407)。 The face authentication unit 27 determines whether or not both the patient 11 and the medical staff 21 have been authenticated as themselves (S407).

患者11及び医療従事者21の両方の認証がOKである場合(S407:YES)、顔認証部27は、サーバ51の認証結果通知部56を通じて、医療従事者21の本人確認情報を、SMSを用いて患者11の端末12に通信し(S408)、本処理を終了する。 If the authentication of both the patient 11 and the medical staff 21 is OK (S407: YES), the face authentication unit 27 transmits the identity verification information of the medical staff 21 via SMS through the authentication result notification unit 56 of the server 51. is used to communicate with the terminal 12 of the patient 11 (S408), and this process ends.

患者11及び医療従事者21の少なくとも一方の認証がNGである場合(S407:NO)、顔認証部27は、本処理を終了する。 If the authentication of at least one of the patient 11 and the medical staff 21 is NG (S407: NO), the face authentication unit 27 terminates this process.

なお、上述した照合スコアの閾値は、可変であってよい。照合スコアの閾値の決定方法については後述する(図14参照)。 It should be noted that the above-described matching score threshold may be variable. A method for determining the matching score threshold will be described later (see FIG. 14).

図10は、本実施形態に係る顔特徴量リングバッファの最大格納数を調整する処理を示すフローチャートである。図11は、本実施形態に係る通信時間と発生確率との関係の一例を示す通信時間分布のグラフである。 FIG. 10 is a flowchart showing processing for adjusting the maximum number of stored face feature ring buffers according to the present embodiment. FIG. 11 is a graph of communication time distribution showing an example of the relationship between communication time and occurrence probability according to this embodiment.

顔検出部25は、顔特徴量リングバッファの最大格納数として固定値が予め設定されているか否かを判定する(S501)。 The face detection unit 25 determines whether or not a fixed value is set in advance as the maximum storage number of the face feature value ring buffer (S501).

顔特徴量リングバッファの最大格納数として固定値が予め設定されている場合(S501:YES)、顔検出部25は、その固定値を顔特徴量リングバッファの最大格納数として本処理を終了する。 If a fixed value is set in advance as the maximum number of storages in the face feature ring buffer (S501: YES), the face detection unit 25 sets the fixed value as the maximum number of storages in the face feature ring buffer and terminates this process. .

顔特徴量リングバッファの最大格納数として固定値が予め設定されていない場合(S501:NO)、顔検出部25は、端末12と顔認証装置22との間の通信時間を記録する(S502)。この通信時間は、例えば、端末12が撮像顔画像を送信してから顔認証装置22がその撮像顔画像を受信するまでの時間であってよい。あるいは、顔認証装置22が端末12に対して撮像顔画像を要求してから顔認証装置22がその撮像顔画像を端末12から受信するまでの時間であってよい。また、この通信時間の記録は継続的に行われる。よって、顔検出部25は、その継続的に記録されたデータに基づき、図11に示すように、通信時間と発生確率との関係性を示す通信時間分布を算出することができる。 When a fixed value is not set in advance as the maximum storage number of the face feature value ring buffer (S501: NO), the face detection unit 25 records the communication time between the terminal 12 and the face authentication device 22 (S502). . This communication time may be, for example, the time from when the terminal 12 transmits the captured face image to when the face authentication device 22 receives the captured face image. Alternatively, it may be the time from when the face authentication device 22 requests the terminal 12 for the captured face image to when the face authentication device 22 receives the captured face image from the terminal 12 . Also, the recording of this communication time is continuously performed. Therefore, the face detection unit 25 can calculate a communication time distribution that indicates the relationship between communication time and occurrence probability, as shown in FIG. 11, based on the continuously recorded data.

顔検出部25は、通信時間分布に基づいて、顔特徴量リングバッファの最大格納数を算出する(S503)。なお、当該顔特徴量リングバッファの最大格納数の算出方法の詳細については後述する(図12参照)。 The face detection unit 25 calculates the maximum number of stored face feature value ring buffers based on the communication time distribution (S503). The details of the method for calculating the maximum number of stored face feature value ring buffers will be described later (see FIG. 12).

顔検出部25は、S503にて算出した顔特徴量リングバッファの最大格納数を出力し(S504)、本処理を終了する。 The face detection unit 25 outputs the maximum storage number of the facial feature amount ring buffer calculated in S503 (S504), and ends this process.

図12は、本実施形態に係る通信時間分布に基づいて顔特徴量リングバッファの最大格納数を決定する処理の一例を示すフローチャートである。なお、図12に示す処理は、図10に示すS503の処理を詳細化したものである。図13は、本実施形態に係る発生確率が最大の通信時間と顔特徴量リングバッファの最大格納数との関係の一例を示すグラフである。 FIG. 12 is a flowchart showing an example of processing for determining the maximum number of stored face feature value ring buffers based on the communication time distribution according to the present embodiment. Note that the processing shown in FIG. 12 is the detailed processing of S503 shown in FIG. FIG. 13 is a graph showing an example of the relationship between the communication time with the maximum probability of occurrence and the maximum number of stored facial feature value ring buffers according to the present embodiment.

顔検出部25は、通信時間分布を更新する(S601)。 The face detection unit 25 updates the communication time distribution (S601).

顔検出部25は、図11に示す通信時間分布において、発生確率が最大(ピーク)の通信時間に基づいて、候補値を算出する(S602)。例えば、顔検出部25は、図13に示すように、発生確率が最大(ピーク)の通信時間が長くなるにつれて(例えば比例して)大きくなる候補値を算出する。 The face detection unit 25 calculates a candidate value based on the communication time with the maximum occurrence probability (peak) in the communication time distribution shown in FIG. 11 (S602). For example, as shown in FIG. 13, the face detection unit 25 calculates a candidate value that increases (for example, proportionally) as the communication time with the maximum occurrence probability (peak) increases.

顔検出部25は、候補値が予め設定された下限値よりも小さいか否かを判定する(S603)。 The face detection unit 25 determines whether the candidate value is smaller than a preset lower limit (S603).

候補値が下限値よりも小さい場合(S603:YES)、顔検出部25は、下限値を顔特徴量リングバッファの最大格納数として出力し(S604)、本処理を終了する。 If the candidate value is smaller than the lower limit value (S603: YES), the face detection unit 25 outputs the lower limit value as the maximum storage number of the face feature amount ring buffer (S604), and terminates this process.

候補値が下限値以上である場合(S603:NO)、顔検出部25は、候補値が上限値よりも大きいか否かを判定する(S605)。 If the candidate value is greater than or equal to the lower limit (S603: NO), the face detection unit 25 determines whether the candidate value is greater than the upper limit (S605).

候補値が上限値よりも大きい場合(S605:YES)、顔検出部25は、上限値を顔特徴量リングバッファの最大格納数として出力し(S606)、本処理を終了する。 If the candidate value is greater than the upper limit (S605: YES), the face detection unit 25 outputs the upper limit as the maximum number of stored face feature value ring buffers (S606), and terminates this process.

候補値が上限値以下である場合(S605:NO)、顔検出部25は、候補値を顔特徴量リングバッファの最大格納数として出力し(S607)、本処理を終了する。 If the candidate value is equal to or less than the upper limit (S605: NO), the face detection unit 25 outputs the candidate value as the maximum storage number of the face feature value ring buffer (S607), and terminates this process.

これにより、図13に示すように、上限値と下限値との間において、端末12と顔認証装置22との間の通信時間が長くなるほど、顔特徴量リングバッファの最大格納数が多くなる。このようにしている理由は次の通りである。すなわち、端末12と顔認証装置22との間の通信時間が比較的長い場合、顔特徴量として変化の少ない時間的に連続したキャプチャ画像が取得される。それに加えて、顔特徴量リングバッファの最大格納数が少ない場合、その変化の少ない複数の顔特徴量によって顔特徴量リングバッファが占められてしまい、その結果、顔品質チェックにおける相互の照合スコアから、顔品質が安定したと誤って判定されてしまうリスクがある。そのため、上述したように、端末12と顔認証装置22との間の通信時間が長い場合に、顔特徴量リングバッファの最大格納数を大きくしている。 As a result, as shown in FIG. 13, between the upper limit value and the lower limit value, the longer the communication time between the terminal 12 and the face authentication device 22, the larger the maximum number of stored face feature value ring buffers. The reason for doing so is as follows. That is, when the communication time between the terminal 12 and the face authentication device 22 is relatively long, temporally continuous captured images with little change are acquired as facial feature amounts. In addition, if the maximum number of face feature value ring buffers to be stored is small, the face feature value ring buffer will be occupied by a plurality of face feature values that do not change much. , there is a risk that the face quality is erroneously determined to be stable. Therefore, as described above, when the communication time between the terminal 12 and the face authentication device 22 is long, the maximum number of stored face feature value ring buffers is increased.

図14は、本実施形態に係る照合スコアの閾値の調整処理を示すフローチャートである。図15は、本実施形態に係るキャプチャ画像の輝度と発生確率との関係を示す輝度分布のグラフである。 FIG. 14 is a flow chart showing the matching score threshold adjustment process according to the present embodiment. FIG. 15 is a luminance distribution graph showing the relationship between the luminance of the captured image and the occurrence probability according to the present embodiment.

プロセッサ61(例えば顔検出部25又は顔認証部27)は、照合スコアの閾値として固定値が予め設定されているか否かを判定する(S701)。 The processor 61 (for example, the face detection unit 25 or the face authentication unit 27) determines whether or not a fixed value is set in advance as a matching score threshold (S701).

照合スコアの閾値として固定値が予め設定されている場合(S701:YES)、プロセッサ61は、その固定値を照合スコアの閾値として本処理を終了する。 If a fixed value has been set in advance as the matching score threshold (S701: YES), the processor 61 sets the fixed value as the matching score threshold and terminates this process.

照合スコアの閾値として固定値が設定されていない場合(S701:NO)、プロセッサ61は、キャプチャ画像の各画素の輝度を推定する(S702)。 If a fixed value is not set as the matching score threshold (S701: NO), the processor 61 estimates the brightness of each pixel in the captured image (S702).

プロセッサ61は、推定したキャプチャ画像の各画素の輝度を記録する(S703)。この輝度の記録は継続的に行われる。よって、プロセッサ61は、その継続的に記録された輝度に基づき、図15に示すように、輝度と発生確率との関係性を示す輝度分布を算出することができる。 The processor 61 records the estimated brightness of each pixel of the captured image (S703). This luminance recording is performed continuously. Therefore, the processor 61 can calculate a luminance distribution indicating the relationship between the luminance and the probability of occurrence, as shown in FIG. 15, based on the continuously recorded luminance.

プロセッサ61は、輝度分布に基づき、照合スコアの閾値を算出する(S704)。なお、この照合スコアの閾値の算出方法の詳細については後述する(図16参照)。 The processor 61 calculates a matching score threshold based on the luminance distribution (S704). Details of the method for calculating the threshold value of the matching score will be described later (see FIG. 16).

プロセッサ61は、算出した照合スコアの閾値を出力し(S705)、本処理を終了する。 The processor 61 outputs the calculated matching score threshold (S705), and terminates this process.

図16は、本実施形態に係る輝度分布に基づいて照合スコアの閾値を算出する処理を示すフローチャートである。なお、図16に示す処理は、図14に示すS704の処理を詳細化したものである。図17は、本実施形態に係る発生確率が最大の輝度と照合スコアの閾値との関係の一例を示すグラフである。 FIG. 16 is a flowchart showing processing for calculating a matching score threshold based on the luminance distribution according to the present embodiment. Note that the processing shown in FIG. 16 is the detailed processing of S704 shown in FIG. FIG. 17 is a graph showing an example of the relationship between the luminance with the maximum occurrence probability and the matching score threshold according to the present embodiment.

プロセッサ61(例えば顔検出部25又は顔認証部27)は、輝度分布を更新する(S801)。 The processor 61 (for example, the face detection unit 25 or the face authentication unit 27) updates the luminance distribution (S801).

プロセッサ61は、発生確率が最大(ピーク)の輝度が所定の下限値よりも小さいか否かを判定する(S802)。 The processor 61 determines whether or not the luminance with the maximum occurrence probability (peak) is smaller than a predetermined lower limit (S802).

ピークの輝度が下限値よりも小さい場合(S802:YES)、プロセッサ61は、図17に示すように、ピークの輝度が下限値よりも小さくなるにつれて(例えば比例して)、閾値が所定のデフォルト値よりも小さくなるように(つまり顔検出又は顔認証が厳しくなるように)、当該閾値を算出及び出力し(S803)、本処理を終了する。 If the peak brightness is less than the lower limit (S802: YES), the processor 61 sets the threshold to a predetermined default value as the peak brightness becomes smaller than the lower limit (for example, proportionally), as shown in FIG. The threshold is calculated and output (S803) so as to be smaller than the value (that is, face detection or face authentication becomes stricter), and this processing ends.

ピークの輝度が下限値以上である場合(S802:NO)、プロセッサ61は、ピークの輝度が所定の上限値よりも大きいか否かを判定する(S804)。 If the peak luminance is equal to or greater than the lower limit (S802: NO), the processor 61 determines whether the peak luminance is greater than a predetermined upper limit (S804).

ピークの輝度が上限値よりも大きい場合(S804:YES)、プロセッサ61は、ピークの輝度が上限値よりも大きくなるにつれて(例えば比例して)、閾値がデフォルト値よりも小さくなるように(つまり顔検出又は顔認証が厳しくなるように)、当該閾値を算出及び出力し(S805)本処理を終了する。 If the peak brightness is greater than the upper limit (S804: YES), the processor 61 sets the threshold to be smaller than the default value (ie (S805), the threshold value is calculated and output (S805), and the process ends.

ピークの輝度が上限値以下である場合(S804:NO)、プロセッサ61は、デフォルト値を閾値として出力し(S806)、本処理を終了する。 If the peak brightness is equal to or less than the upper limit (S804: NO), the processor 61 outputs the default value as the threshold (S806), and terminates this process.

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。 The embodiments of the present invention described above are illustrative examples of the present invention and are not intended to limit the scope of the present invention only to those embodiments. Those skilled in the art can implement the invention in various other forms without departing from the scope of the invention.

10…患者宅、11…患者、12…端末、20…医療機関、21…医療従事者、22…顔認証装置、23…クライアント側の顔認証本人確認アプリケーション、24…画面キャプチャ部、25…顔検出部、26…顔テンプレート生成部、27…顔認証部、50…クラウド環境、51…サーバ、52…ストレージ、53…サーバ側の顔認証本人確認アプリケーション、54…顔テンプレート取得部、55…本人確認情報取得部、56…認証結果通知部、57…顔テンプレートDB、58…本人確認情報DB、61…プロセッサ、62…メインメモリ、63…記憶装置、64…通信装置、65…入力装置、66…表示装置、67…バス、71…フレーム枠、72…閉じるボタン、73…顔枠、74…ガイドメッセージ表示エリア、75…患者の認証結果表示エリア、76…医療従事者の認証結果表示エリア、901…キャプチャ画像情報、902…顔画像情報、903…顔特徴量情報、904…顔テンプレート情報、905…通信時間履歴情報、906…輝度履歴情報、907…顔品質チェック環境設定情報、908…顔品質チェック結果情報、909…顔認証環境設定情報、910…顔認証結果情報、911…登録済み顔テンプレート情報、912…登録済み本人確認情報、913…本人確認結果情報 10... Patient's home 11... Patient 12... Terminal 20... Medical institution 21... Medical worker 22... Face authentication device 23... Client-side face authentication identity verification application 24... Screen capture unit 25... Face Detection unit 26 Face template generation unit 27 Face authentication unit 50 Cloud environment 51 Server 52 Storage 53 Server-side face authentication identity verification application 54 Face template acquisition unit 55 Principal Verification information acquisition unit 56 Authentication result notification unit 57 Face template DB 58 Identity verification information DB 61 Processor 62 Main memory 63 Storage device 64 Communication device 65 Input device 66 Display device 67 Bus 71 Frame frame 72 Close button 73 Face frame 74 Guide message display area 75 Patient authentication result display area 76 Medical worker authentication result display area 901...Captured image information 902...Facial image information 903...Face feature amount information 904...Face template information 905...Communication time history information 906...Brightness history information 907...Face quality check environment setting information 908...Face Quality check result information 909 Face authentication configuration information 910 Face authentication result information 911 Registered face template information 912 Registered identity verification information 913 Identity verification result information

Claims (8)

画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する画面キャプチャ部と、
前記複数のキャプチャ画像のそれぞれから顔画像を検出する顔検出部と、
複数の前記顔画像に基づいて所定の品質条件が満たされることを確認し、顔認証に用いられる顔テンプレートを生成する顔テンプレート生成部と、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う顔認証部と、
を有するオンライン認証装置。
a screen capture unit that captures images displayed on the screen in chronological order and generates a plurality of captured images;
a face detection unit that detects a face image from each of the plurality of captured images;
a face template generation unit that confirms that a predetermined quality condition is satisfied based on the plurality of face images and generates a face template used for face authentication;
a face recognition unit that verifies the identity of a person by face recognition using the face template;
online authenticator.
前記顔テンプレート生成部は、前記複数の顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たした場合、前記顔画像から前記顔テンプレートを生成する、
請求項1に記載のオンライン認証装置。
The face template generation unit extracts a feature amount from each of the plurality of face images, and generates the face template from the face image when the feature amounts of the plurality of face images mutually satisfy a predetermined quality condition. generate,
The online authentication device according to claim 1.
前記顔テンプレート生成部は、前記顔画像同士の特徴量の一致あるいは不一致の度合いを表す照合スコアを算出し、前記照合スコアを閾値と比較することにより、前記所定の品質条件が満たされるか否か判定する、
請求項2に記載のオンライン認証装置。
The face template generation unit calculates a matching score representing the degree of matching or non-matching of feature amounts between the face images, and compares the matching score with a threshold to determine whether the predetermined quality condition is satisfied. judge,
The online authentication device according to claim 2.
前記顔テンプレート生成部は、前記複数のキャプチャ画像のそれぞれの明るさを算出し、明るさの度数分布を算出し、前記度数分布に基づいて前記閾値を決定する、
請求項3に記載のオンライン認証装置。
The face template generation unit calculates brightness of each of the plurality of captured images, calculates a brightness frequency distribution, and determines the threshold value based on the frequency distribution.
4. The online authentication device according to claim 3.
前記顔テンプレート生成部は、前記オンライン認証装置が接続されたネットワークにおける通信性能を測定し、前記通信性能に基づいて、前記所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数または周期を決定する、
請求項2に記載のオンライン認証装置。
The face template generation unit measures communication performance in a network to which the online authentication device is connected, and based on the communication performance, the number of face images used in the process of determining whether the predetermined quality condition is satisfied. or determine the period,
The online authentication device according to claim 2.
前記顔検出部は、前記キャプチャ画像から顔を検出すると、該顔の領域を示す枠を前記画面に表示し、
前記顔認証部は、前記人物の本人確認の結果として、該人物を示す情報を提示するエリアを前記画面に表示する、
請求項1に記載のオンライン認証装置。
When the face detection unit detects a face from the captured image, the face detection unit displays a frame indicating the area of the face on the screen,
The face authentication unit displays, on the screen, an area for presenting information indicating the person as a result of identity verification of the person.
The online authentication device according to claim 1.
装置において、
画面上に表示された画像を時系列にキャプチャして複数のキャプチャ画像を生成し、
前記複数のキャプチャ画像のそれぞれから顔画像を検出し、
複数の前記顔画像に基づいて所定の品質条件が満たされることを確認して顔認証に用いられる顔テンプレートを生成し、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う、
オンライン認証方法。
in the device,
Generate multiple captured images by capturing the images displayed on the screen in chronological order,
detecting a face image from each of the plurality of captured images;
generating a face template used for face authentication by confirming that a predetermined quality condition is satisfied based on the plurality of face images;
Performing identity verification of a person by face authentication using the face template;
Online authentication method.
オンライン認証プログラムであって、
画面上に表示された画像を時系列にキャプチャして複数のキャプチャ画像を生成し、
前記複数のキャプチャ画像のそれぞれから顔画像を検出し、
複数の前記顔画像に基づいて所定の品質条件が満たされることを確認して顔認証に用いられる顔テンプレートを生成し、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う、
処理をコンピュータに実行させる、オンライン認証プログラム。
An online certification program,
Generate multiple captured images by capturing the images displayed on the screen in chronological order,
detecting a face image from each of the plurality of captured images;
generating a face template to be used for face authentication by confirming that a predetermined quality condition is satisfied based on the plurality of face images;
Performing identity verification of a person by face authentication using the face template;
An online authorization program that lets a computer do the work.
JP2021126829A 2021-08-02 2021-08-02 Online authenticator, method and program Active JP7266071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021126829A JP7266071B2 (en) 2021-08-02 2021-08-02 Online authenticator, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021126829A JP7266071B2 (en) 2021-08-02 2021-08-02 Online authenticator, method and program

Publications (2)

Publication Number Publication Date
JP2023021762A true JP2023021762A (en) 2023-02-14
JP7266071B2 JP7266071B2 (en) 2023-04-27

Family

ID=85201588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126829A Active JP7266071B2 (en) 2021-08-02 2021-08-02 Online authenticator, method and program

Country Status (1)

Country Link
JP (1) JP7266071B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034361A1 (en) * 2001-10-17 2003-04-24 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP2007219713A (en) * 2006-02-15 2007-08-30 Sony Corp Inquiry system, imaging apparatus, inquiry device, information processing method, and program
JP2008199549A (en) * 2007-02-15 2008-08-28 Hitachi Ltd Monitor image processing method, monitoring system, and monitor image processing program
US20090019552A1 (en) * 2000-03-15 2009-01-15 Mclaughlin Mark R Healthcare Medical Information Management System
US20170011179A1 (en) * 2015-07-09 2017-01-12 MI Express Care Licensing Company, LLC Virtual Waiting Rooms In A Telemedicine System
JP2019185534A (en) * 2018-04-13 2019-10-24 株式会社デジメット Personal medical information aggregation system
CN111046361A (en) * 2019-11-20 2020-04-21 深圳安泰创新科技股份有限公司 Online diagnosis and treatment identity confirmation method, terminal and computer readable storage medium
WO2021029046A1 (en) * 2019-08-14 2021-02-18 日本電気株式会社 Information processing device, information processing method, and recording medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090019552A1 (en) * 2000-03-15 2009-01-15 Mclaughlin Mark R Healthcare Medical Information Management System
WO2003034361A1 (en) * 2001-10-17 2003-04-24 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP2007219713A (en) * 2006-02-15 2007-08-30 Sony Corp Inquiry system, imaging apparatus, inquiry device, information processing method, and program
JP2008199549A (en) * 2007-02-15 2008-08-28 Hitachi Ltd Monitor image processing method, monitoring system, and monitor image processing program
US20170011179A1 (en) * 2015-07-09 2017-01-12 MI Express Care Licensing Company, LLC Virtual Waiting Rooms In A Telemedicine System
JP2019185534A (en) * 2018-04-13 2019-10-24 株式会社デジメット Personal medical information aggregation system
WO2021029046A1 (en) * 2019-08-14 2021-02-18 日本電気株式会社 Information processing device, information processing method, and recording medium
CN111046361A (en) * 2019-11-20 2020-04-21 深圳安泰创新科技股份有限公司 Online diagnosis and treatment identity confirmation method, terminal and computer readable storage medium

Also Published As

Publication number Publication date
JP7266071B2 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US10440019B2 (en) Method, computer program, and system for identifying multiple users based on their behavior
CN108804884B (en) Identity authentication method, identity authentication device and computer storage medium
US9953231B1 (en) Authentication based on heartbeat detection and facial recognition in video data
EP2869238B1 (en) Methods and systems for determining user liveness
WO2016124063A1 (en) Payment authorization method and device
TW201525754A (en) Method, apparatus and system of identity authentication
US9183430B2 (en) Portable electronic apparatus and interactive human face login method
US11552944B2 (en) Server, method for controlling server, and terminal device
US11711215B2 (en) Methods, systems, and media for secure authentication of users based on a biometric identifier and knowledge-based secondary information
KR20160025768A (en) Attendance Management System Using Face Recognition
CN114612986A (en) Detection method, detection device, electronic equipment and storage medium
WO2020007191A1 (en) Method and apparatus for living body recognition and detection, and medium and electronic device
US20220245963A1 (en) Method, apparatus and computer program for authenticating a user
JP2018124999A (en) Information processing device and program
CN107786349B (en) Security management method and device for user account
JP7266071B2 (en) Online authenticator, method and program
CN109215783B (en) Cerebral hemorrhage qualification authentication method, equipment and server based on data processing
JP2018173891A (en) Authentication device, authentication method, authentication program, and database
US20220414193A1 (en) Systems and methods for secure adaptive illustrations
US20220263653A1 (en) System, method, and device for vitality verification using a biometric one-time passcode
WO2022259569A1 (en) Authentication system, authentication device, authentication method, and program
JP2016118977A (en) Information processing device, control method, and program
US20200195440A1 (en) Systems and methods for human identity verification
US20240096130A1 (en) Authentication system, processing method, and non-transitory storage medium
CN110895601A (en) User identification device and user identification system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7266071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150