JP6495153B2 - 同一性判定システム及び同一性判定方法 - Google Patents

Description

本発明は、同一性判定システム及び同一性判定方法に関する。

高血圧疾患や、慢性疾患を有する患者にとっては、日々、血圧、血糖値、体重等のバイタル情報、及び歩数等の運動情報を測定し、記録し、その結果に合わせて生活の見直しや、医療介入を行うことが重要とされている。そのため、これらのバイタル情報及び運動情報を測定し、記録するためのＰＨＲ（Personal Health Record）システムが提案されている。ＰＨＲシステムでは、第三者によって虚偽のバイタル情報、運動情報が登録されるのを防ぐために、被測定者がバイタル情報及び運動情報を登録する際に、ＩＤ及びパスワードによる認証、装置認証等によって本人であることを確認している場合がある。またＰＨＲシステムは、生体認証、知識認証、所有物認証等によって本人であることを確認している場合もある。

しかし、これらの認証はあくまで、本人の意思に逆らって、第三者がなりすますような行為を防止するものであり、本人が意図的に認証に用いられる情報を他人に渡すなど、共謀することで、本人が第三者を身代りとして立てることは容易にできる。また、生体による認証を行うことで本人であること確認することは可能であるが、その場合、本人の生体の代わりに第三者の生体が用いられた場合、なりすましの行為を防止することはできない。例えば、図１１に示すように、Ａさんの指紋を用いて指紋認証によりログインして（図１１（１）参照）から、Ｂさんの血圧値を測定し（図１１（２）参照）、Ｂさんの血圧値をＡさんの値として登録する（図１１（３）参照）というような不正行為を許してしまう。

そのため、認証によって確認された被確認者と、血圧装置によって血圧値を測定された被測定者とが同一であることを確認しなければならない。このために、例えば、非特許文献１には、認証を行う本人確認機器と測定を行う測定装置がそれぞれ生体情報を照合することによって、本人確認機器によって認証された被確認者と、測定装置によって測定された被測定者が同一人物であることを確認する技術が提案されている。この技術では、例えば、生体情報に基づいて生体認証を行い、該生体情報に基づいて取得した第１の脈波と、測定装置によって血圧を測定している上腕部付近で脈波センサにより取得した第２の脈波とを比較し、第１の脈波及び第２の脈波のピークが同じタイミングであれば、被確認者と被測定者とが同一であるとしている。

また、本人確認を行う方法には、指紋認証、静脈認証、顔認証等、複数の手法が存在するが、同時に行われる第１の脈波の測定を物理的に妨げないように、非接触で本人確認できる方法が望ましい。そこで、認証と第１の脈波の測定が同一センサのセンサにより非接触で実行できるセンサとして、カメラが考えられる。被確認者を撮像するカメラによって生成した顔画像に基づいて、認証と、第１の脈波としての顔脈波の測定との両方を行えるため、方式的に、顔脈波は認証により本人確認された被確認者のものであることを保証できる。カメラを使った顔認証は多く知られており、また、顔領域を含む動画像から、顔脈波を抽出する試みがいくつかある（非特許文献２〜４）。

例えば、非特許文献２には、顔検出技術によって検出された顔の一部である額の色を計測して、その色に基づいて顔脈波を算出することが記載されている。このようにして算出した顔脈波は、顔の他の部位に基づいて算出した顔脈波と比較して正確であり、また、顔全体の色を計測して顔脈波を算出する場合に比べて、算出に係る処理負荷を軽減することができる。

また、非特許文献３には、顔検出技術によって画像から得られた顔の領域について、顎等の一部の領域のみを用いて脈波を検出して、複数の部位間での脈波信号の位相差を補償することによって精度の高い脈波を算出することが記載されている。

また、非特許文献４には、顔画像を撮影される人物が動いていても高い精度で、画像に表された顔から脈波を算出する方法が記載されている。

第19回日本医療情報学会春季学術大会、中村 亨、「医療・健康データの真正性担保についての基礎検討」 M. Lewandowska, J. Ruminski, T. Kocejko, and J. Nowak, "Measuring pulse rate with a webcam - A non-contact method for evaluating cardiac activity," Computer Science and Information Systems (FedCSIS),2011 Federated Conference on,2011,p.405_410 椿 郁子, 岩内 謙一,齋藤 栄, "顔画像の複数領域を用いた脈波測定手法," 動画像メディア処理シンポジウム,2013,p.114_115 M.-Z.Poh,D.J.McDuff,and R.W.Picard,"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation," Opt.ExpresＳ１９10,vol.18,no.10,p.10762_10774

しかしながら、顔脈波を測定するにあたって、顔の部位ごとの脈波に位相差が発生するため顔脈波に微細なゆらぎが生じる場合がある。このように、顔脈波にゆらぎが含まれる場合には、被確認者と被測定者とが同一であるか否かの判定を正確に行うことができないという課題が発生している。

したがって、かかる点に鑑みてなされた本発明の目的は、被測定者と被確認者とが同一であるか否かを正確に判定することを可能とする同一性判定システム及び同一性判定方法を提供することにある。

上記の課題を解決するため、本発明に係る同一性判定システムは、ネットワークを介して情報を互いに送受信する顔脈波測定装置、血圧測定装置及びユーザ端末を備える同一性判定システムであって、前記顔脈波測定装置は、被確認者を撮像して動画像を生成するカメラと、前記動画像を構成する静止画像それぞれから、前記被確認者の顔が表されている領域である顔領域を抽出する顔領域抽出部と、前記顔領域を分割した小領域それぞれの画素値に基づいて小領域ごとに顔脈波を算出する顔脈波算出部と、前記顔脈波全体のピーク時刻を決定するピーク決定部と、を備え、前記血圧測定装置は、被測定者の血圧に基づく血圧脈波を測定し、前記血圧脈波のピーク時刻を決定する血圧脈波測定部、を備え、前記ユーザ端末は、前記顔脈波のピーク時刻及び前記血圧脈波のピーク時刻を用いて前記被確認者と前記被測定者とが同一であるか否かの同一性判定を行う照合処理部、を備えることを特徴とする。

また、本発明に係る同一性判定方法は、ネットワークを介して情報を互いに送受信する顔脈波測定装置、血圧測定装置及びユーザ端末を備える同一性判定システムが実行する同一性判定方法であって、カメラにより、被確認者を撮像して動画像を生成するステップと、前記顔脈波測定装置により、前記動画像を構成する静止画像それぞれから、前記被確認者の顔が表されている領域である顔領域を抽出するステップと、前記顔脈波測定装置により、前記顔領域を分割した小領域それぞれの画素値に基づいて顔脈波を算出するステップと、前記顔脈波測定装置により、前記顔脈波全体のピーク時刻を決定するステップと、前記血圧測定装置により、被測定者の血圧に基づく血圧脈波を測定し、前記血圧脈波のピーク時刻を決定するステップと、前記ユーザ端末により、前記顔脈波のピーク時刻及び前記血圧脈波のピーク時刻を用いて前記被確認者と前記被測定者とが同一であるか否かの同一性判定を行うステップと、を含むことを特徴とする。

本発明によれば、被測定者と被確認者とが同一であるか否かを正確に判定することが可能となる。

本実施形態に係る同一性判定システムの機能構成図である。 顔領域を説明するための概念図である。 基準領域の脈波に対する各領域の脈波の位相差の例を示す図である。 位相差記憶部が記憶する各小領域番号と、基準領域との位相差とを表す位相差情報の概念図である。 図１に示す血圧測定部及びデータ処理部の詳細を示す図である。 ＰＨＲ記憶部が記憶する情報の概念図である。 同一性判定システムの処理を示すシーケンス図である。 位相差算出部が位相差を算出する処理の詳細を示すフロー図である。 位相差反映部が位相差を反映し、顔脈波のピーク時刻を決定する処理の詳細を示すフロー図である。 照合部が同一性判定を行う処理の詳細を示すフロー図である。 従来のＰＨＲシステムにおける不正な本人確認を示す概念図である。

以下、本発明の実施形態について図面を参照して説明する。

＜＜同一性判定システムの機能構成＞＞
まず、図１を参照して本実施形態の全体構成について説明する。

図１に示されるように、同一性判定システム１は、顔脈波測定装置２００、血圧測定装置３００、及びユーザ端末４００を備える。また、同一性判定システム１はＰＨＲサーバ５００を備えてもよい。顔脈波測定装置２００、血圧測定装置３００、ユーザ端末４００、及びＰＨＲサーバ５００はネットワークを介して接続され、情報を互いに送受信する。

＜顔脈波測定装置の機能構成＞
顔脈波測定装置２００は、通信部２１０、カメラ２２０、本人確認処理部２３０、顔脈波測定部２４０、及び位相差記憶部２５０を備える。顔脈波測定装置２００は、カメラ２２０によって撮影された被確認者の顔画像に基づいて被確認者のユーザＩＤを特定し、また、被確認者の顔脈波を測定する。

通信部２１０は、本人確認処理部２３０によって出力された情報、及び顔脈波測定部２４０によって測定された情報等を、ネットワークを介してユーザ端末４００に送信する。

カメラ２２０は、顔脈波測定装置２００に内蔵され、又は顔脈波測定装置２００と一体として取り付けられ、顔脈波測定装置２００の利用者２である被確認者を撮影する。また、カメラ２２０は、継続的に被確認者を撮影することによって、複数の画像からなる動画像を生成し、本人確認処理部２３０及び顔脈波測定部２４０に出力する。なお、カメラ２２０は、カラーカメラであってもよいし、赤外線カメラであってもよい。

本人確認処理部２３０は、カメラ２２０によって生成された画像に基づいて本人確認処理を行う。本人確認処理とは、画像に基づいて被確認者を一意に識別するためのユーザＩＤを特定することである。また、本人確認処理部２３０は、特定されたユーザＩＤ、及びユーザＩＤを特定した日時である本人確認日時を含む本人確認結果を出力する。

顔脈波測定部２４０は、本人確認処理部２３０によって本人確認処理が行われると、カメラ２２０によって生成された画像に基づいて被確認者の顔の脈波のピーク時刻を測定する。

ここで、顔脈波測定部２４０の詳細について説明する。顔脈波測定部２４０は、位相差決定部２４１及び位相差反映部２４２を備える。

位相差決定部２４１は、顔領域抽出部２４３、顔領域分割部２４４、代表値算出部２４５、及び位相差算出部２４６を備える。

顔領域抽出部２４３は、カメラ２２０によって生成された動画像を構成する静止画像それぞれから、図２（ａ）に示すような、被確認者の顔が表されている領域である顔領域を抽出する。

顔領域分割部２４４は、顔領域抽出部２４３によって各静止画像の顔領域が抽出されると、該顔領域をさらに小さな領域である小領域に分割する。具体的には、顔領域分割部２４４は、静止画像における顔領域のＸ座標の最小値及び最大値、Ｙ座標の最小値及び最大値を抽出する。そして、顔領域分割部２４４は、抽出されたＸ座標の最小値及び最大値の間を例えば１０分割し、同様にして抽出されたＹ座標の最小値及び最大値の間を例えば１０分割することによって、１０×１０の小領域に分割する。以降の説明においては、各小領域の、領域内での位置を識別するための座標を（ｘ，ｙ）で示し、１０ｘ＋ｙを小領域番号とする。図２（ａ）に示す例では、例えば、座標（７，５）で示される小領域の小領域番号を７５、座標（８，６）で示される小領域の小領域番号を８６とする。

代表値算出部２４５は、顔領域分割部２４４によって分割された各小領域を構成する画素の代表値を算出する。代表値とは、例えば、顔領域に分割した各小領域の画素値の統計値（例えば、加算平均値、加重平均値、中央値、最頻値等）である。

代表値算出部２４５は、図２（ｂ）に示すように動画像を構成する静止画像それぞれについて各小領域の代表値を算出し、図３に示すように静止画像が撮像された順に代表値の推移を表したものを顔脈波とする。図３（ａ）には、予め定められた基準とする小領域である基準領域、例えば、左頬の中央部分の顔脈波が示されている。また、図３（ｂ）には、基準領域とは異なる小領域の顔脈波が示されている。図３（ａ）に示される顔脈波と、図３（ｂ）に示される顔脈波には位相差がある。

位相差算出部２４６は、代表値算出部２４５が算出した基準領域の顔脈波と、基準領域とは異なる小領域の顔脈波とを比較して、その位相差を算出する。図２に示される例では、小領域番号７５の領域を基準領域とし、小領域番号０〜７４、及び７６〜９９の顔脈波それぞれを基準領域の顔脈波と比較して、位相差を算出する。図３に例を示す顔脈波は、脈波が約６０である被確認者のものであり、この場合、６秒間の動画像に約５回のピークが現れる。位相差算出部２４６は、この５回のピークについて、基準領域の顔脈波のピーク時刻と、対応して現れる小領域の顔脈波のピーク時刻との差をそれぞれ算出し、それらの差の平均値を位相差として算出する。以降の説明において、基準領域のピーク時刻を「基準ピーク時刻」という。

なお、図２の小領域番号０、８０、９０等に示されるように、顔の一部を表していない小領域については顔脈波が算出されない。そこで、位相差算出部２４６は、顔脈波が算出されない、すなわち、画素値の代表値に変化がない小領域については、小領域番号に関連付けて顔脈波が算出されないことを表す数字、記号等（図４に示す例では「９９９９」）を記憶する。以降においては、顔脈波を算出することができない、すなわち、画素値の代表値に変化がない小領域を「対象外領域」という。

位相差反映部２４２は、顔脈波算出部２４７、補正部２４８、及びピーク決定部２４９を備える。

顔脈波算出部２４７は、顔脈波の測定を開始するための顔脈波測定開始命令が送信されると、カメラ２２０によって生成された動画像に基づいて、顔領域分割部２４４によって分割した小領域ごとに顔脈波を算出する。

補正部２４８は、顔脈波算出部２４７によって算出された小領域それぞれの顔脈波に含まれる１つ以上のピークについて各ピーク時刻を算出し、位相差記憶部２５０に該小領域の小領域番号に関連付けて記憶されている位相差の分だけ補正し、各補正ピーク時刻とする。

ピーク決定部２４９は、各小領域のピーク時刻を補正した補正ピーク時刻に基づいて、被確認者の顔脈波全体のピーク時刻を決定する。上述のように、顔脈波は小領域ごとに位相が異なるためピーク時刻は小領域ごとに異なる。そのため、補正部２４８によって小領域の位置の相違に基づくピーク時刻の相違を補正し、補正ピーク時刻に基づいて顔脈波のピーク時刻を決定する。なお、ピーク決定部２４９は、同様にして小領域に含まれる複数のピークの各補正ピーク時刻について、顔脈波全体の各ピーク時刻を決定する。

具体的には、ピーク決定部２４９は、基準領域のピーク時刻と、各小領域の補正ピーク時刻を比較する。このとき、比較の対象とする各小領域から対象外領域を除いてもよい。そして、ピーク決定部２４９は、比較の対象とした全ての小領域のうち、所定の割合（例えば、５０％）以上の小領域の補正ピーク時刻が基準領域のピーク時刻と同一であるか否かを判定する。所定の割合以上の小領域の補正ピーク時刻が基準領域のピーク時刻と同一であると判定された場合、基準領域の補正ピーク時刻を顔脈波全体のピーク時刻と決定する。

また、所定の割合以上の小領域のピーク時刻が基準領域のピーク時刻と同一でないと判定された場合、ピーク決定部２４９は、基準領域及び対象外領域を除く全ての小領域のピーク時刻のヒストグラムを生成し、所定の割合以上の小領域で同一の補正ピーク時刻となるか否かを判定する。所定の割合以上の小領域で同一の補正ピーク時刻となると判定された場合、その補正ピーク時刻を、被確認者の顔脈波全体のピーク時刻と決定する。所定の割合以上の小領域で同一の補正ピーク時刻とならないと判定された場合、被確認者の顔脈波全体のピーク時刻を決定せず、該ピークに係るピーク時刻は後述する同一性判定の対象としないと決定する。

また、ピーク決定部２４９は、測定中に複数回出現するピークについて、同様にしてピーク時刻を決定する。

また、位相差記憶部２５０は、図４に示すように小領域番号に関連付けて位相差算出部２４６によって算出された位相差を記憶する。

＜血圧測定装置の機能構成＞
血圧測定装置３００は、通信部３１０、血圧測定部３２０、血圧脈波測定部３３０、及びデータ処理部３４０を備える。血圧測定装置３００は、被測定者の収縮期血圧及び拡張期血圧を含む血圧値、並びに脈拍である測定種別ごとの測定値を測定し、これらの測定値に基づいて被測定者の血圧脈波を測定する。

通信部３１０は、血圧測定部３２０によって測定された情報、及び血圧脈波測定部３３０によって測定された情報を、ネットワークを介してユーザ端末４００に送信する。

また、通信部３１０は、血圧測定部３２０が備えるカフ３２１の内部の圧力（以降、「カフ圧力」という）が閾値より高くなると、その旨を表す高圧状態通知をユーザ端末４００に送信する。また、通信部３１０は、血圧脈波の測定を開始するための命令である脈波測定開始命令をユーザ端末４００から受信する。また、通信部３１０は、バルブ３２４が開いてカフ３２１から空気を排出するよう制御するためのバルブ開命令、及びバルブ３２４を閉じてカフ３２１から空気を排出するのを停止するよう制御するためのバルブ閉命令をバルブ３２４に送信する。

血圧測定部３２０は、図５に示すように、カフ３２１、圧力センサ３２２、ポンプ３２３、及びバルブ３２４を備える自動血圧計によって実現される。

圧力センサ３２２は、脈拍の強度が表されているカフ圧力の時間変化を圧力データとして検知する。ポンプ３２３は、カフ３２１に空気を送り込むことによって収縮期血圧より十分に高い圧力にまでカフ圧力を上昇させる。バルブ３２４は、カフ３２１から空気を排出させることによってカフ圧力を低下させる。

血圧測定部３２０は、圧力センサ３２２によって検知される圧力データに基づいて、収縮期血圧と拡張期血圧とを含む血圧値、及び脈拍を測定値として測定する。具体的には、血圧測定部３２０は、圧力センサ３２２が検知している圧力データに係る脈拍の強度が所定の値以上に最初になった時点でのカフ圧力を収縮期血圧とし、その後、ふたたび脈拍の強度が所定の値以下になった時点でのカフ圧力を拡張期血圧として測定する。

また、血圧測定部３２０は、収縮期血圧、拡張期血圧、血圧値、及び脈拍の種別を表す測定種別、測定種別ごとの値である測定値、及び測定日時を含む情報である測定結果を出力する。

血圧脈波測定部３３０は、通信部３１０がユーザ端末４００から脈波測定開始命令を受信すると、圧力センサ３２２によって検知された圧力データに基づいて血圧脈波を測定し、血圧脈波のピーク時刻を決定する。

また、データ処理部３４０は、血圧測定部３２０による測定がスタートされると、圧力データを取得するための圧力データ問合せを圧力センサ３２２に送信する。また、データ処理部３４０は、圧力データ問合せに基づいて圧力センサ３２２から送信された圧力データを取得する。

＜ユーザ端末の機能構成＞
ユーザ端末４００は、通信部４１０及び照合処理部４２０を備える。ユーザ端末４００は、顔脈波測定装置２００によって測定された顔脈波と、血圧測定装置３００によって測定された血圧脈波とを照合する。

通信部４１０は、ネットワークを介して顔脈波測定装置２００から本人確認結果及び顔脈波全体のピーク時刻を受信する。また、通信部４１０は、ネットワークを介して血圧測定装置３００から測定結果及び血圧脈波のピーク時刻を受信する。また、通信部４１０は、本人確認結果、測定結果、及び照合処理部４２０によって判定された照合結果をＰＨＲサーバ５００に送信する。

照合処理部４２０は、データ処理部３４０による制御に基づいて、顔脈波全体のピーク時刻及び血圧脈波のピーク時刻を用いて被確認者と被測定者とが同一であるか否かの同一性判定を行う。具体的には、照合処理部４２０は、通信部４１０によって受信した顔脈波に係る被確認者と血圧脈波に係る被測定者とが同一である確率を表す同一性確率Ｐを算出し、被確認者と被測定者とが同一であるか否か同一性判定を行う。さらに具体的には、照合処理部４２０は、同一性確率Ｐが所定の同一性確認閾値を超えるか否かを判定し、同一性確率Ｐが所定の同一性確認閾値を超える場合、被確認者と被測定者は同一であると判定し、照合結果「ＯＫ」を出力する。また、照合処理部４２０は、同一性確率Ｐが同一性確認閾値以下である場合、被確認者と被測定者は同一でないと判定し、照合結果「ＮＧ」を出力する。

同一性確率Ｐは、例えば、顔脈波のピーク時刻と、血圧脈波のピーク時刻との時間差ΔＴの分散値ＤΔＴと、基準分散値Ｄｂとのうちの値が大きい方をＤ_Lとし、値が小さい方をＤ_Sとして、式（１）のように表される。ここで、基準分散値Ｄｂとは、ある一定人数分の同一性判定において、被測定者と被確認者が同一である、すなわち照合結果が「ＯＫ」である場合の時間差ΔＴの分散を学習した値である。また、基準分散値Ｄｂは、本実施形態の同一性判定システム１を提供するサービス提供者が同席する等によって、被確認者と被測定者とが同一であること担保されている状態で測定した顔脈波と血圧脈波とのピーク時刻の時間差ΔＴの分散を学習した値としてもよい。なお、時間差ΔＴは顔脈波がピークとなる時点と血圧脈波がピークとなる時点との差としてもよい。

Ｐ＝Ｄ_S／Ｄ_L （１）

＜ＰＨＲサーバの機能構成＞
図１に示すように、ＰＨＲサーバ５００は、通信部５１０及びＰＨＲ記憶部５２０を備える。ＰＨＲサーバ５００は、ユーザ端末４００から本人確認結果、測定結果、及び照合結果を受信し、ＰＨＲ記憶部５２０がこれらの情報を記憶する。

通信部５１０は、ネットワークを介してユーザ端末４００から、本人確認結果、測定結果、及び照合結果を受信する。

ＰＨＲ記憶部５２０には、通信部５１０によってユーザ端末４００から受信した本人確認結果、照合結果、及び測定結果を記憶する。図６は、ＰＨＲ記憶部５２０が記憶する情報を示す概念図である。ＰＨＲ記憶部５２０は、本人確認結果に含まれるユーザＩＤ及び本人確認日時と、測定結果に含まれる測定種別、測定値、及び測定日時と、照合結果とを関連付けて記憶する。

＜同一性判定システムの動作＞
続いて、図７を参照して、本実施形態に係る同一性判定システム１の動作を説明する。

まず、顔脈波測定装置２００の本人確認処理部２３０が顔認証による本人確認処理を行い（ステップＳ１０）、通信部２１０が本人確認結果をユーザ端末４００に送信する（ステップＳ１１）。ステップＳ１０で本人確認処理が行われると、カメラ２２０が被確認者の顔を撮像して、動画像の生成を開始する（ステップＳ１２）。

一方、血圧測定装置３００のデータ処理部３４０は、血圧測定をスタートする（ステップＳ１３）。血圧測定がスタートすると、ポンプ３２３がＯＮとなり（ステップＳ１４）、カフ３２１に空気を送り込む。また、血圧測定がスタートされると、データ処理部３４０は、カフ圧力を表す圧力データを取得するための圧力データ問合せを圧力センサ３２２に送信する（ステップＳ１４）。ステップＳ１４で。データ処理部３４０から圧力データ問合せが送信されると、圧力センサ３２２は、カフ圧力を測定し、その圧力データをデータ処理部３４０に、随時、送信する（ステップＳ１５−１、Ｓ１５−２、・・・、Ｓ１５−Ｎ）。さらに、データ処理部３４０は圧力センサ３２２から受信した圧力データに基づいて測定結果を出力する。

ステップＳ１５−１、１５−２、・・・１５−Ｎで圧力センサ３２２から圧力データが送信されると、データ処理部３４０は、圧力データに基づいてカフ圧力がカフ圧力閾値より高いか否かを随時、判定し、カフ圧力がカフ圧力閾値より高くなると（ステップＳ１６）、ポンプ３２３は、ＯＦＦとなり（ステップＳ１７）カフ３２１に空気を送り込むのを停止する。また、バルブ３２４はＯＮとなり（ステップＳ１８）、カフ３２１から空気を排出する。

また、ステップＳ１７で、カフ圧力がカフ圧力閾値より高くなると、通信部３１０は、高圧状態通知をユーザ端末４００に送信する（ステップＳ１９）。

また、ステップＳ１２で顔を撮像した動画像の生成が開始された以降に、位相差決定部２４１は、動画像について、基準領域の顔脈波に対する各小領域の顔脈波の位相差を決定する（ステップＳ２０）。

ここで、位相差決定部２４１が位相を決定する処理の詳細について、図８を参照して説明する。まず、顔領域抽出部２４３が、カメラ２２０によって生成された動画像を構成する各静止画像から顔領域を抽出する（ステップＳ２０１）。ステップＳ２０１で顔領域が抽出されると、顔領域分割部２４４は、抽出された顔領域を小領域に分割する（ステップＳ２０２）。ステップＳ２０２で、顔領域が小領域に分割されると、代表値算出部２４５は、各小領域を構成する画素の代表値を算出して、小領域ごとに顔脈波を算出する（ステップＳ２０３）。

ステップＳ２０３で、顔脈波が算出されると、位相差算出部２４６は、基準領域の顔脈波に対する各小領域の顔脈波の位相差を算出する（ステップＳ２０４）。ここで、対象外領域の顔脈波に係る位相差の算出は行わなくてもよい。また、位相差記憶部２５０は、小領域番号に関連付けて位相差算出部２４６によって算出された位相差を記憶する。

図７に戻って、ステップＳ１９で高圧状態通知が送信されると、ユーザ端末４００の通信部４１０は、顔脈波測定装置２００の通信部２１０に脈波測定開始命令を送信する（ステップＳ２１）。また、通信部４１０は、血圧測定装置３００の通信部３１０に脈波測定開始命令を送信する（ステップＳ２２）。

ステップＳ２１で脈波測定開始命令が送信されると、顔脈波測定装置２００の本人確認処理部２３０が顔認証による本人確認処理を行い（ステップＳ２３）、本人確認結果をユーザ端末４００に送信する（ステップＳ２４）。なお、本人確認処理は、ステップＳ１０での本人確認処理の後、ランダムなタイミングで複数回、行ってもよい。これにより、一度、本人確認がなされた後に被認証者が入れ替わることを防ぐことができ、より確実に被認証者そのものの測定結果をＰＨＲサーバ５００が管理することが可能となる。

また、上述のように、データ処理部３４０は、ステップＳ１５−１、１５−２、・・・、１５−Ｎで圧力センサ３２２から送信された圧力データに基づいてカフ圧力がカフ圧力閾値より高いか否かを随時、判定しており、カフ圧力がカフ圧力閾値より低くなると（ステップＳ２５）、バルブ２３４はＯＦＦとなり（ステップＳ２６）、カフ３２１からの空気の排出を停止する。さらに、ステップＳ２５でカフ圧力がカフ圧力閾値より低くなると、データ処理部３４０は、ユーザ端末４００に低圧状態通知を送信する（ステップＳ２７）。

ステップＳ２７で、低圧状態通知が送信されると、ユーザ端末４００の通信部４１０は、脈波測定終了命令を顔脈波測定装置２００に送信し（ステップＳ２８）、脈波測定終了命令を血圧測定装置３００に送信する（ステップＳ２９）。

ステップＳ２８で脈波測定終了命令が送信されると、ステップＳ２１の脈波測定開始命令から、ステップＳ２８の脈波測定終了命令までに、カメラ２２０によって生成された動画像に基づいて、顔脈波測定部２４０が、位相差記憶部２５０に記憶されている位相差を反映して顔脈波のピーク時刻を決定する処理を行う（ステップＳ３０）。

ここで、図９を参照して、顔脈波測定部２４０が、顔脈波を測定し、顔脈波に含まれる１つ以上のピークの各ピーク時刻を決定する処理について詳細に説明する。まず、顔脈波算出部２４７がカメラ２２０によって生成された動画像に基づいて、顔領域分割部２４４によって分割された小領域それぞれについて小領域を構成する画素の代表値を算出する（ステップＳ３０１）。ステップＳ３０１で代表値が算出されると、顔脈波算出部２４７は、基準ピーク時刻を算出する（ステップＳ３０２）。ステップＳ３０２で基準ピーク時刻が算出されると、補正部２４８は、顔脈波算出部２４７によって算出された各顔脈波のピーク時刻を補正して、補正ピーク時刻とする（ステップＳ３０３）。

ステップＳ３０３で補正された、各小領域の補正ピーク時刻のうち対象外領域を除く小領域の補正ピーク時刻の５０％以上が、基準領域のピーク時刻と同一であるか否かを判定する（ステップＳ３０４）。ステップＳ３０４で、５０％以上の小領域の補正ピーク時刻が基準領域のピーク時刻と同一であると判定された場合、基準領域のピーク時刻を顔脈波のピーク時刻と決定する（ステップＳ３０５）。また、ステップＳ３０５で、５０％以上の小領域の補正ピーク時刻が基準領域のピーク時刻と同一でないと判定された場合、ピーク決定部２４９は、基準領域及び対象外領域を除く全ての小領域の補正ピーク時刻のヒストグラムを生成する（ステップＳ３０６）。

ステップＳ３０６で、ヒストグラムが生成されると５０％以上の小領域で同一の補正ピーク時刻を取るか否かを判定する（ステップＳ３０７）。ステップＳ３０７で、５０％以上の小領域で同一の補正ピーク時刻となると判定された場合、その補正ピーク時刻を、顔脈波のピーク時刻と決定する（ステップＳ３０８）。ステップＳ３０７で、５０％以上の小領域で同一のピーク時刻とならないと判定された場合、当該ピーク時刻に係るピークは、後述する同一性判定の対象としないと決定する（ステップＳ３０９）。

ステップＳ３０５、Ｓ３０８、又はＳ３０９の処理が終了すると、顔脈波算出部２４７によって算出された顔脈波に他のピークがあるか否かを判定し（ステップＳ３１０）、他にピークがある場合には、ステップＳ３０２に戻って処理を繰り返す。また、他にピークがない場合には、顔脈波を測定する処理を終了する。

図７に戻って、ステップＳ３０で位相差の反映を含む顔脈波を測定する処理が終了すると、通信部２１０は、顔脈波全体の各ピーク時刻を通信部４１０に送信する（ステップＳ３１）。

一方、ステップＳ２９で、通信部３１０が通信部４１０から脈波測定開始命令を受信すると、血圧脈波測定部３３０は血圧脈波の測定を開始し、通信部３１０が、データ処理部３４０によって出力された測定結果、及び血圧脈波測定部３３０によって測定された血圧脈波のピーク時刻を通信部４１０に送信する（ステップＳ３２）。

通信部４１０が、ステップＳ３２で通信部２１０から送信された顔脈波のピーク時刻を受信し、ステップＳ３２で通信部３１０から送信された測定結果及び血圧脈波のピーク時刻を受信すると、照合処理部４２０は、顔脈波及び血圧脈波のピーク時刻に基づいて同一性確率Ｐを算出する（ステップＳ３３）。さらに、照合処理部４２０は、ステップＳ２６で算出した同一性確率Ｐに基づいて同一性判定を行う（ステップＳ３４）。

ここで、図１０を参照して同一性判定の処理を詳細に説明する。まず、照合処理部４２０が、ステップＳ３３で算出された同一性確率Ｐが同一性確認閾値を超えるか否かを判定する（ステップＳ３４１）。同一性確率Ｐが同一性確認閾値を超えると判定された場合、照合処理部４２０は照合結果「ＯＫ」を出力する（ステップＳ３４２）。また、同一性確率Ｐが同一性確認閾値以下であると判定された場合、照合処理部４２０は照合結果「ＮＧ」を出力する（ステップＳ３４３）。

図７に戻って、このように、ステップＳ３４で、照合処理部４２０によって同一性判定が終了すると、通信部４１０は、測定結果、本人確認結果、及び照合結果を通信部５１０に送信する（ステップＳ３５）。そして、ＰＨＲ記憶部５２０が、通信部５１０によって受信した測定結果、本人確認結果、及び照合結果を記憶する（ステップＳ３６）。

以上のように、本実施形態の同一性判定システム１においては、カメラよって生成された動画像を構成する静止画像それぞれから抽出した顔領域を分割した小領域それぞれの画素値に基づいて、顔脈波のピーク時刻を決定するため、顔の部位ごとの顔脈波の位相差による微細なゆらぎが顔脈波に発生するのを防ぐことができる。これにより、被確認者と被測定者とが同一であるか否か同一性判定を正確に行うことができる。

なお、本実施形態では、代表値算出部２４５は、顔領域に示される複数の肌色部分それぞれについて画素値の統計値を代表値として算出したが、画素値のうちヘモグロビンが吸収するとされるＧ（Ｇｒｅｅｎ）値の統計値を代表値として算出してもよい。また、代表値算出部２４５は、輝度値又は明度の統計値を代表値として算出してもよい。

また、本実施形態では、顔領域抽出部２４３は、カメラ２２０によって生成された動画像を構成する静止画像それぞれについて、顔領域の面積、目等の特徴点の位置を抽出してもよい。この場合、顔領域抽出部２４３は、顔領域の面積、特徴点の位置が変化した場合に顔が動いたと判断し、顔領域の面積及び特徴点の位置の変化に基づいて、顔領域の座標を補正し、顔領域分割部２４４は補正した顔領域を小領域に分割してもよい。これにより、顔脈波全体のピーク時刻の決定のために被確認者を撮像しているときに被確認者は静止している状態を保つ必要がなく、快適に過ごすことができる。

また、顔画像を撮影する環境によっては、カメラ２２０が撮影した画像を構成する画素値にノイズが含まれてしまうことがある。そのため、位相差算出部２４６は、算出した各小領域の位相差を、隣接している小領域の位相差と比較し、その値が逆転している場合、逆転している位相差に係る小領域を対象外領域としてもよい。これによりノイズが含まれる画素値に基づいて算出された位相差に基づいて位相差反映部２４２が処理を行うことを防ぐことができ、正確に顔脈波全体のピーク時刻を決定することが可能となる。

また、本実施形態では、位相差算出部２４６はカメラ２２０と被確認者との距離、及びカメラ２２０の焦点距離から、被確認者の顔のサイズを算出してもよい。この場合、位相差算出部２４６は、算出された顔のサイズと標準的な血流速度とに基づいて発生し得ないとされる位相差の範囲を決定し、上述のようにして算出された、小領域の位相差がこの範囲にある場合には、該小領域を対象外領域とする。これにより、ノイズ等の影響により、誤って算出されたに基づいて位相差反映部２４２が処理を行うことを防ぐことができ、正確に顔脈波全体のピーク時刻を決定することが可能となる。

また、顔脈波測定装置２００の本人確認処理部２３０が本人確認処理を行うとしたが、これに限られず、通信ネットワークで接続された外部の装置に顔が表された画像を送信し、外部の装置が画像に基づいて本人確認処理を行ってもよい。

また、本実施形態では、顔脈波測定装置２００の顔脈波測定部２４０が位相差の算出及び位相差の反映を行うとしたがこれに限られない。例えば、顔脈波測定装置２００のカメラ２２０によって撮影された動画像をユーザ端末４００に送信し、ユーザ端末４００が動画像に基づいて位相差の算出及び位相差の反映を行ってもよい。

また、本実施形態では、同一性確率Ｐは、顔脈波全体のピーク時刻によって表されるとしたが、顔脈波全体が立ち上がる時刻によって表されてもよい。

また、本実施形態では、カメラ２２０によって被確認者の顔を三次元により立体的に表し、立体的に表された被確認者の顔の表面を小領域に分割してもよい。

また、本実施形態では、ＰＨＲ記憶部５２０は、通信部５１０によってユーザ端末４００から受信した本人確認結果、照合結果、及び測定結果を記憶するとしたが、この限りではない。例えば、ＰＨＲ記憶部５２０は、照合結果が「ＯＫ」である場合に本人確認結果及び測定結果を記憶し、照合結果が「ＮＧ」である場合に本人確認結果及び測定結果を記憶しないようにしてもよい。

上述の実施形態及び実施例は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 同一性判定システム
２００ 顔脈波測定装置
２１０ 通信部
２２０ カメラ
２３０ 本人確認処理部
２４０ 顔脈波測定部
２４１ 位相差決定部
２４２ 位相差反映部
２４３ 顔領域抽出部
２４４ 顔領域分割部
２４５ 代表値算出部
２４６ 位相差算出部
２４７ 顔脈波算出部
２４８ 補正部
２４９ ピーク決定部
２５０ 位相差記憶部
３００ 血圧測定装置
３１０ 通信部
３２０ 血圧測定部
３２１ カフ
３２２ 圧力センサ
３２３ ポンプ
３２４ バルブ
３３０ 血圧脈波測定部
３４０ データ処理部
４００ ユーザ端末
４１０ 通信部
４２０ 照合処理部
５００ ＰＨＲサーバ
５１０ 通信部
５２０ ＰＨＲ記憶部

Claims (6)

1. ネットワークを介して情報を互いに送受信する顔脈波測定装置、血圧測定装置及びユーザ端末を備える同一性判定システムであって、
   前記顔脈波測定装置は、
   被確認者を撮像して動画像を生成するカメラと、
   前記動画像を構成する静止画像それぞれから、前記被確認者の顔が表されている領域である顔領域を抽出する顔領域抽出部と、
   前記顔領域を分割した小領域それぞれの画素値に基づいて小領域ごとに顔脈波を算出する顔脈波算出部と、
   前記顔脈波全体のピーク時刻を決定するピーク決定部と、を備え、
   前記血圧測定装置は、
   被測定者の血圧に基づく血圧脈波を測定し、前記血圧脈波のピーク時刻を決定する血圧脈波測定部、を備え、
   前記ユーザ端末は、
   前記顔脈波のピーク時刻及び前記血圧脈波のピーク時刻を用いて前記被確認者と前記被測定者とが同一であるか否かの同一性判定を行う照合処理部、
   を備えることを特徴とする同一性判定システム。
2. 前記顔脈波測定装置は、
   前記小領域のうちの基準領域の顔脈波に対する、前記基準領域とは異なる小領域の顔脈波の位相差を算出する位相差算出部と、
   前記顔脈波算出部によって算出された前記小領域それぞれの顔脈波のピーク時刻を前記位相差に基づいて補正する補正部と、をさらに備え、
   前記ピーク決定部は、前記補正部によって補正されたピーク時刻に基づいて、前記顔脈波全体のピーク時刻を決定することを特徴とする請求項１に記載の同一性判定システム。
3. 前記ピーク決定部は、前記小領域それぞれのピーク時刻のうち所定の割合以上のピーク時刻が、前記基準領域のピーク時刻と同一であるか否かを判定し、前記所定の割合以上のピーク時刻が前記基準領域のピーク時刻と同一である場合、前記基準領域のピーク時刻を、前記顔脈波全体のピーク時刻として決定することを特徴とする請求項２に記載の同一性判定システム。
4. 前記ピーク決定部は、前記小領域それぞれのピーク時刻のうち所定の割合以上のピーク時刻が、前記基準領域のピーク時刻と同一であるか否かを判定し、前記所定の割合以上のピーク時刻が前記基準領域のピーク時刻と同一でない場合に、所定の割合以上の小領域の顔脈波が同一のピーク時刻となるか否かを判定し、所定の割合以上の小領域の顔脈波が同一のピーク時刻となると判定された場合、該ピーク時刻を、前記顔脈波全体のピーク時刻と決定し、所定の割合以上の小領域の顔脈波が同一のピーク時刻とならないと判定された場合、前記顔脈波全体のピーク時刻を決定しないことを特徴とする請求項２に記載の同一性判定システム。
5. 前記小領域それぞれの画素値の統計値である代表値を算出し、前記静止画像が撮像された順に前記代表値の推移を前記顔脈波として算出する代表値算出部を備え、
   前記位相差算出部は、前記基準領域の顔脈波に対する前記小領域の顔脈波の位相差を算出することを特徴とする請求項２乃至４のいずれか一項に記載の同一性判定システム。
6. ネットワークを介して情報を互いに送受信する顔脈波測定装置、血圧測定装置及びユーザ端末を備える同一性判定システムが実行する同一性判定方法であって、
   カメラにより、被確認者を撮像して動画像を生成するステップと、
   前記顔脈波測定装置により、前記動画像を構成する静止画像それぞれから、前記被確認者の顔が表されている領域である顔領域を抽出するステップと、
   前記顔脈波測定装置により、前記顔領域を分割した小領域それぞれの画素値に基づいて顔脈波を算出するステップと、
   前記顔脈波測定装置により、前記顔脈波全体のピーク時刻を決定するステップと、
   前記血圧測定装置により、被測定者の血圧に基づく血圧脈波を測定し、前記血圧脈波のピーク時刻を決定するステップと、
   前記ユーザ端末により、前記顔脈波のピーク時刻及び前記血圧脈波のピーク時刻を用いて前記被確認者と前記被測定者とが同一であるか否かの同一性判定を行うステップと、を含むことを特徴とする同一性判定方法。

Images