JP2021135970A - 画像照合装置、画像照合システム、及び画像照合方法 - Google Patents

Abstract

【課題】基準を満たすフレームが得られないか又は基準を満たすフレームが不足する場合に、照合精度の低下を防止することができる画像照合装置を提供する。【解決手段】画像照合システムにおいて、コンピュータにソフトウェアが搭載された画像照合装置の取得部は、入力装置から照合対象画像を連続して取得する。検出部は、照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出する。追跡部は、照合対象の検出結果に基づき所定照合対象を追跡するかもしくは照合対象を含むフレームの集合を抽出する。フレーム選択部は、所定照合対象を含む複数の所定フレームのうちの基準に適合する適合フレームの数に応じて、複数の所定フレームから１以上の照合用フレームを動的に選択する。照合部は、データベースに登録された登録画像と照合用フレームに含まれる所定照合対象画像とを、１対１もしくは１対複数で照合する。出力部は、照合結果を出力する。【選択図】図１

Description

本発明の実施形態は、画像照合装置、画像照合システム、及び画像照合方法に関する。

入力画像に含まれる顔画像（その特徴情報）と事前登録された顔画像（その特徴情報）とを照合し、入力画像に含まれる人物を特定する画像照合装置が知られている。例えば、入力画像は、歩行者等を撮影する監視カメラからの画像である。画像照合装置は、照合精度を高めるため、入力画像に含まれる複数フレームの中から基準を満たすフレームに絞り込んで照合処理を実行する。

特開２０１９−５７８１５号公報

基準を満たすフレームが得られない、又は基準を満たすフレームが不足するケースでは、照合処理を見送ることが考えられる。しかしながら、基準を満たす十分な数のフレームが得られない環境下では、照合処理が見送られる頻度が高くなってしまう。また、このようなケースで、任意の１フレームを選択して照合処理を実行することが考えられるが、照合精度の大幅な低下が懸念される。

本発明が解決しようとする課題は、基準を満たすフレームが得られない場合、又は基準を満たすフレームが不足する場合に、照合精度の低下を防止することができる画像照合装置、画像照合システム、及び画像照合方法を提供することである。

実施形態に係る、コンピュータにソフトウェアが搭載された画像照合装置は、取得手段、検出手段、追跡手段、フレーム選択手段、照合手段、及び出力手段を備える。前記取得手段は、撮像装置から照合対象画像を連続して取得する。前記検出手段は、前記照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出する。前記追跡手段は、前記照合対象の検出結果に基づき所定照合対象を追跡する、もしくは照合対象を含むフレームの集合を抽出する。前記フレーム選択手段は、前記所定照合対象を含む複数の所定フレームのうちの基準に適合する適合フレームの数に応じて、前記複数の所定フレームから１以上の照合用フレームを動的に選択する。前記照合手段は、データベースに登録された登録画像と前記照合用フレームに含まれる所定照合対象画像とを、１対１もしくは１対複数で照合する。前記出力手段は、照合結果を出力する。

図１は、第１の実施形態に係る画像照合システムの一例を示す構成図である。 図２は、第１の実施形態に係るフレーム選択の一例を示す図である。 図３は、第１の実施形態に係る画像照合システムによる照合処理の一例を示すフローチャートである。 図４は、第２の実施形態に係る画像照合システムの一例を示す構成図である。 図５は、第２の実施形態に係るパラメータ設定画面の一例を示す図である。 図６は、第３の実施形態に係る画像照合システムの一例を示す構成図である。 図７は、第４の実施形態に係る画像照合システムの一例を示す構成図である。

以下に第１の実施形態について図面を参照して説明する。
図１は、第１の実施形態に係る画像照合システムの一例を示す構成図である。
本実施形態では、所定照合対象を含む複数（Ｎ個）の所定フレームのうちの照合の基準に適合する適合フレームの数に応じて、複数の所定フレームから１以上の照合用フレームを動的に選択する。例えば、適合フレームの数が規定数（ｎ個、ｎ≦Ｎ）以上の場合に複数の所定フレームから照合用フレームを第１の選択手法（選択手法Ｓ１）で選択し、適合フレームの数が規定数未満の場合に複数の所定フレームから照合用フレームを第２の選択手法（選択手法Ｓ２）で選択する。例えば、選択手法Ｓ１により、規定数以下の第１の所定数（ｍ１個、ｍ１≦ｎ）の適合フレームを照合用フレームとして選択する。選択手法Ｓ２により、第２の所定数（ｍ２個、ｍ２≦Ｎ）のフレームを照合用フレームとして選択する。

本実施形態では、一例として、検出対象を人物の顔とし、顔の画像を用いて登録された人物（＝本人）を照合するシステムについて説明する。なお、検出対象は、人物又は動物等の移動物体の一部又は全体、或いは車両、航空機、又はドローン等の人工の移動物体の一部又は全部であってもよい。

図１に示すように、第１の実施形態に係る画像照合システムは、登録装置１００、入力装置２００、及び画像照合装置３００を備える。登録装置１００は、１又は複数のコンピュータにより構成することができ、登録部１１１及び登録画像データベース１１２を備える。入力装置２００は、画像入力部（撮像装置）２０１を備える。画像照合装置３００は、１又は複数のコンピュータにより構成することができ、プロセッサ３０１、メインメモリ３０２、補助記憶装置３０３、インタフェース３０４、３０５を備える。言い換えれば、画像照合装置３００は、コンピュータにソフトウェアが搭載された装置である。

プロセッサ３０１は、画像照合処理に必要な演算及び制御などの処理を行う。プロセッサ３０１は、メインメモリ３０２及び補助記憶装置３０３の少なくとも一方に記憶されたシステムソフトウェア、アプリケーションソフトウェア又はファームウェアなどのプログラムに基づいて、各種の機能を実現するべく制御を実行する。プロセッサ３０１は、例えば、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）、又はＤＳＰ（digital signal processor）である。あるいは、プロセッサ３０１は、これらのうちの複数を組み合わせたものである。

メインメモリ３０２は、コンピュータ可読記憶媒体であり、専らデータの読み出しに用いられる不揮発性メモリ（非一時的記憶媒体）、及びデータの読み書きに用いられる揮発性メモリを含む。不揮発性メモリは、プログラムメモリとしての役割を担い、プロセッサ３０１が各種の処理を行う上で使用するプログラム、データ、又は各種の設定値などの一部又は全部を記憶する。揮発性メモリは、ワークメモリとしての役割を担い、プロセッサ３０１が各種の処理を行う上で一時的に使用するデータを記憶する。

補助記憶装置３０３は、コンピュータ可読記憶媒体であり、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）（登録商標）、ＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）などの非一時的記憶媒体である。補助記憶装置３０３は、プロセッサ３０１が各種の処理を行う上で使用するプログラム、データ、又は各種の設定値などの一部又は全部を記憶する。

インタフェース３０４は、取得部（取得手段）として機能し、画像入力部２０１からの入力画像を連続して取得し、プロセッサ３０１へ出力する。インタフェース３０５は、出力部として機能し、照合結果等をディスプレイ等の外部装置へ出力する。

さらに、プロセッサ３０１について説明する。プロセッサ３０１は、検出部（検出手段）３０１１、追跡部（追跡手段）３０１２、フレーム選択部（フレーム選択手段）３０１３、及び照合部（照合手段）３０１４等を備える。検出部３０１１は、入力画像を照合対象画像とし、照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出する。追跡部３０１２は、照合対象の検出結果に基づき所定照合対象を追跡する、もしくは照合対象を含むフレームの集合を抽出する。フレーム選択部３０１３は、所定照合対象を含む複数（Ｎ個）の所定フレーム（即ち追跡フレーム集合）のうちの照合の基準に適合する適合フレームの数に応じて、追跡フレーム集合から１以上の照合用フレームを動的に選択する。例えば、フレーム選択部３０１３は、追跡フレーム集合から顔照合の基準に適合する適合フレームを選択する。フレーム選択部３０１３は、適合フレームの数が規定数（ｎ個）以上の場合に、追跡フレーム集合から照合用フレームを選択手法Ｓ１で選択し、適合フレームの数が規定数未満の場合に追跡フレーム集合から照合用フレームを選択手法Ｓ２で選択する。照合部３０１４は、データベースに登録された登録画像（又はその特徴情報）と照合用フレームに含まれる所定照合対象画像（又はその特徴情報）とを、１対１もしくは１対複数で照合する。

以下に、より詳細な説明を補足する。
画像入力部２０１は、１箇所又は複数箇所に設置可能であり、撮影対象人物の人物画像を入力するものであり、例えばＩＴＶカメラからなる。ＩＴＶカメラは、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化し、画像データとして出力する。なお、検索対象となるものは結果的にデジタルの人物画像データとなればよい。よって、画像入力部２０１は、デジタルスチルカメラで撮影された画像ファイル又は動画ファイルを媒体経由で取り込むためのインタフェースであってもよい。なお、画像入力部２０１と共に、本人確認に用いるＩＤ（Identification）情報を入力する装置を併設してもかまわない。例えばＩＣカードリーダやＱＲコード（登録商標）リーダ、磁気情報の読み取り装置など、各種媒体から記録された情報を読み取れればどのような装置でもかまわない。これら装置から通行者に関する付属情報を読み取ることで照合処理に利用することが可能である。

検出部３０１１は、画像入力部１０１からの入力画像から対象物の顔画像を検出する。顔検出は、例えば多数の顔の矩形領域の平均画像を顔テンプレートとして作成しておき、画像入力部２０１からの入力画像上において顔テンプレートを平行移動、回転、拡大縮小しながら走査し、顔テンプレートとの輝度値の差分が最も小さい位置を顔の検出領域とする方法で実現可能である。

追跡部３０１２は、検出された対象物の顔画像をフレーム間で追跡する。検出された同一人物の顔画像が複数のフレームにわたって連続して映っていることが想定されるため、それらを同一人物として対応付けできるように人物の顔画像の追跡処理を行う。この実現手段としてはオプティカルフローを使ってあるフレームから検出した顔画像が次のフレームでどの位置にいるか対応付けする手法や、特開２０１１−１７０７１１号公報に開示された技術を利用する方法がある。後述の顔特徴抽出手段では同一人物として対応付けられた複数フレームの顔領域の画像の中から、検索をするのに適切な少なくとも１枚の画像を選択する方法や、最大で検出されたフレーム数の任意の枚数の画像を利用する方法がある。

フレーム選択部３０１３は、検出部１０２および追跡部３０１２において、同一人物として対応付けられた追跡フレーム集合（Ｎ個のフレーム）の中から、照合部３０１４で利用するｎ個（１≦ｎ≦Ｎ）のフレームを選択して出力する。

フレーム選択部３０１３は、まずＮ個のフレームに対して照合の基準に適合するかどうかを判定する指標に基づき、ｎ個のフレームを選択する。以下、指標の一例を示す。
・対象物のサイズ（解像度）
・対象物の確からしさのスコア
・対象物の画像領域内の輝度分布
・対象物の画像領域内の位置
・対象物の向き
本実施形態における対象物のサイズ（解像度）としては、検出部３０１１で対象となる顔を検出したときの領域が矩形領域として求められるため、横方向の画素数を指標とすればよい。また、縦方向の画素数を指標としてもよいし、縦方向の画素数と横方向の画素数をかけた面積を指標としてもよい。

対象物の確からしさのスコアとしては、検出部３０１１で検出した際のテンプレートとの一致性を示すスコアをそのまま用いることが可能である。

対象物の画像領域内の輝度分布としては、一般的に顔画像のコントラストが大きいことや偏りがないことなどが望ましいといわれているため、顔領域内の輝度値の分散値、標準偏差を用いる。また、所定以上の輝度値（白とび）の画素数や所定以下の輝度値（黒つぶれ）のように明るすぎたり暗すぎたりする画素の数や割合を指標として用いることも可能である。所定以上又は所定以下の輝度値の割合が低いほど指標は高くなる。よって割合を逆数に換算する、又は１から割合を引いた値に換算する。

対象物の画像領域内の位置としては、入力画像の上下左右端に近づくとレンズのゆがみなどにより画質が低下することや、顔画像の一部または顔周辺の画像が領域外となり情報が欠落することがあるため、画像の中央にいくほど高いスコアとなるように中央の座標からの距離を指標とすることも可能である（この場合も中央の座標からの距離が近く値が小さいほど良い指標となるように逆数を採用することが可能である）。

対象物の向きとしては、特開２００７−４７６７号公報に開示された技術を利用することにより対象物の向きを検出することができ、正面向きに近いほど高い指標を示すものとする。なお、このように計算式で求める手法以外に、特開２０１９−５７８１５号公報を用いて対象者の複数の画像の相関や他人との違いを学習させて照合に適切な画像を求めることも可能である。

フレーム選択部３０１３は、各フレームの少なくとも１つの指標に基づき各フレームが照合の基準に適合するか否かを評価する。複数の指標を用いる場合には、フレーム選択部３０１３は、それぞれの指標に所定の係数をかけて足し算した重み付け平均値を指標として各フレームが照合の基準に適合するか否かを評価するようにしてもよい。また、フレーム選択部３０１３は、各フレームのそれぞれの指標に着目し、それぞれの指標の高いフレームを所定の割合で抽出し、抽出されたフレームの複数の指標に着目して照合の基準に適合する適合フレームを絞り込む。或いは、フレーム選択部３０１３は、各フレームのそれぞれの指標にしきい値を設定して、しきい値以上となるフレームを適合フレームとして絞り込む。また指標ごとに判断基準を切り替えてもよく、フレーム選択部３０１３は、１つ目の指標で所定のしきい値以上となるフレームに絞り込みをしたのち、２つ目の指標の高い順にフレームをさらに絞り込み、適合フレームを選出するようにしてもよい。

フレーム選択部３０１３は、照合の基準を満たすフレームの中から、ｎ個のフレームを選択する。例えば、フレーム選択部３０１３は、指標が高い順にｎ個のフレームを選択する。或いは、フレーム選択部３０１３は、それぞれの指標が事前に設定した基準値以上であるか否かに応じてｎ個のフレームを選択するようにしてもよい。なお、選択されるフレーム数がｎ個未満になることもある。

図２は、第１の実施形態に係るフレーム選択の一例を示す図である。
例えば、追跡部３０１２は、所定照合対象を追跡し、所定照合対象を含む複数（Ｎ個）の所定フレームを特定する。図２に示すように、所定照合対象を含む６個のフレームＦ１〜Ｆ６が特定されたと仮定する。また、指標としては、「顔の確からしさのスコア（顔スコア）」、「顔のサイズ」、及び「顔の向き」の３つの指標の利用を想定する。

フレーム選択部３０１３は、それぞれの指標のしきい値に基づき、フレームを選択する。顔のサイズが小さく、顔のサイズの指標がしきい値未満のフレームＦ１は照合の基準に適合せず、顔の向きが横を向いているため、顔の向きの指標がしきい値未満のフレームＦ３、Ｆ４も照合の基準に適合せず、全ての指標がしきい値以上の３つのフレームＦ２、Ｆ５、Ｆ６は照合の基準に適合する。

適合フレームの数が規定数以上の場合、例えば、適合フレームの数が３で規定数が２であれば、フレーム選択部３０１３は、照合の基準に適合する３つのフレームＦ２、Ｆ５、Ｆ６の中から顔スコアが高い順に２つのフレームを選択する（選択手法Ｓ１−１）。或いは、フレーム選択部３０１３は、３つの指標のそれぞれに係数をかけて、指標の合計値に基づき基準に適合する３つのフレームから２つのフレームを選択するようにしてもよい（選択手法Ｓ１−２）。

一方、適合フレームの数が規定数未満の場合、例えば、適合フレームの数が３で、規定数が４の場合、フレーム選択部３０１３は、照合対象の顔を含む複数（Ｎ個）の所定フレームをそのまま照合用フレームとして選択する（選択手法Ｓ２−１）。これにより、照合に適合するフレームが不足している場合に、情報量を増やして照合精度を高めることができる。

或いは、フレーム選択部３０１３は、上記３つの指標に対して指定された優先度に基づき、優先度の低い指標で除外されたフレームを優先的に選択し（選択手法Ｓ２−２）、フレーム数の不足を補う。不足するフレーム数を補ってもよいし、不足するフレーム数より多いフレーム数を補ってもよい。照合時間を優先する場合は、不足するフレーム数を補う。照合精度を優先する場合は、不足するフレーム数より多いフレーム数を補う。例えば、フレーム選択部３０１３は、適合フレームの選択に加えて、照合の基準に適合していないフレームのうち優先度の低い指標で除外されたフレームを優先的に選択する。これにより、指標の重みに応じた情報の追加が可能となり、より効果的に照合精度を高めることができる。

或いは、フレーム選択部３０１３は、照合対象の顔を含む複数（Ｎ個）の所定フレームから一定間隔で抽出される抽出フレームを照合用フレームとして選択する（選択手法Ｓ２−３）。照合時間を優先する場合は一定間隔を第１の間隔に設定し、照合精度を優先する場合は一定間隔を第２の間隔（第１の間隔＜第２の間隔）に設定する。さらに、フレーム選択部３０１３は、適合フレームの選択に加えて、一定間隔で抽出されるフレームを選択するようにしてもよい。図２のケースでは、適合フレームＦ２、Ｆ５、Ｆ６の選択に加えて、一定間隔で抽出されるフレームＦ１、Ｆ３、Ｆ５のいくつかを選択するようにしてもよい。例えば、照合時間を優先する場合は、適合フレームＦ２、Ｆ５、Ｆ６と抽出されたフレームＦ１又はＦ３とを合わせた４個（＝規定数ｎ）のフレームを選択する。照合精度を優先する場合は、適合フレームＦ２、Ｆ５、Ｆ６と抽出されたフレームＦ１及びＦ３とを合わせた５個（＞規定数ｎ）のフレームを選択する。これにより、情報の追加が可能となり、より効果的に照合精度を高めることができる。

或いは、フレーム選択部３０１３は、照合対象の顔を含む複数（Ｎ個）の所定フレームから時刻に基づき抽出されるフレームを選択するようにしてもよい（選択手法Ｓ２−４）。さらに、フレーム選択部３０１３は、適合フレームの選択に加えて、時刻に基づき抽出されるフレームを選択するようにしてもよい。これにより、情報の追加が可能となり、より効果的に照合精度を高めることができる。

例えば、時刻に基づき新しい上位所定数（＝規定数ｎ）のフレームを抽出し、抽出されるフレームを選択する（選択手法Ｓ２−４１）。図２のケースでは、フレームＦ１の時刻が最も古く、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６の順に時刻が新しくなるとする。このケースでは、フレーム選択部３０１３は、フレームＦ３、Ｆ４、Ｆ５、Ｆ６を選択する。また、適合フレームＦ２、Ｆ５、Ｆ６の選択に加えて、規定数に不足するフレームを時刻に基づく新しいフレームＦ３、Ｆ４、Ｆ５、Ｆ６から補うようにしてもよい。例えば、フレーム選択部３０１３は、適合フレームＦ２、Ｆ５、Ｆ６と、時刻に基づく最も新しいフレームＦ４を選択する。

或いは、時刻に基づき古い上位所定数（＝規定数ｎ）のフレームを抽出し、抽出されるフレームを選択する（選択手法Ｓ２−４２）。図２のケースでは、フレームＦ１、Ｆ２、Ｆ３、Ｆ４が選択される。また、適合フレームＦ２、Ｆ５、Ｆ６の選択に加えて、時刻に基づく古いフレームＦ１、Ｆ２、Ｆ３、Ｆ４のうちの最も古いフレームＦ１を選択するようにしてもよい。

或いは、フレーム選択部３０１３は、適合フレームの数が規定数未満の場合に複数の所定フレームのフレーム間の変化量に基づきフレーム群にグループ分けし、各フレーム群から代表的な顔の画像を含むフレームを抽出し、抽出フレームを照合用フレームとして選択する（選択手法Ｓ２−５）。例えば、フレーム選択部３０１３は、顔の画像が類似しているグループにクラスタリングし、各グループから代表画像を選択する。例えば、顔の画像同士の全組み合わせで顔の類似度（照合部３０１４の照合処理と同等の処理）をもとめ、ｋ−ｍｅａｎクラスタリングを行ってグループ分けする。クラスタリングに利用する指標は、顔の画像間の相関値でもよいし、フレーム選択で利用している指標を用いてもよい。フレーム選択部３０１３は、クラスタリングを行った後、各グループの代表画像を選択する。代表画像の選択方法としては、各グループの一番平均的な画像を選択してもよいし、単純に時間的に古い順又は新しい順で画像を選択してもよい。

登録部１１１は、スキャナ又はカメラである。スキャナは、登録用の顔画像（例えば写真などの静止画）をスキャンし、取得した登録画像から顔の特徴情報を抽出し、登録画像及びその特徴情報を登録画像データベース１１２へ登録する。又は、カメラは、登録用の顔画像（動画）を撮影し、取得した登録画像から顔の特徴情報を抽出し、登録画像及びその特徴情報を登録画像データベース１１２へ登録する。顔の特徴情報の抽出は、照合部３０１４で画像から顔の特徴情報を抽出する手法と同様である。なお、登録部１１１は、顔画像ファイルを媒体経由で取り込むためのインタフェースであってもよい。

登録画像データベース１１２は、照合部３０１４で類似性指標を計算するときに利用するデータベースであり、検索対象となる個人ごと顔の特徴情報を記憶する。また、登録画像データベース１１２は、利用者等に向けて照合結果を分かり易くするために、顔の特徴情報に対応付けて、ＩＤ情報、顔画像、名前、性別、年齢、及び身長など該当する人物に関する属性情報を記憶する。顔の特徴情報は、顔特徴抽出処理で抽出されたデータそのものでもよいし、ｍ×ｎの特徴ベクトル、又は部分空間やＫＬ展開を行う直前の相関行列でもよい。

照合部３０１４は、フレーム選択部３０１３で選択された照合用フレームに含まれる所定照合対象画像の特徴情報と、登録画像データベース１１２に登録された登録画像の特徴情報とを照合する。画像入力部２０１で１枚又は複数枚のＩＣカード等が利用される場合には、照合部３０１４は、画像入力部２０１の撮影により得られた入力画像から選択された照合用フレームに含まれる所定照合対象画像と、ＩＣカードから得られた情報に対応付けられた人物の登録画像とを照合する。ＩＣカード等の利用が無い場合には、照合部３０１４は、画像入力部２０１の撮影により得られた入力画像から選択された照合用フレームに含まれる所定照合対象画像と、登録画像データベース１１２に登録された全ての登録画像とを照合する。

照合部３０１４、本人の確からしさを示す類似度を含む照合結果を生成する。例えば、照合部３０１４、類似度の高い順にソートされた照合結果を生成する。照合部３０１４は、登録画像データベース１１２に記憶されているＩＤ情報及び顔画像などの属性情報に対応付けて照合結果を生成してもよい。顔の類似性を求める処理としては、特開２００７−４７６７号公報に開示された技術を利用してもよい。これにより、１枚の人物画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することにより顔特徴情報をもとめ照合をすることで実現できる。また、同一人物の複数のフレームを複数の画像を利用した動画像による計算をする文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７））に開示された技術を利用してもよい。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とすることで実現が可能となる。この場合、類似性指標としては顔特徴情報として管理されている部分空間同士の類似度とする。また類似度以外の類似性指標としては特徴空間上での距離やマハラノビス距離といったものも利用可能である。距離を利用した場合には数値が大きいほど類似性が低くなるため、しきい値との比較方法としてはしきい値より小さければ小さいほど登録された人物との類似性が高いことを示す。

なお、本実施形態では顔の特徴を使った照合手法を用いているが、顔以外にも映像により得られる特徴を使った照合では、いずれも本実施形態の適用が可能であり、顔照合以外にもカメラを近赤外にかえることによって目の虹彩や網膜情報を使った照合、手や顔などの静脈をつかった照合も可能であり、通常のカメラでも人物全身の外見の特徴（服装の特徴や保有物など）をつかった全身像による照合、または歩容や所定の動作をつかった行動による照合技術を本実施形態で適用するようにしてもよい。これらの手法は以下の文献情報をもとに実現が可能である。

＜文献情報＞
・平成１９年度，特許出願技術動向調査報告書，バイオメトリック照合の入力・認識（要約版），平成２０年４月，特許庁，インターネット
<URL:https://www.jpo.go.jp/resources/report/gidou-houkoku/tokkyo/document/index/vaio_youyaku.pdf>
・特許第３３０７９３６号公報、虹彩
・特開平１１−２１３１６４号公報、網膜
・特開２００６−０９９４９３号公報、静脈
・特開２００６−０１１９８８号公報、静脈
・特開２０１８−８２４０８号公報、全身
・戦略的創造研究推進事業，ＣＲＥＳＴ，研究領域，「共生社会に向けた人間調和型情報技術の構築」，研究課題，「歩容意図行動モデルに基づいた人物行動解析と心を写す情報環境の構築」，研究終了報告書，研究期間 平成２２年１０月〜平成２９年３月，研究代表者：八木 康史，（大阪大学、理事・副学長），インターネット
<URL:https://www.jst.go.jp/kisoken/crest/evaluation/s-houkoku/sh_h28/JST_1111071_10101452_2016_PER.pdf>

インタフェース３０５は、外部装置へ照合結果等を出力する。外部装置は、液晶ディスプレイ等の表示機器、通知或いは警報を出力するスピーカ、及びゲートの開閉により通行を制御する通行制御装置である。例えば、インタフェース３０５は、照合結果を含む表示情報を表示機器へ出力する。表示機器は、表示情報に基づき、照合の成否、画像入力部２０１で入力された画像、及び検出部３０１１で検出された照合対象（顔領域）を表示する。また、入力画像（顔画像）が登録画像データベース１１２に登録されている人物のうちのどの人物にどの程度類似しているかが分かるように、表示機器（監視用表示機器）は、表示情報に基づき、入力画像と、入力画像に類似する人物の画像及び入力画像に対する類似度とを並べて表示してもよい。

また、インタフェース３０５は、類似度に応じて警告音を示す音声信号をスピーカへ出力する。インタフェース３０５は、しきい値以上の類似度の照合結果が得られない場合、警告音を示す音声信号をスピーカへ出力する。スピーカは、音声信号に基づき警告音を出力する。

また、インタフェース３０５は、類似度に応じてゲートを開錠する開錠信号を通行制御装置へ出力する。インタフェース３０５は、しきい値以上の類似度の照合結果が得られる場合には開錠信号を出力し、しきい値以上の類似度の照合結果が得られない場合には開錠信号を出力しない。通行制御装置は、開錠信号を受信した場合、開錠信号に基づきゲートを開錠する。

以上により、照合に不向きな画像が入力される環境であっても、照合精度の低下を抑制することができ、照合結果に基づく入出場等の制御の信頼性向上を図ることができる。

図３は、第１の実施形態に係る画像照合システムによる照合処理の一例を示すフローチャートである。
画像入力部２０１は、入場又は出場の監視エリアを撮影し、撮影により得られた入力画像を出力する。画像照合装置３００のインタフェース３０４は、入力画像を照合対象画像として取得（ＳＴ１０１）。画像照合装置３００のプロセッサ３０１は、取得された照合対象画像に含まれる所定照合対象画像に対して、照合処理を実行する（ＳＴ１０２〜ＳＴ１０９）。

プロセッサ３０１は、メインメモリ３０２及び補助記憶装置３０３の少なくとも一方に記憶されるプログラムに基づき各種機能を実現し照合処理を実行する。例えば、検出部３０１１は、照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出する（ＳＴ１０２）。追跡部３０１２は、照合対象の検出結果に基づき、所定照合対象を追跡する（ＳＴ１０３）。追跡部３０１２による所定照合対象の追跡が完了すると（ＳＴ１０４、ＹＥＳ）、フレーム選択部３０１３は、所定照合対象を含む複数（Ｎ個）の所定フレームの指標を計算する（ＳＴ１０５）。フレーム選択部３０１３は、指標が基準値以上のフレームの数、つまり照合の基準に適合するフレームの数に応じて、複数の所定フレームから１以上の照合用フレームを動的に選択する。

照合の基準に適合するフレーム数がしきい値（＝規定数）以上（ＳＴ１０６、ＹＥＳ）であれば、フレーム選択部３０１３は、第１のフレーム選択処理（フレーム選択方式Ｓ１）に基づき照合用フレームを選択し（ＳＴ１０７）、照合部３０１４は、登録画像データベース１１２に登録された登録画像の特徴情報と照合用フレームに含まれる所定照合対象画像の特徴情報とを照合する（ＳＴ１０９）。インタフェース３０５は、照合部３０１４からの照合結果を外部装置へ出力する（ＳＴ１１０）。

照合の基準に適合するフレーム数がしきい値（＝規定数）未満（ＳＴ１０６、ＮＯ）であれば、フレーム選択部３０１３は、第２のフレーム選択処理（フレーム選択方式Ｓ２）に基づき照合用フレームを選択し（ＳＴ１０８）、照合部３０１４は、登録画像データベース１１２に登録された登録画像の特徴情報と照合用フレームに含まれる所定照合対象画像の特徴情報とを照合する（ＳＴ１０９）。インタフェース３０５は、照合部３０１４からの照合結果を外部装置へ出力する（ＳＴ１１０）。

以下に第２の実施形態について図４を参照して説明する。
図４は、第２の実施形態に係る画像照合システムの一例を示す構成図である。第１の実施形態に係る画像照合システムと第２の実施形態に係る画像照合システムとの主な相違点は、第２の実施形態に係る画像照合システムが、インタフェース３０６を備える点である。第１の実施に係る画像照合システムと第２の実施形態に係る画像照合システムにおいて、共通する構成には同一の参照符号を付し、説明を適宜省略する。

インタフェース３０６は、フレーム選択部３０１３及び照合部３０１４の処理のパラメータの設定を受け付け、受け付けた設定をフレーム選択部３０１３及び照合部３０１４へ入力する。例えば、インタフェース３０６は、表示装置及び入力装置と接続し、表示装置にパラメータ設定画面を出力し、入力装置で入力されるパラメータをパラメータ設定画面で受け付ける。これにより、照合処理時間や照合精度にかかわるパラメータが外部から調整できる。例えば、インタフェース３０６を介して、管理者や保守員パラメータを調整することができる。

図５は、第２の実施形態に係るパラメータ設定画面の一例を示す図である。
図５に示すように、パラメータ設定画面は、ゲート別の顔照合のパラメータ（「認証しきい値」と表記）を設定する設定部を有する。この設定部では、０〜１の値が設定できる。値はスライダバーで調整する方法や値を直接入力する方法などいずれでもよい。

また、パラメータ設定画面は、フレーム選択に関するパラメータを設定する設定部を有する。この設定部では、所定照合対象を含む所定フレームの数（Ｎ個）の設定を受け付ける。例えば、図５に示すように、５個（５フレーム）が設定される。なお、所定フレームの数に限らず、全フレーム中における所定フレームの割合を設定するようにしてもよい。

また、この設定部では、選択手法Ｓ１（フレーム選択モード１）と選択手法Ｓ２（フレーム選択モード２）のそれぞれについてもパラメータを受け付ける。適合フレームの数が規定数以上の場合にはフレーム選択モード１、適合フレームの数が規定数未満の場合はフレーム選択モード２が実行される。フレーム選択モード１及びフレーム選択モード２に関するパラメータが設定される。フレーム選択モード１及びフレーム選択モード２のフレーム選択手法が設定される。フレーム選択手法としては、「ベスト順（指標が高い順）」、「間引き」、「時間的に新しい順」、「時間的に古い順」、「クラスタリング」、及び「学習自動選定」から選択できる。また、フレーム選択モード１で出力されるフレーム数、及びフレーム選択モード２で出力されるフレーム数についても設定可能とする。

例えば全体の入力フレームが１０フレーム、適合フレームが７フレームの場合は、設定されたしきい値の５より大きいためフレーム選択モード１が選ばれ、７フレームの中で照合に適切である指標の高い順に３フレームが出力される。一方、適合フレームが２フレームしかない場合にはモード２が選ばれ、１０フレームを均等間引きして３フレームが選択出力される。

設定画面では、ほかにシステムとして必要な設定パラメータの項目を増やしてもよい。ほかにもネットワークを通じて携帯端末から設定できるようにしてもよいし、設定ファイルに書き込むことでシステムに反映させる方法でもよいことは明確である。

以下に第３の実施形態について図６を参照して説明する。
図６は、第３の実施形態に係る画像照合システムの一例を示す構成図である。第１の実施に係る画像照合システムと第２の実施形態に係る画像照合システムにおいて、共通する構成には同一の参照符号を付し、説明を適宜省略する。第１の実施形態及び第２の実施形態では、事前に、通行者登録画像データベース１１２１に登録画像が登録されることを想定したが、第３の実施形態は、入出場ゲートなどの通行時に撮影される撮影画像から登録画像を登録し、複数地点で撮影される撮影画像を利用して同一人物であるか対応付けを行う。例えば、所定エリアへの入場時の顔画像を登録しておき、入場時の顔画像と出場時の顔画像とを対応付けて、どの人物が入場し出場したかを管理することが可能になる。さらに、入場した人物とは別の人物が出場したことのチェックも可能となる。

そのため、第３の実施形態では、複数の通行ゲート、例えば通行ゲートＧ１（入場）及び通行ゲートＧ２（出場）を想定する。図６に示すように、第３の実施形態に係る画像照合システムは、登録装置１００、通行ゲートＧ１に対応して設けられる入力装置２１０、通行ゲートＧ２に対応して設けられる入力装置２２０、及び画像照合装置３００を備える。

登録装置１００は、１又は複数のコンピュータにより構成することができ、プロセッサ１０１、メインメモリ１０２、補助記憶装置１０３、インタフェース１０４、インタフェース１０５、及び通行者登録画像データベース１１２１を備える。プロセッサ１０１は、検出部１０１１、追跡部１０１２、フレーム選択部１０１３、及び登録部１０１４等を備える。入力装置２１０は、画像入力部（撮像装置）２１１を備える。入力装置２２０は、画像入力部（撮像装置）２２１を備える。画像照合装置３００は、１又は複数のコンピュータにより構成することができ、プロセッサ３０１、メインメモリ３０２、補助記憶装置３０３、インタフェース３０４、３０５、３０６を備える。

登録装置１００は、入力装置２１０からの撮影画像に含まれる登録対象画像を登録する。本実施形態では、双方向に通行可能なゲートではなく、エリア内に入る方向と出る方向の専用ゲートである通行ゲートＧ１及び通行ゲートＧ２を想定する。なお、画像入力部２１１及び２２１を逆向きに２つ設置することで双方向に通行可能なゲートにも適用可能である。

入力装置２１０の画像入力部２１１は、入場者を対象とする通行ゲートＧ１の通行エリアを撮影し、撮影画像を出力する。登録装置１００のインタフェース１０４は、撮影画像を取得し、検出部１０１１は、撮影画像から登録対象を検出する。追跡部１０１２は、検出された登録対象をフレーム間で対応付けて追跡する。フレーム選択部１０１３は、登録対象を含む複数の所定フレーム（即ち追跡フレーム集合）から顔照合に適合する適合フレームを選択する。登録部１０１４は、選択されたフレームを通行者登録画像データベース１１２１に登録する。インタフェース１０５は、表示装置に対して通行時の情報として登録結果等を示す表示情報を出力し、また、通行制御装置に対して登録結果に応じて開錠信号等を出力する。

入力装置２２０の画像入力部２２１は、出場者を対象とする通行ゲートＧ２の通行エリアを撮影し、撮影画像を出力する。画像照合装置２００のインタフェース３０４は、撮影画像を取得し、検出部３０１１は、撮影画像から所定照合対象を検出する。追跡部３０１２は、検出された所定照合対象をフレーム間で対応付けて追跡する。フレーム選択部３０１３は、所定照合対象を含む複数の所定フレーム（即ち追跡フレーム集合）から顔照合に適合する適合フレームを選択する。フレーム選択部３０１３は、所定照合対象を含む複数の所定フレームのうちの適合フレームの数に応じて、追跡フレーム集合から１以上の照合用フレームを動的に選択する。照合部３０１４は、フレーム選択部３０１３で選択された照合用フレームに含まれる所定照合対象画像の特徴情報と、通行者登録画像データベース１１２１に登録された登録画像の特徴情報とを照合する。インタフェース３０５は、外部装置へ照合結果等を出力する。また、インタフェース３０６は、フレーム選択部３０１３及び照合部３０１４の処理のパラメータの設定を受け付け、受け付けた設定をフレーム選択部３０１３及び照合部３０１４へ入力する。

なお、検出部１０１１は検出部３０１１と同等の処理を行い、追跡部１０１２は追跡部３０１２と同等の処理を行う。フレーム選択部１０１３は、登録対象を含む複数の所定フレーム（即ち追跡フレーム集合）の全てを選択してもよいし、顔照合に適合する適合フレームの全てを選択してもよい。或いは、フレーム選択部１０１３は、処理時間の短縮又は情報量の削減のため、登録対象を含む複数の所定フレームから一定数のフレームを間引きしてもよい。

登録部１０１４は、照合部３０１４と同様に、顔画像から顔の特徴情報を抽出し、その結果を通行者登録データベース１１２に出力する。

第３の実施形態により、特定エリアに出入りする人物を対応付けて管理することが可能となる。

以下に第４の実施形態について図７を参照して説明する。
図７は、第４の実施形態に係る画像照合システムの一例を示す構成図である。第３の実施形態に係る画像照合システムと第４の実施形態に係る画像照合システムとの主な相違点は、第４の実施形態に係る画像照合システムが、ＩＤ登録部（登録手段）１１３、ＩＤ情報データベース１１４、ＩＤ確認部１０１５、及びＩＤ確認部３０１５を備える点である。第３の実施に係る画像照合システムと第４の実施形態に係る画像照合システムにおいて、共通する構成には同一の参照符号を付し、説明を適宜省略する。

第４の実施形態では、入場時の顔画像と出場時の顔画像とを対応付けて、どの人物が入場して出場したかを管理するとともに、ＩＤ情報データベース１１４によりＩＤ情報を管理する。入場又は出場する人物にＩＤ情報を対応付けて人物の入出場を管理することが可能となる。

例えば、画像入力部２１１又は２２１が、顔画像の撮影と並行して、ＩＣカード等からＩＤ情報を読み取り、通行者登録画像データベース１１２１が顔の特徴情報及び属性情報を記憶し、ＩＤ情報データベース１１４がＩＤ情報を記憶する。通行者登録画像データベース１１２１に記憶される特徴情報及び属性情報と、ＩＤ情報データベース１１４に記憶されるＩＤ情報とは、管理識別情報等により関連付けられる。

或いは、ＩＤ登録部１１３が、登録用媒体からＩＤ情報及び顔の画像情報（特徴情報）を読み取り、ＩＤ情報及び顔の画像情報を関連付けて登録する。つまり、通行者登録画像データベース１１２１が顔の画像情報（特徴情報）を記憶し、ＩＤ情報データベース１１４がＩＤ情報を記憶する。通行者登録画像データベース１１２１に記憶される顔の画像情報（特徴情報）と、ＩＤ情報データベース１１４に記憶されるＩＤ情報とが、管理識別情報等により関連付けられる。

入力装置２１０の画像入力部２１１は、入場者を対象とする通行ゲートＧ１の通行エリアを撮影し、撮影画像を出力する。登録装置１００のインタフェース１０４は、撮影画像を取得し、検出部１０１１は、撮影画像から登録対象を検出する。追跡部１０１２は、検出された登録対象をフレーム間で対応付けて追跡する。フレーム選択部１０１３は、登録対象を含む複数の所定フレーム（即ち追跡フレーム集合）から顔照合に適合する適合フレームを選択する。登録部１０１４は、選択されたフレームを通行者登録画像データベース１１２１に登録する。インタフェース１０５は、表示装置に対して通行時の情報として登録結果等を示す表示情報を出力し、また、通行制御装置に対して登録結果に応じて開錠信号等を出力する。

また、入場時にＩＤ情報の読み取りを必要とする場合、例えば、画像入力部２１１は、ＩＤカード等からＩＤ情報を読み取り、ＩＤ情報データベース１１４は、読み取られたＩＤ情報を記憶する。また、ＩＤ確認部１０１５は、読み取ったＩＤ情報が、ＩＤ情報データベース１１４に記憶された登録済みのＩＤ情報であるか否かを確認し、インタフェース１０５は、ＩＤ情報の確認結果を出力する。

入力装置２２０の画像入力部２２１は、出場者を対象とする通行ゲートＧ２の通行エリアを撮影し、撮影画像を出力する。画像照合装置２００のインタフェース３０４は、撮影画像を取得し、検出部３０１１は、撮影画像から所定照合対象を検出する。追跡部３０１２は、検出された所定照合対象をフレーム間で対応付けて追跡する。フレーム選択部３０１３は、所定照合対象を含む複数の所定フレーム（即ち追跡フレーム集合）から顔照合に適合する適合フレームを選択する。フレーム選択部３０１３は、所定照合対象を含む複数の所定フレームのうちの適合フレームの数に応じて、追跡フレーム集合から１以上の照合用フレームを動的に選択する。照合部３０１４は、フレーム選択部３０１３で選択された照合用フレームに含まれる所定照合対象画像の特徴情報と、通行者登録画像データベース１１２１に登録された登録画像の特徴情報とを照合する。インタフェース３０５は、外部装置へ照合結果等を出力する。また、インタフェース３０６は、フレーム選択部３０１３及び照合部３０１４の処理のパラメータの設定を受け付け、受け付けた設定をフレーム選択部３０１３及び照合部３０１４へ入力する。

また、出場時にＩＤ情報の読み取りを必要とする場合、例えば、画像入力部２２１は、ＩＤカード等からＩＤ情報を読み取り、ＩＤ情報データベース１１４は、読み取られたＩＤ情報を記憶する。また、ＩＤ確認部３０１５は、読み取ったＩＤ情報が、ＩＤ情報データベース１１４に記憶された登録済みのＩＤ情報であるか否かを確認し、インタフェース３０５は、ＩＤ情報の確認結果を出力する。

ここで、ＩＤ情報に基づく人物特定について補足する。ＩＤ登録部１１３は、エリア内を通行する人物を特定するＩＤ情報を取得する。例えば、ＩＤ登録部１１３は、ＩＣカード、ＱＲコード、磁気カードなどの媒体を介してＩＤ情報を取得する。或いは、ＩＤ登録部１１３は、カメラで撮影した顔画像を取得、スキャナで読み取った顔画像を取得、顔画像ファイルを外部からメディアやネットワークで取得し、個人を特定できる情報を少なくとも１つ登録する。なお、ＩＤ登録部１１３は、照合部３０１４と同等の処理により顔画像から特徴情報を取得する。また、ＩＤ情報に対して、氏名、年齢、性別等の情報、及び課金のためのクレジットカード情報を関連付けて管理するようにしてもよい。

ＩＤ確認部１０１５は、画像入力部２１１から入力されたＩＤ情報を利用してＩＤ情報データベース４０７とマッチングして現在通行した人物が誰であるかを特定する。さらにＩＤ確認部１０１５は、登録部１０１４で得られた顔の特徴情報と、通行者登録画像データベース１１２１と照合して現在通行した人物が誰であるかを特定してもよい。通行者を特定することによってどの人物がどのエリアにいるかの情報をインタフェース１０５から出力したり、特定される通行者の通行履歴を管理し、特定される通行者に対して課金したりすることも可能である。

同様に、ＩＤ確認部３０１５は、画像入力部２２１から入力されたＩＤ情報を利用してＩＤ情報データベース４０７とマッチングして現在通行した人物が誰であるかを特定する。さらにＩＤ確認部３０１５は、照合部３０１４で得られた顔の特徴情報と、通行者登録画像データベース１１２１と照合して現在通行した人物が誰であるかを特定してもよい。

上記説明した各実施形態による照合処理は以下の通りであり、各実施形態によれば、基準を満たすフレームが得られない場合、又は基準を満たすフレームが不足する場合に、照合精度の低下を防止することができる画像照合装置、画像照合システム、及び画像照合方法を提供することができる。

各実施形態に係る画像照合システムは、入力されたＮフレームの中で所定の条件を満たす適合フレームがｎ（ｎ≦Ｎ）フレーム以上存在する場合には、その中のｍ１フレーム（ｍ１≦ｎ）を顔照合に利用するフレームとして選択する。

また、画像照合システムは、入力されたＮフレームの中で所定の条件を満たす適合フレームがｎ（ｎ≦Ｎ）フレーム未満であった場合には、Ｎフレーム全て、またはｍ２フレーム（ｍ２≦Ｎ）を顔照合に利用するフレームとして選択する。
所定の条件とは、顔のサイズ（解像度）、顔の確からしさのスコア、顔の輝度分布、画像内の顔の位置、顔の向き、照合スコアで学習した照合最適度指標の１つまたは複数を組み合わせて、判定される条件である。なお、照合最適度指標は、本人の画像同士の類似度が高い画像がベストショット選択されるようなベストショット評価式の自動学習である。

即ち、各実施形態に係る画像照合システムは、映像中の顔を追跡して得られた複数フレームの顔画像を用いた顔照合おいて、各フレームに対して顔照合に適合するか否かの度合いを示すスコア付け（高いほど適合に近づく）を行い、以下の要領で照合に使用するフレーム選別する。

１）スコアが所定の基準より高いフレームがある場合は、所定の基準をもとにスコアの低いフレームを除き、残ったフレームを利用し照合する。

２）スコアが所定の基準より高いフレームが存在しない場合には、１）と異なる手法でフレームを選別する。例えば、基準より低いフレームであっても大多数または全フレームを照合に使用する。

これによって、良好な画像が撮影しにくい環境や被写体の場合でも照合に利用できる画像を増やすことにより照合精度を確保することが可能となる。また登録時と照合時の画像が両方環境の悪い場合などにも精度を確保しやすくなる効果がある。

本実施形態の応用先として、セキュリティエリア又は建物などへの入退室管理装置、出入国管理装置、公共交通機関の入退場ゲート（改札）、所定の人物しか利用できない機器のアクセス制御などがある。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…登録装置
１０１…画像入力部
１０１…プロセッサ
１０２…検出部
１０２…メインメモリ
１０３…補助記憶装置
１０４…インタフェース
１０５…インタフェース
１１１…登録部
１１２…登録画像データベース
１１３…ＩＤ登録部
１１４…情報データベース
２００…画像照合装置
２００…入力装置
２０１…画像入力部
２１０…対応して設けられる入力装置
２１０…入力装置
２１１…画像入力部
２２０…対応して設けられる入力装置
２２０…入力装置
２２１…画像入力部
３００…画像照合装置
３００…及び画像照合装置
３０１…プロセッサ
３０２…メインメモリ
３０３…補助記憶装置
３０３…及び補助記憶装置
３０４…インタフェース
３０５…インタフェース
３０６…インタフェース
４０７…情報データベース
１０１１…検出部
１０１２…追跡部
１０１３…フレーム選択部
１０１４…登録部
１０１５…ＩＤ確認部
１１２１…通行者登録画像データベース
３０１１…検出部
３０１２…追跡部
３０１３…フレーム選択部
３０１４…照合部
３０１５…ＩＤ確認部

Claims (15)

1. コンピュータにソフトウェアが搭載された画像照合装置であって、この画像照合装置は、
   撮像装置から照合対象画像を連続して取得する取得手段と、
   前記照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出する検出手段と、
   前記照合対象の検出結果に基づき所定照合対象を追跡する、もしくは照合対象を含むフレームの集合を抽出する追跡手段と、
   前記所定照合対象を含む複数の所定フレームのうちの基準に適合する適合フレームの数に応じて、前記複数の所定フレームから１以上の照合用フレームを動的に選択するフレーム選択手段と、
   データベースに登録された登録画像と前記照合用フレームに含まれる所定照合対象画像とを、１対１もしくは１対複数で照合する照合手段と、
   照合結果を出力する出力手段と、
   を備える画像照合装置。
2. 前記フレーム選択手段は、前記適合フレームの数が規定数以上の場合に前記複数の所定フレームから前記照合用フレームを第１の選択手法で選択し、前記適合フレームの数が規定数未満の場合に前記複数の所定フレームから前記照合用フレームを第２の選択手法で選択する、請求項１の画像照合装置。
3. 前記フレーム選択手段は、前記適合フレームの数が規定数以上の場合に前記規定数以下の前記適合フレームを前記照合用フレームとして選択する、請求項１又は２の画像照合装置。
4. 前記フレーム選択手段は、前記適合フレームの数が規定数未満の場合に前記複数の所定フレームを前記照合用フレームとして選択する、請求項１乃至３の何れか一つの画像照合装置。
5. 前記フレーム選択手段は、前記適合フレームの数が規定数未満の場合に前記複数の所定フレームから一定間隔で抽出される抽出フレームを前記照合用フレームとして選択する、請求項１乃至３の何れか一つの画像照合装置。
6. 前記フレーム選択手段は、前記適合フレームの数が規定数未満の場合に前記複数の所定フレームから時刻に基づき抽出される抽出フレームを前記照合用フレームとして選択する、請求項１乃至３の何れか一つの画像照合装置。
7. 前記フレーム選択手段は、時刻に基づき新しい又は古い上位所定数フレームを抽出する、請求項６の画像照合装置。
8. 前記フレーム選択手段は、前記適合フレームの数が規定数未満の場合に前記複数の所定フレームの変化量に基づきフレーム群にグループ分けし、各フレーム群から抽出される抽出フレームを前記照合用フレームとして選択する、請求項１乃至３の何れか一つの画像照合装置。
9. 前記フレーム選択手段は、前記照合対象のサイズ、確からしさのスコア、輝度分布、位置、向き、及び照合最適度指標のうちの少なくとも一つに基づき基準に適合すると判定された前記適合フレームの数に応じて、前記照合用フレームを動的に選択する、請求項１乃至８の何れか一つの画像照合装置。
10. 前記照合対象は、人物、動物、車両、航空機、又はドローンの一部又は全体像である、請求項１乃至９の何れか一つの画像照合装置。
11. 前記照合手段は、前記登録画像と前記所定照合対象画像とに基づき特定される人物の全身、顔、目、又は歩容を照合する、請求項１乃至１０の何れか一つの画像照合装置。
12. 請求項１乃至１１の何れか一つの画像照合装置と、
    静止画又は動画から前記登録画像を登録する登録装置と、
    動画から前記照合対象画像を入力する入力装置と、
    を備える、画像照合システム。
13. 請求項１乃至１１の何れか一つの画像照合装置と、
    入場ゲートに対応する通行エリアの撮影画像から前記登録画像を登録する登録装置と、
    出場ゲートに対応する通行エリアの撮影画像から前記照合対象画像を入力する入力装置と、
    を備える、画像照合システム。
14. 前記登録装置は、前記登録画像とＩＤ情報とを対応付けて登録する登録手段を備える、請求項１２又は１３の画像照合システム。
15. 照合対象画像を取得し、
    前記照合対象画像に含まれる複数の入力フレームから１以上の照合対象を検出し、
    前記照合対象の検出結果に基づき所定照合対象を追跡し、
    前記所定照合対象を含む複数の所定フレームのうちの基準に適合する適合フレームの数に応じて、前記複数の所定フレームから１以上の照合用フレームを動的に選択し、
    データベースに登録された登録画像と前記照合用フレームに含まれる所定照合対象画像とを照合し、
    照合結果を出力する、画像照合方法。

Images