JP2022136702A

JP2022136702A - 顔認証システムおよび顔認証方法

Info

Publication number: JP2022136702A
Application number: JP2021036432A
Authority: JP
Inventors: 真路青木; Masamichi Aoki
Original assignee: Fujita Corp
Current assignee: Fujita Corp
Priority date: 2021-03-08
Filing date: 2021-03-08
Publication date: 2022-09-21

Abstract

【課題】優先度に基づき、効率良く顔認証処理を実行することができる顔認証システムを提供すること。【解決手段】顔認証システムは、画像データから複数の顔画像データを抽出する顔画像データ抽出部と、複数の顔画像データの各々を複数の評価項目で評価することにより、複数の顔画像データの各々に対して複数の評価値を付与する顔画像データ評価部と、複数の評価値から第１の合計値および第２の合計値を算出し、第１の合計値および第２の合計値に基づいて複数の顔画像データの各々に優先度を付与する優先度決定部と、優先度に応じて顔画像データを登録顔画像データと照合する照合部と、を含む。【選択図】図１

Description

本発明の一実施形態は、顔認証システムおよび顔認証方法に関する。

従来より、歩行中の人物を撮影し、その人物の顔認証を行う、いわゆるウォークスルー型の顔認証システムを利用して、入場者に対して入場管理を行う方法が知られている（例えば、特許文献１参照。）。ウォークスルー型の顔認証システムは、歩行中の人物（入場者）が入場ゲートに到達するまでに認証処理を完了し、入場者に対して入場許可判定を行うことができる。そのため、ウォークスルー型の顔認証システムは、入場者への負担が少なく、利便性が高いと言える。

また、近年、インフルエンザウイルスまたはコロナウイルスなどの感染症の拡大を防止するため、人物の温度測定（体温測定）を行い、入場を管理する機会が増えている。例えば、特許文献２には、入場者の個人認証および温度測定を行う認証装置が記載されている。

特開２０１５－１７９０号公報特開２０１２－２１９５３９号公報

ウォークスルー型の顔認証システムでは、入場時または退場時に複数の人物が撮影される。撮影された映像に含まれる複数の人物の顔を検出し、それぞれに対して顔認証を行うこともできるが、顔認証を行う人数が増えることで演算量が増え、演算コストが増大する。また、ウォークスルー型の顔認証システムにおいて、顔認証後に温度測定が行われることが増えている。ウォークスルー型の顔認証システムを歩行している期間に対象人物の顔認証処理が完了しない場合、人物が歩みを止めることとなり、ウォークスルー型の顔認証システムのメリットが活かしきれない。そのため、ウォークスルー型の顔認証システムにおいては、顔認証処理に要する時間が削減されるなど、効率の良い顔認証処理が求められている。

また、顔認証において、顔の大きさで前後関係を判定し、優先順位を決定する方法がある。しかしながら、例えば、前に子供、後ろに大人の顔があった場合など、検出された人の顔の大きさが似たような場合においては、優先順位の判定が難しい場合がある。また、同じ作業着またはヘルメットなどを着用する人物の場合、抽出される特徴点が少なくなる。人物がマスクなどを装着していた場合はさらに抽出できる特徴が少ない。

本発明の一実施形態は、上記問題に鑑み、優先度に基づき、効率良く顔認証処理を実行することができる顔認証システムを提供することを目的の一つとする。また、本発明の一実施形態は、優先度に基づき、効率良く顔認証処理を実行することができる顔認証処理方法を提供することを目的の一つとする。

本発明の一実施形態に係る顔認証システムは、画像データから複数の顔画像データを抽出する顔画像データ抽出部と、複数の顔画像データの各々を複数の評価項目で評価することにより、複数の顔画像データの各々に対して複数の評価値を付与する顔画像データ評価部と、複数の評価値から第１の合計値および第２の合計値を算出し、第１の合計値および第２の合計値に基づいて複数の顔画像データの各々に優先度を付与する優先度決定部と、閾値以下の優先度を有する顔画像データを登録顔画像データと照合する照合部と、を含む。

優先度決定部は、第１の合計値を昇順にソートし、第１の合計値のソートを固定したまま第２の合計値を昇順にソートした複数の顔画像データに対して、順に値が大きくなるように優先度を付与してもよい。

本発明の一実施形態に係る顔認証方法は、画像データから複数の顔画像データを抽出し、複数の顔画像データの各々を複数の評価項目で評価することにより、複数の顔画像データの各々に対して複数の評価値を付与し、複数の評価値から第１の合計値および第２の合計値を算出し、第１の合計値および第２の合計値に基づいて複数の顔画像データの各々に優先度を付与し、閾値以下の優先度を有する顔画像データを登録顔画像データと照合する。

優先度の付与において、第１の合計値を昇順にソートし、第１の合計値のソートを固定したまま第２の合計値を昇順にソートし、ソートした複数の顔画像データに対して、順に値が大きくなるように優先度を付与してもよい。

第１の合計値は、複数の評価項目のうち、時間経過によって変化しにくい第１の分類に属する評価項目の評価値の合計であってもよい。第１の分類に属する評価項目は、顔画像データの中のマスクの検出またはコントラストを評価するものであってもよい。

第２の合計値は、複数の評価項目のうち、時間経過によって変化しやすい第２の分類に属する評価項目の評価値の合計であってもよい。第２の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものであってもよい。

本発明の一実施形態に係る顔認証システムは、画像データから抽出された顔画像データに対し、顔認証精度を考慮した優先度を付与し、顔認証処理の優先順位を決定する。そのため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。

本発明の一実施形態に係る顔認証システムの構成を説明する模式図である。本発明の一実施形態に係る顔認証システムの撮像装置によって生成された画像データを説明する模式図である。本発明の一実施形態に係る顔認証システムの構成を示すブロック図である。本発明の一実施形態に係る顔認証システムで実行される顔認証処理のフローチャート図である。本発明の一実施形態に係る顔認証システムで実行される顔画像データ評価処理のフローチャート図である。本発明の一実施形態に係る顔認証システムで実行される優先度決定処理のフローチャート図である。本発明の一実施形態に係る顔認証システムで実行される照合処理のフローチャート図である。本発明の一実施形態に係る顔認証システムで実行される顔認証処理のフローチャート図である。本発明の一実施形態に係る入退場管理システムの配置図である。本発明の一実施形態に係る入退場管理システムの構成を示すブロック図である。本発明の一実施形態に係る入退場管理システムにおける入場処理のフローチャート図である。本発明の一実施形態に係る入退場管理システムにおける入場処理のフローチャート図である。本発明の一実施形態に係る入退場管理システムにおける退場処理のフローチャート図である。本発明の一実施形態に係るユニットパネルの模式的な斜視図である。本発明の一実施形態に係るユニットパネルの模式的な平面図である。本発明の一実施形態に係るユニットハウスの外観を示す模式的な斜視図である。本発明の一実施形態に係るユニットハウスの内部構成を示す模式的な平面図である。

以下、本発明の各実施形態について、図面を参照しつつ説明する。なお、実施形態はあくまで一例にすぎず、当業者が、発明の主旨を保ちつつ適宜変更することによって容易に想到し得るものについても、当然に本発明の範囲に含まれる。また、図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、または形状などが模式的に表される場合がある。しかし、図示された形状などはあくまで一例であって、本発明の解釈を限定するものではない。

本明細書において、説明の便宜上、「上」もしくは「上方」または「下」もしくは「下方」という語句を用いて説明するが、これらの語句は各構成の上下関係を説明しているに過ぎない。例えば、構造物が設置される場合、構造物が通常設置される設置面側を「下」または「下方」とする。

本明細書において、各構成に付記される「第１」、「第２」、または「第３」などの文字は、各構成を区別するために用いられる便宜的な標識であり、特段の説明がない限り、それ以上の意味を有さない。

本明細書および図面において、同一または類似する複数の構成を総じて表記する際には同一の符号を用い、これらの複数の構成のそれぞれを区別して表記する際には、小文字または大文字のアルファベットを添えて表記する場合がある。また、１つの構成のうちの複数の部分を区別して表記する際には、ハイフンと自然数を用いる場合がある。

本明細書において、「映像」とは、静止画像だけでなく、動画像を含む場合がある。

本明細書において、「対象者」とは、入場および退場が管理される者であって、例えば、建設現場の作業者またはイベント施設もしくはイベント会場の利用者などである。

以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。

＜第１実施形態＞
図１～図７を参照して、本発明の一実施形態に係る顔認証システム１０について説明する。

［１．顔認証システム１０の構成］
図１は、本発明の一実施形態に係る顔認証システム１０の構成を説明する模式図である。

図１に示すように、顔認証システム１０は、情報処理装置１１、撮像装置１２、表示装置１３、および黒体炉１４を含む。情報処理装置１１は、撮像装置１２の近傍に配置されているが、情報処理装置１１の配置はこれに限られない。情報処理装置１１は、撮像装置１２と有線または無線によって通信接続されていればよく、撮像装置１２が配置されている場所とは異なる場所に配置することもできる。撮像装置１２は、天井面に配置され、通行する人物を撮像することができる。但し、撮像装置１２の配置はこれに限られない。撮像装置１２は、壁面に配置されていてもよい。なお、以下では、撮像装置１２が複数の人物Ａ～Ｅを撮影しているとして説明する場合がある。人物Ａ～Ｅは、この順に、撮像装置１２から離れている。表示装置１３は、撮像装置１２の近傍に配置されているが、これに限られない。表示装置１３は、人物Ａ～Ｅの進行方向において、人物Ａ～Ｅが顔認証結果を確認することができる場所に配置されていればよい。黒体炉１４は、撮像装置１２から一定の距離を有し、撮像装置１２と対向する位置の天井面に配置されている。但し、黒体炉１４の配置は、これに限られない。黒体炉１４は、壁面または天井面などに配置されていてもよい。なお、黒体炉１４は、撮像装置１２によって、人物Ａ～Ｅとともに撮影される。

情報処理装置１１は、プログラムに基づいて演算処理を実行することができる。情報処理装置１１は、例えば、コンピュータである。コンピュータは、例えば、演算手段として中央演算処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）および記憶手段として記憶装置を含む。記憶装置は、例えば、ランダムアクセスメモリ（ＲａｍｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）、リードオンリーメモリ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ＲＯＭ）、またはハードディスクドライブ（ＨａｒｄＤｉｓｋＤｒｉｖｅ：ＨＤＤ）などである。

撮像装置１２は、人物Ａ～Ｅおよび黒体炉１４を撮影し、可視光領域の画像データを生成することができる。撮像装置１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－ＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭＯＳ）イメージセンサなどの固体撮像素子を含むカメラである。撮像装置１２は、可視光領域の画像データだけでなく、赤外光領域の温度分布データを生成することができる。すなわち、撮像装置１２は、可視光領域の画像データの映像に対応する温度分布データを取得することができる。撮像装置１２は、１つのカメラで可視光領域の画像データおよび赤外光領域の温度分布データを生成してもよく、２つのカメラを備え、一方のカメラが可視光領域の画像データを生成し、他方のカメラが赤外光領域の温度分布データを生成してもよい。

表示装置１３は、情報を映像信号に変換し、情報に関する映像を画面に表示することができる。表示装置１３は、例えば、液晶表示装置またはＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ－ＥｍｉｔｔｉｎｇＤｉｏｄｅ）表示装置である。また、表示装置１３は、入力装置を備えていることが好ましく、例えば、画面上の表示に触れて操作することができるタッチパネルを含んでいてもよい。表示装置１３が入力装置を備える場合、表示装置１３は、入力装置による入力操作が行われたことを示す操作情報を生成することができる。

黒体炉１４は、熱放射により設定された温度に応じた赤外波長域のスペクトルの電磁波を発している。すなわち、所定の温度（基準温度）に対応する赤外光を放射することができる。

図２は、本発明の一実施形態に係る顔認証システム１０の撮像装置１２によって生成された画像データを説明する模式図である。

図２に示す画像データには、人物Ａ～Ｅが含まれている。詳細は後述するが、図２に示す点線の矩形は、画像データから抽出される顔画像データ（人物の顔部に対応する画像データ）を示している。すなわち、図２に示す画像データには、人物Ｂの顔画像データ１５ｂ、人物Ｃの顔画像データ１５ｃ、人物Ｄの顔画像データ１５ｄ、および人物Ｅの顔画像データ１５ｅが含まれている。画像データには人物Ａも含まれているが、人物Ａの顔部は撮像装置１２の画角から外れており、画像データには人物Ａの顔部の一部しか含まれていない。この場合、人物Ａの顔画像データは抽出されない。顔認証システム１０では、抽出された顔画像データに対して優先度を割り当て、優先度に基づいて顔照合処理が行われる。すなわち、顔認証システム１０では、顔画像データが抽出されても、優先度次第では抽出された顔画像データに対して顔認証が行われない場合がある。したがって、顔認証システム１０では、顔認証処理を行う人物を絞り込み、顔認証処理に要する時間を削減することができる。

図３は、本発明の一実施例に係る顔認証システム１０の構成を示すブロック図である。

図３に示すように、顔認証システム１０の情報処理装置１１は、顔画像データ抽出部１１ａ、顔画像データ評価部１１ｂ、優先度決定部１１ｃ、照合部１１ｄ、温度情報取得部１１ｅ、および記憶部１１ｆを含む。なお、顔画像データ抽出部１１ａ、顔画像データ評価部１１ｂ、優先度決定部１１ｃ、照合部１１ｄ、および温度情報取得部１１ｅは、プログラムに基づいて所定の処理を実行することができる。

顔画像データ抽出部１１ａは、画像データから顔画像データを抽出することができる。顔画像データ抽出部１１ａは、画像データの中から顔を構成する部位である目、鼻、または口などの特徴点を検出し、これらの特徴点の相対的位置から人物の顔を含む顔画像データを抽出することができる。また、顔画像データ抽出部１１ａは、画像データに対してエッジ処理を実行し、人物の頭部の輪郭と近似した楕円形のエッジ分布を検出し、エッジ分布を顔画像データとして抽出することもできる。また、顔画像データ抽出部１１ａは、予め登録された顔形状モデルと照合させて類似度を算出し、所定の類似度以上の領域を顔画像データとして抽出することもできる。

また、顔画像データ抽出部１１ａは、抽出した顔画像データの数をカウントし、顔画像データの数を判定することができる。

顔画像データ評価部１１ｂは、複数の評価項目に基づいて顔画像データを評価することができる。各評価項目において、顔画像データは、所定の評価基準に従って評価される。複数の評価項目は、第１の分類に属する評価項目と第２の分類に属する評価項目とに分類できることが好ましい。顔画像データに含まれる特徴点などは、時間経過によって変化する場合がある。特徴点の変化は、顔認証精度にばらつきを生じることを意味する。すなわち、時間経過によって特徴点が変化しやすいと、顔認証精度が低下する。そこで、顔認証システム１０では、時間経過によって変化しにくい評価項目（第１の分類に属する評価項目）と、時間経過によって変化しやすい評価項目（第２の分類に属する評価項目）とに分けて顔画像データを評価する。第１の分類に属する評価項目を第２の分類に属する評価項目よりも優先させることで、顔認証精度の高い顔画像データを用いた顔認証処理が可能となる。

第１の分類に属する評価項目は、例えば、マスクの検出またはコントラストである。マスクは、撮影中に（撮像装置１２の画角内で）、人物が意図的に装着しているマスクを外さない（または人物が意図的にマスクを装着しない）限り、画像データの中で検出される（または検出されない）ものである。そのため、画像データの中のマスクが検出されるか否かは、時間経過の影響を受けにくい評価項目である。また、コントラストは、撮影される場所の影響は受けるものの、撮像装置１２が設置され、撮影環境を一定に維持することで変化を小さくすることができる。そのため、コントラストも、時間経過の影響を受けにくい評価項目である。

第２の分類に属する評価項目は、例えば、顔の向きまたは白飛びの検出である。顔の向きは、人物が撮像装置１２に近づくにつれて変化する。そのため、顔の向きは、時間経過の影響を受けやすい評価項目である。また、白飛びは、主に、逆光の影響により生じるものである。撮影環境が一定に維持されている場合であっても、人物が撮像装置１２に近づくにつれて顔への光のあたり具合が変化することがある。そのため、顔画像データの中の白飛びが検出されるか否かは、時間経過の影響を受けやすい評価項目である。

顔画像データ評価部１１ｂは、顔画像データを評価項目ごとに段階別に評価して、評価値を付与する。ここでは、上述したマスクの検出、コントラスト、顔の向き、および白飛びの検出の評価項目について説明する。なお、詳細は後述するが、評価値が大きくなると、顔認証処理の優先順位が低下するように優先度が算出される。

マスクの検出の評価項目では、表１に示す評価基準に従って評価値が決定される。顔画像データの中にマスクが検出された場合、顔の部位がマスクによって隠されているため、顔認証処理で必要な特徴点が検出されにくく、顔認証精度が低下する。そのため、顔画像データの中にマスクが検出されなかったときは、顔画像データの当該評価項目の評価値を０とする。また、顔画像データの中にマスクが検出されたときは、顔画像データの当該評価項目の評価値を２とする。

コントラストの評価項目では、表２に示す評価基準に従って評価値が決定される。顔画像データのコントラストが低い場合、背景と顔との区別がつきにくく、顔認証精度が低下する。そのため、評価基準としてコントラストの範囲を設定しておき、コントラストが高いとき、コントラストが中程度のとき、およびコントラストが低いときに、顔画像データの当該評価項目の評価値を、それぞれ、０、１、および２とする。

コントラストは、顔画像データをグレースケールに変換した後、Ｃ＝（Ｉ_ｍａｘ－Ｉ_ｍｉｎ）／（Ｉ_ｍａｘ＋Ｉ_ｍｉｎ）の式で算出される。ここで、Ｃはコントラスト、Ｉ_ｍａｘは濃淡レベルの最大値、およびＩ_ｍｉｎは濃淡レベルの最小値である。例えば、コントラストＣが第１の閾値未満であるとき、顔画像データ評価部１１ｂは、コントラストが低いと評価することができる。また、コントラストＣが第１の閾値以上第２の閾値未満であるとき、顔画像データ評価部１１ｂは、コントラストが中程度と評価することができる。また、コントラストＣが第２の閾値以上であるとき、顔画像データ評価部１１ｂは、コントラストが高いと評価することができる。

顔の向きの評価項目では、表３に示す評価基準に従って評価値が決定される。詳細は後述するが、顔認証処理においては、顔画像データと事前に登録されている登録顔画像データとの照合処理が行われる。登録顔画像データは、人物が正面を向いている画像であることが多く、顔画像データの人物の顔が正面を向いていない場合、顔認証精度が低下する。そのため、評価基準として顔の向きを数値化し、ロール、ピッチ、およびヨーが全て±１０度以内であるとき、ロール、ピッチ、およびヨーの絶対値の少なくとも１つが１０度より大きく２０度以内であるとき、ならびに上記以外であるとき、顔画像データの当該評価項目の評価値を、それぞれ、０、１、および２とする。

ここで、顔から後頭部に向かう方向をｘ軸方向、顔の左右方向をｙ軸方向、および顔の上下方向をｚ軸方向とすると、ロールはｘ軸の回転であり、ピッチはｙ軸の回転であり、およびヨーはｚ軸の回転を示す。なお、上記では、ロール、ピッチ、およびヨーを用いて顔の向きを数値化したが、これに限られない。

白飛びの検出の評価項目では、表４に示す評価基準に従って評価値が決定される。顔画像データの中に白飛びが検出された場合、背景に対して人物の顔が暗くなるため、顔認証精度が低下する。そのため、顔画像データの中に白飛びが検出されなかったときは、顔画像データの当該評価項目の評価値を０とする。また、顔画像データの中に白飛びが検出されたときは、顔画像データの当該評価項目の評価値を１とする。

なお、白飛びの検出として、例えば、白飛び率Ｗ／Ｓ（Ｗ：顔画像データに含まれる白飛びの画素数、Ｓ：画像データに含まれる肌を示す画素数）が所定の閾値を超える場合に白飛びが検出されているとすることができる。

以上、評価項目として、マスクの検出、コントラスト、顔の向き、および白飛びの検出について説明したが、評価項目はこれらに限られない。

優先度決定部１１ｃは、各評価項目の評価値に基づいて、顔画像データの優先度を決定することができる。優先度決定部１１ｃは、第１の分類に属する評価項目の評価値を合計した第１の合計値を算出する。例えば、マスクの検出の評価項目の評価値とコントラストの評価項目の評価値とが合計され、第１の合計値が算出される。また、優先度決定部１１ｃは、第２の分類に属する評価項目の評価値を合計した第２の合計値を算出する。例えば、顔の向きの評価項目の評価値と白飛びの検出の評価項目の評価値とが合計され、第２の合計値が算出される。

さらに、優先度決定部１１ｃは、第１の合計値を昇順にソートし、第１の合計値のソートを固定したまま第２の合計値を昇順にソートする。これにより、第１の合計値が同じ値である場合、第２の合計値が考慮されてソートされる。優先度決定部１１ｃは、第１の合計値および第２の合計値に基づいて昇順にソートされた顔画像データに対して、順に１、２、・・・、ｎ（ｎは自然数）と値が大きくなるように優先度を付与する。顔画像データは、基本的には第１の合計値に対応する第１の分類に属する評価項目によってソートされているため、時間経過の影響を受けにくい顔画像データの順で優先度が付与されている。

なお、優先度決定部１１ｃは、顔画像データの大きさ（例えば、顔画像データに含まれる画素数の数）が閾値以上であるとき、その顔画像データの優先度を０とする。なお、０の優先度を有する顔画像データは、評価項目に基づく評価処理は行われない。

照合部１１ｄは、優先度の値の小さい方から順に（優先度の０、１、・・・の順に）、顔画像データと記憶部１１ｆの登録顔画像データとを照合し、人物を特定することができる。照合部１１ｄは、顔画像データの中から顔を構成する部位である目、鼻、または口などの大きさ、方向、または相対的位置などの特徴点を検出することができる。また、照合部１１ｄは、顔の輪郭を特徴点として検出することもできる。照合部１１ｄは、検出された特徴点を、記憶部１１ｆに格納された登録情報の登録顔画像データの特徴点と比較し、類似度を算出する。照合部１１ｄは、類似度の最も高い登録情報の登録者が人物であると特定することができる。

なお、顔認証システム１０が建設現場で利用されるとき、人物がヘルメット（または帽子）およびマスクを着用している場合がある。特に、人物がマスクを着用している場合には、鼻および口がマスクで覆われるため、検出される特徴点が少なくなる。そのため、照合部１１ｄは、マスクが検出された場合には、特徴点として目の優先順位を高くするような重み付けを行い、類似度を算出することもできる。

照合部１１ｄは、優先度の値が大きい顔画像データの照合処理を行わない場合がある。照合部１１ｄは、顔画像データの数をカウントし、または取得する。顔画像データの数が１つである（すなわち、顔画像データの数が複数でない）とき、照合部１１ｄは、その１つの顔画像データを用いた照合処理を行う。顔画像データの数が複数であるとき、照合部１１ｄは、所定の閾値以下の優先度を有する顔画像データの照合処理を行う。換言すると、所定の閾値を超えた優先度を有する顔画像データの照合処理は行われない。例えば、優先度が０、１、２、３、および４を有する５つの顔画像データがあり、閾値が２である場合、優先度が０、１、および２を有する３つの顔画像データの照合処理は行われるが、優先度が３および４を有する２つの顔画像データの照合処理は行われない。したがって、顔認証システム１０では、照合処理を行う顔画像データの数が減少するため、結果として、顔認証処理に要する時間を削減することができる。

なお、所定の閾値よりも０の優先度を有する顔画像データの数が多い場合には、０の優先度を有する顔画像データに対して評価項目に基づく評価処理を行ってもよい。この場合、優先度決定部１１ｃは、０の優先度を有する顔画像データの中で優先度に代わり優先順位を決定する。また、この場合、０の優先度が付与されていない顔画像データは、評価項目に基づく評価処理が行われない。

温度情報取得部１１ｅは、温度分布データから顔画像データの位置に対応する温度を温度情報として取得することができる。取得された温度情報は、特定された人物の体温に相当する。

記憶部１１ｆは、照合処理において照合される登録者の登録情報を格納することができる。登録情報は、顔画像データと照合するための登録顔画像データを含み、データベースであってもよい。記憶部１１ｆは、例えば、ソリッドステートドライブ（ＳＳＤ）またはハードディスクドライブ（ＨＤＤ）などのメモリまたはストレージである。

本実施形態に係る顔認証システム１０は、上述の構成に限られない。顔認証システム１０は、上述した構成以外の構成を含んでいてもよい。例えば、情報処理装置１１と撮像装置１２とが無線で通信接続を行う場合には、情報処理装置１１および撮像装置１２の各々に、データまたは情報を送受信するための通信部が含まれていてもよい。

［２．顔認証システム１０の顔認証処理（ステップＳ１００）］
図４は、本発明の一実施形態に係る顔認証システム１０で実行される顔認証処理（ステップＳ１００）のフローチャート図である。具体的には、図４は、１フレーム内における顔認証処理である。

顔認証処理（ステップＳ１００）は、ステップＳ１１０の実行により開始する。

ステップＳ１１０では、撮像装置１２が、画像データおよび温度分布データを生成する。生成された画像データおよび温度分布データは、撮像装置１２から情報処理装置１１に送信される。

ステップＳ１２０では、顔画像データ抽出部１１ａが、画像データの中から人物の顔画像データを抽出する。また、顔画像データ抽出部１１ａは、抽出した顔画像データの数をカウントする。

ステップＳ１３０では、顔画像データ抽出部１１ａが、顔画像データの数を判定する。顔画像データの数が０である場合（ステップＳ１３０：ＹＥＳ）、ステップＳ１００は終了する。顔画像データの数が０以外である場合（ステップＳ１３０：ＮＯ）、ステップＳ１４０が実行される。

ステップＳ１４０では、顔画像データ抽出部１１ａが、顔画像データの数を判定する。顔画像データの数が１である場合（ステップＳ１４０：ＹＥＳ）、ステップＳ１８０が実行される。顔画像データの数が１以外である場合（ステップＳ１４０：ＮＯ）、ステップＳ１５０が実行される。

ステップＳ１５０では、優先度決定部１１ｃが、顔画像データの大きさが閾値以上であるか否かを判定し、閾値以上の大きさを有する顔画像データに０の優先度を付与する。

ステップＳ１６０では、顔画像データ評価処理が実行されるが、詳細は後述する。なお、ステップＳ１６０の後は、ステップＳ１７０が実行される。

ステップＳ１７０では、優先度決定処理が実行されるが、詳細は後述する。なお、ステップＳ１７０の後は、ステップＳ１８０が実行される。

ステップＳ１８０では、顔画像データ照合処理が実行されるが、詳細は後述する。なお、ステップＳ１８０の後は、ステップＳ１９０が実行される。

ステップＳ１９０では、温度情報取得部１１ｅが、温度分布データから照合された顔画像データの位置に対応する温度情報を取得する。これにより、特定された人物の体温を検出することができる。

ステップＳ２００では、表示装置１３が、認証結果として、顔画像データ、照合された登録画像データ、および温度情報を画面に表示する。なお、複数の人物の顔認証処理が行われた場合には、複数の認証結果が表示される。これにより、人物は、認証結果を確認することができる。

顔認証処理（ステップＳ１００）は、ステップＳ２００の実行により、終了する。

［３．顔画像データ評価処理（ステップＳ１６０）］
図５を参照して顔画像データ評価処理（ステップＳ１６０）について詳細に説明する。顔画像データ評価処理は、ステップＳ１６１の実行により、開始する。

ステップＳ１６１では、顔画像データ評価部１１ｂが、優先度が付与されていない顔画像データに対して第１の評価項目を評価する。第１の評価項目は、例えば、顔画像データの中のマスクの検出である。

ステップＳ１６２では、顔画像データ評価部１１ｂが、優先度が付与されていない顔画像データに対して第２の評価項目を評価する。第２の評価項目は、例えば、顔画像データのコントラストである。

ステップＳ１６３では、顔画像データ評価部１１ｂが、優先度が付与されていない顔画像データに対して第３の評価項目を評価する。第３の評価項目は、例えば、顔画像データの中の顔の向きである。

ステップＳ１６４では、顔画像データ評価部１１ｂが、優先度が付与されていない顔画像データに対して第４の評価項目を評価する。第４の評価項目は、例えば、顔画像データの中の白飛びの検出である。

顔画像データ評価処理（ステップＳ１６０）は、ステップＳ１６４の実行により、終了する。

［４．優先度決定処理（ステップＳ１７０）］
図６を参照して優先度決定処理（ステップＳ１７０）について詳細に説明する。優先度決定処理は、ステップＳ１７１の実行により、開始する。

ステップＳ１７１では、優先度決定部１１ｃが、第１の分類に属する評価項目の評価値を合計した第１の合計値を算出する。第１の分類に属する評価項目は、例えば、第１の評価項目（マスクの検出）および第２の評価項目（コントラスト）である。

ステップＳ１７２では、優先度決定部１１ｃが、第２の分類に属する評価項目の評価値を合計した第２の合計値を算出する。第２の分類に属する評価項目は、例えば、第３の評価項目（顔の向き）および第４の評価項目（白飛びの検出）である。

ステップＳ１７３では、優先度決定部１１ｃが、第１の合計値および第２の合計値に基づいて顔画像データを昇順にソートする。

ステップＳ１７４では、優先度決定部１１ｃが、昇順にソートされた顔画像データに対して、順に１、２、・・・、ｎ（ｎは自然数）の優先度を付与する。

優先度決定処理（ステップＳ１７０）は、ステップＳ１７４の実行により、終了する。

［５．顔画像データ照合処理（ステップＳ１８０）］
図７を参照して顔画像データ照合処理（ステップＳ１８０）について詳細に説明する。顔画像データ照合処理は、ステップＳ１８１の実行により、開始する。

ステップＳ１８１では、照合部１１ｄが、顔画像データの数を取得する。なお、照合部１１ｄは、顔画像データの数をカウントして取得してもよく、ステップＳ１２０で顔画像データ抽出部１１ａがカウントした顔画像データの数を取得してもよい。

ステップＳ１８２では、照合部１１ｄが、顔画像データの数を判定する。顔画像データの数が複数でない場合、すなわち、顔画像データの数が１つである場合（ステップＳ１８２：ＮＯ）、ステップＳ１８３が実行される。顔画像データの数が複数である場合（ステップＳ１８２：ＹＥＳ）、ステップＳ１８４が実行される。

ステップＳ１８３では、照合部１１ｄが、１つの顔画像データを登録顔画像データと照合する。

ステップＳ１８４では、照合部１１ｄが、顔画像データの優先度を判定する。全ての顔画像データの優先度が閾値を超えない場合（ステップＳ１８４：ＮＯ）、ステップＳ１８５が実行される。閾値を超える優先度を有する顔画像データが含まれている場合（ステップＳ１８４：ＹＥＳ）、ステップＳ１８６が実行される。

ステップＳ１８５では、照合部１１ｄが、全ての優先度の顔画像データを登録画像データと照合する。

ステップＳ１８６では、照合部１１ｄが、閾値以下の優先度を有する顔画像データを登録画像データと照合する。

顔画像データ照合処理（ステップＳ１８０）は、ステップＳ１８３、ステップＳ１８５、またはステップＳ１８６の実行により、終了する。

以下では、図２に示した人物Ｂ～Ｅの顔画像データ１５ｂ～１５ｅを例として、顔認証処理（ステップＳ１００）について具体的に説明する。

顔画像データ１５ｂの大きさは閾値を超え、顔画像データ１５ｃ～１５ｅの大きさは閾値を超えていないものとする。この場合、ステップＳ１５０において、顔画像データ１５ｂには、優先度として０が付与される。

顔画像データ１５ｃおよび１５ｄではマスクが検出され、顔画像データ１５ｅではマスクが検出されないものとする。この場合、ステップＳ１６１において、顔画像データ１５ｃ～１５ｅには、第１の評価項目（マスクの検出）の評価として、それぞれ、２、２、および０の評価値が付与される。

顔画像データ１５ｃのコントラストは第１の閾値から第２の閾値の間であり、顔画像データ１５ｄのコントラストは第１の閾値未満であり、および顔画像データ１５ｅのコントラストは第１の閾値以上であるものとする。この場合、ステップＳ１６２において、顔画像データ１５ｃ～１５ｅには、第２の評価項目（コントラスト）の評価として、それぞれ、１、２、および０の評価値が付与される。

顔画像データ１５ｃおよび１５ｅの顔の向きはロール、ピッチ、およびヨーの絶対値の少なくとも１つが１０度より大きく２０度以内であり、ならびに顔画像データ１５ｄの顔の向きはロール、ピッチ、およびヨーが全て±１０度以内であるものとする。この場合、ステップＳ１６３において、顔画像データ１５ｃ～１５ｅには、第３の評価項目（顔の向き）の評価として、それぞれ、１、０、および１の評価値が付与される。

顔画像データ１５ｃおよび１５ｄでは白飛びが検出され、顔画像データ１５ｅでは白飛びが検出されないものとする。この場合、ステップＳ１６４において、顔画像データ１５ｃ～１５ｅには、第４の評価項目（白飛びの検出）の評価として、それぞれ、１、１、および０の評価値が付与される。

ステップＳ１７１において、第１の分類に属する第１の評価項目（マスクの検出）および第２の評価項目（コントラスト）の評価値を合計し、第１の合計値を算出する。上記の場合、顔画像データ１５ｃ～１５ｅの第１の合計値は、それぞれ、３、４、および０である。また、ステップＳ１７１において、第２の分類に属する第３の評価項目（顔の向き）および第４の評価項目（白飛びの検出）の評価値を合計し、第２の合計値を算出する。上記の場合、顔画像データ１５ｃ～１５ｅの第２の合計値は、それぞれ、２、１、および１である。

ステップＳ１７３において、第１の合計値を昇順にソートし、第１の合計値のソートが固定されたまま第２の合計値を昇順にソートし、顔画像データ１５ｃ～１５ｅに対して順に優先度を付与する。上記の場合、顔画像データ１５ｃ～１５ｅの優先度は、それぞれ、２、３、および１である。

以上をまとめると、表５のとおりとなる。

ここで、優先度の閾値として、２が設定されているものとする。この場合、ステップＳ１８６において、優先度が２以下である顔画像データ１５ｂ、１５ｅ、および１５ｃが、登録画像データと照合される。すなわち、閾値を超える３の優先度を有する顔画像データ１５ｄに対しては、照合処理が行われない。

以上、説明したように、顔認証システム１０は、画像データから抽出された顔画像データに対し、顔認証精度を考慮した評価項目、例えば、マスクの検出、コントラスト、顔の向き、または白飛びの検出などを評価し、評価値を付与する。また、評価項目は、時間経過によって変化しにくい第１の分類に属する評価項目と、時間経過によって変化しやすい第２の分類に属する評価項目とに分類され、それぞれにおいて評価値が合計された第１の合計値および第２の合計値が算出される。また、顔認証システム１０では、第１の合計値および第２の合計値に基づいて顔画像データのソートが行われ、顔認証精度が高い順に優先度が付与され、顔画像データの顔認証処理の優先順位が決定される。さらに、優先度の閾値が設定されている場合、閾値以下の優先度を有する顔画像データのみが登録顔画像データとの照合処理が行われる。したがって、顔認証システム１０では、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。

＜第２実施形態＞
図８を参照して、本発明の一実施形態に係る顔認証システム１０Ａについて説明する。顔認証システム１０Ａは、図３に示す顔認証システム１０の情報処理装置１１の構成として、さらに、追跡部を含む。

追跡部は、各フレームにおいて、追跡データに基づいて顔画像データの追跡を行うことができる。追跡データは、顔画像データの特徴点および顔認証結果を含む。そのため、追跡部は、各フレームにおいて、顔認証結果で得られた人物の顔を顔画像データの特徴点を基に追跡することができる。

図８は、本発明の一実施形態に係る顔認証システム１０Ａで実行される顔認証処理のフローチャートである。なお、以下では、図４に示した顔認証システム１０で実行される顔認証処理のフローチャートと同様のステップについては、その説明を省略する。

ステップＳ１４５Ａでは、追跡部が、追跡データに基づいて、画像データ内における同一人物の顔画像データの移動軌跡を管理した追跡処理を行う。

ステップＳ１８０Ａでは、照合部１１ｄが、顔画像データを登録画像データと照合するが、直前の所定の数のフレーム（例えば、直前の４つのフレーム）において追跡部が同一人物として追跡した顔画像データについては、過去の顔認証結果を参照するものとし、顔認証処理は行わない。なお、直前の所定の数のフレームの全てにおいて、同一人物の追跡データが存在していなくてもよい。閾値（例えば、２）を設定し、直前の所定の数のフレーム内に閾値以上の同一人物の追跡データが含まれている場合に、過去の顔認証結果を参照するようにしてもよい。

ステップＳ１８５Ａでは、追跡部が、顔画像データの特徴点と顔認証結果を対応付けた追跡データを生成する。これにより、追跡部は、顔画像データの特徴点から同一人物であると判定することができる。なお、追跡データは、記憶部１１ｆに格納されてもよい。

以上、顔認証システム１０Ａでは、画像データの中の顔画像データを追跡することで過去の顔認証結果を参照することができるため、顔認証処理を行わないことができる。そのため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。

＜第３実施形態＞
図９～図１３を参照して、本発明の一実施形態に係る入退場管理システム２０について説明する。以下では、一例として、入退場管理システム２０が建設現場に設置されているものとし、入退場管理システム２０を利用した建設現場の作業者（対象者）の入退場管理について説明する。

［１．入退場管理システム２０の構成］
図９は、本発明の一実施形態に係る入退場管理システム２０の配置図である。入退場管理システム２０は、第１のゲート１００と第１のゲート１００に対向する第２のゲート１１０とを接続する通路１２０内に設置されて利用される。建設現場は第２のゲート１１０の先にあり、対象者は、第２のゲート１１０を通り抜け、建設現場に入場することができる。すなわち、入退場管理システム２０は、建設現場の出入口に設置することができる。図９（Ａ）および図９（Ｂ）は、入退場管理システム２０の配置は同一であるが、それぞれ、対象者の入場時および退場時を示している。対象者が建設現場に入場するとき、対象者は、第１のゲート１００から進入し、入退場管理システム２０を利用した入場処理が行われ、第２のゲート１１０から退出する。対象者が建設現場から退場するとき、対象者は、第２のゲート１１０から進入し、入退場管理システム２０を利用した退場処理が行われ、第１のゲート１００から退出する。したがって、対象者は、建設現場への入場だけでなく退場においても、入退場管理システム２０を用いて入退場管理（入場処理および退場処理）が行われる。

なお、図９では、第１のゲート１００および第２のゲート１１０が示されているが、第１のゲート１００および第２のゲート１１０は明確に設置されていなくてもよい。例えば、通路１２０の途中に入退場管理システム２０が設置され、入退場管理システム２０が設けられた通路１２０の一方の端が第１のゲート１００となり、他方の端が第２のゲート１１０となる場合がある。この場合であっても、対象者が通路１２０を通る際に入退場管理システム２０を利用するため、対象者の入退場管理を行うことができる。

図９（Ａ）および図９（Ｂ）に示すように、入退場管理システム２０は、第１の情報処理装置２００、第１の撮像装置２１０、第１の表示装置２２０、警告装置２３０、黒体炉２４０、第２の情報処理装置３００、第２の撮像装置３１０、第２の表示装置３２０、および第３の情報処理装置４００を含む。第１の情報処理装置２００、第１の撮像装置２１０、第１の表示装置２２０、警告装置２３０、および黒体炉２４０は、対象者の入場処理において利用される。第２の情報処理装置３００、第２の撮像装置３１０、および第２の表示装置３２０は、対象者の退場処理において利用される。第３の情報処理装置４００は、対象者の入退場管理処理において利用される。

詳細は図示しないが、第１の撮像装置２１０、第１の表示装置２２０、および警告装置２３０は、第１の情報処理装置２００と接続されている。また、第２の撮像装置３１０および第２の表示装置３２０は、第２の情報処理装置３００と接続されている。さらに、第１の情報処理装置２００および第２の情報処理装置３００は、第３の情報処理装置４００と接続されている。なお、これらの接続は、有線による接続であってもよく、無線による接続であってもよい。

第１の撮像装置２１０、第１の表示装置２２０、および警告装置２３０は、第２のゲート１１０の近傍に配置されている。第１の撮像装置２１０は、例えば、通路１２０の天井面または壁面に配置されている。第１の撮像装置２１０は、第１のゲート１００から進入し、通路１２０を通過する対象者を撮影することができる。第１の撮像装置２１０は、歩行している対象者および黒体炉２４０を撮影することができ、対象者は、必ずしも第１の撮像装置２１０の前で停止する必要はない。黒体炉２４０は、第１の撮像装置２１０の画角内であって、第１の撮像装置２１０から適切な距離に設置されている。第１の情報処理装置２００は、撮影した対象者を照合し、または対象者の体温を取得することができる。第１の情報処理装置２００は、通路１２０内に設置されていてもよく、通路１２０外に配置されていてもよい。第１の表示装置２２０は、対象者の認証結果を表示することができる。対象者は、第１の表示装置２２０の画面に表示された認証結果を確認し、第２のゲート１１０から退出することができる。警告装置２３０は、対象者の体温が閾値を超える場合に作動し、体温の異常が認められることを対象者に通知する。

同様に、第２の撮像装置３１０および第２の表示装置３２０は、第１のゲート１００の近傍に配置されている。通路１２０の天井面または壁面に配置された第２の撮像装置３１０は、第２のゲート１１０から進入し、通路１２０を通過する対象者を撮影することができる。通路１２０内または通路１２０外に配置された第２の情報処理装置３００は、撮影した対象者を照合することができる。対象者は、第２の表示装置３２０の画面に表示された照合結果を確認し、第１のゲート１００から退出することができる。

入退場管理システム２０では、対象者が建設現場に入場するときには対象者の体温を検出するが、対象者が建設現場から退場するときには対象者の体温を検出していない。但し、入退場管理システム２０は、対象者が退場するときに対象者の体温を検出してもよい。その場合、入退場管理システム２０は、対象者の入場時と退場時の体温を比較し、所定の温度差であったときに、警告装置を作動させて体温の異常が認められることを対象者に通知することができる。

なお、上述した装置の配置は一例であって、本実施形態に係る入退場管理システム２０の装置の配置はこれに限られない。

以下では、入退場管理システム２０の各装置の構成について説明する。なお、以下では、入退場管理システム２０の構成が顔認証システム１０と同様の構成である場合、その構成の説明を省略する場合がある。

第１の情報処理装置２００、第２の情報処理装置３００、および第３の情報処理装置４００の各々は、プログラムに基づいて演算処理を実行することができる。第１の情報処理装置２００、第２の情報処理装置３００、および第３の情報処理装置４００は、１つのコンピュータであってもよく、それぞれが処理可能な複数のコンピュータであってもよい。

第１の撮像装置２１０は、顔認証システム１０の撮像装置１２と同様の構成である。第１の表示装置２２０および第２の表示装置３２０の各々は、顔認証システム１０の表示装置１３と同様の構成である。黒体炉２４０は、顔認証システム１０の黒体炉１４と同様の構成である。そのため、ここではこれらの説明を省略する。なお、第２の撮像装置３１０は、少なくとも可視光領域の映像を撮像することができればよく、第１の撮像装置２１０と同様のカメラであってもよい。

警告装置２３０は、異常が発生したことを対象者に知らせることができる装置であり、例えば、警告灯または警告音を発するスピーカーなどである。また、警告装置２３０は、電光掲示板であってもよい。警告装置２３０は、第１の情報処理装置２００からの制御信号を受信し、作動することができる。なお、警報装置は、退場側に設けられてもよい。

以下では、図１０を参照して、入退場管理システム２０の各装置の構成について、さらに詳細に説明する。

図１０は、本発明の一実施形態に係る入退場管理システム２０の構成を示すブロック図である。

図１０に示すように、入退場管理システム２０の第１の情報処理装置２００は、第１の顔画像データ抽出部１０１０、第１の顔画像データ評価部１０２０、第１の優先度決定部１０３０、第１の照合部１０４０、温度情報取得部１０５０、入場者情報処理部１０６０、および第１の記憶部１０７０を含む。また、第２の情報処理装置３００は、第２の顔画像データ抽出部１１１０、第２の顔画像データ評価部１１２０、第２の優先度決定部１１３０、第２の照合部１１４０、退場者情報処理部１１６０、および第２の記憶部１１７０を含む。また、第３の情報処理装置４００は、入退場管理情報処理部１２１０および入退場管理情報記憶部１２２０を含む。

なお、各装置の構成は、図１０に示すものに限られない。例えば、第１の撮像装置２１０が、第１の顔画像データ抽出部１０１０などを含んでいてもよい。

第１の顔画像データ抽出部１０１０および第２の顔画像データ抽出部１１１０は、顔認証システム１０の顔画像データ抽出部１１ａと同様の構成である。第１の顔画像データ評価部１０２０および第２の顔画像データ評価部１１２０は、顔認証システム１０の顔画像データ評価部１１ｂと同様の構成である。第１の優先度決定部１０３０および第２の優先度決定部１１３０は、顔認証システム１０の優先度決定部１１ｃと同様の構成である。第１の照合部１０４０および第２の照合部１１４０は、顔認証システム１０の照合部１１ｄと同様の構成である。第１の記憶部１０７０および第２の記憶部１１７０は、顔認証システム１０の記憶部１１ｆと同様の構成である。そのため、ここではこれらの説明を省略する。

温度情報取得部１０５０は、顔認証システム１０の温度情報取得部１１ｅと同様の構成である。さらに、温度情報取得部１０５０は、温度情報に基づいて、対象者の体温の正常または異常を判定することができる。例えば、温度情報取得部１０５０は、温度情報の温度が閾値以上である場合、対象者の体温が異常であると判定することができる。

入場者情報処理部１０６０は、特定された対象者の体温が異常と判定された場合に制御信号を生成することができる。生成された制御信号は、警告装置２３０に送信される。また、入場者情報処理部１０６０は、特定された登録者の登録者情報、顔画像データ、温度情報、および入場日時情報が紐付けられた入場者情報を生成することができる。

また、入場者情報処理部１０６０は、第１の表示装置２２０からの操作情報を受信したか否かを判定することができる。操作情報が受信されなかった場合、入場者情報が第３の情報処理装置４００に送信される。

退場者情報処理部１１６０は、特定された登録者の登録者情報、顔画像データ、および退場日時情報が紐付けられた退場者情報を生成することができる。また、退場者情報処理部１１６０は、第２の表示装置３２０からの操作情報を受信したか否かを判定することができる。操作情報が受信されなかった場合、退場者情報が第３の情報処理装置４００に送信される。

入退場管理情報処理部１２１０は、入場者情報および退場者情報を受信し、これらが紐付けられた入退場管理情報を生成または更新することができる。入退場管理情報はデータベースであってもよい。例えば、入退場管理情報処理部１２１０は、入場者情報および退場者情報に含まれる情報を項目とたデータベースを生成または更新することができる。入退場管理情報は、例えば、入場日時、退場日時、入場時の顔画像データ、退場時の顔画像データ、温度情報、所属、または氏名などの情報を含む。

入退場管理情報記憶部１２２０は、入退場管理情報処理部１２１０によって生成または更新された入退場管理情報を格納することができる。

本実施形態に係る入退場管理システム２０の構成は、上述の構成に限られない。入退場管理システム２０は、上述した構成以外の構成を含んでいてもよい。例えば、第１の情報処理装置２００、第２の情報処理装置３００、および第３の情報処理装置４００の各々が無線で通信接続を行う場合には、第１の情報処理装置２００、第２の情報処理装置３００、および第３の情報処理装置４００の各々に、データまたは情報を送受信するための通信部が含まれていてもよい。

また、入退場管理システム２０の利用は、建設現場における入退場管理に限られない。例えば、イベント施設またはイベント会場の出入口に入退場管理システム２０を設置し、利用者の入退場管理を行うこともできる。イベント施設への入退場管理システム２０の設置の一例としては、利用者の顔画像データを登録させてチケットを販売する場合が挙げられる。この場合、利用者はウォークスルーでイベント施設へ入退場できるとともに、後に、利用者の中にインフルエンザウイルスまたはコロナウイルスの感染者がいたことが判明した場合であっても、入退場管理システム２０を用いて利用者がイベント施設への入場の抑制することができる。もし、利用者が入退場していた場合であっても、入退場管理システム２０を用いて後から入場者の状況を確認することができる。

［２．入退場管理システム２０の入場処理（ステップＳ１０００）］
図１１および図１２は、本発明の一実施形態に係る入退場管理システム２０の入場処理（ステップＳ１０００）を示すフローチャート図である。具体的には、図１１は、第１の情報処理装置２００および第３の情報処理装置４００で実行される処理を示し、図１２（Ａ）は、警告装置２３０において処理される例を示し、図１２（Ｂ）は、第１の表示装置２２０において処理される例を示している。

入場処理（ステップＳ１０００）のステップＳ１０１０～ステップＳ１０９０の処理は、それぞれ、顔認証システム１０の顔認証処理（ステップＳ１００）のステップＳ１１０～ステップＳ１９０の処理と同様であるため、ここでは説明を省略する。

ステップＳ１０９５では、入場者情報処理部１０６０が、入場者情報を生成する。生成された入場者情報は、第１の表示装置２２０に送信される。ステップＳ１０９５の後は、表示処理（ステップＳ１１００）が実行される。

表示処理（ステップＳ１１００）の詳細は後述するが、ステップＳ１１００では操作情報が生成される場合がある。なお、ステップＳ１１００の後は、ステップＳ１１１０が実行される。

ステップＳ１１１０では、入場者情報処理部１０６０が、操作情報を受信したかを判定する。操作情報を受信したと判定するには、例えば、第１の情報処理装置２００が、一定の時間内に操作情報を受信することを条件とすることができる。第１の情報処理装置２００が操作情報を受信した場合（ステップＳ１１１０：ＹＥＳ）、ステップＳ１０１０が実行される。第１の情報処理装置２００が操作情報を受信しなかった場合（ステップＳ１１１０：ＮＯ）、入場者情報が第３の情報処理装置４００に送信され、ステップＳ１１２０が実行される。

ステップＳ１１２０では、温度情報取得部１０５０が、温度情報に基づいて、対象者の体温の正常または異常を判定する。体温が正常である場合（ステップＳ１１２０：ＹＥＳ）、ステップＳ１１５０が実行される。体温が異常である場合（ステップＳ１１２０：ＮＯ）、ステップＳ１１３０が実行される。

ステップＳ１１３０では、入場者情報処理部１０６０が、制御信号を生成する。生成された制御信号は、警告装置２３０に送信される。ステップＳ１１３０の後は、警告処理（ステップＳ１１４０）が実行される。

警告処理（ステップＳ１１４０）の詳細は後述するが、ステップＳ１１４０の後は、ステップＳ１１５０が実行される。

ステップＳ１１５０では、入退場管理情報処理部１２１０が、入場者情報をデータベース化した入退場管理情報を生成し、または更新する。入退場管理情報は、入退場管理情報記憶部１２２０に格納される。

生成または更新された入退場管理情報が入退場管理情報記憶部１２２０に格納されると、入場処理（ステップＳ１０００）は終了する。

ここで、図１２（Ａ）を参照して、警告処理（ステップＳ１１４０）について説明する。

ステップＳ１１４１では、警告装置２３０が、制御信号を受信する。

ステップＳ１１４２では、警告装置２３０が、制御信号に基づいて作動する。対象者は、警告装置２３０の作動により、自分自身の体温が高いことを認識することができる。警告装置２３０が作動すると、警告処理（ステップＳ１１４０）は終了する。

また、図１２（Ｂ）を参照して、表示処理（ステップＳ１１００）について説明する。

ステップＳ１１０１では、第１の表示装置２２０が、入場者情報を受信する。

ステップＳ１１０２では、第１の表示装置２２０が、入場者情報を映像信号に変換し、第１の表示装置２２０の画面に入場者情報に関する映像を表示する。このとき、第１の表示装置２２０の画面には、対象者の顔認証結果が表示されている。そのため、対象者は、第１の表示装置２２０の画面を見て、顔認証結果が正しいか否かを確認することができる。

ステップＳ１１０３では、第１の表示装置２２０が、画面に表示されている顔認証結果が正しいか否かを判定する。具体的には、第１の表示装置２２０は、対象者によって正しいか否かを判定し、誤検出の場合は対象者に誤検出であると操作ボタン等で入力してもらうことができる。もしくは、顔認証結果に対して閾値を設け顔認証結果を判定されてもよい。誤検出に対する入力操作が行われた場合（ステップＳ１１０３：ＹＥＳ）、ステップＳ１１３４が実行される。誤検出に対する入力操作が行われなかった場合（ステップＳ１１０３：ＮＯ）、表示処理（ステップＳ１１００）は終了する。

ステップＳ１１０４では、第１の表示装置２２０が、誤検出の入力操作が行われたことを示す操作情報を生成する。生成された操作情報は、第１の情報処理装置２００に送信され、教師データとして再学習時に利用される。操作情報が生成されると、表示処理（ステップＳ１１００）は終了する。

なお、上記では、照合処理が行われた後で、表示処理（ステップＳ１１００）および警告処理（ステップＳ１１４０）が順に行われる例を示したが、表示処理（ステップＳ１１００）と警告処理（ステップＳ１１４０）との順序は逆であってもよい。

［３．入退場管理システム２０の退場処理（ステップＳ２０００）］
図１３は、本発明の一実施形態に係る入退場管理システム２０の退場処理（ステップＳ２０００）を示すフローチャート図である。具体的には、図１３は、第２の情報処理装置３００および第３の情報処理装置４００で実行される処理を示している。

退場処理（ステップＳ２０００）は、対象者の体温に関する処理（例えば、温度分布データの取得処理、温度情報の取得処理、または警告処理など）が行われないが、入場処理（ステップＳ１０００）とほぼ同様の処理が行われる。退場処理（ステップＳ２０００）のステップＳ２０１０～ステップＳ２１１０の処理は、それぞれ、入場処理（ステップＳ１０００）のステップＳ１０１０～ステップＳ１１１０の処理と同様であるため、ここでは説明を省略する。ステップＳ２１１０の後は、ステップＳ２１５０が実行される。

ステップＳ２１５０では、入退場管理情報処理部１２１０が、退場者情報を入場者情報と紐付けた入退場管理情報を生成し、または更新する。入退場管理情報は、入退場管理情報記憶部１２２０に格納される。

生成または更新された入退場管理情報が入退場管理情報記憶部１２２０に格納されると、退場処理（ステップＳ２０００）は終了する。

以上、説明したように、入退場管理システム２０は、対象者の入場だけでなく、退場も管理することができる。そのため、入退場管理情報を利用することにより、対象者の滞在時間などを容易に把握することができる。また、入退場管理システム２０では、撮像された画像内に複数の顔領域を検出した場合でも顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、入退場管理システム２０では、対象者が歩みを止めることなく、入場または退場することができる。

＜第４実施形態＞
図１４および図１５を参照して、本発明の一実施形態に係る入退場管理システムを含むユニットパネル３０について説明する。ユニットパネル３０に含まれる入退場管理システムが、入退場管理システム２０と同様の構成を含む場合、その構成の説明を省略する場合がある。

図１４および図１５は、それぞれ、本発明の一実施形態に係るユニットパネル３０の模式的な斜視図および模式的な平面図である。ユニットパネル３０は、パネル材５００Ａを含み、パネル材５００Ａには、入退場管理システムの構成の全部または一部が設けられている。パネル材５００Ａに設けられる入退場管理システムは、例えば、第１の情報処理装置２００Ａ、第１の撮像装置２１０Ａ、第１の表示装置２２０Ａ、警告装置２３０Ａ、第２の情報処理装置３００Ａ、第２の撮像装置３１０Ａ、または第２の表示装置３２０Ａなどである。したがって、建設現場の出入口にユニットパネル３０を設置すれば、ユニットパネル３０に備えられた入退場管理システムを利用し、建設現場の作業者の入退場管理を行うことができる。なお、黒体炉２４０Ａは、第１の撮像装置２１０Ａの画角内に入る位置に配置されている。

パネル材５００Ａの材質は、特に限定されない。パネル材５００Ａとして、例えば、木材または樹脂材などを用いることができる。パネル材５００Ａの代わりに金属のフレームなどを用いることができる。また、パネル材５００Ａには、対象者が通り抜けるための開口部５１０Ａが設けられている。

パネル材５００Ａの第１の面５０１Ａの一方の側に、第１の撮像装置２１０Ａ、第１の表示装置２２０Ａ、および警告装置２３０Ａが設けられている。また、これらの装置が設けられたパネル材５００Ａの裏面である第２の面５０２Ａの一方の側に、第１の情報処理装置２００Ａが設けられている。第１の撮像装置２１０Ａ、第１の表示装置２２０Ａ、および警告装置２３０Ａは、第１の情報処理装置２００Ａと接続されている。なお、第１の情報処理装置２００Ａが無線で接続される場合、第１の情報処理装置２００Ａは、パネル材５００Ａの近傍に配置されていなくてもよい。

パネル材５００Ａの第２の面５０２Ａの他方の側に、第２の撮像装置３１０Ａおよび第２の表示装置３２０Ａが設けられている。また、これらの装置が設けられたパネル材５００Ａの裏面である第１の面５０１Ａの他方の側に、第２の情報処理装置３００Ａが設けられている。第２の撮像装置３１０Ａおよび第２の表示装置３２０Ａは、第２の情報処理装置３００Ａと接続されている。なお、第２の情報処理装置３００Ａが無線で接続される場合、第２の情報処理装置３００Ａは、パネル材５００Ａの近傍に配置されていなくてもよい。

図１５（Ａ）および図１５（Ｂ）では、第３の情報処理装置４００Ａがパネル材５００Ａから離れて設置されているが、第３の情報処理装置４００Ａも、パネル材５００Ａに設けられていてもよい。第３の情報処理装置４００Ａは、第１の情報処理装置２００Ａおよび第２の情報処理装置３００Ａと接続されている。なお、第３の情報処理装置４００Ａが無線で接続される場合、第３の情報処理装置４００Ａは、パネル材５００Ａの近傍に配置されていなくてもよい。

開口部５１０Ａは、第１のゲートまたは第２のゲートに対応する。ユニットパネル３０は、パネル材５００Ａの第２の面５０２Ａが建設現場の出入口に接続されるように設置される。図１１（Ａ）に示すように、入場時には、対象者は、パネル材５００Ａの第１の面５０１Ａ側において入退場管理システムを利用した入場処理が行われ、開口部５１０Ａを通過して第２の面５０２Ａ側へ向かう。図１１（Ｂ）に示すように、退場時には、対象者は、パネル材５００Ａの第２の面５０２Ａ側において入退場管理システムを利用した退場処理が行われ、開口部５１０Ａを通過して第１の面５０１Ａ側へ向かう。

以上、説明したように、ユニットパネル３０は、あらゆる場所に簡便に設置し、または撤去することが可能である。そのため、建設現場での工程期間中、またはイベント施設もしくはイベント会場の開催期間中などにおいて、ユニットパネル３０を一時的に設置し、入退場管理システムを利用して、対象者の入退場管理を行うことができる。また、ユニットパネル３０の入退場管理システムでは、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、ユニットパネル３０の入退場管理システムでは、対象者が歩みを止めることなく、入場または退場することができる。

＜第５実施形態＞
図１６および図１７を参照して、本発明の一実施形態に係る入退場管理システムを含むユニットハウス４０について説明する。ユニットハウス４０に含まれる入退場管理システムが、入退場管理システム２０と同様の構成を含む場合、その構成の説明を省略する場合がある。

図１６および図１７は、それぞれ、本発明の一実施形態に係るユニットハウス４０の外観を示す模式的な斜視図および内部構成を示す模式的な平面図である。ユニットハウス４０は、４つの側壁面、４つの側壁面で囲まれた空間の上方を覆う天井面、および４つの側壁面で囲まれた空間の下方を覆う床面からなる箱状体６００Ｂを含み、箱状体６００Ｂ内には、入退場管理システムの構成全部または一部が設けられている。箱状体６００Ｂ内に設けられる入退場管理システムは、例えば、第１の情報処理装置２００Ｂ、第１の撮像装置２１０Ｂ、第１の表示装置２２０Ｂ、警告装置２３０Ｂ、黒体炉２４０Ｂ、第２の情報処理装置３００Ｂ、第２の撮像装置３１０Ｂ、第２の表示装置３２０Ｂ、または第３の情報処理装置４００Ｂなどである。したがって、建設現場の出入口にユニットハウス４０を設置すれば、ユニットハウス４０に備えられた入退場管理システムを利用し、建設現場の作業者の入退場管理を行うことができる。

箱状体６００Ｂの側壁面、天井面、および床面の各々は、１つの部材で構成されていてもよく、複数の部材で構成されていてもよい。また、箱状体６００Ｂは、柱材または梁材を用いて枠体を構成し、枠体にパネル材が固定されて構成されていてもよい。箱状体６００Ｂは、いわゆるコンテナ、プレハブハウス、またはトランクルームであってもよく、住宅、事務所、倉庫、または店舗などに用いられる簡易的な建築物であってもよい。

なお、ユニットハウス４０は、そのまま移動して建設現場に設置することができてもよく、またはいくつかの構成部材に分割され、建設現場で組み立てることによって設置することができてもよい。

箱状体６００Ｂの４つの側壁面のうち、対向する２つの側壁面には第１の扉６１０Ｂおよび第２の扉６２０Ｂが設けられている。第１の扉６１０Ｂおよび第２の扉６２０Ｂは、それぞれ、第１のゲートおよび第２のゲートに対応し、ユニットハウス４０は、第２の扉６２０Ｂが建設現場の出入口に接続するように設置される。対象者が建設現場に入場するとき、対象者は、第１の扉６１０Ｂから進入し、入退場管理システムを利用した入場処理が行われ、第２の扉６２０Ｂから退出する。対象者が建設現場から退場するとき、対象者は、第２の扉６２０Ｂから進入し、入退場管理システムを利用した退場処理が行われ、第１の扉６１０Ｂから退出する。

箱状体６００Ｂの側壁面、第１の扉６１０Ｂ、または第２の扉６２０Ｂに窓が設けられている場合、窓を通じてユニットハウス４０内に入射する光を遮光するために、窓にカーテン、ブラインド、またはスモークフィルムなどの遮光部材が設けられていることが好ましい。窓からの光を遮光することによって、箱状体６００Ｂ内の照度を一定に保つことができる。そのため、常に同じ照度条件で対象者を撮影することができ、対象者の照合処理の精度が向上する。

箱状体６００Ｂの側壁面には、室内機６５１Ｂ、室外機６５２Ｂ、および配管６５３Ｂを含む空調機６５０Ｂが設けられている。ユニットハウス４０は、空調機６５０Ｂが設けられていることにより、箱状体６００Ｂ内の温度を一定に保つことができる。そのため、常に同じ温度条件で対象者を撮影することができ、対象者の体温測定の精度が向上する。また、箱状体６００Ｂ内の空気を循環させるため、側壁面に換気口または換気扇などが設けられていてもよい。なお、室内機６５１Ｂ、換気口、および換気扇は、側壁面だけでなく、天井面に設置してもよい。

また、ユニットハウス４０は、充電可能なバッテリー部６６０Ｂを備えていることが好ましい。ユニットハウス４０がバッテリー部６６０Ｂを備えることで、建設現場において外部からの電源の供給が困難である場合であっても、バッテリー部６６０Ｂからユニットハウス４０の各装置に電源を供給することができる。なお、ユニットハウス４０は、発電装置（例えば、天井面または壁面に設けられた太陽光発電装置、風力発電装置、または床下などに設けられた自己発電装置など）を備えていてもよい。

さらに、ユニットハウス４０は、第１の扉６１０Ｂまたは第２の扉６２０Ｂの開閉を検出するセンサを備えていてもよい。ユニットハウス４０がセンサを備えることで、第１の扉６１０Ｂまたは第２の扉６２０Ｂが開けられたときに、例えば、ユニットハウス４０の入退場管理システムの電源をオンにすることができる。

以上、説明したように、ユニットハウス４０は、箱状体６００Ｂを移動させ、いくつかの構成を取り付けることによって設置することができるため、あらゆる場所に簡便に設置し、または撤去することが可能である。そのため、建設現場での工程期間中、またはイベント施設もしくはイベント会場の開催期間中などにおいて、ユニットハウス４０を一時的に設置し、入退場管理システムを利用して、対象者の入退場管理を行うことができる。また、ユニットハウス４０の入退場管理システムでは、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、ユニットハウス４０の入退場管理システムでは、対象者が歩みを止めることなく、入場または退場することができる。

本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。また、各実施形態を基にして、当業者が適宜構成要素の追加、削除、もしくは設計変更を行ったもの、または、工程の追加、省略、もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

上述した各実施形態によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１０：顔認証システム、１１：情報処理装置、１１ａ：顔画像データ抽出部、１１ｂ：顔画像データ評価部、１１ｃ：優先度決定部、１１ｄ：照合部、１１ｅ：温度情報取得部、１１ｆ：記憶部、１２：撮像装置、１３：表示装置、１４：黒体炉、１５ｂ、１５ｃ、１５ｄ、１５ｅ：顔画像データ、２０：入退場管理システム、３０：ユニットパネル、４０：ユニットハウス、１００：第１のゲート、１１０：第２のゲート、１２０：通路、２００、２００Ａ、２００Ｂ：第１の情報処理装置、２１０、２１０Ａ、２１０Ｂ：第１の撮像装置、２２０、２２０Ａ、２２０Ｂ：第１の表示装置、２３０、２３０Ａ、２３０Ｂ：警告装置、２４０、２４０Ａ、２４０Ｂ：黒体炉、３００、３００Ａ、３００Ｂ：第２の情報処理装置、３１０、３１０Ａ、３１０Ｂ：第２の撮像装置、３２０、３２０Ａ、３２０Ｂ：第２の表示装置、４００、４００Ａ、４００Ｂ：第３の情報処理装置、５００Ａ：パネル材、５０１Ａ：第１の面、５０２Ａ：第２の面、５１０Ａ：開口部、６００Ｂ：箱状体、６１０Ｂ：第１の扉、６２０Ｂ：第２の扉、６５０Ｂ：空調機、６５１Ｂ：室内機、６５２Ｂ：室外機、６５３Ｂ：配管、６６０Ｂ：バッテリー部、１０１０：第１の顔画像データ抽出部、１０２０：第１の顔画像データ評価部、１０３０：第１の優先度決定部、１０４０：第１の照合部、１０５０：温度情報取得部、１０６０：入場者情報処理部、１０７０：第１の記憶部、１１１０：第２の顔画像データ抽出部、１１２０：第２の顔画像データ評価部、１１３０：第２の優先度決定部、１１４０：第２の照合部、１１６０：退場者情報処理部、１１７０：第２の記憶部、１２１０：入退場管理情報処理部、１２２０：入退場管理情報記憶部

Claims

画像データから複数の顔画像データを抽出する顔画像データ抽出部と、
前記複数の顔画像データの各々を複数の評価項目で評価することにより、前記複数の顔画像データの各々に対して複数の評価値を付与する顔画像データ評価部と、
前記複数の評価値から第１の合計値および第２の合計値を算出し、前記第１の合計値および第２の合計値に基づいて前記複数の顔画像データの各々に優先度を付与する優先度決定部と、
前記優先度に応じて前記顔画像データを登録顔画像データと照合する照合部と、を含む、顔認証システム。
前記第１の合計値は、前記複数の評価項目のうち、時間経過によって変化しにくい第１の分類に属する評価項目の評価値の合計である、請求項１に記載の顔認証システム。
前記第１の分類に属する評価項目は、前記顔画像データの中のマスクの検出またはコントラストを評価するものである、請求項２に記載の顔認証システム。
前記第２の合計値は、前記複数の評価項目のうち、時間経過によって変化しやすい第２の分類に属する評価項目の評価値の合計である、請求項１乃至請求項３のいずれか一項に記載の顔認証システム。
前記第２の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものである、請求項４に記載の顔認証システム。
前記優先度決定部は、前記第１の合計値をソートし、前記第１の合計値のソートを固定したまま前記第２の合計値をソートした前記複数の顔画像データに対して、順に優先度を付与する、請求項１乃至請求項５のいずれか一項に記載の顔認証システム。
画像データから複数の顔画像データを抽出し、
前記複数の顔画像データの各々を複数の評価項目で評価することにより、前記複数の顔画像データの各々に対して複数の評価値を付与し、
前記複数の評価値から第１の合計値および第２の合計値を算出し、
前記第１の合計値および第２の合計値に基づいて前記複数の顔画像データの各々に優先度を付与し、
前記優先度に応じて前記顔画像データを登録顔画像データと照合する、顔認証方法。
前記複数の評価項目のうち、時間経過によって変化しにくい第１の分類に属する評価項目の評価値を合計して前記第１の合計値を算出する、請求項７に記載の顔認証方法。
前記第１の分類に属する評価項目は、前記顔画像データの中のマスクの検出またはコントラストを評価するものである、請求項８に記載の顔認証方法。
前記複数の評価項目のうち、時間経過によって変化しやすい第２の分類に属する評価項目の評価値を合計して前記第２の合計値を算出する、請求項７乃至請求項９のいずれか一項に記載の顔認証方法。
前記第２の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものである、請求項１０に記載の顔認証方法。
前記優先度の付与において、
前記第１の合計値をソートし、前記第１の合計値のソートを固定したまま前記第２の合計値をソートし、
ソートした前記複数の顔画像データに対して、順に優先度を付与する、請求項７乃至請求項１１のいずれか一項に記載の顔認証方法。