JP6675564B1 - 顔認識システム、顔認識方法及び顔認識プログラム - Google Patents

Abstract

【課題】顔領域の誤検出を高速に判定し、かつ精度の良い顔認識も可能とする顔認識技術。【解決手段】カメラ画像201から人物の顔検出を行う比較的低精度の第１の顔検出手段2と、カメラ画像201に対してより高精度に人物の顔検出を行う第２の顔検出手段3と、第１の顔検出手段2と第２の顔検出手段3とのそれぞれによってカメラ画像それぞれに対して顔検出を行い、第１の顔検出手段2が検出した顔領域に対して第２の顔検出手段3が顔検出できない時には第１の顔検出手段2により誤検出されたものと判定して当該顔領域の重心座標をポイントマスク位置として自己学習し、以後、第１の顔検出手段2がカメラ画像201から顔検出した時に当該顔領域の重心座標を求め、記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該撮影画像に対して第２の顔検出手段3による精度の良い顔検出を行わない顔認識システム。【選択図】 図１

Description

本発明は、例えば会社やホテル、マンション等のエントランスにて、デジタルカメラで撮影される撮影画像だけで人物の接近を検知し顔認識するまでを、高速かつ高精度に処理する顔認識システム、顔認識方法及び顔認識プログラムに関する。

なお、一般には「顔認識」も「顔認証」も同一のコンピュータ処理であり、「モニターカメラ等で撮影したデジタル画像から、コンピュータシステムによりあるいはそれに組み込まれているアプリケーションによって人物を自動的に識別する処理技術を意味する用語として使用されている。しかしながら、本願では「顔認識」と「顔認証」とは異なった意味を持つものとして使用する。監視カメラ等のデジタルカメラから取得したデジタル画像から人の顔があるかどうかを調べて顔の領域を検出する「顔検出」を行う。そして検出した顔領域の特徴を解析し、確かに人物の顔であると判定するまでが「顔認識」処理である。他方、「顔認証」処理は、その検出し識別した顔領域の特徴データを事前にデータベースに登録されている多数の顔画像それぞれの特徴データと照合し一致する特徴データを持つ顔画像を割り出し、当該顔画像と紐付けされている属性、つまり当該顔画像の人物がどこの誰であるかとか○○部署のだれそれであるとかをその人物の属性まで特定する処理を意味するものとして使用する。

近年、例えば会社やホテル、マンション等のエントランスにて、そこに設置されているモニターカメラで撮影される映像から人物の接近を検出し、その人物の顔を認識し、認識結果に応じて自動ドアを開扉したり映像モニターや音声による応対をしたり、その他の特定の反応を行う自動受付システムやセキュリティシステムが広く活用されている。これは、モニターカメラの撮影画像を解析して人物の顔を特定し何らかのリアクションを行う技術が容易に利用可能となってきていることによる。

このような顔認識・顔認証技術を採用する場合、モニターカメラの撮影画像のみから精度良く対象人物を特定する必要があり、そのためには人物の顔の特徴が画像内にしっかりと反映されていなくてはならない。そこで従来の顔認識システムでは、顔検出を精度良く行うためにモニターカメラの撮影条件をある程度一定にするための拘束条件、例えば一定の範囲内に顔が収まるように来訪した人物に対して立つ位置や顔の向きを正すように要求したり、人物の背景に不確定要素が入り込まないように背景となる衝立を置いたり、太陽光や照明の影響といった外的不安定要因を排除するために専用ブースを設けたり、エントランスホール内でふさわしい設置場所を探してそこに受付ブースとモニターカメラを設置する等々の運用上の対策が採られている。

ところがこのような運用の場合、会社やホテル等で１つの「顔」となるべき受付ブースの意匠に制限がかかる、あるいは衝立等が存在することで受付システムがその裏に隠れてしまってエントランスホールに入ってきた人からは見えにくく、そこに受付ブースがあることを来訪者が気付かないといった弊害が生じることがある。

他方、会社等で無人の受付ブースを設ける場合、図１０、図１１に示すように、受付カウンター１０１側からエントランス１０２の方向に向けてモニターカメラ１０３を配置する例は多い。この場合、図１１に示す撮影画像２０１に見られるように、モニターカメラ１０３はエントランス１０２の自動ドア１０４越しに屋外１０５の景色を撮影したり、エントランス１０２の自動ドア１０４から人の出入りや屋外１０５での人や車の往来等で時々刻々に変化する情景を撮影する。

このような状況下でエントランス１０２の自動ドア１０４から入ってきた人物を自動的に検出する際には、まず受付カウンター１０１に接近してくる人物かどうかを判定する必要がある。そのため、コンピュータにてモニターカメラ１０３の撮影した撮影画像２０１に対して、顔検出のためにパターン認識を実行する。このパターン認識の時には人物の顔と背景との識別のために閾値を設定する。しかし、背景のノイズ（時間による背景の物体や光の変化）によって閾値の適正値も変化する。それにも関わらず人物を漏れなく検出しようとすると、その閾値をあらゆる状況を考慮した最低値にやむなく設定する必要がある。

しかしながら、閾値を最低値に設定すると、状況によって「あちらを立てれば、こちらが立たず」的な誤検出、誤認識が発生してしまうことになる。また、このようなノイズの影響により、特定人物の顔であるかどうかを認証する際も、画像内の顔領域の可能性あるパターンをすべて照合することになるために、認証までの時間が増加する問題点も発生していた。

このように、従来技術では、顔認識処理中に実行される人物の顔検出で、精度向上のために顔検出閾値を高くすると人物の顔が検出されにくくなって即応性が下がり、逆に閾値を低くすると即応性は上がるが、誤検出つまり人物以外の画像領域を顔領域であると反応してしまう問題点があった。

また顔検出のために撮影画像から顔領域を切り出すための閾値は、画像内の背景の物体や光の入り方の変化によって適正値が変化する。そのため、様々な状況下で人物の顔を漏れなく検出するには閾値を低めに設定しておかなければならない。ところがその結果として、状況によって誤検出が発生してしまう問題点もあった。同時に、適正な閾値を決定する際の調整に人手と時間がかかってしまう。その上、人物検出が高精度に行える顔認識アプリケーションを実行する顔認識システムを構築すると、人物検出の即応性が下がりリアルタイムに反応できなくなり、顔認識システムとして実用的ではない問題点もあった。

さらに、背景の不要な部分がモニターカメラの撮影画像内に写り込まないようにカメラ位置を調整したりあらかじめ撮影画像に対して矩形状にマスクしたりする方法があるが、そうすると人物の検出エリアが狭くなってしまう上に、誤検出を減らすには十分ではない問題点があった。加えてこの場合にも、カメラ位置や顔領域切り出しのために撮影画像に設定するマスクエリアの設定調整に人手と時間がかかってしまう問題点があった。

特開２０１８−４５３０９号公報 特開２０１８−８８１５４号公報 特開２０１８−１６０７９９号公報

本発明は、上述の従来技術の課題に鑑みてなされたもので、例えば会社やホテル、マンション等のエントランスホールの受付カウンターに設置する自動受付システムに組み込んだ場合に、エントランスホールの入口ドアを入ってきた人物の接近を即時に感知し、かつ人物の顔認識が精度良く行える顔認識システム、またその機能をコンピュータにて実現することができる顔認識方法及び顔認識プログラムを提供することを目的とする。

本発明はまた、運用により自動学習機能によって人物の接近感知の正確度を高めることができる顔認識システム、またその機能をコンピュータにて実現することができる顔認識方法及び顔認識プログラムを提供することを目的とする。

本発明は、所定の注視空間を一定の画角で連続的に撮影するモニターカメラと、前記モニターカメラが連続的に撮影するカメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理部と、前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理部と、前記第１の顔認識処理部と前記第２の顔認識処理部とのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理部が検出した顔領域に対して前記第２の顔認識処理部が顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理部と、前記第１の顔認識処理部が前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理部に記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理部よる顔認識を行わせないポイントマスク照合処理部と、前記第２の顔認識処理部によって顔認識した時にその顔認識結果を出力する顔認識結果出力処理部とを備えた顔認識システムを特徴とする。

上記発明の顔認識システムにおいては、受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、前記顔認識結果出力処理部の出力する顔認識結果を用いて人物を特定する顔認証処理部と、前記第１の顔認識処理部の顔検出に対応した歓迎メッセージ及び前記顔認証処理部が特定する人物の属性に応じた歓迎メッセージを前記受付モニターに表示させる自動受付処理部とを備えたものとすることができる。

また上記発明の顔認識システムにおいては、前記自動受付処理部が、前記顔認証処理部が特定する人物の属性に応じてセキュリティドアのオープン信号を出力するものとすることができる。

また上記発明の顔認識システムにおいては、前記第２の顔認識処理部としてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用するものとすることができる。

本発明はまた、コンピュータにより実行する顔認識方法であって、所定の注視空間を一定の画角で連続的に撮影するモニターカメラが連続的に撮影するカメラ画像を受信し、当該カメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理ステップと、前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理ステップと、前記第１の顔認識処理ステップと前記第２の顔認識処理ステップとのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理ステップにて検出した顔領域に対して前記第２の顔認識処理ステップにて顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理ステップと、前記第１の顔認識処理ステップが前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理ステップに記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理ステップよる顔認識を行わせないポイントマスク照合処理ステップと、前記第２の顔認識処理ステップによって顔認識した時にその顔認識結果を出力する顔認識結果出力処理ステップとを含む顔認識方法を特徴とする。

上記発明の顔認識方法においては、受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、前記顔認識結果出力処理ステップにて出力する顔認識結果を用いて人物を特定する顔認証処理ステップと、前記第１の顔認識処理ステップによる顔検出に対応した歓迎メッセージ及び前記顔認証処理ステップにて特定する人物の属性に応じた歓迎メッセージを受付モニターに表示させる自動受付処理ステップとを含むものとすることができる。

また上記発明の顔認識方法においては、前記自動受付処理ステップが、前記顔認証処理ステップにて特定する人物の属性に応じてセキュリティドアのオープン信号を出力するものとすることができる。

また上記発明の顔認識方法においては、前記第２の顔認識処理ステップとしてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用するものとすることができる。

さらに本発明は、当該顔認識プログラムをコンピュータシステムにインストールして実行させることにより、所定の注視空間を一定の画角で連続的に撮影するモニターカメラが連続的に撮影するカメラ画像を受信し、当該カメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理ステップと、前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理ステップと、前記第１の顔認識処理ステップと前記第２の顔認識処理ステップとのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理ステップにて検出した顔領域に対して前記第２の顔認識処理ステップにて顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理ステップと、前記第１の顔認識処理ステップが前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理ステップに記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理ステップよる顔認識を行わせないポイントマスク照合処理ステップと、前記第２の顔認識処理ステップによって顔認識した時にその顔認識結果を出力する顔認識結果出力処理ステップとを前記コンピュータシステムに実行させる顔認識プログラムを特徴とする。

上記発明の顔認識プログラムにおいては、受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、前記顔認識結果出力処理ステップにて出力する顔認識結果を用いて人物を特定する顔認証処理ステップと、前記第１の顔認識処理ステップによる顔検出に対応した歓迎メッセージ及び前記顔認証処理ステップにて特定する人物の属性に応じた歓迎メッセージを受付モニターに表示させる自動受付処理ステップとを前記コンピュータシステムに実行させるものとすることができる。

また本発明の顔認識プログラムにおいては、前記自動受付処理ステップが、前記顔認証処理ステップにて特定する人物の属性に応じてセキュリティドアのオープン信号を出力するものとすることができる。

さらに本発明の顔認識プログラムにおいては、前記第２の顔認識処理ステップとしてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用するものとすることができる。

本発明のシステム、本発明の方法を実行するコンピュータ、また本発明のプログラムをインストールしたコンピュータによれば、例えば会社やホテル、マンション等のエントランスの受付カウンターに設置した際に、エントランスの入口ドアを入ってきた人物の接近を高速で正確に検出し、かつ人物の顔認識が精度良く行える。

また本発明のシステム、本発明の方法を実行するコンピュータ、また本発明のプログラムをインストールしたコンピュータによれば、運用により自動学習機能によって人物の接近検出の正確度を高めつつ応答速度の向上も図れる。

したがって、本発明を組み込んだ自動受付システムでは、カメラの前に背景として衝立を立てたり顔検出のためのエリアを限定したり、来訪人物にカメラから見て最適の位置に移動させる指示をしたりすることなく、エントランスホールの全体を撮影するカメラ画像に対して最初の段階でそれがシステムに接近してくる人物であるかどうか、背景であるかどうかを切り分け、背景に存在する誤認識要素を当該システム運用中に自動で学習していくことができ、モニターカメラの撮影画像に対して当該学習した背景に存在する誤認識要素と同じ要素を再度人物として誤認識する場合には顔認識に移行せず、真正の人物検知の場合にだけ顔認識、顔認証処理に移行して自動受付処理を行うことができ、人物接近の検出を高速で行いつつ人物接近から当該人物の顔認証までの流れをスムーズに行って自動受付を適切に実行できる自動受付システムが構築できる。

本発明の第１の実施の形態の自動受付システムの機能ブロック図。 上記第１の実施の形態の自動受付システムの実行する自動受付動作のフローチャート。 上記第１の実施の形態の自動受付システムの実行する顔画像の登録処理のシーケンス図。 上記第１の実施の形態の自動受付システムの実行する自動受付処理のシーケンス図。 上記第１の実施の形態の自動受付システムにおける受付モニターの表示例の説明図。 上記第１の実施の形態の自動受付システムによるポイントマスクの自動学習と顔認識処理の動作を示す説明図。 上記第１の実施の形態の自動受付システムにおいてモニターカメラが撮影したエントランスホールの撮影画像に対して自動学習したポイントマスクの位置を重畳した画像（１）。 上記第１の実施の形態の自動受付システムにおいてモニターカメラが撮影したエントランスホールの撮影画像に対して自動学習したポイントマスクの位置を重畳した画像（２）。 本発明の第２の実施の形態の自動受付システムの機能ブロック図。 従来例の自動受付システムの自動受付ブースの説明図。 一般的なエントランスホールのモニターカメラによる撮影画像。

本発明は、閾値を可変させて顔認識精度すなわち類似度を可変できる計算方法を有した顔認識コンピュータシステムの計算結果を用いること、もしくは顔認識精度が異なる複数の顔認識コンピュータシステムを同時に利用することが前提である。そしてこれらの実現にはＬＡＮやインターネットのネットワーク通信技術を利用することも許される。

以下、本発明の実施の形態を図に基づいて詳説する。

［第１の実施の形態］
第１の実施の形態は第１と第２との２種類の閾値を設定し、最初に比較的低い第１の閾値により撮影画像の中から顔領域を検出することで、顔認識の精度は低いが認識処理速度が速い、つまり即応性のある顔検出アプリケーションにて人物の顔検出を行い、顔検出ができた時にはより高い第２の閾値により顔認識処理を行い、より精度の高い、より厳密な顔認識ができる顔認識アプリケーションを実行し、その顔認識結果に基づいて自動受付処理を行う自動受付システム、また当該自動受付システムで使用する顔認識方法及び当該自動受付システムで実行する顔認識プログラムである。

図１に示すように、本実施の形態の自動受付システムは、構内通信ネットワークＬＡＮ、外部のインターネットＮＷ１を併用し、受付ブースに設置されている受付モニター１と、この受付モニター１とＬＡＮにて接続されているローカルコンピュータ２と、このローカルコンピュータ２とインターネットＮＷ１を通じて接続されている顔認証サイトコンピュータ３にて構成されている。

受付モニター１については、来訪者を撮影するためにエントランスホールの主に入口ドアから受付ブースまでの景色を撮影できる画角を持つモニターカメラ１１、来訪者の発話を拾うマイク１２、また必要な音声アナウンスを行うためのスピーカー（図示せず、必須ではない）が接続されている。

ローカルコンピュータ２はノート型やデスクトップ型のパーソナルコンピュータ、事業所用の高性能のコンピュータのいずれであってもよいが、ＬＡＮやインターネットＮＷ１を通じて外部のコンピュータとデータ通信するためのデータ通信機能、そして相当容量の記憶装置２０を備えている。そして本実施の形態の自動受付処理を実施するための自動受付業務用プログラムが組み込まれている。この自動受付業務用プログラムは、当該ローカルコンピュータ２で必要な比較的低精度の第１の閾値にて顔認識を実行する顔検出プログラムも含んでいる。

このローカルコンピュータ２は、受付業務実行部２１、人物検出処理部２２、ポイントマスク照合部２３、ポイントマスク登録部２４、外部への顔画像送信部２５、そして外部からの顔認証結果受信部２６を内部処理機能として備えている。

ローカルコンピュータ２における受付業務実行部２１は、受付モニター１に来客歓迎メッセージ、受付応対メッセージ等を表示して来客対応業務を実行する。この受付モニター１にＬＡＮを通じて送信して表示させるメッセージとしては、特に限定されないが、図５に示すようなメッセージを来客の顔認証に先駆けて、また顔認証結果に応じて表示する。またマイク１２からの音声信号の受信、スピーカ（図示せず）に対する発話信号の送信も行う。（詳細は後述する。）
人物検出処理部２２は比較的低い第１の閾値により比較的精度は低いが応答速度の速い顔認識処理を行う第１の顔認識アプリケーションＡＰ１により、ＬＡＮを通じてモニターカメラ１１から一定周期（フレームレート）で連続的に送られてくる撮影画像のそれぞれに対してその画像中に人物の顔が写っていないか顔検出処理を行い、顔検出時には顔検出信号を出力する。この顔検出処理は、比較的低い第１の閾値に設定することにより、いわばだいたい人の顔であると判定できる程度の認識精度に設定して、それゆえにＣＰＵに重い負担をかけずに比較的高速に顔検出処理を行う。

ポイントマスク照合部２３は、人物検出処理部２２から顔検出信号を受信した時にその顔領域の重心座標を計算し、記憶装置２０に登録されているポイントマスクデータ群と照合する。そして一致する重心座標が登録されていない時には顔画像送信部２５から当該顔領域の画像データをインターネットＮＷ１を通じて外部の顔認証処理サイトコンピュータ３に送出させる。

外部への顔画像送信部２５は、ポイントマスク照合部２３にてポイントマスク照合処理が成功しなかった顔画像についてインターネットＮＷ１を通じて外部の顔認証処理サイトコンピュータ３に送信する。外部からの顔認証結果受信部２６は、インターネットＮＷ１を通じて顔認証処理サイトコンピュータ３から送られてきた顔認識・顔認証結果を受信し、受付業務実行部２１とポイントマスク登録部２４に受け渡す処理をする。

ポイントマスク登録部２４は、外部の顔認証処理サイトコンピュータ３から顔認識不成立の認識結果を受信した時に、当該顔画像の重心座標を新たなポイントマスクデータとして記憶装置２０に登録する。

外部の顔認証サイトコンピュータ３については、高精度で顔認識、顔認証サービスを提供するために特定のウェブサイトに設置された高性能なコンピュータであり、大容量の記憶装置３０を備えている。この顔認証処理サイトコンピュータ３には高精度の顔認識・顔認証を実行できる顔認識・顔認証アプリケーションＡＰ２がインストールされており、インターネットＮＷ１を通じて送られてくるローカルコンピュータ２から顔画像に対して精度の高い顔認識処理を実施し、記憶装置３０に登録している多数の顔特徴データと照合して該当する顔特徴データを持つ人物を特定しその顔認証結果を同じくインターネットＮＷ１を通じて依頼元のローカルコンピュータ２に送出する顔認識・認証処理を実施する。

本実施の形態では、ローカルコンピュータ２に顔検出アプリケーションＡＰ１がインストールされており、外部の顔認証サイトコンピュータ３には顔認証アプリケーションＡＰ２がインストールされている。そしてローカルコンピュータ２の顔検出アプリケーションＡＰ１は比較的簡易なプログラムのものであり、それゆえに顔検出精度は比較的低いが顔検出処理速度は比較的高速である。

他方、外部の顔認証サイトコンピュータ３の顔認証アプリケーションＡＰ２はローカルコンピュータ２の顔検出アプリケーションＡＰ１に比べて顔認識・顔認証精度が高いものである。そしてそれゆえに、インターネットＮＷ１を通じて撮影画像を外部の顔認証サイトコンピュータ３に送りそこで顔認証アプリケーションＡＰ２だけによって顔認識・顔認証処理を行い、その顔認識・顔認証結果を待ってローカルコンピュータ２にて自動受付対応を実施すれば、来訪者に対して受付モニター１における表示態様の推移速度（反応速度）が当該来訪者にとって通常の受付係の人による対応に比べて感覚的に遅く感じさせる時間ラグを生じさせ得るものである。あるいはオンサイトのローカルコンピュータにて当該高精度の顔認識・顔認証処理アプリケーションＡＰ２をインストールして実行させようとすれば当該ローカルコンピュータ２に高速処理性能が必要とされ、その結果としてローカルコンピュータ２のシステム価格が高価になってしまうような高負荷のアプリケーションである。

次に、上記システム構成の自動受付システムによる自動受付動作について、図２のフローチャート、また図３、図４のシーケンス図、図５〜図８の動作説明図を参照しながら説明する。この動作説明はまた、本発明の実施の形態のコンピュータによる顔認識方法及びコンピュータに実行させる顔認識プログラムの説明でもある。

図３のシーケンス図に示すように、ローカルコンピュータ２では、本システムの運営開始に先立ち、また運営中にも来訪が予想される人物の顔画像を多数読み込み、顔認証サイトコンピュータ３に送信する（シーケンスＳＱ１）。顔認証サイトコンピュータ３では、ローカルコンピュータ２から送信されてくる顔画像の特徴解析を行い、特徴データと共に当該顔画像の人物の属性データを記憶装置３０の顔画像データベースに登録し、顔画像特徴データを蓄積していく（シーケンスＳＱ３，ＳＱ５）。なお、顔認証サイトコンピュータ３は複数の顧客それぞれから同様の顔画像データが送られてくるので、顧客ごとに区別して顔画像データベースに登録する。前処理としてある程度の数の顔画像データの登録の後、本自動受付システムの運営が開始される。

本自動受付システムでは、運営開始後はポイントマスクの自動学習と共に自動受付業務を実行する。図２のフローチャート、図４のシーケンス図に示すように、ローカルコンピュータ２は受付モニター１の画面に待ち受け画面を表示させ（シーケンスＳＱ１１）、モニターカメラ１１は所定周期（フレームレート）でエントランスホールの画像を撮影し、ローカルコンピュータ２に撮影画像を連続的に送信する（ステップＳＴ１１、シーケンスＳＱ１３）。この撮影画像は、従来例の説明で用いた図１１の撮影画像２０１と同様であり、画角固定、焦点距離固定の撮影条件で一定周期で送信する。

来訪者が特定の人物かどうかを認識する以前に、モニターカメラ１１による撮影画像２０１の中に人物が写っているかどうかを即時に検出したい。そこで、ローカルコンピュータ２ではモニターカメラ１１からのエントランスホール１０２の撮影画像２０１に対して、アプリケーションＡＰ1を実行して比較的低い第１の閾値により顔検出を実施する（ステップＳＴ１１〜ＳＴ１５、シーケンスＳＱ１５〜ＳＱ１９）。このように顔検出の閾値を低く設定することで、人物の「顔」らしきものが画像内にあるかどうかを高速に検出することが可能である。

顔検出されなければ次の周期の撮影画像に対して同様に顔検出処理を繰り返す（ステップＳＴ１５、シーケンスＳＱ１９それぞれにおいてＮＯに分岐）。他方、ステップＳＴ１５、シーケンスＳＱ１９で顔検出に成功すればＹＥＳに分岐し、ポイントマスク照合処理のステップＳＴ１７、シーケンスＳＱ２３に移行する。

このポイントマスク照合ステップＳＴ１７では、検出した顔領域の重心座標を計算し、当該顔領域の重心座標がローカルコンピュータ２の記憶装置２０に登録されているポイントマスクの座標群のいずれかの座標と一致するかどうか照合する。そして座標の一致するポイントマスクを見いだせば、ポイントマスク座標の照合成立とし、顔ではない画像領域を顔領域と誤検出したものであり人物来訪ではないと見なして次の撮影画像２０１に対する顔検出処理のためにリターンする（ステップＳＴ１９、シーケンスＳＱ２３でＹＥＳに分岐）。他方、ポイントマスク座標の照合不成立の場合は受付モニター１の画面に「いらっしゃいませ。」といった歓迎メッセージを表示する（シーケンスＳＱ２１）。

これにより、顔領域として誤認識されるような領域を含む画像が撮影された場合には、外部の顔認証サイトコンピュータ３までインターネットＮＷ１を通じて顔画像を送信して認証させその認証結果を待つということをせず、ローカルコンピュータ２側でほとんどタイムラグなく高速で誤検出であることを判断して次の処理に備えることができることになる。

そしてローカルコンピュータ２側では正しく顔検出できた撮影画像に対しては、その顔領域の画像を外部の顔認証サイトコンピュータ３までインターネットＮＷ１を通じて送信し、アプリケーションＡＰ２により第２の閾値を用いた精度の高い顔認識、顔認証処理を実行する（ステップＳＴ２１〜ＳＴ３３、シーケンスＳＱ２７〜ＳＱ４５）。すなわち、顔認証サイトコンピュータ３において、ローカルコンピュータ２から受信した顔領域の画像に対して精度の高い顔認識、顔認証を行うアプリケーションＡＰ２を実行して顔領域の画像から目、眉毛、口、鼻等の特徴領域を検出し、記憶装置３０の当該ローカルコンピュータ２のクライアント用に登録してある多数の顔画像の特徴データを参照し特徴データが一致する顔画像を抽出する（ステップＳＴ２１、シーケンスＳＱ２７，ＳＱ２９）。

顔認証サイトコンピュータ３におけるステップＳＴ２１、シーケンスＳＱ２９の顔認識処理において、ローカルコンピュータ２から受信した顔画像が人物の顔ではないと判断されれば、顔認識ができないという認識結果を顔認証サイトコンピュータ３からローカルコンピュータ２に送信する（ステップＳＴ２３、シーケンスＳＱ３１にてＮＯに分岐）。

ローカルコンピュータ２で顔認識不成功の信号を顔認証サイトコンピュータ３から受信すれば、ステップＳＴ１３、シーケンスＳＱ１７で顔検出アプリケーションＡＰ１を用いて行った第１の閾値による顔検出が誤検出であったものと判断し、当該撮影画像中の顔画像の重心座標を計算し、これを当該ローカルコンピュータ２の顔検出アプリケーションＡＰ１では誤検出する点とみなし、次回からその座標が重心となる顔領域については顔認識、顔認証しないようにマスキングするポイントマスク座標とし、これを記憶装置２０のポイントマスクの座標群に追加登録する（ステップＳＴ２５、シーケンスＳＱ３３）。そしてローカルコンピュータ２は受付モニター１の表示を待ち受け画面に復帰させ、待機させる（シーケンスＳＱ３５）。

顔認証サイトコンピュータ３において、ステップＳＴ２１、シーケンスＳＱ２９で顔認証アプリケーションＡＰ２による顔認識に成功すれば、当該顔画像の特徴から既登録の人物の顔であるか否かの顔認証を行う（ステップＳＴ２７、シーケンスＳＱ３７）。この顔認証において既登録の得意先の人物、自社の社員等の属性を抽出できなければ未知の来訪者として事前に設定した受付対応を実行する（ステップＳＴ２９，ＳＴ３１、シーケンスＳＱ３９，ＳＱ４１）。他方、この顔認証処理において登録済みの既知の人物を特定することができれば、その属性に応じて事前に設定した受付対応を実行する（ステップＳＴ２９，ＳＴ３３、シーケンスＳＱ４３，ＳＱ４５）。

こうして、図５のシーケンスＳＱ４１に例示するように、ステップＳＴ２７，２９、シーケンスＳＱ３７で顔認証が成功しなければ、顔認証サイトコンピュータ３からローカルコンピュータ２にその認証不成立を通知し、ローカルコンピュータ２は受付モニター１に対して、「受付につながりますので、○○番にお電話してください。」のメッセージを表示させたりスピーカーにより同様のメッセージを発話させたりして、不特定人物であっても失礼のない受付対応を行う。

他方、ステップＳＴ２７，ＳＴ２９、シーケンスＳＱ３７で顔認証が成功すれば、顔認証サイトコンピュータ３からローカルコンピュータ２に認証した特定人物の氏名、ＩＤ等のあらかじめ登録されている属性情報を送信し、ローカルコンピュータ２では顔認証サイトコンピュータ３から受け取った属性情報に基づき、自機の記憶装置２０に登録している該当人物の属性データを読み出し、得意先の○○という人物であるとか、自社の○○部の何々という社員であるとかを特定し、この登録した属性情報の内容に応じてあらかじめ設定した受付対応を実施する。例えば、図５に示すように、「○○様、お待ちしておりました。どうぞ○○番にお電話ください」というメッセージを受付モニター１の画面に表示させたり（シーケンスＳＱ４５−１）、「○○様、いらっしゃいませ。エレベーターで○○階までお越しください。お待ちしております。」というメッセージを表示させると共にセキュリティドアを自動的にオープンさせる制御を行ったり（シーケンスＳＱ４５−２）、自社社員であれば「○○さん、お疲れ様でした」と表示させると共にセキュリティドアを自動的にオープンさせたりする（シーケンスＳＱ４５−３）ことができる。

本実施の形態によれば、上述したポイントマスクの自動学習処理と自動受付処理により、モニターカメラ１１によってエントランスホール１０２を一定の画角、焦点距離で一定周期で撮影しながら、ローカルコンピュータ２の比較的低い第１の閾値により処理速度は速いが精度の低い顔検出処理では誤検出が発生するような撮影状況、撮影領域については誤検出した顔領域の重心座標をポイントマスクとして自己学習していき、次に時間を変えて撮影した撮影画像中の同じ領域に対して顔検出した時にはローカルコンピュータ２側で即時に誤検出とし、顔認証サイトコンピュータ３に当該顔領域のデータを送信して厳密な顔認識、顔認証を実施させる時間を省略することができる。同時に、当該誤検出した顔領域の重心座標をポイントマスクデータにして自動学習することにより、顔認証サイトコンピュータ３に送信して厳密な顔認識、顔認証処理をする回数を減らすることもでき、受付対応処理の反応速度を運営時間の経過に伴って向上させることができる。

例示すれば、モニターカメラ１１によって図１１に示したようなエントランスホール１０２の撮影画像２０１を周期的とキャプチャーしているとする。図６に示すように、モニターカメラ１１で撮影される撮影画像２０１内の解像度に相当する、「顔を検出しない」座標リストをポイントマスクＭＫ１として生成する。このポイントマスクＭＫ１の座標リストは初期の段階では空（から）かもしくはモニターカメラ１１の設置場所によりある程度分かりやすい座標に関してはあらかじめ記述しておく。従来であれば、図１１のエントランスホール１０２の撮影画像２０１では、例えば屋外１１１の車のタイヤが撮影される場所や、自動ドア１０４のマークの付近が既存の顔検出器では「人間の目」の位置という形で誤認識されるが、本実施の形態ではこの誤検出を防ぐことができる。これは、従来技術の背景マスクとしてある一定の矩形範囲を認識範囲から除外しておくということでも可能ではあるが、そうすると、モニターカメラ１１で撮影する範囲を著しく制限する。

そこで、本実施の形態では、図６に示すように、顔パターンとして認識されるカメラ画像２０１内の顔矩形パターンの重心座標を用い、図７に示すようにその重心座標の位置を「ポイントマスク」ＭＫ１として記録する。そして、以後にそのポイントマスクＭＫ１の位置で顔パターン検出がされても実際には人の顔ではないとみなして顔認証処理に移行しないことにし、誤認識率を減らしていく。また新たに顔検出した領域ＩＭ１のように精度の高い顔認識では誤検出と判断された場合にはその顔領域ＩＭ１の重心座標をポイントマスクＭＫ２として以後認識しないようにして自己学習していく。この自己学習により、図８に示すように誤検出を起こした矩形パターンに対するポイントマスクＭＫ１は時間の経過と共に増加していく。これより、長時間運用することで自動的に誤検出位置を記録していくため、図６に示すように誤検出の可能性の低い顔検出領域ＩＭ２に対してだけ精度の高い顔認識、顔認証処理できるようになるので、顔認識・顔認証の精度が向上することになる。

また一般的なノイズ要因を排除するための「矩形マスク」と異なり、学習が進みマスク領域の数が増えても、図７、図８に示すように撮影画像の誤検出領域の重心座標位置のみをポイント状のマスクとするものであるため、検知範囲を狭めることがなく、背景に様々な模様が映り込むような悪条件下にもモニターカメラ１１を設置して精度の高い顔認証ができることになる。

これにより、エントランスホール１０２のような環境では、受付カウンター１０１に対して左右、画像奥等、どの方向から人物がどのように近づいて来るかも特定しにくいが、動線を限定するようなことを避けたいという課題を解決できる。また、最初から顔認識の閾値を上げて検出精度を高くする場合には、一般的に精度が高くなる分だけ認識処理の負荷が大きくなって認識速度が低下し反応性が損なわれることになるが、本実施の形態では人物の顔検出時には低精度かつ高速に処理を行うことが可能であるため、反応性に関する課題も解決できる。しかも運用時間の経過に伴い自動学習によりポイントマスクの数が自ずと増加するために、その分だけ反応性良く誤検出領域が排除できるようになり、真正な顔検出領域に絞った精度の高い顔認識、顔認証ができるようになって即応性と共に精度の向上が図れる。

以上により、本実施の形態の自動受付システム及びそれに使用する顔認識方法、顔認識プログラムによれば、その使用によって、特定の人物に対してセキュリティドアを開ける、親切な案内をする等のアクションを適切に行うことがより高速に、高精度で行うことができ、しかも運用時間の経過と共に処理速度が向上する利点もある。

またこのような自動受付対応により、実際の人物が自動ドアを通ってエントランスホール１０２に入ってきて受付ブース１０１に近づくなら、早い段階で「いらっしゃいませ。」というような歓迎メッセージが受付モニター１の画面に表示され、それに続いて「○○様、お待ちしておりました。どうぞ○○番にお電話ください。」と表示され、これによって来訪者に不自然な印象を与えない自然な流れの受付対応が自動的に行える利点もある。

なお、本実施の形態では顔認識サイトコンピュータ３の顔認識処理プログラムＡＰ２としては、Amazon.com社により提供されているAmazon Web Service(AWS)の内の顔認証サービスを使用している。そのＵＲＬは、「https://aws.amazon.com/jp/rekognition/the-facts-on-facial-recognition-with-artificial-intelligence/」である。しかしながら、外部の顔認証処理サイトコンピュータ及び顔認証処理プログラムとしては、同様の顔認識サービスを提供する別会社、例えばIBM社、Google社のソフトウェアを採用することも可能である。

また、ローカルコンピュータ２にインストールして利用する顔認識アプリケーションＡＰ１には、汎用クロスプラットフォームソフトウェアライブラリDlibの機械学習と画像認識ライブラリを使用した顔認証プログラムを使用している。

［第２の実施の形態］
図９を用いて本発明の第２の実施の形態の自動受付システムについて説明する。図１に示した第１の実施の形態の場合、精度の高い顔認識、顔認証サービスを提供する外部の顔認証・顔認識コンピュータ３に顔検出領域の画像を送出して行うようにした。

本実施の形態の自動受付システムは、ローカルコンピュータ２Ａにおいて精度は低いが認識速度が速い第１の閾値による顔検出アプリケーションＡＰ１と顔認識精度がより高い第２の閾値により顔認識、顔認証を行う認証アプリケーションＡＰ２とを同時に実行させることができるものである。そこで、本実施の形態の自動受付システムでは、ローカルコンピュータ２Ａにおいて、第１の実施の形態と同様に自動受付業務を実行する受付業務実行部２１と第１の閾値により人物検出を実行する人物検出処理部２２、ポイントマスク照合部２３、ポイントマスク登録部２４を備えている。そして本実施の形態の特徴として、ローカルコンピュータ２Ａ内にて第２の閾値による顔認識処理を実行する第２の閾値による顔認識処理部２７、そしてこの第２の閾値による顔認識処理部２７の顔認識結果に基づき顔認証を実行する顔認証処理部２８を備えている。

本実施の形態の自動受付システムによる自動受付処理動作は第１の実施の形態と同様であり、図２のフローチャートの処理を実行する。ただし、ローカルコンピュータ２内で第１の閾値による顔検出、第２の閾値によるより精度の高い顔認識、顔認証を実行するので、図３のシーケンスにおけるシーケンスＳＱ３，ＳＱ５の顔画像の登録処理、図４のシーケンスにおけるシーケンスＳＱ２９，ＳＱ３１，ＳＱ３７の処理はローカルコンピュータ２Ａ内で実行することになる点が第１の実施の形態と異なる。

この第２の実施の形態の自動受付システムによっても、第１の実施の形態と同様の作用、効果を奏することができる。つまり、カメラの前に背景として衝立を立てたり顔検出のためのエリアを限定したり、来訪人物にカメラから見て最適の位置に移動させる指示をしたりすることなく、エントランスホールの全体を撮影するカメラ画像に対して最初の段階でそれがシステムに接近してくる「人物」であるかどうかあるいは背景であるかどうかを切り分け、背景に存在する誤認識要素を当該システム運用中に自動で学習していくことができ、カメラの撮影画像に対して自己学習した背景に存在する誤認識要素と同じ要素を再度人物として誤認識する場合には顔認識に移行せず、真正の人物検知の場合にだけ顔認証処理に移行して自動受付処理を行うことができ、人物接近の検出を高速で行いつつ人物接近から当該人物の顔認証までの流れをスムーズに行うことができる。

この実施の形態の場合、顔認識アプリケーションＡＰ１，ＡＰ２には、汎用クロスプラットフォームソフトウェアライブラリDlibの機械学習と画像認識ライブラリで、処理時間が短いが精度的には比較的低いライブラリ（閾値が低い）と比較的高精度で処理に時間のかかるライブラリ（閾値が高い）とを採用することができる。

［他の実施の形態］
第１、第２の実施の形態では、自動受付システムについて説明した。しかしながら本発明の顔認識方法及び顔認識プログラム、またその処理機能を備えた顔認識システムは自動受付技術に限定されるものではない。顔認識、顔認証を必要とするマンション玄関の出入管理システム等でマンション住民のような特定人物、訪問客、不審者等を識別しながらセキュリティドアの開閉を制御する必要がある施設の入退室管理のシステムとしても広く応用することができる。

事業所やマンションのエントランスホールにおける自動受付システム、入退室管理システムとして広く利用できる。

１ 受付モニター
２，２Ａ ローカルコンピュータ
３ 顔認証処理サイトコンピュータ
１１ モニターカメラ
２０ 記憶装置
２１ 受付業務実行部
２２ 人物検出処理部
２３ ポイントマスク照合部
２４ ポイントマスク登録部
２５ 外部への顔画像送信部
２６ 外部からの顔認証結果受信部
２７ 第２の閾値による顔認識処理部
２８ 顔認証処理部
３０ 記憶装置
ＬＡＮ 構内通信ネットワーク
ＮＷ１ インターネット

Claims (12)

1. 所定の注視空間を一定の画角で連続的に撮影するモニターカメラと、
   前記モニターカメラが連続的に撮影するカメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理部と、
   前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理部と、
   前記第１の顔認識処理部と前記第２の顔認識処理部とのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理部が検出した顔領域に対して前記第２の顔認識処理部が顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理部と、
   前記第１の顔認識処理部が前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理部に記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理部よる顔認識を行わせないポイントマスク照合処理部と、
   前記第２の顔認識処理部によって顔認識した時にその顔認識結果を出力する顔認識結果出力処理部とを備えたことを特徴とする顔認識システム。
2. 受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、
   前記顔認識結果出力処理部の出力する顔認識結果を用いて人物を特定する顔認証処理部と、
   前記第１の顔認識処理部の顔検出に対応した歓迎メッセージ及び前記顔認証処理部が特定する人物の属性に応じた歓迎メッセージを前記受付モニターに表示させる自動受付処理部とを備えたことを特徴とする請求項１に記載の顔認識システム。
3. 前記自動受付処理部が、前記顔認証処理部が特定する人物の属性に応じてセキュリティドアのオープン信号を出力することを特徴とする請求項２に記載の顔認識システム。
4. 前記第２の顔認識処理部としてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用することを特徴とする請求項１〜３のいずれかに記載の顔認識システム。
5. コンピュータにより実行する顔認識方法であって、
   所定の注視空間を一定の画角で連続的に撮影するモニターカメラが連続的に撮影するカメラ画像を受信し、当該カメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理ステップと、
   前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理ステップと、
   前記第１の顔認識処理ステップと前記第２の顔認識処理ステップとのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理ステップにて検出した顔領域に対して前記第２の顔認識処理ステップにて顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理ステップと、
   前記第１の顔認識処理ステップが前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理ステップに記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理ステップよる顔認識を行わせないポイントマスク照合処理ステップと、
   前記第２の顔認識処理ステップによって顔認識した時にその顔認識結果を出力する顔認識結果出力処理ステップとを含むことを特徴とする顔認識方法。
6. 受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、
   前記顔認識結果出力処理ステップにて出力する顔認識結果を用いて人物を特定する顔認証処理ステップと、
   前記第１の顔認識処理ステップによる顔検出に対応した歓迎メッセージ及び前記顔認証処理ステップにて特定する人物の属性に応じた歓迎メッセージを受付モニターに表示させる自動受付処理ステップとを含むことを特徴とする請求項５に記載の顔認識方法。
7. 前記自動受付処理ステップが、前記顔認証処理ステップにて特定する人物の属性に応じてセキュリティドアのオープン信号を出力することを特徴とする請求項６に記載の顔認識方法。
8. 前記第２の顔認識処理ステップとしてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用することを特徴とする請求項５〜７のいずれかに記載の顔認識方法。
9. 当該顔認識プログラムをコンピュータシステムにインストールして実行させることにより、
   所定の注視空間を一定の画角で連続的に撮影するモニターカメラが連続的に撮影するカメラ画像を受信し、当該カメラ画像から人物の顔認識を行う比較的低精度の第１の顔認識処理ステップと、
   前記カメラ画像に対してより高精度に顔認識を行う第２の顔認識処理ステップと、
   前記第１の顔認識処理ステップと前記第２の顔認識処理ステップとのそれぞれによって前記カメラ画像に対して顔認識を行い、前記第１の顔認識処理ステップにて検出した顔領域に対して前記第２の顔認識処理ステップにて顔認識できない時には当該顔領域の重心座標をポイントマスク位置として自己学習し記憶するポイントマスク学習処理ステップと、
   前記第１の顔認識処理ステップが前記カメラ画像から顔検出した時に当該顔領域の重心座標を求め、前記ポイントマスク学習処理ステップに記憶されているポイントマスクの座標群の中に一致する座標のものが見つかった時には誤検出領域であるとして当該カメラ画像に対して前記第２の顔認識処理ステップよる顔認識を行わせないポイントマスク照合処理ステップと、
   前記第２の顔認識処理ステップによって顔認識した時にその顔認識結果を出力する顔認識結果出力処理ステップとを前記コンピュータシステムに実行させることを特徴とする顔認識プログラム。
10. 受付ブースに前記モニターカメラを設置すると共に受付モニターを設置して当該顔認識システムと接続し、
    前記顔認識結果出力処理ステップにて出力する顔認識結果を用いて人物を特定する顔認証処理ステップと、
    前記第１の顔認識処理ステップによる顔検出に対応した歓迎メッセージ及び前記顔認証処理ステップにて特定する人物の属性に応じた歓迎メッセージを受付モニターに表示させる自動受付処理ステップとを前記コンピュータシステムに実行させることを特徴とする請求項９に記載の顔認識プログラム。
11. 前記自動受付処理ステップが、前記顔認証処理ステップにて特定する人物の属性に応じてセキュリティドアのオープン信号を出力することを特徴とする請求項１０に記載の顔認識プログラム。
12. 前記第２の顔認識処理ステップとしてインターネットにて接続される外部の顔認識サービスサイトのコンピュータを利用することを特徴とする請求項９〜１１のいずれかに記載の顔認識プログラム。