JP7209472B2 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法、およびプログラムに関する。

従来、講習会等の実施記録や出席記録を取るに際して、会の参加者の集合写真から、該当する参加者が写っている箇所を管理者が視認して、受講者の登録済の顔写真との対応関係を確認することで出席確認を行い、代返や改ざん等の不正行為を防止する技術が開示されている（例えば、特許文献１）。

特開２００６－５３５９７号公報

しかしながら、上述の出席確認方法においては、登録済の顔写真がある場合に、参加者の集合写真との照合が可能であるが、登録されていない人物については、集合写真に写っていたとしても、出席確認をすることができず、エラーとなってしまう。この場合、出席確認をするためには、口頭で本人確認を行うか、顔写真を新規登録しなければならない。また、このような手続は、管理者にとって負担が大きい。

本発明は、このような事情を考慮してなされたものであり、顔画像の未登録者の出席確認における作業負荷を軽減させる情報処理システム、情報処理方法、およびプログラムを提供することを目的の一つとする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一形態としては、入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出する顔画像検出部と、前記点呼対象者の前記顔画像を記憶する記憶部と、前記記憶部に記憶された前記点呼対象者の前記顔画像と、前記顔画像検出部が検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定する判定部と、前記判定部によって、前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を前記記憶部に記憶させる、顔画像登録部とを備え、前記判定部による判定結果と、前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記顔画像検出部が検出した点呼時の前記顔画像と前記記憶部に記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶部に記憶された前記点呼対象者の前記顔画像を表示する表示部を備えることを特徴とする情報処理システムである。

（２）また、本発明の一形態としては、前記表示部は、前記点呼対象者として予定されている人物であると判定されなかった場合に、前記顔画像検出部によって検出された前記撮像データの被写体の属性情報及び候補となる前記顔画像をともに表示する（１）に記載の情報処理システムである。

（３）また、本発明の一形態としては、前記点呼対象者の年齢情報を記憶する点呼記録部をさらに備え、前記判定部は、前記顔画像検出部により点呼時に複数の顔画像を検出した場合であって、前記点呼記録部に前記点呼対象者の年齢情報が記憶されている場合、前記顔画像検出部が検出した点呼時の前記顔画像から前記点呼対象者の想定年齢を導出し、前記想定年齢と前記点呼記録部に記憶された前記点呼対象者の年齢情報とが近似しているか乖離しているかを判定し、一の前記点呼対象者と前記想定年齢が近似している場合、かつ、他の前記点呼対象者と前記想定年齢が乖離している場合は、前記点呼記録部に記憶された前記点呼対象者と前記点呼時の前記一の前記点呼対象者とが一致している可能性が高いと推定し、前記表示部は、前記判定部により推定された推定結果を、前記記憶部に記憶された前記点呼対象者の前記顔画像とともに表示する（１）または（２）に記載の情報処理システムである。
（４）また、本発明の一形態としては、前記判定部による判定結果は、点呼が行われた位置情報および判定タイミングに対応した顔画像のなかから判定された結果であり、前記情報処理システムは、前記判定結果に基づいて、前記顔画像が、前記点呼対象者に対して正しく対応付いていることを検証する、検証部をさらに備えることを特徴とする（１）から（３）のうちいずれか１つに記載の情報処理システムである。

（５）また、本発明の一形態としては、前記記憶部は、前記点呼対象者の顔画像を、所定の分類規則に基づいて分類して記憶することを特徴とする（１）から（４）のいずれか１つに記載の情報処理システムである。

（６）また、本発明の一形態としては、前記判定部は、前記点呼対象者の顔周辺の装備品の有無に応じた分類に対応する前記撮像データに基づいて、前記判定を行うことを特徴とする（５）に記載の情報処理システムである。

（７）また、本発明の一形態としては、前記入力装置の利用者による位置情報および判定タイミングに関連する情報を操作入力または音声入力を受け付ける、入力内容受付部をさらに備え、前記顔画像登録部は、前記入力内容受付部に入力された内容に基づいて、前記記憶部に前記顔画像を記憶させることを特徴とする（１）から（６）のいずれか１つに記載の情報処理システムである。

（８）また、本発明の一形態としては、コンピュータが、入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出し、前記点呼対象者の前記顔画像を記憶し、前記記憶された前記点呼対象者の前記顔画像と、検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定し、前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を記憶するとともに、前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記検出された点呼時の前記顔画像と前記記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶された前記点呼対象者の前記顔画像を表示する情報処理方法である。

（９）また、本発明の一形態としては、コンピュータに、入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出させ、
前記点呼対象者の前記顔画像を記憶させ、前記記憶された前記点呼対象者の前記顔画像と、検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定させ、前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を記憶させるとともに、前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記検出された点呼時の前記顔画像と前記記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶された前記点呼対象者の前記顔画像を表示させるプログラムである。

本発明によれば、顔画像の未登録者の出席確認における作業負荷を軽減させることができる情報処理システムを提供できる。

第１の実施形態に係る情報処理システム１の機能構成を示すブロック図である。 表示部５２０に表示される、点呼結果の表示例を示す図である。 表示部５２０に表示される、不一致者Ｎ１の点呼時顔画像ＦＮを顔画像ＦＷとして記憶する際の操作画面イメージを示す図である。 判定部１４０による判定結果の分類例を示す図である。 記憶部１１０による照合用画像群の分類規則の一例を示す図である。 情報処理システム１により監督者Ｘが点呼確認を行う処理の流れの一部を示すフローチャートである。 情報処理システム１により監督者Ｘが点呼の整合性確認を行う処理の流れの一部を示すフローチャートである。 第２の実施形態に係る情報処理システム１Ａのブロック図である。

以下、図面を参照し、本発明の情報処理システム、情報処理方法、およびプログラムの実施形態について説明する。本発明に係る情報処理システム１は、例えば、工事現場等において、作業員等の点呼記録を管理するものである。

（第１の実施形態）
［全体構成］
図１は、第１の実施形態の情報処理システム１の機能構成を示すブロック図である。情報処理システム１は、例えば、演算装置１００と、入力装置５００とを備える。演算装置１００と、入力装置５００とは、例えば、ネットワークＮＷに接続され、通信回線を介して相互に通信する。ネットワークＮＷとは、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＬＴＥ（Long Term Evolution）（登録商標）等である。また、演算装置１００と、入力装置５００とは、ＵＳＢケーブル（Universal Serial Bus）等によって相互に接続され、通信してもよい。

演算装置１００は、例えば、記憶部１１０と、通信部１２０と、認識部１３０と、判定部１４０と、点呼記録部１５０とを備える。

記憶部１１０は、１以上の顔画像ＦＷを、被写体の人物毎に所定の分類規則に基づいて分類した状態で記憶する。顔画像ＦＷとは、被写体の人物の顔認証を行う際に用いる、画像データのことである。顔画像ＦＷは、例えば、単一の被写体の目、鼻、口等の顔のパーツの一部または全部が認識できる画像データである。所定の分類規則とは、例えば、被写体の人物が、装備品を身に付けているか否かに基づいて、顔画像ＦＷを分類する規則のことである。記憶部１１０は、例えば、被写体の人物がヘルメットを装着している状態の顔画像ＦＷのみを収集して、一つの系統に分類して記憶する。また、記憶部１１０は、例えば、被写体の人物がメガネやゴーグルを装着している状態、マスクをしている状態、何も装着していない状態等の、顔周辺の装備品の有無に基づいて、１以上の顔画像ＦＷから構成される照合用画像群を各系統に分類して記憶する。また、記憶部１１０は、撮影場所（例えば、屋外、屋内、暗所等）や、撮像データに何らかの補正（例えば、サイズ変更や逆光補正）が行われているか否かに基づいて、顔画像ＦＷを分類して記憶してもよい。

また、記憶部１１０は、顔画像ＦＷの特徴量を導出して、顔画像ＦＷと併せて記憶する。特徴量とは、顔画像ＦＷを用いて顔認証処理を行う際に用いる数値データであって、顔画像ＦＷの被写体の人物の顔にどのような特徴があるかを数値化して表したものである。記憶部１１０は、同一人物の顔画像ＦＷが複数存在する場合、複数の顔画像ＦＷから１つの特徴量を導出してもよいし、顔画像ＦＷ毎に特徴量を導出してもよい。

通信部１２０は、後述する入力装置５００との通信を行う。通信部１２０は、例えば、入力装置５００から撮像データを受信したり、入力装置５００の利用者からの操作指示を受信する。通信部１２０は、受信結果を所定のデータ形式に変換して認識部１３０に出力する。

通信部１２０は、例えば、入力内容受付部１２２を備える。入力内容受付部１２２は、入力装置５００から受信した入力信号を、認識部１３０が認識できる所定のデータ形式に変換して、認識部１３０に出力する。入力内容受付部１２２が受け付ける入力信号は、例えば、音声信号である。

認識部１３０は、通信部１２０から出力された撮像データから、それぞれの点呼対象者の顔を検出し、検出結果に基づいて、顔を含む領域を切り出して、点呼時顔画像ＦＮとして認識する。認識部１３０は、点呼時顔画像ＦＮを判定部１４０に出力する。なお、認識部１３０は、点呼時顔画像ＦＮを後述する判定部１４０の判定結果に基づいて、記憶部１１０に記憶させる。

また、認識部１３０は、通信部１２０から出力された操作指示に基づいて、点呼対象者を認識し、点呼情報の登録や更新指示を、点呼記録部１５０に出力する。点呼情報とは、例えば、いつ、どこで、どの点呼対象者の存在が確認できたか、といった記録である。認識部１３０は、「顔画像検出部」および「顔画像登録部」の一例である。

判定部１４０は、認識部１３０から出力された点呼時顔画像ＦＮおよび記憶部１１０に記憶された顔画像ＦＷに基づいて、点呼時顔画像ＦＮの被写体の人物が予定されている点呼対象者であるか否かを判定する。予定されている点呼対象者とは、例えば、情報処理システム１の利用者があらかじめ用意している点呼対象者のリスト（以下、点呼名簿）に、所属や氏名等の点呼対象者を識別する属性情報が記載されている人のことである。

判定部１４０は、例えば、点呼時顔画像ＦＮおよび顔画像ＦＷを顔認証処理に基づいて点呼時顔画像ＦＮの被写体の人物が予定されている点呼対象者であるか否かを判定する。判定部１４０による判定処理は、例えば、記憶部１１０の備える顔画像ＦＷの特徴量に基づいて行われる。判定部１４０は、顔認証処理の結果として、点呼時顔画像ＦＮおよび顔画像ＦＷの被写体の人物が同一の人物であると推定される確からしさ（以下、確度）を導出する。

判定部１４０は、導出した確度があらかじめ設定された閾値以上である場合に、点呼時顔画像ＦＮおよび顔画像ＦＷの被写体の人物が同一の人物であると判定する。また、判定部１４０は、導出した確度が閾値未満である場合に、点呼時顔画像ＦＮから被写体の人物が特定できなかったと判定し、通信部１２０を介して、入力装置５００の利用者に該当者の確認をするよう要求する。確度の閾値は、例えば、情報処理システム１の管理者Ｙによって調整される。また、確度の導出は、例えば、ＡＩ（Artificial Intelligence）によって行われる。判定部１４０は、入力装置５００の利用者の該当者の確認結果に基づいて、点呼時顔画像ＦＮを記憶部１１０に登録させるよう、認識部１３０に指示を出力する。

点呼記録部１５０は、判定部１４０の判定結果に基づいて、点呼情報を記録する。点呼記録部１５０は、例えば、情報処理システム１の管理者Ｙがあらかじめ用意している点呼名簿に基づいて、点呼対象者毎の点呼情報を記録する。

また、点呼記録部１５０は、情報処理システム１の利用者が点呼名簿を用意できていない場合には、判定部１４０による点呼時顔画像ＦＮおよび顔画像ＦＷの顔認証処理の結果に基づいて、点呼名簿を作成してもよい。

入力装置５００は、例えば、スマートグラスや、タブレット端末、スマートフォン等の端末装置である。スマートグラスとは、例えば、メガネのテンプル部分等に、マイクやタッチパネル等の入力機能を備えるヘッドマウントディスプレイ(Head Mount Display)方式のウェアラブルコンピュータである。入力装置５００は、例えば、カメラ５１０と、表示部５２０と、入力部５３０とを備える。

カメラ５１０は、入力装置５００を操作するユーザ（以下、監督者）の操作に基づいて、１以上の点呼対象者を撮像する。なお、カメラ５１０の撮像データには、例えば、入力装置５００にＧＰＳ（Global Positioning System）受信機が備わる場合、ＧＰＳ受信機によって測位された位置情報が付与されていてもよい。

表示部５２０は、例えば、カメラ５１０の撮像データや、演算装置１００の処理結果が表示される。入力部５３０は、入力装置５００の利用者の操作入力に基づいて、点呼情報の入力信号を生成する。入力部５３０は、例えば、タッチパネル、マウス、キーボード、ヘッドセット等の入力機能を用いて構成される。入力部５３０は、例えば、ヘッドセット等によって音声入力された場合、生成された音声信号を、ネットワークＮＷを介して演算装置１００の入力内容受付部１２２へ送信する。

［利用シーン１］
以下、情報処理システム１が利用される利用シーンの一例について説明する。例えば、工事現場Ｚの監督者Ｘは、情報処理システム１を用いて、点呼を行う。工事現場Ｚは、点呼対象者である作業員Ｗ１～Ｗ６が、終日作業する場合もあれば、午前のみ、または午後のみ作業する場合がある。したがって、監督者Ｘは、複数回（例えば、朝礼だけではなく、昼礼、夕礼等）点呼確認する。なお、以下では作業員を特に区別しない場合、作業員Ｗと称する場合がある。

監督者Ｘは、例えば、工事現場Ｚの作業員Ｗを招集して、朝礼を行う。監督者Ｘは、朝礼の任意のタイミングで、点呼確認を行う。監督者Ｘは、朝礼時にカメラ５１０により、１以上の作業員Ｗを撮影する。監督者Ｘは、作業員Ｗ全員を同時に撮影してもよいし、役割や所属の単位で、複数名ずつ撮影してもよいし、１人ずつ個別に撮影してもよい。

監督者Ｘは、例えば、４月１０日の工事現場Ｚの朝礼の点呼を開始することを、入力部５３０を用いて入力する。入力装置５００は、監督者Ｘの入力内容を、演算装置１００に送信する。通信部１２０は、監督者Ｘの入力内容を入力信号に変換して認識部１３０に出力する。認識部１３０は、通信部１２０から出力された入力信号から、４月１０日の工事現場Ｚの朝礼の点呼が開始されることを認識し、点呼記録部１５０に、点呼タイミングが４月１０日の朝礼であって、且つ、位置情報が工事現場Ｚに対応付く点呼名簿を呼び出すよう命令を出力する。判定部１４０は、点呼記録部１５０が呼び出した点呼名簿に基づいて、記憶部１１０から、点呼対象となる作業員Ｗの顔画像ＦＷの呼び出しを行う。点呼タイミングは、「判定タイミング」の一例である。

監督者Ｘは、カメラ５１０および入力部５３０を操作して、演算装置１００に撮像データを送信する。通信部１２０は、入力装置５００から受信した撮像データを認識部１３０に出力する。認識部１３０は、入力装置５００から受信した撮像データから、作業員Ｗの顔周辺を切り出した点呼時顔画像ＦＮを認識する。判定部１４０は、点呼時顔画像ＦＮと、記憶部１１０に記憶されている顔画像ＦＷとを照合して、点呼時顔画像ＦＮが点呼対象の作業員Ｗであるか否かを判定する。

判定部１４０は、点呼時顔画像ＦＮと、記憶部１１０に記憶済の顔画像ＦＷとを照合することができた場合、照合成功対象と判定する。また、判定部１４０は、点呼時顔画像ＦＮおよび顔画像ＦＷの確度があらかじめ設定された閾値以上でなかった場合や、点呼時顔画像ＦＮと対応する顔画像ＦＷが見つからなかった場合、点呼時顔画像ＦＮから正しい特徴量が導出できず判定処理ができなかった場合等に照合失敗対象と判定する。判定部１４０は、通信部１２０を介して判定結果を入力装置５００に送信する。

演算装置１００は、撮像データから、作業員Ｗの顔認証処理を行い、処理結果を入力装置５００に送信する。図２は、監督者Ｘが入力装置５００を用いて撮像した作業員Ｗの撮像データに基づいて、顔認証処理結果が行われた結果、表示部５２０に出力される処理結果の一例を示す図である。

図２に示すように、作業員Ｗの撮像データは、例えば、特徴量が導出できるように、被写体の人物の顔（目や鼻の位置関係等）が分かるよう撮像される必要がある。ただし、必ずしも被写体が正面を向いている必要はなく、例えば、斜め向き（Ｎ１）や、俯き気味（Ｗ４）等であってもよいし、ヘルメットやマスク、メガネ等を装着していてもよい。

図２の作業員Ｗ１～Ｗ４は、判定部１４０による判定処理の結果、照合成功対象となった作業員Ｗである。また、図２のＮ１およびＮ２は、照合失敗対象となった作業員Ｗである。表示部５２０は、照合成功対象の作業員Ｗの顔周辺は実線で囲い、作業員Ｗを識別する情報（例えば、氏名、所属、作業員ＩＤ等）を表示する。また、表示部５２０は、照合失敗対象の作業員Ｗの顔周辺は破線で囲い、作業員Ｗを識別する情報（例えば、仮ＩＤ等）を表示する。なお、表示部５２０は、例えば、照合成功対象の作業員Ｗを囲う実線と、照合失敗対象の作業員Ｗを囲う破線を異なる太さや色で表現してもよい。また、表示部５２０には、例えば、点呼確認が取れなかった作業員が２名いることや、その作業員がＷ５およびＷ６であることが表示されてもよい。また、表示部５２０は、点呼時顔画像ＦＮから正しい特徴量が導出できず判定処理ができなかった場合には、照合失敗対象の作業員Ｗを識別する情報には、監督者Ｘに向けて、点呼時顔画像ＦＮを再撮影するよう促すメッセージを表示してもよい。

演算装置１００は、例えば、図２に示す不一致者Ｎ１およびＮ２のように、認識できなかった不一致者がいる場合、表示部５２０に不一致者に関する付加情報を表示させる。不一致者に関する付加情報とは、例えば、点呼時顔画像ＦＮから判定部１４０が導出した、被写体の人物の想定年齢や想定性別である。表示部５２０は、例えば、不一致者Ｎ１に「５０代男性」、不一致者Ｎ２に「２０代男性」といった付加情報を表示する。また、表示部５２０は、認識できなかった不一致者がいる場合であって、不一致者と同一人物ではないかと想定される候補の顔画像ＦＷが存在する場合には、その顔画像ＦＷやその顔画像ＦＷの氏名等の情報を表示してもよい。

また、判定部１４０は、点呼名簿に、作業員Ｗ５およびＷ６の年齢の情報が含まれる場合、付加情報から不一致者Ｎ１が作業員Ｗ５およびＷ６のどちらであるかを推定して、その推定結果を表示してもよい。判定部１４０は、例えば、図２の不一致者Ｎ１の想定年齢が５０代である場合であって、点呼名簿の持つ作業員Ｗ６の実年齢と近似しており、且つ、作業員Ｗ５の実年齢とは乖離している場合、不一致者Ｎ１が作業員Ｗ６である可能性が高いと推定して、推定結果を付加情報として表示部５２０に表示させる。判定部１４０は、図２の不一致者Ｎ２についても、不一致者Ｎ１と同様に点呼名簿の実年齢の情報からＷ５であると推察してもよい。

監督者Ｘは、任意のタイミングで不一致者Ｎ１が作業員Ｗ６であること、および不一致者Ｎ２が作業員Ｗ５であることを本人に確認する。監督者Ｘは、確認結果を入力部５３０から入力する。その際、表示部５２０は、例えば、図３に示すように、不一致者Ｎ１の周辺のみを切り出した、監督者Ｘが入力中の点呼情報に対応付く顔画像ＦＮを表示する。認識部１３０は、通信部１２０を介して受信した、監督者Ｘの入力内容に基づいて、記憶部１１０に、不一致者Ｎ１およびＮ２の点呼時顔画像ＦＮを、所属や氏名と対応付けて、顔画像ＦＷとして記憶させる。なお、作業員Ｗ１～Ｗ７の点呼時顔画像ＦＮは、記憶部１１０に顔画像ＦＷとして記憶されてもよいし、記憶されなくてもよい。

監督者Ｘは、点呼対象者を再度招集して、昼礼を行う。監督者Ｘは、昼礼時にもカメラ５１０により、点呼対象者の一部または全部を撮像して、点呼確認を行う。演算装置１００は、例えば、点呼確認の結果、朝礼の点呼情報と比較して、朝礼時には不在であったが昼礼には参加している作業員や、朝礼時には参加していたが昼礼時には不在である作業員が存在する場合には、その人物を検出する。

また、演算装置１００は、朝礼時には不一致者Ｎ１と判定された作業員Ｗ６を、朝礼時点の点呼時顔画像ＦＮに基づいて判定することができることから、照合失敗対象となる可能性は低い。同様に、演算装置１００は、朝礼時には不一致者Ｎ２と判定された作業員Ｗ５を、朝礼時点の点呼時顔画像ＦＮに基づいて判定することができることから、照合失敗対象となる可能性は低い。

また、監督者Ｘは、例えば、朝礼以外にも、作業員Ｗが工事現場Ｚでの作業に新たに加わるときに工事現場Ｚの概要等を説明する、受入教育のとき等、作業員Ｗの出席記録を残したい場面では、同様に情報処理システム１を用いて点呼を取る。

また、上述の利用シーンにおいて、監督者Ｘによる不一致者Ｎ１およびＮ２の確認が昼礼開始までに終わらなかった場合であっても、点呼記録部１５０は、不一致者を識別する仮ＩＤ等を用いて昼礼までの点呼記録を行い、不一致者Ｎ１およびＮ２の確認が取れた時点で、仮ＩＤでの点呼情報を、作業員を識別する作業員ＩＤ等で上書きすることで、正確な点呼記録を記録することができる。以上、予定されている利用シーンについての説明を終了する。

［判定部１４０による判定の分類］
図４は、判定部１４０による判定処理の結果の分類例である。判定部１４０による判定処理が、判定部１４０が搭載するＡＩの回答によって導出される場合、その回答は図４に示すように４つに分類することができる。

判定部１４０の回答のうち正しい回答は、例えば、「１．該当者あり」または「２．該当者なし」と分類できる。「１．該当者あり」とは、例えば、点呼時顔画像ＦＮおよび顔画像ＦＷの確度が閾値以上である場合のことである。また、「２．該当者なし」とは、例えば、点呼時顔画像ＦＮの被写体の人物の顔画像ＦＷは記憶部１１０に記憶されているが、点呼時顔画像ＦＮとの確度が閾値以上となる顔画像ＦＷが存在しない場合や、点呼時顔画像ＦＮの被写体の人物の顔画像ＦＷが記憶部１１０に記憶されていないである場合のことである。

また、判定部１４０の回答のうち誤った回答は、例えば、「３．別人と誤認」または「４．未登録と誤認」と分類できる。「３．別人と誤認」とは、例えば、点呼時顔画像ＦＮを、点呼時顔画像ＦＮの被写体の人物とは別人に対応付いた顔画像ＦＷと確度が閾値以上であると誤判定してしまった場合のことである。「４．未登録と誤認」とは、例えば、点呼時顔画像ＦＮの被写体の人物の顔画像ＦＷが記憶部１１０に記憶されているものの、系が異なる等の理由で同一人物ではないと判定された場合のことである。これらの誤った回答は、例えば、記憶部１１０の記憶する顔画像ＦＷの数が少ない場合や、顔画像ＦＷまたは点呼時顔画像ＦＮが不鮮明である場合や、情報処理システム１の管理者Ｙによる確度の閾値設定が好適でない場合に発生し得る。

図４に示したＡＩによる誤った回答は、情報処理システム１が継続して利用されることで、記憶部１１０の顔画像ＦＷが十分に蓄積されたり、判定部１４０が監督者Ｘによって行われる点呼記録の訂正内容を学習することによって、徐々に解消される。したがって、利用シーン１において監督者Ｘは、不一致者Ｎ１およびＮ２の登録作業が終わったのち、点呼名簿を照会して、作業員Ｗ１～Ｗ７の判定結果が想定の通りであるか、すなわちＡＩによる誤った回答が混入していないかを検証することが望ましい。

［記憶部１１０の系統例］
以下、図５を用いて、記憶部１１０が顔画像ＦＷを系統立てて記憶する例を説明する。

図５は、単一の点呼対象者に対応付いた顔画像ＦＷを記憶する系統の一例である。記憶部１１０は、例えば、図５に示すように、被写体の人物の顔周辺の装備品の有無に基づいて、顔画像ＦＷを照合用画像群毎にＡ系、Ｂ系、Ｃ系で分類する。Ａ系は装備品がない顔画像ＦＷ、Ｂ系はヘルメットを装着した状態の顔画像ＦＷ、Ｃ系はマスクを装着した状態の顔画像ＦＷである。記憶部１１０は、例えば、被写体の人物の顔の向きが、正面、左斜め向き、右斜め向き、上向き、下向きといった状態ごとに、顔画像ＦＷを系毎に分類して整理する。

記憶部１１０が、顔画像ＦＷをＡ系、Ｂ系、Ｃ系の３系統で分類している場合、認識部１３０は、点呼時顔画像ＦＮがどの系統と同一の系統に分類できるかを選択する。また、認識部１３０は、点呼時顔画像ＦＮの系統が判別できなかった場合、判定に適した系統がどれであるかを選択する。認識部１３０は、認識結果を判定部１４０に出力する。判定部１４０は、認識部１３０が認識した系統の顔画像ＦＷを記憶部１１０から呼び出して、判定処理を行う。

なお、図５では、顔の向き毎に１つの顔画像ＦＷが対応付く例を示したが、顔の向き毎に複数の顔画像ＦＷが対応付いてもよい。その場合、判定部１４０は、例えば、記憶部１１０の記憶する複数枚の顔画像ＦＷのうち、これまでの処理結果で確度が高いと判定された顔画像ＦＷから順に点呼時顔画像ＦＮとの判定処理を行うといった、学習機能を備える。

［処理フロー］
以下、情報処理システム１の処理の流れについて、図面を参照しながら説明する。図６および図７は、本発明の実施形態に係る情報処理システム１の動作の一例を示すフローチャートである。図６は、点呼確認の開始から確認完了までの処理の流れの一例を示すフローチャートである。

監督者Ｘは、カメラ５１０によって作業員Ｗの写真撮影を行う（ステップＳ１００）。次に、認識部１３０は、撮像データから点呼対象者の顔を検出して、点呼時顔画像ＦＮを切り出す（ステップＳ１０２）。次に、判定部１４０は好適な系統の顔画像ＦＷの照合用画像群を選択する（ステップＳ１０４）。次に、判定部１４０は、顔画像ＦＷと点呼時顔画像ＦＮとを照合する（ステップＳ１０６）。次に、判定部１４０は、顔画像ＦＷと点呼時顔画像ＦＮとを照合した結果、導出した確度が閾値以上か否かを判定する（ステップＳ１０８）。確度が閾値以上であると判定した場合、判定部１４０は、表示部５２０に、対象の点呼時顔画像ＦＮが照合成功対象であることを示す表示を行わせる（ステップＳ１１０）。監督者Ｘは、表示部５２０に表示されている、照合成功対象に対応付く属性情報の表示が正しいか否かを判定する（ステップＳ１１２）。表示が正しいと判定された場合、点呼記録部１５０は、監督者Ｘが正しいと判定した結果に基づいて、点呼記録を更新する（ステップＳ１１４）。表示が正しいと判定されなかった場合、ステップＳ１１８の処理を行う。

ステップＳ１０８の処理において確度が閾値以上であると判定されなかった場合、判定部１４０は、表示部５２０に、対象の点呼時顔画像ＦＮが照合失敗対象であることを示す表示を行わせる（ステップＳ１１６）。次に、監督者Ｘは、該当する点呼時顔画像ＦＮの被写体の人物の所属や氏名を確認する（ステップＳ１１８）。次に、監督者Ｘは、確認した結果を入力装置５００に入力し、演算装置１００への登録を指示する（ステップＳ１２０）。次に認識部１３０は、監督者Ｘの確認結果に基づいて、記憶部１１０に点呼時顔画像ＦＮを登録させ（ステップＳ１２２）、ステップＳ１１４の処理を行う。

図７は、点呼確認完了後に、監督者Ｘによって誤認識がないことを確認する処理の流れの一例を示すフローチャートである。監督者Ｘは、点呼名簿を照会する（ステップＳ２００）。監督者Ｘは、点呼名簿を確認し、誤認識データがあるか否かを判定する（ステップＳ２０２）。誤認識データがあると判定された場合、監督者Ｘは点呼記録と他の情報（例えば、作業員Ｗ自身に尋ねて得た属性情報）と照合して（ステップＳ２０４）、点呼名簿の記録を訂正する更新を行う（ステップＳ２０６）。以上、本フローチャートの処理の説明を終了する。

以上、説明したように、第１の実施形態に係る情報処理システム１は、入力装置５００から得られた点呼対象者を含む撮像データに基づいて、点呼対象者の点呼時顔画像ＦＮを認識する認識部１３０と、記憶部１１０にあらかじめ記憶された点呼対象者の顔画像ＦＷと、認識部が認識した点呼時顔画像ＦＮとを顔照合処理することで、点呼対象者として予定されている人物であるか否かを判定する判定部１４０とによって点呼記録を作成することで、工事現場Ｚにおいて、顔画像ＦＷの未登録者の確認および登録における作業負荷を低減させることができ、且つ、精度の高い点呼記録管理ができる。

また、第１の実施形態に係る情報処理システム１は、点呼時顔画像ＦＮの被写体の人物が、点呼対象者として予定されている人物であると判定されなかった場合に、点呼時顔画像ＦＮを記憶部１１０に記憶させることで、次回点呼時からの対象者を照合する作業負荷を低減させることができる。

（第２の実施形態）
次に、第２の実施形態の情報処理システム１Ａについて説明する。以下の説明において、第１の実施形態で説明した内容と同様の機能を有する部分については、同様の名称および符号を付するものとし、その機能に関する具体的な説明は省略する。

図８は、第２の実施形態の情報処理システム１Ａの構成の一例を示す図である。図８に示すように、第２の実施形態の情報処理システム１Ａは、演算装置１００に、検証部１６０を備え、検証部１６０が検証端末２００と接続する点が、第１の実施形態が異なる。したがって、以下では、検証部１６０と検証端末２００とを中心に説明する。

検証部１６０は、点呼記録部１５０から、管理者Ｙが指定する１以上の点呼記録を読出し、検証端末２００に出力する。検証端末２００は、例えば、ＰＣ（Personal Computer）である。検証端末２００は、管理者Ｙが点呼記録データを集計したり、その整合性を検証する際に用いる。

［利用シーン２］
以下、情報処理システム１Ａが利用される利用シーンの一例について説明する。例えば、情報処理システム１Ａは、複数の拠点の工事現場で利用されている。管理者Ｙは、検証端末２００を用いて、全ての拠点の点呼記録を出力して、情報処理システム１Ａ以外の情報（例えば、作業員Ｗの作業員名簿や、監督者Ｘの報告書）と、突合せ確認を行う。作業員名簿とは、例えば、作業員Ｗの所属、氏名等の属性情報に加えて、作業員Ｗが当該工事現場で従事する工期がいつからいつまでの予定かの情報等が含まれる。

監督者Ｘが、朝礼等のタイミングで、ＡＩによる誤った回答の全てを検出することは困難であることが予想される。したがって、情報処理システム１Ａの管理者Ｙは、任意のタイミングで、点呼情報の誤認識がないかのダブルチェックを行って誤った回答を抽出し、点呼記録を修正することが望ましい。以下では、管理者Ｙによる点呼記録のダブルチェック方法の一例について説明する。

検証部１６０は、例えば、点呼情報に矛盾がある可能性がある点呼記録を抽出し、検証端末２００に出力する。矛盾とは、図４に示したＡＩによる誤った回答である。矛盾とは、例えば、１人の作業員Ｗに、複数拠点の同日同時刻帯の工事現場の点呼記録が対応付くことである。管理者Ｙは、検証端末２００を用いて矛盾がある可能性がある点呼記録を確認し、その矛盾を発見した場合、作業員名簿等と点呼記録とを照合して、作業員Ｗがどの拠点の工事現場にいたのかを特定したり、作業員Ｗであると誤認識された人物が誰であるかを特定する。管理者Ｙは、特定した内容に基づいて、点呼記録が正しく対応付いている状態に修正する。

なお、管理者Ｙは、上述のような矛盾を発見した場合、記憶部１１０の記憶する作業員Ｗの顔画像ＦＷに、作業員Ｗであると誤認識された人物の顔画像ＦＷが混在していないか等を、監督者Ｘや作業員Ｗ本人に確認するよう要請することが望ましい。ただし、記憶部１１０の記憶する作業員Ｗの顔画像ＦＷが多数であって監督者Ｘや作業員Ｗ本人による確認が困難であったり、既に作業員Ｗが携わる工期が終了していて確認が難しい場合には、記憶部１１０は、記憶する作業員Ｗの顔画像ＦＷの全てを使用不可の状態にしたり、誤認識された顔画像ＦＷの確度の値を低下させる。その場合、記憶部１１０は、次回作業員Ｗが工事に参加する際に取得した点呼時顔画像ＦＮを顔画像ＦＷとして随時採用することで、判定部１４０による誤った回答の再発防止を試みることができる。

また、検証部１６０は、注意すべき点呼情報を抽出し、検証端末２００に出力する。注意すべき点呼情報とは、上述の矛盾がある可能性がある点呼記録とは異なり、実際に発生し得る点呼記録ではあるが、ＡＩによる誤った回答が一定割合以上含まれる点呼情報のことである。注意すべき点呼とは、例えば、１人の作業員Ｗに同日午前と午後とで、異なる拠点の点呼記録がある場合である。検証部１６０は、当該記録を見つけた場合、例えば、拠点の位置情報から想定移動時間を導出し、点呼記録が正しいか否か（拠点間の移動が可能であるか否か）を判定し、点呼記録が正しいと判定されなかった場合には上述のような矛盾と同様に管理者Ｙによる確認が必要な情報として出力してもよい。

また、検証部１６０は、作業員Ｗの職種や技能に基づいて、作業員Ｗの所有する技能を特に要しない工事現場に作業員Ｗの点呼記録が対応付いた場合に、注意すべき点呼情報として抽出してもよい。検証部１６０によって抽出される情報は、点呼記録の全部であってもよいし、管理者Ｙによって抽出条件が設定されてもよい。

以上、説明したように、第２の実施形態に係る情報処理システム１Ａは、第１の実施形態と同様の効果を奏する他、検証部１６０によって複数の工事現場の点呼記録を照会することにより、さらに精度の高い点呼記録管理を行うことができる。

以上、この発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、上述した実施形態においては、顔認証処理によって点呼を行う例を示したが、例えば、対象者の着衣（例えば、作業服やヘルメットや腕章）の色や、標章（例えば、社章）に基づいて確度の導出が行われてもよい。また、対象者の着衣の備える文字情報（例えば、プリントされた社名や名札）をＯＣＲ（Optical Character Recognition/Reader）等で認識した結果に基づいて確度の導出が行われてもよい。

また、上述した実施形態において、判定部１４０は、点呼時顔画像ＦＮとの照合対象として、記憶部１１０に記憶されている全ての顔画像ＦＷを用いてもよいし、所定の条件を満たす顔画像ＦＷを抽出して用いてもよい。所定の条件とは、例えば、作業員Ｗの勤務地や居住地の情報である。管理者Ｙは、例えば、作業員Ｗが出張で勤務地等から離れた工事現場Ｚに参加する可能性がある場合、判定部１４０による判定処理において、記憶部１１０に記憶されている全ての顔画像ＦＷを用いるよう設定する。また、管理者Ｙは、作業員Ｗが勤務地等から離れた工事現場Ｚに参加する可能性が低い場合には、判定部１４０による判定処理において、所定の条件（例えば、勤務地等が工事現場Ｚの周辺地域である）を満たす作業員Ｗの顔画像ＦＷを抽出して用いるよう設定する。

なお、判定部１４０は、抽出された所定の条件を満たす作業員Ｗの顔画像ＦＷから、点呼時顔画像ＦＮと照合する対象者が見つけられなかった場合に、点呼時顔画像ＦＮを照合失敗対象と判定して判定処理を終了してもよいし、記憶部１１０に記憶されている全ての顔画像ＦＷを用いて再度判定処理を行ってもよい。なお、管理者Ｙは、再度判定処理を行った結果、点呼時顔画像ＦＮと照合する対象者が見つかった場合、点呼時顔画像ＦＮを照合成功対象と判定するよう設定してもよい。また、管理者Ｙは、再度判定処理を行った結果、点呼時顔画像ＦＮと照合する対象者が見つかった場合であって、念のため監督者Ｘ等に作業員Ｗ本人であることを確認させたい場合には、判定部１４０に照合失敗対象であると判定させるよう設定する。また、管理者Ｙは、念のため監督者Ｘ等に作業員Ｗ本人であることを確認させたい場合には、「ＸＸさんの通常の勤務エリアは○○地方です。ご本人か確認して下さい。」といったメッセージを表示部５２０に表示されるよう設定してもよい。

また、上述した実施形態においては、監督者Ｘが単独で点呼記録を作成する利用シーンを挙げたが、例えば、入力装置５００が複数台用意できる場合には、同じ作業を担当する作業員Ｗのグループ毎にリーダー（職長）が点呼記録を作成し、監督者Ｘが職長の点呼記録をダブルチェックする、といった形態がとられてもよい。

また、上述した実施形態においては、入力装置５００が表示部５２０や入力部５３０を備える例を示したが、演算装置１００が表示部や入力部を備えていてもよい。その場合、監督者Ｘは、例えば入力装置５００の撮像データを持ち運び可能な記憶媒体に保存し、演算装置１００の入力部から記憶媒体の撮像データを読み込むことで、点呼記録処理を行う。

なお、上述した実施形態における情報処理システムの一部又は全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

なお、ここでいう「コンピュータシステム」とは、情報処理システムに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における演算装置１００を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。情報処理システムの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…情報処理システム、１００…演算装置、１１０…記憶部、１２０…通信部、１２２…入力内容受付部、１３０…認識部、１４０…判定部、１５０…点呼記録部、１６０…検証部、２００…検証端末、５００…入力装置、５１０…カメラ、５２０…表示部、５３０…入力部

Claims (9)

1. 入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出する顔画像検出部と、
   前記点呼対象者の前記顔画像を記憶する記憶部と、
   前記記憶部に記憶された前記点呼対象者の前記顔画像と、前記顔画像検出部が検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定する判定部と、
   前記判定部によって、前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を前記記憶部に記憶させる、顔画像登録部と、を備え、
   前記判定部による判定結果と、前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記顔画像検出部が検出した点呼時の前記顔画像と前記記憶部に記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶部に記憶された前記点呼対象者の前記顔画像を表示する表示部を備える、
   情報処理システム。
2. 前記表示部は、前記点呼対象者として予定されている人物であると判定されなかった場合に、前記顔画像検出部によって検出された前記撮像データの被写体の属性情報及び候補となる前記顔画像をともに表示する請求項１に記載の情報処理システム。
3. 前記点呼対象者の年齢情報を記憶する点呼記録部をさらに備え、
   前記判定部は、前記顔画像検出部により点呼時に複数の顔画像を検出した場合であって、前記点呼記録部に前記点呼対象者の年齢情報が記憶されている場合、前記顔画像検出部が検出した点呼時の前記顔画像から前記点呼対象者の想定年齢を導出し、前記想定年齢と前記点呼記録部に記憶された前記点呼対象者の年齢情報とが近似しているか乖離しているかを判定し、一の前記点呼対象者と前記想定年齢が近似している場合、かつ、他の前記点呼対象者と前記想定年齢が乖離している場合は、前記点呼記録部に記憶された前記点呼対象者と前記点呼時の前記一の前記点呼対象者とが一致している可能性が高いと推定し、
   前記表示部は、前記判定部により推定された推定結果を、前記記憶部に記憶された前記点呼対象者の前記顔画像とともに表示する
   請求項１または２に記載の情報処理システム。
4. 前記判定部による判定結果は、点呼が行われた位置情報および判定タイミングに対応した顔画像のなかから判定された結果であり、
   前記情報処理システムは、前記判定結果に基づいて、前記顔画像が、前記点呼対象者に対して正しく対応付いていることを検証する、検証部をさらに備える、
   請求項１から３のうちいずれか１項に記載の情報処理システム。
5. 前記記憶部は、前記点呼対象者の顔画像を、所定の分類規則に基づいて分類して記憶する、
   請求項１から４のいずれか一項に記載の情報処理システム。
6. 前記判定部は、
   前記点呼対象者の顔周辺の装備品の有無に応じた分類に対応する前記撮像データに基づいて、前記判定を行う、
   請求項５に記載の情報処理システム。
7. 前記入力装置の利用者による位置情報および判定タイミングに関連する情報を操作入力または音声入力を受け付ける、入力内容受付部をさらに備え、
   前記顔画像登録部は、前記入力内容受付部に入力された内容に基づいて、前記記憶部に前記顔画像を記憶させる、
   請求項１から６のいずれか１項に記載の情報処理システム。
8. コンピュータが、
   入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出し、
   前記点呼対象者の前記顔画像を記憶し、
   前記記憶された前記点呼対象者の前記顔画像と、検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定し、
   前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を記憶するとともに、
   前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記検出された点呼時の前記顔画像と前記記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶された前記点呼対象者の前記顔画像を表示する
   情報処理方法。
9. コンピュータに、
   入力装置から得られた１以上の点呼対象者を含む撮像データに基づいて、前記点呼対象者の点呼時の顔画像を検出させ、
   前記点呼対象者の前記顔画像を記憶させ、
   前記記憶された前記点呼対象者の前記顔画像と、検出した点呼時の前記顔画像とに基づいて、前記点呼対象者が、点呼対象者として予定されている人物であるか否かを判定させ、
   前記点呼対象者として予定されている人物であると判定されなかった場合に、検出された前記点呼対象者の前記点呼時の顔画像を記憶させるとともに、
   前記点呼対象者として予定されている人物であると判定されなかった場合であって、前記検出された点呼時の前記顔画像と前記記憶された前記点呼対象者の前記顔画像とが同一人物ではないかと想定される候補の顔画像が存在するとき、前記記憶された前記点呼対象者の前記顔画像を表示させる、
   プログラム。

Images