[第1実施形態]
本発明の第1実施形態による情報処理装置及び情報処理方法について図1乃至図7を用いて説明する。
まず、本実施形態による対象者判定システム1の全体構成について図1を用いて説明する。図1は、本実施形態による対象者判定システム1の構成を示す概略図である。
図1に示すように、本実施形態による対象者判定システム1は、情報処理システムであり、監視カメラ10と、判定サーバ20と、店舗端末30と、報知装置40と、保護者端末50とを含んでいる。なお、保護者端末50については、後述する第3実施形態において説明する。
本実施形態による対象者判定システム1は、入場につき年齢制限が設けられた施設である店舗Sにおいて、監視カメラ10により撮影された場所画像中に検出された人物について、入場を許可すべき許可対象者であるか否かを判定する。場所画像は、店舗Sの特定の場所の画像である。店舗Sに設けられた年齢制限は、対象年齢の範囲内の年齢者の入場を許可し、対象年齢の範囲外の年齢者の入場を不可とするものである。店舗Sの年齢制限は、特に限定されるものではないが、例えば、20歳以上を対象年齢とするものである。なお、場所画像は、店舗Sの特定の場所の画像に限定されるものではなく、許可対象者であるか否かを判定すべき人物を撮影しうる場所の画像であればよい。
なお、年齢による入場制限が設けられた施設である店舗Sは、特に限定されるものではなく、例えば、パチンコ店、アミューズメント施設、映画館、飲食店等の利用可能な時間帯の全部又は一部の時間帯における入場に年齢制限が設けられた施設である。アミューズメント施設には、例えばゲームセンターが含まれる。なお、年齢による入場制限が設けられた施設は、店舗Sのような商業的活動が行われる商業施設に限定されるものではなく、例えば公共施設であってもよく、あらゆる施設でありうる。
本実施形態による対象者判定システム1は、対象年齢の範囲内の年齢であると推定された人物である推定対象年齢者及び対象年齢の範囲内の年齢者として登録された人物である登録対象年齢者を許可対象者であると判定する。なお、登録対象年齢者に関する情報は、後述する登録者情報データベース(Database、DB)206aに登録されている。
また、店舗Sの入場制限は、対象年齢の範囲外の年齢の人物であっても、対象年齢の範囲内の人物が同伴することを条件に入場を許可するものになっている。このため、本実施形態による対象者判定システム1は、対象年齢の範囲外の年齢の人物であっても推定対象年齢者又は登録対象年齢者と同伴する場合には、対象年齢の範囲外の年齢の人物を許可対象者であると判定する。
なお、本実施形態では、対象者判定システム1が、場所画像に含まれる人物について、店舗Sへの入場という行為を許可すべき許可対象者であるか否かを判定する場合について説明するが、これに限定されるものではない。本実施形態による対象者判定システム1は、場所画像に含まれる人物について、例えば、特定の商品又はサービスの購入、賃借、借入等の年齢による制限が設けられた行為を許可すべき許可対象者であるか否かを判定することもできる。
監視カメラ10、判定サーバ20、店舗端末30及び報知装置40は、ネットワークNWに接続されている。ネットワークNWは、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、移動体通信網等により構成されている。判定サーバ20と、監視カメラ10、店舗端末30及び報知装置40のそれぞれとは、互いにネットワークNWを介して通信可能になっている。
監視カメラ10は、年齢による入場制限が設けられた施設である店舗Sの例えば天井に1台又は複数台設置されている。判定サーバ20は、例えば、店舗SのバックヤードSb等の店舗S内に設置されている。また、判定サーバ20は、例えば、対象者判定システム1によるサービスを提供する事業者の施設内等に設置されていてもよい。店舗端末30は、店舗SのバックヤードSb等の店舗Sの店員が利用可能な場所に1台又は複数台設置されている。また、店舗端末30は、店舗Sの店員により携帯されるスマートフォン、タブレット端末等の携帯端末であってもよい。報知装置40は、例えば、店舗SのバックヤードSb等の店舗S内の店員が所在する場所に設置されている。
次に、本実施形態による対象者判定システム1に含まれる監視カメラ10、判定サーバ20、店舗端末30及び報知装置40の各要素についてさらに図2及び図3を用いて詳述する。図2は、本実施形態による対象者判定システム1における判定サーバ20の構成を示すブロック図である。図3は、本実施形態による対象者判定システム1における店舗端末30の構成を示すブロック図である。
監視カメラ10は、例えば、ネットワークカメラ(IPカメラ)等の撮影装置である。監視カメラ10は、店舗Sにおける特定の場所を撮影するように1台又は複数台設置されている。例えば、監視カメラ10は、店舗Sにおける特定の場所として店舗Sの出入口Sdを撮影するように設置されている。なお、監視カメラ10は、出入口Sdのほか、店舗Sにおける種々の場所を撮影するように設置することができる。
監視カメラ10は、出入口Sd等の店舗Sにおける特定の場所を継続的に撮影して映像を出力する。監視カメラ10により出力された映像は、特定の場所が撮影された画像である場所画像を時間的に連続して複数含んでいる。判定サーバ20は、ネットワークNWを介して監視カメラ10により出力された時間的に連続する複数の場所画像を含む映像をリアルタイム又はほぼリアルタイムで取得することが可能になっている。場所画像は、店舗Sに入場しようとしている人物又は店舗Sに入場している人物を含みうる。
判定サーバ20は、監視カメラ10により撮影された店舗Sにおける特定の場所の画像である場所画像に含まれる人物について、店舗Sへの入場を許可すべき許可対象者であるか否かを判定する情報処理装置である。判定サーバ20は、許可対象者であるか否かの判定結果に応じて、店舗端末30等に対する通知を行う通知処理を実行する。なお、判定サーバ20の機能は、単一のサーバにより実現されてもよいし、複数のサーバにより実現されてもよい。
判定サーバ20は、図2に示すように、CPU(Central Processing Unit)202と、RAM(Random Access Memory)204と、記憶部206と、通信部208とを有している。CPU202、RAM204、記憶部206及び通信部208は、共通バス210に接続されている。
CPU202は、記憶部206に記憶されたプログラムを実行することにより動作し、判定サーバ20全体の動作を制御する制御部として機能する。また、CPU202は、記憶部206に記憶されたプログラムを実行して判定サーバ20としての各種処理を実行する。RAM204は、CPU202の動作に必要なメモリ領域を提供する。
より具体的には、CPU202は、プログラムを実行することにより、画像取得部202a、人物検出部202b、判定部202c、結果処理部202d、送信部202e、登録処理部202f及び学習部202gとして機能する。
画像取得部202aは、ネットワークNWを介して監視カメラ10から出力される映像をリアルタイム又はほぼリアルタイムで取得し、取得した映像から一定の時間間隔で時間的に連続する複数の場所画像を取得する。画像取得部202aは、対象者判定システム1が稼働する間、継続的に場所画像を取得する。画像取得部202aは、例えば、システムクロックから取得される日時情報に基づき、監視カメラ10により場所画像が撮影された撮影日時を特定することができる。
人物検出部202bは、画像取得部202aにより取得された場所画像のそれぞれについて、場所画像中の人物の検出を試みる。人物検出部202bは、特に限定されるものではないが、例えば、HOG(Histogram of Oriented Gradients)特徴量等の特徴量に基づき場所画像中の人物を検出することができる。人物検出部202bは、場所画像中に検出された人物である検出人物の顔及び顔以外の身体の一部又は全部を含む人物画像を取得する。人物画像は、検出人物の身長、体型、髪型、服装等の外観的特徴を含んでいる。人物画像は、例えば、場所画像の一部である検出人物の上半身画像又は全身画像である。また、人物画像は、例えば、検出人物を含む場所画像それ自体であってもよい。
また、人物検出部202bは、場所画像中に検出された人物である検出人物の顔を検出する。人物検出部202bは、特に限定されるものではないが、例えば、Haar-Like特徴量等の特徴量に基づき検出人物の顔を検出することができる。人物検出部202bは、検出した顔の画像である顔画像を取得する。
なお、人物検出部202bは、単一の場所画像中から又は複数の場所画像中から複数の人物を検出人物として検出しうる。判定サーバ20は、複数の検出人物のそれぞれについて同様の処理を実行することができる。
判定部202cは、人物検出部202bにより検出された検出人物について、店舗Sへの入場を許可すべき許可対象者であるか否かを判定する。このため、判定部202cは、検出人物の年齢等の属性を推定する属性推定部、検出人物と同伴する特定人物の有無を判定する同伴判定部及び検出人物と登録者情報DB206aに登録された登録者との顔照合を行う照合部としての機能を含む。
より具体的には、判定部202cは、属性推定部として機能し、検出人物の年齢、性別等の属性を推定する。判定部202cは、人物検出部202bにより取得された検出人物の顔画像及び人物画像のいずれか一方又は両方に基づき、検出人物の年齢、性別等の属性を推定することができる。
なお、判定部202cは、検出人物の少なくとも年齢を推定するものであればよい。判定部202cは、例えば「30歳」等のように特定の年齢を検出人物の年齢として推定することもできるし、例えば「16歳から18歳」等のように幅を持った年齢範囲で検出人物の年齢を推定することができる。
判定部202cは、特に限定されるものではないが、例えば、機械学習により学習された年齢推定モデル、性別推定モデル等の属性推定モデルを用いて年齢、性別等の属性を推定することができる。後述するように、判定部202cは、例えば、学習部202gにより学習された年齢推定モデルを用いて検出人物の年齢を推定することができる。
判定部202cは、推定した検出人物の年齢が対象年齢の範囲内であるか否かを判定する。例えば、店舗Sの年齢制限としては、特定の年齢を閾値として閾値未満の年齢を対象年齢の範囲外、閾値以上の年齢を対象年齢の範囲内とする年齢制限が例示される。この場合、判定部202cは、推定した検出人物の年齢が閾値以上か否かを判定する。
判定部202cは、推定した検出人物の年齢が対象年齢の範囲内であると判定した場合、検出人物を、店舗Sへの入場を許可すべき許可対象者である推定対象年齢者であると判定する。
また、判定部202cは、人物検出部202bにより取得された人物画像から抽出される検出人物の外観的特徴に基づき又は外観的特徴を上記の年齢推定に際して考慮して、検出人物が店舗Sへの入場を許可すべき許可対象者であるか否かを判定することもできる。判定部202cは、検出人物の外観的特徴として、検出人物の身長、体型、髪型、服装等の特徴を人物画像から抽出することができる。
例えば、店舗Sが20歳以上を対象年齢とする場合において、判定部202cは、人物画像から検出人物の外観的特徴として学生服を抽出したときには、検出人物を、店舗Sへの入場を許可すべきでない非許可対象者であると判定することができる。また、例えば、同じく20歳以上を対象年齢とする場合において、判定部202cは、人物画像から検出人物の外観的特徴として閾値以下の身長を検出したときには、検出人物を非許可対象者であると判定することができる。身長に関する閾値は、例えば、特定の年齢又は年齢帯の平均身長等から設定される。このように、判定部202cは、人物画像から抽出される検出人物の外観的特徴に基づき、検出人物が店舗Sへの入場を許可すべき許可対象者であるか否かを判定することもできる。
また、判定部202cは、推定した検出人物の年齢が対象年齢の範囲外であると判定した場合、同伴判定部として機能し、場所画像に基づき、検出人物と同伴する特定人物の有無を判定する。ここで、特定人物とは、推定対象年齢者又は登録対象年齢者である。判定部202cは、同伴者である特定人物の有無を次の基準に従って判定することができる。
例えば、判定部202cは、検出人物が検出された場所画像中に推定対象年齢者又は登録対象年齢者であると判定された他の人物が検出され、場所画像中の検出人物と他の人物とが所定の位置的関係にある場合に、検出人物と同伴する特定人物がいると判定する。場所画像中の検出人物と他の人物とが所定の位置的関係にある場合とは、例えば、検出人物と他の人物との間の距離が所定の距離以下で両者が近接している場合、検出人物と他の人物とが手を繋いだ状態等の接触状態にある場合等である。検出人物と他の人物との間の距離が所定の距離以下である場合は、実空間での両人物の間の距離及び場所画像上での両人物の間の距離がそれぞれで所定の距離以下である場合であってもよいし、いずれか一方の距離が所定の距離以下である場合であってもよい。上述のほか、場所画像中の検出人物と他の人物とが所定の位置的関係にある場合とは、場所画像において両人物が前後ではなく横に並んでいる場合、両人物の位置関係が時系列として連続している、すなわち両人物の位置関係が動画的に継続している場合等である。
また、例えば、判定部202cは、検出人物が検出された場所画像と所定の時間間隔で前後する他の場所画像中に推定対象年齢者又は登録対象年齢者であると判定された他の人物が検出された場合に、検出人物と同伴する特定人物がいると判定する。
上記のほか、判定部202cは、一又は複数の場所画像から抽出しうる検出人物と他の人物との関係性に基づく種々の基準に従って、検出人物と同伴する特定人物の有無を判定することができる。
このように、判定部202cは、監視カメラ10により撮影された場所画像に基づき検出人物と同伴する特定人物の有無を判定することにより、検出人物について許可対象者であるか否かを判定する。判定部202cは、検出人物と同伴する特定人物がいると判定した場合、検出人物を、店舗Sへの入場を許可すべき許可対象者であると判定する。この場合、検出人物は、対象年齢の範囲外の年齢であると推定される人物ではあるが、特定人物である推定対象年齢者又は登録対象年齢者が同伴すると判定されたため、許可対象者であると判定される。本実施形態では、検出人物の年齢推定の結果のみならず、場所画像に基づく同伴者の有無によって、店舗Sの入場を許可すべき許可対象者であるか否かを判定するため、許可対象者であるか否かを柔軟に判定することができる。
判定部202cは、検出人物と同伴する特定人物がいると判定するいずれの場合にも該当しない場合に、検出人物と同伴する特定人物がいないと判定する。なお、判定部202cは、単一の基準を用いて又は複数の基準を組み合わせて同伴する特定人物の有無を判定することができる。
また、判定部202cは、検出人物と同伴する特定人物がいないと判定した場合、顔照合部として機能し、検出人物の顔画像と複数の登録顔画像とを1:Nで照合する顔照合を行う。複数の登録顔画像は、記憶部206の登録者情報DB206aに登録されている複数の登録者の顔画像である。判定部202cは、顔照合に際して、検出人物の顔画像から抽出した顔特徴量と、登録顔画像から抽出した顔特徴量とを照合することにより、両顔画像を照合することができる。判定部202cは、検出人物の顔画像と登録顔画像との間の類似度を示す照合スコアが所定の閾値を超えて両顔画像が高い類似度を示す場合に、検出人物の顔画像と登録顔画像とが一致すると判定することができる。
判定部202cは、顔照合の結果、検出人物の顔画像と一致する登録顔画像が発見されなかった場合、検出人物は登録者に該当しないと判定する。この場合、判定部202cは、検出人物を、店舗Sの入場を許可すべきでない非許可対象者であると判定する。
また、判定部202cは、顔照合の結果、検出人物の顔画像と一致する登録顔画像が発見された場合、検出人物はその登録顔画像を含む登録者情報に対応する登録者に該当すると判定する。
また、判定部202cは、検出人物が登録者に該当すると判定すると、検出人物に該当すると判定された登録者である該当登録者の年齢が対象年齢の範囲内であるか否かを判定する。判定部202cは、登録者情報DB206aを参照して、該当登録者の年齢として、検出人物の顔画像と一致した登録顔画像と関連付けられた年齢を取得することができる。判定部202cは、推定した検出人物の年齢が対象年齢の範囲内であるか否かの判定と同様にして、該当登録者の年齢が対象年齢の範囲内であるか否かを判定することができる。
判定部202cは、該当登録者の年齢が対象年齢の範囲内であると判定した場合、その登録者に該当すると判定された検出人物を、店舗Sへの入場を許可すべき許可対象者である登録対象年齢者であると判定する。
また、判定部202cは、該当登録者の年齢が対象年齢の範囲外であると判定した場合、該当登録者の登録者情報に同伴情報が含まれているか否かを判定する。同伴情報は、対象年齢の範囲外の年齢である登録者と同伴しうる保護者等であって、登録対象年齢者として登録者情報DB206aに登録された人物の登録者情報を特定する情報である。
判定部202cは、該当登録者の登録者情報に同伴情報が含まれていないと判定した場合、検出人物を、店舗Sの入場を許可すべきでない非許可対象者であると判定する。
一方、判定部202cは、該当登録者の登録者情報に同伴情報が含まれていると判定した場合、店舗Sへの入場を許可された許可対象者の中から同伴情報により特定される登録対象年齢者を検索する。
判定部202cは、同伴情報により特定される登録対象年齢者の顔画像と、後述の判定結果情報DB206bに登録された許可対象者の顔画像とを照合する顔照合を行うことにより、その登録対象年齢者を検索することができる。判定部202cは、登録者情報DB206aを参照して、登録対象年齢者の顔画像として、同伴情報により特定される登録対象年齢者の登録者情報から顔画像を抽出することができる。
登録対象年齢者の検索に際して、判定部202cは、検出人物が検出された場所画像が撮影された時刻を含む所定の時間帯内に撮影された場所画像中に検出された許可対象者を顔照合の対象とすることができる。判定部202cは、顔照合に際して、登録対象年齢者の顔画像から抽出した顔特徴量と、許可対象者の顔画像から抽出した顔特徴量とを照合することにより、両顔画像を照合することができる。判定部202cは、登録対象年齢者の顔画像と許可対象者の顔画像との間の類似度を示す照合スコアが所定の閾値を超えて両顔画像が高い類似度を示す場合に、登録対象年齢者の顔画像と許可対象者の顔画像とが一致すると判定することができる。
判定部202cは、顔照合の結果、同伴情報により特定される登録対象年齢者の顔画像と一致する許可対象者の顔画像を発見した場合、検出人物と同伴する同伴者としての登録対象年齢者がいると判定する。さらに、判定部202cは、検出人物と同伴する同伴者としての登録対象年齢者がいると判定した場合、検出人物を、店舗Sへの入場を許可すべき許可対象者であると判定する。この場合、検出人物は、対象年齢の範囲外の年齢の人物ではあるが、登録対象年齢者が同伴すると判定されたため、許可対象者であると判定される。
また、判定部202cは、顔照合の結果、同伴情報により特定される登録対象年齢者の顔画像と一致する許可対象者の顔画像を発見しなかった場合、検出人物と同伴する同伴者としての登録対象年齢者はいないと判定する。さらに、判定部202cは、検出人物と同伴する同伴者としての登録対象年齢者はいないと判定した場合、検出人物を、店舗Sへの入場を許可すべきでない非許可対象者であると判定する。
また、判定部202cは、同伴者として推定対象年齢者又は登録対象年齢者が同伴すると判定して許可対象者であると判定した検出人物が、その後、所定の時間以上の長時間にわたって同伴者と離れているか否かを判定することができる。この場合、判定部202cは、店舗S内に設置された一又は複数の監視カメラ10により出力される映像中の検出人物及び同伴者を監視して、長時間にわたって同伴者と離れているか否かを判定することができる。また、判定部202cは、一又は複数の監視カメラ10により出力される映像中から人物検出部202bにより検出される検出人物及び同伴者をトラッキングして監視することができる。判定部202cは、検出人物が所定の時間以上の長時間にわたって同伴者と離れていると判定した場合、その旨を通知する通知をネットワークNWを介して店舗端末30、報知装置40、保護者端末50等に送信することができる。
結果処理部202dは、判定部202cにより検出人物について許可対象者であるか非許可対象者であるかが判定された判定結果に関する情報である判定結果情報を、記憶部206に格納された判定結果情報DB206bに登録する。
結果処理部202dは、検出人物ごとに判定結果情報を登録する。判定結果情報は、例えば、検出人物を一意に識別するID(identification)、許可対象者であるか非許可対象者であるかの別を示す判定結果、年齢、検出人物の撮影日時、検出人物に関する画像等を含む。年齢は、判定部202cにより推定された検出人物の年齢又は判定部202cにより検出人物に該当すると判定された該当登録者の年齢である。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。また、結果処理部202dは、対象年齢の範囲外の検出人物であって、同伴する推定対象年齢者又は登録対象年齢者がいると判定されて許可対象者であると判定された検出人物についての判定結果情報には、同伴者に関する情報を含めることができる。結果処理部202dは、判定結果情報に含まれる各種情報を互いに関連付けて判定結果情報DB206bに登録する。
なお、結果処理部202dは、プライバシー保護等の観点から、例えば、検出人物の撮影日時から所定の期間の経過後に、判定結果情報DB206bから判定結果情報を消去することができる。また、結果処理部202dは、同様の観点から、例えば、所定の時間の到来するごとに、判定結果情報DB206bから判定結果情報を消去することができる。例えば、結果処理部202dは、店舗Sの1日の利用可能時間の終了時間が到来するごとに、その時点で登録されている判定結果情報を判定結果情報DB206bから消去することができる。
送信部202eは、判定部202cによる判定の結果を通知する通知部として機能し、判定部202cにより検出人物が非許可対象者であると判定された場合に、非許可対象者の店舗Sへの入場を示す通知をネットワークNWを介して店舗端末30に送信する。通知は、非許可対象者が店舗Sに入場しようとしている又は店舗Sに入場していることを示している。送信部202eは、特定の1台の店舗端末30に通知を送信することもできるし、複数台の店舗端末30に通知を一斉に送信することもできる。
また、送信部202eは、非許可対象者の店舗Sへの入場を示す通知として、非許可対象者であると判定された検出人物に関する情報である人物情報を含む通知を送信することができる。人物情報は、例えば、検出人物の撮影日時、判定部202cにより推定された年齢又は該当登録者の年齢、検出人物に関する画像等を含んでいる。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。
また、送信部202eは、店舗端末30に通知を送信するとともに又はこれに代えて、非許可対象者の店舗Sへの入場を示す通知をネットワークNWを介して報知装置40に送信することができる。
登録処理部202fは、記憶部206に格納されている登録者情報DB206aに登録者情報を登録する。登録者情報は、後述するように、店舗端末30からネットワークNWを介して判定サーバ20に送信される。
学習部202gは、ディープラーニング等の機械学習により、検出人物の年齢を推定するための年齢推定モデルを学習する。学習部202gは、登録者情報DB206aに登録された登録者情報の顔画像と年齢との組み合わせを正解データとして機械学習を行うことができる。判定部202cは、学習部202gにより学習された年齢推定モデルを用いて検出人物の年齢を推定することができる。
記憶部206は、フラッシュメモリ、ハードディスクドライブ等の不揮発性メモリのような記憶媒体により構成されている。記憶部206は、CPU202により実行されるプログラム、そのプログラムの実行の際にCPU202により参照されるデータ等を記憶する。
また、記憶部206は、登録者情報が登録された登録者情報DB206aを格納している。登録者情報は、登録の同意を得た人物又は登録を希望した人物である登録者に関する情報である。登録者情報は、例えば、登録者を一意に識別するID、登録者の氏名、年齢、連絡先、登録者に関する画像等を含んでいる。登録者に関する画像は、登録者の顔画像及び人物画像の少なくとも一方である。登録者情報は、対象年齢の範囲内の年齢である人物及び対象年齢の範囲外の年齢である人物のいずれの登録者に関する情報でありうる。また、登録者情報は、対象年齢の範囲外の人物に関する情報である場合、同伴情報を含みうる。同伴情報は、対象年齢の範囲外の年齢である人物と同伴しうる保護者等であって、登録対象年齢者として登録者情報DB206aに登録された人物の登録者情報を特定する情報である。同伴情報は、例えば登録者情報のIDである。登録者情報に含まれる各種情報は、互いに関連付けられている。
また、記憶部206は、判定部202cによる検出人物が許可対象者であるか非許可対象者であるかの判定結果に関する判定結果情報が登録された判定結果情報DB206bを格納している。判定結果情報DB206bには、上述のように、結果処理部202dにより判定結果情報が登録される。
通信部208は、CPU202による制御に従って、ネットワークNWを介して監視カメラ10、店舗端末30、報知装置40、保護者端末50等の外部装置と通信を行う。通信部208の通信規格、方式等は、特に限定されるものではなく、有線方式であっても無線方式であってもよい。
こうして、判定サーバ20が構成されている。
店舗端末30は、判定サーバ20からの通知の受信、通知の表示、店舗Sの店員等による登録者情報の入力の受け付け、登録者情報の判定サーバ20への送信等を行う情報処理装置である。なお、店舗端末30の機能は、単一の端末により実現されてもよいし、複数の端末により実現されてもよい。
店舗端末30は、図3に示すように、CPU302と、RAM304と、記憶部306と、入力部308と、表示部310と、通信部312とを有している。CPU302、RAM304、記憶部306、入力部308、表示部310及び通信部312は、共通バス314に接続されている。
CPU302は、記憶部306に記憶されたプログラムを実行することにより動作し、店舗端末30全体の動作を制御する制御部として機能する。また、CPU302は、記憶部306に記憶されたプログラムを実行して店舗端末30としての各種処理を実行する。RAM304は、CPU302の動作に必要なメモリ領域を提供する。
より具体的には、CPU302は、プログラムを実行することにより、受信部302a、通知出力部302b、受付部302c及び送信部302dとして機能する。
受信部302aは、判定サーバ20から非許可対象者の店舗Sへの入場を示す通知が送信された場合に、その非許可対象者の店舗Sへの入場を示す通知を受信する。受信部302aは、通知に含まれる検出人物に関する人物情報を受信することができる。
通知出力部302bは、受信部302aにより受信された非許可対象者の店舗Sへの入場を示す通知を表示部310に出力して表示部310に表示させる。通知出力部302bは、表示部310に通知を表示させるに際して、非許可対象者が店舗Sに入場しようとしている又は店舗Sに入場している旨、通知に含まれる人物情報の一部又は全部等を表示させることができる。通知出力部302bは、人物情報として、例えば、非許可対象者であると判定された検出人物の人物画像又は顔画像を表示部310に表示させることができる。
また、通知出力部302bは、表示部310に通知を表示させるとともに又はこれに代えて、不図示の内蔵又は外部スピーカ等に通知を出力して通知音声又は通知音として通知を出力することもできる。例えば、通知出力部302bは、非許可対象者が店舗Sに入場しようとしている又は店舗Sに入場している旨を示す通知音声又は通知音をスピーカから出力することができる。
店舗Sの店員は、表示部310に表示された非許可対象者の店舗Sへの入場を示す通知を受けて、非許可対象者と判定された検出人物を捜索することができる。店員は、検出人物の捜索に際して、表示部310に表示された人物画像又は顔画像を手掛かりにすることができる。人物画像は、上述のように検出人物の顔のほかに検出人物の外観的特徴を含んでいる。このため、人物画像を手掛かりとすることにより、店員は、検出人物を容易に捜索することができる。
検出人物を発見した店員は、検出人物の年齢を確認する年齢確認を行って、検出人物が通知のとおりに非許可対象者であるか否かを確認することができる。店員は、年齢確認に際して、身分証明書等の提示を検出人物に求めて検出人物の年齢をより正確に確認することができる。
検出人物について年齢確認を行った店員は、さらに、登録者情報DB206aへの検出人物の登録のため、検出人物本人の同意のもと、検出人物の氏名、年齢、生年月日、連絡先等の個人情報を検出人物から取得することができる。店員は、登録者情報DB206aに登録するため、取得した検出人物の個人情報を入力部308を介して店舗端末30に入力することができる。
非許可対象者であると判定されて通知の対象となったが、対象年齢の範囲内の年齢であることが店員により確認された検出人物は、登録者情報DB206aへの登録を受けることにより、次回以降の店舗Sへの入場に際して非許可対象者であると判定されなくなる。したがって、本実施形態によれば、対象年齢者である検出人物に対して店員による複数回の年齢確認を防止することができる。
また、店員は、検出人物のみならず、登録者情報DB206aへの登録を希望する登録希望者から、その氏名、年齢、生年月日、連絡先、顔画像等の個人情報の提供を受けることができる。店員は、登録者情報DB206aに登録するため、提供を受けた登録希望者の個人情報を入力部308を介して店舗端末30に入力することができる。
また、対象年齢の範囲内の年齢である親等の保護者は、対象年齢の範囲外の年齢であるその子ども等の被保護者とともに、それぞれ登録希望者として登録者情報DB206aへの登録を受けることができる。この場合も、店員は、登録者情報DB206aに登録するため、提供を受けた保護者及び被保護者の個人情報をそれぞれ入力部308を介して店舗端末30に入力することができる。
受付部302cは、店員により入力部308を介して入力された個人情報を受け付けて個人情報を含む登録者情報を生成する。受付部302cは、店員による年齢確認が行われた検出人物の場合、検出人物を一意に特定するID、検出人物の個人情報、判定サーバ20から受信した通知に含まれる人物画像又は顔画像等を含む登録者情報を生成することができる。また、受付部302cは、登録希望者の場合、登録希望者を一意に特定するID、登録希望者の個人情報等を含む登録者情報を生成する。登録希望者の登録者情報は、提供を受けた登録希望者の顔画像を含む。
さらに、受付部302cは、登録希望者が対象年齢の範囲外の者である場合には、登録者情報に同伴情報を含めることができる。同伴情報は、対象年齢の範囲外の年齢である登録希望者と同伴しうる保護者等であって、登録対象年齢者として登録者情報DB206aに登録された人物の登録者情報を特定する情報である。同伴情報は、例えば保護者等の登録者情報のIDである。登録情報に含まれる各種情報は、互いに関連付けられている。
送信部302dは、受付部302cにより生成された登録者情報をネットワークNWを介して判定サーバ20に送信する。
記憶部306は、フラッシュメモリ、ハードディスクドライブ等の不揮発性メモリのような記憶媒体により構成されている。記憶部306は、CPU302により実行されるプログラム、そのプログラムの実行の際にCPU302により参照されるデータ等を記憶する。例えば、記憶部306は、受信部302aにより受信された通知、受付部302cにより受け付けられた個人情報、受付部302cにより生成された登録者情報等を記憶することができる。
入力部308は、店舗端末30に対する店員からの情報、指示等の入力の操作を受け付ける。店員は、入力部308を介して、店舗端末30に対して、各種情報を入力したり、処理の実行の指示を入力したりすることができる。入力部308は、例えば、キーボード、マウス等により構成されていている。また、入力部308は、例えば、表示部310に組み込まれたタッチパネルにより構成されていてもよい。
表示部310は、CPU302による制御に従って、例えば、プログラムの実行画面等の各種画面を表示する。より具体的には、表示部310は、判定サーバ20から受信した通知を表示する通知画面、登録者情報を入力するための入力画面等を表示する。表示部310は、例えば、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等により構成されている。表示部310は、例えば、入力部308とともにタッチパネルディスプレイとして構成されていてもよい。
通信部312は、CPU302による制御に従って、ネットワークNWを介して判定サーバ20等の外部装置と通信を行う。通信部312の通信規格、方式等は、特に限定されるものではなく、有線方式であっても無線方式であってもよい。
こうして、店舗端末30が構成されている。
報知装置40は、判定サーバ20から非許可対象者の店舗Sへの入場を示す通知を受信した場合に、その通知を店舗Sの店員に報知する装置である。報知装置40は、例えば、通知ランプの点灯、通知音声又は通知音の出力等により、非許可対象者の店舗Sへの入場を示す通知を店員に報知することができる。なお、報知装置40は、店舗Sの店員に報知するとともに又はこれに代えて、非許可対象者の店舗Sへの入場を示す通知を店舗S内に向けて報知するものであってもよい。例えば、報知装置40の通知ランプを店舗Sの出入口Sdに設置して、非許可対象者の店舗Sへの入場を示す通知に基づき通知ランプが点灯するように構成することができる。このような構成により、未成年者等の非許可対象者の店舗Sへの入場を抑止することができる。
本実施形態による対象者判定システム1において、判定サーバ20は、監視カメラ10により撮影された場所画像中に検出された検出人物について、判定部202cにより年齢推定を行って、許可対象者であるか否かを判定する。また、判定サーバ20は、検出人物について、判定部202cにより登録者との顔照合を行って、許可対象者であるか否かを判定する。一方、判定サーバ20から店舗端末30に送信された通知に基づき店員により年齢確認が行われた検出人物に関する情報は、検出人物本人の同意のもと、登録者情報DB206aに登録される。したがって、本実施形態によれば、検出人物について店員により複数回の年齢確認を回避することができる。
また、判定サーバ20は、監視カメラ10により撮影された場所画像に基づき、判定部202cにより検出人物と同伴する推定対象年齢者又は登録対象年齢者の有無を判定することにより、検出人物について許可対象者であるか否かを判定する。したがって、本実施形態によれば、同伴者の有無という年齢以外の要因を考慮するため、検出人物について許可対象者であるか否かを柔軟に判定することができる。
また、判定サーバ20は、検出人物の人物画像から抽出された検出人物の外観的特徴に基づき、検出人物について許可対象者であるか否かを判定することもできる。したがって、本実施形態によれば、外観的特徴という年齢以外の要因をも考慮することができるため、検出人物について許可対象者であるか否かをさらに柔軟に判定することができる。
以下、本実施形態による対象者判定システム1における判定サーバ20及び店舗端末30の動作についてさらに図4乃至図9を用いて説明する。図4は、本実施形態による対象者判定システム1における判定サーバ20の動作を示すフローチャートである。図5及び図6は、本実施形態による対象者判定システム1において取得される場所画像の例を示す概略図である。図7は、本実施形態による対象者判定システム1における登録者情報DB206aの例を示す概略図である。図8は、本実施形態による対象者判定システム1における判定結果情報DB206bの例を示す概略図である。なお、図7に示す登録者情報DB206a及び図8に示す判定結果情報DB206bでは、簡単のため、一部の項目のデータの表示を省略している。図9は、本実施形態による対象者判定システム1における店舗端末30の動作を示すフローチャートである。判定サーバ20及び店舗端末30が動作することにより、本実施形態による情報処理方法が実行される。
判定サーバ20は、店舗Sの利用可能時間である営業時間において、ネットワークNWを介して監視カメラ10により出力された時間的に連続する複数の場所画像を含む映像をリアルタイム又はほぼリアルタイムで取得する。
図4に示すように、判定サーバ20において、画像取得部202aは、ネットワークNWを介して監視カメラ10から出力される映像をリアルタイム又はほぼリアルタイムで取得し、取得した映像から一定の時間間隔で場所画像を取得する(ステップS102)。
次いで、人物検出部202bは、画像取得部202aにより取得された場所画像について、場所画像中の人物の検出を試みる(ステップS104)。場所画像中に人物が検出されない場合(ステップS106、NO)、人物検出部202bは、画像取得部202aにより一定の時間間隔で取得される複数の場所画像について人物検出の試みを繰り返す。
人物検出部202bは、場所画像中に人物を検出すると(ステップS106、YES)、検出人物の人物画像を取得する(ステップS108)。人物画像は、例えば、場所画像の一部である検出人物の上半身画像又は全身画像、場所画像それ自体等であり、検出人物の身長、体型、髪型、服装等の外観的特徴を含んでいる。
さらに、人物検出部202bは、検出人物の顔を検出して、検出人物の顔画像を取得する(ステップS110)。
図5及び図6は、それぞれ店舗Sの出入口Sdを撮影する監視カメラ10の映像から取得された場所画像P1、P2の例を示す概略図である。場所画像P1、P2には、単独又は複数の検出人物が検出されうる。すなわち、図5に示すように、場所画像P1には、単独の検出人物B1が検出されている。また、図6に示すように、場所画像P2には、複数の検出人物B2、B3が検出されている。人物検出部202bは、図5及び図6に示すように、検出人物B1、B2、B3の顔をそれぞれ検出して、それぞれの顔画像F1、F2、F3を取得する。
次いで、判定部202cは、人物検出部202bにより取得された検出人物の顔画像及び人物画像のいずれか一方又は両方に基づき、検出人物の年齢、性別等の属性を推定する(ステップS112)。なお、判定部202cは、検出人物の属性として少なくとも年齢を推定するものであればよい。
次いで、判定部202cは、推定した検出人物の年齢が対象年齢の範囲内であるか否かを判定する(ステップS114)。例えば、特定の年齢を閾値として閾値未満の年齢を対象年齢の範囲外、閾値以上の年齢を対象年齢の範囲内とする年齢制限の場合、判定部202cは、推定した検出人物の年齢が閾値以上か否かを判定して、対象年齢の範囲内であるか否かを判定することができる。
判定部202cは、推定した検出人物の年齢が対象年齢の範囲内であると判定した場合(ステップS114、YES)、検出人物を、店舗Sへの入場を許可すべき許可対象者である推定対象年齢者であると判定する。この場合、結果処理部202dは、許可対象者である推定対象年齢者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS116)。
なお、判定部202cは、人物検出部202bにより取得された人物画像から検出人物の外観的特徴を抽出して、抽出した外観的特徴に基づき検出人物が店舗Sへの入場を許可すべき許可対象者であるか否かを判定することもできる。
一方、判定部202cは、推定した検出人物の年齢が対象年齢の範囲外であると判定した場合(ステップS114、NO)、検出人物と同伴する特定人物である推定対象年齢者又は登録対象年齢者の有無を判定する(ステップS118)。
例えば、判定部202cは、図6に示すように場所画像P2に複数の検出人物B2、B3が検出された場合、検出人物B2と特定人物であると判定した他の検出人物B3との間の距離に基づき、検出人物B2と同伴する特定人物の有無を判定することができる。より具体的には、判定部202cは、検出人物B2と他の検出人物B3との間の距離が所定の距離以下である場合又は検出人物B2と他の検出人物B3とが接触状態にある場合に、同伴する特定人物がいると判定することができる。
判定部202cは、検出人物と同伴する推定対象年齢者又は登録対象年齢者がいると判定した場合(ステップS120、YES)、検出人物を、店舗Sへの入場を許可すべき許可対象者である判定する。この場合、結果処理部202dは、同伴する推定対象年齢者又は登録対象年齢者がいるため許可対象者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS116)。
一方、判定部202cは、検出人物と同伴する特定人物がいないと判定した場合(ステップS120、NO)、検出人物の顔画像と複数の登録顔画像とを1:Nで照合する顔照合を行う(ステップS122)。複数の登録顔画像は、登録者情報DB206aに登録されている複数の登録者の顔画像である。
登録者情報DB206aには、図7に示すように、複数の登録者のそれぞれを一意に識別する情報であるIDごとに、各登録者に関する登録者情報が登録されている。登録者情報DB206aに登録された登録者情報は、登録者のID、氏名、年齢、生年月日、連絡先、登録者に関する画像、同伴情報としての同伴者ID等を含んでいる。登録者に関する画像は、登録者の顔画像及び人物画像の少なくとも一方である。顔画像は、人物検出部202bにより取得された顔画像又は登録者から提供された顔画像である。人物画像は、人物検出部202bにより取得されたものである。同伴者IDは、対象年齢の範囲外の年齢である登録希望者と同伴しうる保護者等であって、登録対象年齢者として登録者情報DB206aに登録された人物の登録者情報に含まれるIDである。登録者情報に含まれるID、氏名、年齢、生年月日、連絡先、画像、同伴者ID等の各種情報は、互いに関連付けられている。
判定部202cは、顔照合に際して、登録者情報DB206aの登録者情報から顔画像を登録顔画像として抽出して、抽出した登録顔画像を検出人物の顔画像と照合することができる。
判定部202cは、顔照合の結果、検出人物の顔画像と一致する登録顔画像が発見された場合、検出人物は一致した登録顔画像を含む登録者情報に対応する登録者に該当すると判定する(ステップS124、YES)。
一方、判定部202cは、顔照合の結果、検出人物の顔画像と一致する登録顔画像が発見されなかった場合、検出人物は登録者に該当しないと判定する(ステップS124、NO)。さらに、判定部202cは、検出人物を、店舗Sの入場を許可すべきでない非許可対象者であると判定する。
検出人物が登録者に該当せず非許可対象者であると判定されると(ステップS124、NO)、結果処理部202dは、非許可対象者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS134)。また、この場合、送信部202eは、非許可対象者の店舗Sへの入場を示す通知をネットワークNWを介して店舗端末30に送信する(ステップS136)。なお、ステップS134とステップS136とは、互いの先後を問わず、また同時に実行されてもよい。
また、判定部202cは、検出人物は登録者に該当すると判定すると(ステップS124、YES)、検出人物に該当すると判定された登録者である該当登録者の年齢が対象年齢の範囲内であるか否かを判定する(ステップS126)。判定部202cは、登録者情報DB206aを参照して、該当登録者の年齢として、検出人物の顔画像と一致した登録顔画像と関連付けられた年齢を取得することができる。
判定部202cは、該当登録者の年齢が対象年齢の範囲内であると判定すると(ステップS126、YES)、その登録者に該当すると判定された検出人物を、店舗Sへの入場を許可すべき許可対象者である登録対象年齢者であると判定する。この場合、結果処理部202dは、許可対象者である登録対象年齢者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS116)。
一方、判定部202cは、該当登録者の年齢が対象年齢の範囲外であると判定すると(ステップS126、NO)、該当登録者の登録者情報に同伴情報が含まれているか否かを判定する(ステップS128)。
判定部202cは、該当登録者の登録者情報に同伴情報が含まれていないと判定すると(ステップS128、NO)、検出人物を、店舗Sの入場を許可すべきでない非許可対象者であると判定する。
登録者情報に同伴情報が含まれず検出人物が非許可対象者であると判定されると(ステップS128、NO)、結果処理部202dは、非許可対象者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS134)。また、この場合、送信部202eは、非許可対象者の店舗Sへの入場を示す通知をネットワークNWを介して店舗端末30に送信する(ステップS136)。
一方、判定部202cは、該当登録者の登録者情報に同伴情報が含まれていると判定すると(ステップS128、YES)、店舗Sへの入場を許可された許可対象者の中から同伴情報により特定される同伴者としての登録対象年齢者を検索する(ステップS130)。判定部202cは、同伴情報により特定される登録対象年齢者の顔画像と、判定結果情報DB206bに登録された許可対象者の顔画像とを照合する顔照合を行うことにより、その登録対象年齢者を検索することができる。
判定部202cは、顔照合の結果、同伴情報により特定される登録対象年齢者の顔画像と一致する許可対象者の顔画像を発見すると(ステップS132、YES)、検出人物と同伴する同伴者としての登録対象年齢者がいると判定する。さらに、判定部202cは、検出人物と同伴する同伴者としての登録対象年齢者がいると判定すると、検出人物を、店舗Sへの入場を許可すべき許可対象者であると判定する。この場合、結果処理部202dは、同伴する登録対象年齢者がいるため許可対象者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS116)。
一方、判定部202cは、顔照合の結果、同伴情報により特定される登録対象年齢者の顔画像と一致する許可対象者の顔画像を発見しないと(ステップS132、NO)、検出人物と同伴する同伴者としての登録対象年齢者はいないと判定する。さらに、判定部202cは、検出人物と同伴する同伴者としての登録対象年齢者はいないと判定した場合、検出人物を、店舗Sへの入場を許可すべきでない非許可対象者であると判定する。
同伴する登録対象年齢者がおらず検出人物が非許可対象者であると判定されると(ステップS132、NO)、結果処理部202dは、非許可対象者であると判定された検出人物の判定結果情報を判定結果情報DB206bに登録する(ステップS134)。また、この場合、送信部202eは、非許可対象者の店舗Sへの入場を示す通知をネットワークNWを介して店舗端末30に送信する(ステップS136)。
こうして、監視カメラ10により撮影された場所画像中に検出された検出人物のそれぞれについて、判定サーバ20において、上述のようにして許可対象者であるか非許可対象者であるかが判定される。判定結果を示す判定結果情報は、判定結果情報DB206bに登録される。
判定結果情報DB206bには、図8に示すように、複数の検出人物のそれぞれを一意に識別する情報であるIDごとに、各検出人物に関する判定結果情報が登録されている。判定結果情報DB206bに登録された判定結果情報は、検出人物のID、許可対象者であるか非許可対象者であるかの別を示す判定結果、年齢、検出人物の撮影日時、検出人物に関する画像、同伴者に関する情報等を含んでいる。年齢は、判定部202cにより推定された検出人物の年齢又は判定部202cにより検出人物に該当すると判定された該当登録者の年齢である。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。同伴者に関する情報は、対象年齢の範囲外の検出人物と同伴する推定対象年齢者又は登録対象年齢者である検出人物の判定結果情報に含まれるIDである。判定結果情報に含まれるID、判定結果、年齢、撮影日時、画像、同伴者に関する情報等の各種情報は、互いに関連付けられている。
一方、店舗端末30は、判定サーバ20から非許可対象者の店舗Sへの入場を示す通知を受信するとともに、必要に応じて店員による登録者情報の入力を受け付けることができる。なお、必ずしも単一の店舗端末30が通知の受信及び登録者情報の入力の受け付けを行う必要はない。通知を受信する店舗端末30と登録者情報の入力を受け付ける店舗端末30とは、互いに別個の端末であってもよい。
図9に示すように、店舗端末30において、受信部302aは、判定サーバ20から非許可対象者の店舗Sへの入場を示す通知が送信されたか否かを継続的に判定する(ステップS202)。こうして、受信部302aは、判定サーバ20から通知が送信されるまで待機する(ステップS202、NO)。
受信部302aは、判定サーバ20から非許可対象者の店舗Sへの入場を示す通知が送信されたと判定すると(ステップS202、YES)、その非許可対象者の店舗Sへの入場を示す通知を受信する(ステップS204)。受信部302aは、通知に含まれる検出人物に関する人物情報を受信することができる。人物情報は、例えば、検出人物の撮影日時、判定部202cにより推定された年齢又は該当登録者の年齢、検出人物に関する画像等を含んでいる。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。
次いで、通知出力部302bは、受信部302aにより受信された非許可対象者の店舗Sへの入場を示す通知を表示部310に出力して表示部310に表示させる(ステップS206)。通知出力部302bは、非許可対象者が店舗Sに入場しようとしている又は店舗Sに入場している旨、通知に含まれる人物情報の一部又は全部等を表示部310に表示させることができる。通知出力部302bは、人物情報として、非許可対象者であると判定された検出人物の人物画像又は顔画像を表示部310に表示させることができる。なお、通知出力部302bは、表示部310に通知を表示させるとともに又はこれに代えて、不図示の内蔵又は外部スピーカ等に通知を出力して通知音声又は通知音として通知を出力することもできる。
店舗Sの店員は、表示部310に表示された非許可対象者の店舗Sへの入場を示す通知を受けて、表示部310に表示された人物画像又は顔画像を手掛かりにして、非許可対象者と判定された検出人物を捜索することができる。検出人物を発見した店員は、身分証明書等により検出人物の年齢を確認する年齢確認を行って、検出人物が非許可対象者であるか否かを確認することができる。
検出人物について年齢確認を行った店員は、検出人物本人の同意のもと、検出人物の氏名、年齢、生年月日、連絡先等の個人情報を検出人物から取得して、取得した検出人物の個人情報を入力部308を介して店舗端末30に入力することができる。
受付部302cは、店員により検出人物の個人情報が入力されたか否かを判定し(ステップS208)、個人情報の入力を待機する(ステップS208、NO)。
受付部302cは、店員により検出人物の個人情報が入力されたと判定すると(ステップS208、YES)、個人情報を含む登録者情報を生成する(ステップS210)。受付部302cは、検出人物を一意に特定するID、検出人物の個人情報、判定サーバ20から受信した通知に含まれる人物画像又は顔画像等を含む登録者情報を生成することができる。
次いで、送信部302dは、受付部302cにより生成された登録者情報をネットワークNWを介して判定サーバ20に送信する(ステップS212)。
判定サーバ20において、登録処理部202fは、店舗端末30から送信された登録者情報が送信されるごとに、登録者情報を登録者情報DB206aに登録する。登録者情報DB206aには、学習部202gによる年齢推定モデルの学習に正解データとして用いられる顔画像と年齢との組み合わせを含む登録者情報が収集されていく。このため、本実施形態では、年齢推定モデルの学習に正解データを容易に用意することができる。
このように、本実施形態によれば、監視カメラ10により撮影された場所画像に基づき、同伴者の有無という年齢以外の要因を考慮して検出人物について許可対象者であるか否かを判定する。したがって、本実施形態によれば、検出人物について許可対象者であるか否かを柔軟に判定することができる。
[第2実施形態]
本発明の第2実施形態による情報処理装置及び情報処理方法について図10を用いて説明する。なお、上記第1実施形態による情報処理装置及び情報処理方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
店舗Sに設けられた年齢制限における対象年齢の範囲は、店舗Sの種別によっては、その利用可能時間である営業時間における時間帯に応じて変更されることがある。例えば、店舗Sの営業時間の10時から22時までの時間のうち、10時から18時までの時間帯の対象年齢の範囲は全年齢又は10歳以上、18時から22時までの時間帯の対象年齢の範囲は16歳以上のように、対象年齢の範囲が変更されることがある。
本実施形態による対象者判定システム1の構成は、第1実施形態と同様である。本実施形態では、店舗Sに設けられた年齢制限における対象年齢の範囲の時間帯に応じた変更に対応して、判定サーバ20における判定部202cが、時間帯に応じて対象年齢の範囲を変更する場合について説明する。
なお、本実施形態では、店舗Sの営業時間が第1の時間帯と第1の時間帯に後続する第2の時間帯との2つの時間帯に区分され、第1の時間帯の対象年齢の範囲が第1の年齢範囲、第2の時間帯の対象年齢の範囲が第2の年齢範囲に設定される場合について説明する。第2の年齢範囲の下限は、第1の年齢範囲の下限よりも高くなっている。例えば、店舗Sの営業時間は10時から22時までの時間であり、10時から18時までの第1の時間帯の対象年齢の範囲は全年齢、18時から22時までの第2の時間帯の対象年齢の範囲は16歳以上である。
なお、対象年齢の範囲を変更する時間帯は2つに限定されるものではなく、3つ以上の互いに異なる複数の時間帯についても時間帯に応じて互いに異なる対象年齢の範囲を設定することができる。
以下、本実施形態による対象者判定システム1における判定サーバ20による対象年齢の範囲の変更処理について図10を用いて説明する。図10は、本実施形態による対象者判定システム1における判定サーバ20による対象年齢の範囲変更処理を示すフローチャートである。なお、図10に示す変更処理は、第1の時間帯の前から開始されるものとする。判定サーバ20が動作することにより、本実施形態による情報処理方法が実行される。
図10に示すように、判定サーバ20において、判定部202cは、例えばシステムクロックから取得される日時情報から時刻を示す時刻情報を取得する(ステップS302)。
次いで、判定部202cは、取得した時刻情報に基づき、第1の時間帯の開始時刻が到来して第1の時間帯が開始したか否かを判定する(ステップS304)。判定部202cは、第1の時間帯が開始していないと判定すると(ステップS304、NO)、ステップS304に移行して第1の時間帯の開始を待機する。
判定部202cは、第1の時間帯が開始したと判定すると(ステップS304、YES)、対象年齢の範囲を第1の年齢範囲に設定する(ステップS306)。
判定部202cは、図4に示すステップS114において、第1の年齢範囲を対象年齢の範囲として、推定した検出人物の年齢が対象年齢の範囲内であるか否かを判定することができる。また、判定部202cは、図4に示すステップS126において、第1の年齢範囲を対象年齢の範囲として、該当登録者の年齢が対象年齢の範囲内であるか否かを判定することができる。
引き続き、判定部202cは、例えばシステムクロックから取得される日時情報から時刻を示す時刻情報を取得する(ステップS308)。
次いで、判定部202cは、取得した時刻情報に基づき、第2の時間帯の開始時刻が到来して第2の時間帯が開始したか否かを判定する(ステップS310)。判定部202cは、第2の時間帯が開始していないと判定すると(ステップS310、NO)、ステップS308に移行して第2の時間帯の開始を待機する。
判定部202cは、第2の時間帯が開始したと判定すると(ステップS310、YES)、対象年齢の範囲を第2の年齢範囲に設定する(ステップS312)。
判定部202cは、図4に示すステップS114において、第2の年齢範囲を対象年齢の範囲として、推定した検出人物の年齢が対象年齢の範囲内であるか否かを判定することができる。また、判定部202cは、図4に示すステップS126において、第2の年齢範囲を対象年齢の範囲として、該当登録者の年齢が対象年齢の範囲内であるか否かを判定することができる。
こうして、判定サーバ20は、時間帯に応じて対象年齢の範囲を変更することができる。
このように、本実施形態によれば、時間帯に応じて対象年齢の範囲を変更するので、店舗Sへの入場を許可すべき対象者であるか否かを柔軟に判定することができる。
[第3実施形態]
本発明の第3実施形態による情報処理装置及び情報処理方法について図11及び図12を用いて説明する。なお、上記第1及び第2実施形態による情報処理装置及び情報処理方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
第1実施形態では、同伴者なき対象年齢の範囲外の検出人物に該当する該当登録者の登録者情報に同伴情報が含まれている場合(ステップS128、YES)、同伴情報により特定される同伴者としての登録対象年齢者が検索される(ステップS130)。登録対象年齢者を検索するとともに又はその検索に代えて、被保護者たる検出人物の保護者である登録対象年齢者に同伴者なき被保護者の入場を示す通知を行うことができれば、迷子の可能性のある検出人物の同伴者なき単独での状況を早期に解消する助けになる。
本実施形態による対象者判定システム1の構成は、第1実施形態と同様である。本実施形態では、同伴者なき対象年齢の範囲外の検出人物が検出された場合に、判定サーバ20が、同伴情報により特定される保護者である登録対象年齢者の保護者端末50に対して、同伴者なき被保護者の店舗Sへの入場を示す通知を行う場合について説明する。なお、対象者判定システム1は、保護者が使用する保護者端末50のほか、例えば、店舗Sの店員が使用する端末、保護者及び店員以外の者が使用する端末等のあらゆる通知先端末に同様の通知を行うように構成することもできる。通知先端末は、使用者が携帯して使用する携帯端末であってもよいし、特定の場所に設置された据え置き型の端末であってもよい。
判定サーバ20において、送信部202eは、同伴者なき対象年齢の範囲外の検出人物に該当する該当登録者の登録者情報に含まれる同伴情報により特定される登録対象年齢者の保護者端末50に対して、ネットワークNWを介して通知を送信する。登録者情報DB206aに登録された登録対象年齢者の登録者情報は、その登録対象年齢者が利用する保護者端末50に通知を送信するための宛先を特定するための宛先情報が含まれている。送信部202eは、登録対象年齢者の登録者情報に含まれる宛先情報を利用して保護者端末50に通知を送信することができる。
送信部202eが保護者端末50に送信する通知は、同伴者なき被保護者の店舗Sへの入場を示すものである。すなわち、同伴者なき被保護者の店舗Sへの入場を示す通知は、登録対象年齢者を同伴者とする同伴情報を含む登録者情報が登録された登録者に該当する検出人物が同伴なく単独で店舗Sに入場しようとしている又は店舗Sに入場していることを示している。
送信部202eは、同伴者なき被保護者の店舗Sへの入場を示す通知として、検出人物に関する情報である人物情報を含む通知を送信することができる。人物情報は、例えば、検出人物の撮影日時、登録者の年齢、検出人物に関する画像等を含んでいる。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。
次に、保護者端末50の構成について図11を用いて説明する。図11は、本実施形態による対象者判定システム1における保護者端末50の構成を示すブロック図である。
保護者端末50は、判定サーバ20からの通知の受信、通知の表示等を行う情報処理装置である。保護者端末50は、登録者情報DB206aに登録された登録対象年齢者である保護者により利用される利用者端末としての情報処理装置である。保護者端末50は、例えば、スマートフォン、タブレット端末等の携帯端末である。
保護者端末50は、図11に示すように、CPU502と、RAM504と、記憶部506と、入力部508と、表示部510と、通信部512とを有している。CPU502、RAM504、記憶部506、入力部508、表示部510及び通信部512は、共通バス514に接続されている。
CPU502は、記憶部506に記憶されたプログラムを実行することにより動作し、保護者端末50全体の動作を制御する制御部として機能する。また、CPU502は、記憶部506に記憶されたプログラムを実行して保護者端末50としての各種処理を実行する。RAM504は、CPU502の動作に必要なメモリ領域を提供する。
より具体的には、CPU502は、プログラムを実行することにより、受信部502a及び通知出力部502bとして機能する。CPU502は、プログラムとして、店舗Sからの通知を受け取るためのアプリケーションプログラムを実行する。
受信部502aは、判定サーバ20から同伴者なき被保護者の店舗Sへの入場を示す通知が送信された場合に、その同伴者なき被保護者の店舗Sへの入場を示す通知を受信する。受信部502aは、通知に含まれる検出人物に関する人物情報を受信することができる。
通知出力部502bは、受信部502aにより受信された同伴者なき被保護者の店舗Sへの入場を示す通知を表示部510に出力して表示部510に表示させる。通知出力部502bは、表示部510に通知を表示させるに際して、同伴者なく被保護者が店舗Sに入場しようとしている又は店舗Sに入場している旨、通知に含まれる人物情報の一部又は全部等を表示させることができる。通知出力部502bは、人物情報として、例えば、被保護者である検出人物の人物画像又は顔画像を表示部510に表示させることができる。通知出力部502bは、例えば、保護者端末50にインストールされているアプリケーションプログラムを介して、当該プログラム内での表示、ポップアップ表示、通知領域への表示等の表示態様で通知を表示部510に表示させることができる。
また、通知出力部502bは、表示部510に通知を表示させるとともに又はこれに代えて、不図示の内蔵スピーカ等に通知を出力して通知音声又は通知音として通知を出力することもできる。例えば、通知出力部502bは、非許可対象者が店舗Sに入場しようとしている又は店舗Sに入場している旨を示す通知音声又は通知音をスピーカから出力することができる。
記憶部506は、フラッシュメモリ、ハードディスクドライブ等の不揮発性メモリのような記憶媒体により構成されている。記憶部506は、CPU502により実行されるプログラム、そのプログラムの実行の際にCPU502により参照されるデータ等を記憶する。例えば、記憶部506は、受信部502aにより受信された通知等を記憶することができる。
入力部508は、保護者端末50に対する保護者からの情報、指示等の入力の操作を受け付ける。保護者は、入力部508を介して、保護者端末50に対して、各種情報を入力したり、処理の実行の指示を入力したりすることができる。入力部508は、例えば、表示部510に組み込まれたタッチパネルにより構成されている。
表示部510は、CPU502による制御に従って、例えば、プログラムの実行画面等の各種画面を表示する。より具体的には、表示部510は、判定サーバ20から受信した通知を表示する通知画面等を表示する。表示部510は、例えば、液晶ディスプレイ、OLEDディスプレイ等により構成されている。表示部510は、例えば、入力部508とともにタッチパネルディスプレイとして構成されている。
通信部512は、CPU502による制御に従って、ネットワークNWを介して判定サーバ20等の外部装置と通信を行う。通信部512の通信規格、方式等は、特に限定されるものではなく、無線方式であっても有線方式であってもよい。
こうして、保護者端末50が構成されている。
次に、本実施形態による対象者判定システム1における判定サーバ20及び保護者端末50の動作についてさらに図12を用いて説明する。図12は、本実施形態による対象者判定システム1における保護者端末50の動作を示すフローチャートである。判定サーバ20及び保護者端末50が動作することにより、本実施形態による情報処理方法が実行される。
本実施形態において、判定サーバ20は、図4に示す第1実施形態の場合とほぼ同様に動作する。なお、判定サーバ20は、本実施形態においても第2実施形態と同様に時間帯に応じて対象年齢の範囲を変更することもできる。本実施形態では、さらに、同伴者なき対象年齢の範囲外の検出人物に該当する該当登録者の登録者情報に同伴情報が含まれている場合(ステップS128、YES)に、送信部202eが、同伴者なき被保護者の店舗Sへの入場を示す通知を行う。
送信部202eは、同伴者なき対象年齢の範囲外の検出人物に該当する該当登録者の登録者情報に含まれる同伴情報により特定される登録対象年齢者の保護者端末50に対して、ネットワークNWを介して同伴者なき被保護者の店舗Sへの入場を示す通知を送信する。送信部202eは、同伴者なき被保護者の店舗Sへの入場を示す通知として、検出人物に関する情報である人物情報を含む通知を送信することができる。
一方、保護者端末50は、判定サーバ20から同伴者なき被保護者の店舗Sへの入場を示す通知を受信することができる。
図12に示すように、保護者端末50において、受信部502aは、判定サーバ20から同伴者なき被保護者の店舗Sへの入場を示す通知が送信されたか否かを継続的に判定する(ステップS402)。こうして、受信部502aは、判定サーバ20から通知が送信されるまで待機する(ステップS402、NO)。
受信部502aは、判定サーバ20から同伴者なき被保護者の店舗Sへの入場を示す通知が送信されたと判定すると(ステップS402、YES)、その同伴者なき被保護者の店舗Sへの入場を示す通知を受信する(ステップS404)。受信部502aは、通知に含まれる検出人物に関する人物情報を受信することができる。人物情報は、例えば、検出人物の撮影日時、該当登録者の年齢、検出人物に関する画像等を含んでいる。検出人物に関する画像は、人物検出部202bにより取得された検出人物の人物画像及び顔画像の少なくとも一方である。
次いで、通知出力部502bは、受信部502aにより受信された同伴者なき被保護者の店舗Sへの入場を示す通知を表示部510に出力して表示部510に表示させる(ステップS406)。通知出力部502bは、被保護者が店舗Sに入場しようとしている又は店舗Sに入場している旨、通知に含まれる人物情報の一部又は全部等を表示部510に表示させることができる。通知出力部502bは、人物情報として、検出人物の人物画像又は顔画像を表示部510に表示させることができる。なお、通知出力部502bは、表示部510に通知を表示させるとともに又はこれに代えて、不図示の内蔵スピーカ等に通知を出力して通知音声又は通知音として通知を出力することもできる。
保護者端末50にて判定サーバ20からの通知を受信した保護者である登録対象年齢者は、表示部510に表示された通知を受けて、被保護者である検出人物を捜索することができる。
本実施形態のように、店舗端末30に通知を行うほか、保護者端末50に通知を行うこともできる。
なお、保護者端末50を利用する親等の保護者は、店舗Sがその子ども等の被保護者に出入りさせたくない施設である場合にも登録者情報DB206aにその子ども等の被保護者を登録しておくことができる。この場合、判定サーバ20は、場所画像中に検出人物として単独で被保護者が検出された場合に、必ずしも店舗Sに入場しているとは限らない保護者の保護者端末50に対して、上記と同様に通知を行うことができる。
本実施形態によれば、保護者端末50に被保護者の入場を通知することにより、被保護者の行動を見守る見守り機能を含むサービスを保護者に提供することができる。
[他の実施形態]
上記実施形態において説明した情報処理装置は、他の実施形態によれば、図13に示すように構成することもできる。図13は、他の実施形態による情報処理装置の構成を示すブロック図である。
図13に示すように、他の実施形態による情報処理装置1000は、場所画像を取得する画像取得部1002と、場所画像に含まれる人物を検出する人物検出部1004とを有する。また、情報処理装置1000は、人物の属性及び場所画像に基づき、人物について対象者であるか否かを判定する判定部1006を有する。
他の実施形態による情報処理装置1000によれば、人物の属性及び場所画像に基づき人物について対象者であるか否かを判定するので、対象者であるか否かを柔軟に判定することができる。
[変形実施形態]
本発明は、上記実施形態に限らず、種々の変形が可能である。
例えば、上記実施形態では、店舗Sへの入場を許可すべき許可対象者であるか否かを判定する場合を例に説明したが、これに限定されるものではない。判定サーバ20は、店舗Sへの入場のほか、年齢等の人物の属性に応じた制限が設けられた種々の行為を許可すべき対象者であるか否かを判定することができる。
また、上記実施形態では、人物の属性としての年齢に基づき許可対象者であるか否かを判定する場合を例に説明したが、これに限定されるものではない。判定サーバ20は、年齢のほか、人物の種々の属性に基づいて許可対象者であるか否かを判定することができる。
また、上記第1乃至第3実施形態は、いかなる態様で組み合わせて実施することもできるし、それぞれ単独で実施することもできる。
また、上記の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。
該記録媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM(Compact Disc-Read Only Memory)、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また、該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
場所画像を取得する画像取得部と、
前記場所画像に含まれる人物を検出する人物検出部と、
前記人物の属性及び前記場所画像に基づき、前記人物について対象者であるか否かを判定する判定部と
を有する情報処理装置。
(付記2)
前記判定部は、前記人物の属性として前記人物の年齢を推定し、前記人物の推定された前記年齢が対象年齢の範囲内である場合に前記人物について前記対象者であると判定する付記1記載の情報処理装置。
(付記3)
前記判定部は、前記人物の登録された前記年齢が前記対象年齢の範囲内である場合に前記人物について前記対象者であると判定する付記2記載の情報処理装置。
(付記4)
前記判定部は、時間帯に応じて前記対象年齢の範囲を変更する付記2又は3に記載の情報処理装置。
(付記5)
前記判定部は、前記場所画像に基づき前記人物と同伴する同伴者の有無を判定し、前記同伴者の有無に基づき、前記対象者であるか否かを判定する付記1乃至4のいずれかに記載の情報処理装置。
(付記6)
前記判定部は、前記場所画像中に検出された前記人物と、前記場所画像中に検出された他の人物との位置的関係に基づき、前記同伴者の有無を判定する付記5記載の情報処理装置。
(付記7)
前記判定部は、前記人物と同伴する同伴者に関する登録された情報に基づき、前記対象者であるか否かを判定する付記1乃至6のいずれかに記載の情報処理装置。
(付記8)
前記判定部は、前記場所画像から抽出された情報に基づき、前記対象者であるか否かを判定する付記1乃至7のいずれかに記載の情報処理装置。
(付記9)
前記場所画像から抽出された前記情報は、前記人物の外観的特徴に関する情報である付記8記載の情報処理装置。
(付記10)
前記判定部による判定の結果を通知する通知部を有する付記1乃至8のいずれかに記載の情報処理装置。
(付記11)
場所画像を取得し、
前記場所画像に含まれる人物を検出し、
前記人物の属性及び前記場所画像に基づき、前記人物について対象者であるか否かを判定する情報処理方法。
(付記12)
コンピュータに、
場所画像を取得し、
前記場所画像に含まれる人物を検出し、
前記人物の属性及び前記場所画像に基づき、前記人物について対象者であるか否かを判定する
ことを実行させるプログラム。
(付記13)
撮影装置と、情報処理装置と、端末とを含み、
前記撮影装置は、特定の場所を撮影して場所画像を出力し、
前記情報処理装置は、
前記場所画像を取得する画像取得部と、
前記場所画像に含まれる人物を検出する人物検出部と、
前記人物の属性及び前記場所画像に基づき、前記人物について対象者であるか否かを判定する判定部と、
前記判定部による判定の結果を通知する通知部とを有し、
前記端末は、前記通知部からの通知を受信する情報処理システム。