JP6241666B2 - 利用者管理装置、利用者管理システムおよび利用者管理方法 - Google Patents

Description

本発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者の状態を管理する利用者管理装置、利用者管理システムおよび利用者管理方法に関するものである。

銀行の窓口では、来店した順番に顧客からの依頼を受け付けて必要な業務を行うため、発券機で受付番号札を発行して、受付番号で顧客を呼び出すようにしており、顧客は呼び出しを受けるまで待合エリアで待つことになる。このとき、順番待ちの顧客が多く、顧客を長時間待たせることになると、顧客満足度を低下させることになる。このため、来店した顧客の状態を把握して、待ち時間などの問題点を解消する改善策を検討することが、顧客満足度の向上を図り、さらに店舗の効率的な運営を図る上で有益である。

このような店舗に入店した顧客の状態を管理することに関連するものとして、従来、入室する人物および退室する人物をそれぞれカメラで撮影した画像の間で人物照合を行い、同一人物と判定された入室時の画像および退室時の画像の各撮影時刻から、入室から退室までの経過時間を滞留時間として算出する技術が知られている（特許文献１参照）。また、店舗に入店する顧客、精算を行う顧客、および店舗から退店する顧客をカメラでそれぞれ撮影して、その撮影画像から抽出された顔画像を収集し、この顔画像に基づく人物照合により人物の対応付けを行って、顧客の行動に関する情報を収集する技術が知られている（特許文献２参照）。また、受付札発行装置で受付札を受け取る顧客を撮影した画像、受付札発行装置で顧客が入力操作を行うことで取得した来店目的、受付札の発行時刻から算出された顧客の待ち時間、および接客を行う店員が所持する携帯端末装置で店員が入力操作を行うことで取得した接客行為（声掛け）の実施状況などの情報を携帯端末装置に表示する技術が知られている（特許文献３参照）。

特開平０７−２４９１３８号公報 特開２００２−０４１７７０号公報 特開２００９−１２２８７１号公報

しかしながら、前記の特許文献１に記載された技術は、単に店舗内で商品の受け渡し等を待つ顧客の待ち時間を把握することができるに留まるものであり、また、特許文献２に記載された技術では、来店した顧客の顔画像を収集して、以前に来店した顧客が再度来店したことなど、顧客の行動を大まかに把握することができるにすぎず、来店した顧客の状態を十分に詳しく把握することができないという問題があった。

一方、特許文献３に記載された技術では、人物画像、来店目的、待ち時間、および接客行為（声掛け）の実施状況などの情報を取得することができるが、受付番号札にＩＣタグを埋め込んで、ＩＣタグにより取得した情報に基づいて顧客を管理するため、窓口利用客の通常の行動、すなわち発券機で受付番号札を受け取って待合エリアで待った後に呼び出しを受けて窓口で手続きを行うという通常の行動とは異なる変則的な行動を顧客がとると、そのような顧客の状態を適切に把握することができないという問題があった。

すなわち、来店した顧客の行動は、店舗内の混雑状況や顧客自身の都合などに応じて異なり、店舗に一度は入店したものの、店内が混雑しているために直ちに退店する顧客や、待ち時間潰しをするために店舗から一時外出する顧客が存在する。また、銀行の店舗内には両替機が設置されており、この両替機を利用する顧客は、発券機で受付番号札を受け取らずに両替機で両替を済ませると退店する。そこで、このような変則的な行動をとる顧客の状態も漏れなく把握することができる技術が望まれる。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、施設に来場した利用者の状態を漏れなくユーザが把握することができる利用者管理装置、利用者管理システムおよび利用者管理方法を提供することにある。

本発明の利用者管理装置は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理装置であって、来場した利用者に受付番号札を発行する番号札発行部と、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得する第２の画像取得部と、少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

また、本発明の利用者管理システムは、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理システムであって、前記施設に設置されたカメラと、来場した利用者に受付番号札を発行する番号札発行装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した第２の人物画像を取得する複数の第２の画像取得部と、前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

また、本発明の利用者管理方法は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする処理を情報処理装置により行う利用者管理方法であって、来場した利用者に受付番号札を発行するステップと、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得するステップと、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得するステップと、少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得するステップと、利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、このステップで生成した前記状態表示情報をユーザに提示するステップと、を備え、前記状態表示情報を生成して管理するステップでは、前記第１、第２および第３の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

本発明によれば、施設において来場した利用者を撮影した人物画像から人物照合の結果に応じて、役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される状態表示情報を生成するようにしたので、受付番号札を受け取らない利用者など、通常の行動とは異なる変則的な行動をとる利用者も含めて、施設に来場した利用者の状態を漏れなくユーザが把握することができる。

第１実施形態に係る利用者管理システムの全体構成図 店舗のレイアウト、カメラ１ａ〜１ｃの設置状況、および顧客の状態を説明する店舗の平面図 ＰＣ３で行われる顧客管理処理の概要を説明する説明図 ＰＣ３で行われる顧客管理処理の概要を説明する説明図 ＰＣ３で行われる顧客管理処理の概要を説明する説明図 ＰＣ３で行われる顧客管理処理の概要を説明する説明図 ＰＣ３で行われる待ち時間計測処理の概要を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 モニタ７に表示される映像表示画面および除外人物登録画面を示す説明図 人物照合部４２で行われる人物照合処理の概要を説明する説明図 プリンタ８で出力される集計結果を表す帳票を示す説明図 プリンタ８で出力される集計結果を表す帳票を示す説明図 モニタ７に表示される顧客状態表示画面を示す説明図 図１３に示した顧客状態表示画面の要部を示す説明図 第２実施形態における店舗のレイアウト、カメラ１ａ〜１ｃの設置状況、および顧客の状態を説明する店舗の平面図 第２実施形態においてＰＣ３で行われる顧客管理処理の概要を説明する説明図

前記課題を解決するためになされた第１の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理装置であって、来場した利用者に受付番号札を発行する番号札発行部と、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得する第２の画像取得部と、少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

これによると、施設において来場した利用者を撮影した人物画像から人物照合の結果に応じて、役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される状態表示情報を生成するようにしたので、受付番号札を受け取らない利用者など、通常の行動とは異なる変則的な行動をとる利用者も含めて、施設に来場した利用者の状態を漏れなくユーザが把握することができる。

また、第２の発明は、前記利用者情報管理部は、前記人物照合部により検知された利用者の状態、および前記人物画像の撮影時刻に基づき、利用者の状態に関する経過時間を利用者ごとに計測する時間計測部をさらに備えた構成とする。

これによると、利用者の状態に関する経過時間をユーザが把握することができる。これにより、施設内の混雑状態や、役務または物品の提供に係る業務の効率などを評価することができる。

また、第３の発明は、前記時間計測部は、前記経過時間として、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する構成とする。

これによると、利用者ごとの場内滞在時間をユーザが把握することができる。

また、第４の発明は、前記時間計測部は、前記経過時間として、前記役務または物品の提供に関する業務を開始してから終了するまでに要した業務所要時間を利用者ごとに計測する構成とする。

これによると、利用者ごとの業務所要時間をユーザが把握することができる。そして、利用者ごとの業務所要時間を、業務を行う窓口ごとに集計して、窓口ごとの業務所要時間を取得すると、窓口ごとの業務効率などを評価することができる。

また、第５の発明は、前記利用者情報管理部は、前記時間計測部により取得した前記利用者ごとの経過時間を集計して、所定期間ごとの経過時間を取得する集計処理部をさらに備えた構成とする。

これによると、所定期間ごとの経過時間をユーザが把握することができる。そして、所定期間ごとの経過時間を時系列で並べて表示するようにすれば、経過時間の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の経過時間を対比可能に並べて表示するようにすれば、経過時間の日時による違いをユーザが簡単に把握することができる。

また、第６の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、その利用者が再度入場したことが検知されると、その利用者を、施設から一時的に外出した一時外出者と判定する構成とする。

これによると、一時外出者をユーザが把握することができる。

また、第７の発明は、前記利用者情報管理部は、前記人物画像の撮影時刻に基づき、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する時間計測部を備え、前記利用者種類判定部は、前記時間計測部による計測結果に基づき、前記利用者の種類を判定する構成とする。

これによると、人物画像間の人物照合のみで判定することができない利用者の種類を判別することができる。

また、第８の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間以内である場合に、その利用者を、入場した後に前記役務または物品の提供を受けないまま直ちに退場した即時退場者と判定する構成とする。

これによると、即時退場者をユーザが把握することができる。

また、第９の発明は、前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間を超える場合に、その利用者を、利用者の操作に応じて前記役務または物品の提供を行うセルフ機を利用したセルフ機利用者と判定する構成とする。

これによると、セルフ機利用者をユーザが把握することができる。

また、第１０の発明は、前記利用者情報管理部は、前記利用者種類判定部により取得した利用者ごとの種類を集計して、所定期間ごとの種類別の利用者の人数を取得する集計処理部をさらに備えた構成とする。

これによると、所定期間ごとの種類別の利用者の人数をユーザが把握することができる。そして、所定期間ごとの種類別の利用者の人数を時系列で並べて表示するようにすれば、種類別の利用者の人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の種類別の利用者の人数を対比可能に並べて表示するようにすれば、種類別の利用者の人数の日時による違いをユーザが簡単に把握することができる。

また、第１１の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理システムであって、前記施設に設置されたカメラと、来場した利用者に受付番号札を発行する番号札発行装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した第２の人物画像を取得する複数の第２の画像取得部と、前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、を備え、前記利用者情報管理部は、前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

これによると、前記第１の発明と同様に、施設に来場した利用者の状態を漏れなくユーザが把握することができる。

また、第１２の発明は、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする処理を情報処理装置により行う利用者管理方法であって、来場した利用者に受付番号札を発行するステップと、前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得するステップと、前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得するステップと、少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得するステップと、利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、このステップで生成した前記状態表示情報をユーザに提示するステップと、を備え、前記状態表示情報を生成して管理するステップでは、前記第１、第２および第３の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成する構成とする。

これによると、前記第１の発明と同様に、施設に来場した利用者の状態を漏れなくユーザが把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る顧客管理システムの全体構成図である。この顧客管理システム（利用者管理システム）は、銀行を対象にして構築されるものであり、カメラ１ａ〜１ｃと、レコーダ（映像蓄積装置）２と、ＰＣ（利用者管理装置）３と、を備えている。

カメラ１ａ〜１ｃは店舗内の適所に設置され、カメラ１ａ〜１ｃにより店舗内が撮影され、これにより得られた映像がレコーダ２に蓄積される。

ＰＣ３には、管理者などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７と、プリンタ８とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示される監視画面により、カメラ１ａ〜１ｃで撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

また、カメラ１ａ〜１ｃ、レコーダ２およびＰＣ３は、複数の店舗（施設）の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１ａ〜１ｃで撮影された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。

店舗に設置されたＰＣ３は、店舗に来店した顧客（利用者）の状態を管理する利用者管理装置として構成され、このＰＣ３で生成した顧客情報（利用者情報）は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも閲覧することができ、ＰＣ３，１１が顧客情報を閲覧する閲覧装置として構成される。

次に、図１に示した店舗のレイアウト、カメラ１ａ〜１ｃの設置状況、および顧客の状態について説明する。図２は、店舗のレイアウト、カメラ１ａ〜１ｃの設置状況、および顧客の状態を説明する店舗の平面図である。

店舗には、出入口と、ロビーと、窓口と、バックヤードと、が設けられている。顧客は出入口から出入りし、入店した顧客はロビーに滞在する。ロビーには、待合エリアが設けられており、窓口を利用する顧客は、呼び出しを受けるまで待合エリアで待機する。窓口は複数設けられており、各窓口では、店員（テラー）が顧客からの依頼を受け付けて所要の窓口業務を行う。バックヤードでは、窓口業務を支援する後方支援業務を店員（オペレータ）が行う。

ロビーには、発券機２１と、両替機２２と、が設置されている。発券機２１は、窓口を利用する顧客を来店した順番に呼び出すための受付番号札を発行するものである。両替機２２は、顧客自らが操作して両替を行うものである。

窓口には、呼出表示パネル２３と、操作端末２４と、が設置されている。呼出表示パネル２３は、受付番号を表示して顧客の呼び出しを行うものである。操作端末２４は、店員（テラー）が操作するものであり、図示しない操作ボタンを備えている。先客の業務が終了して呼び出しボタンを操作すると、呼出表示パネル２３に受付番号が表示される。呼び出した顧客が窓口に現れると、受付ボタンを操作する。呼び出した顧客が窓口に現れないと、不在ボタンを操作し、これに応じて次の受付番号による顧客の呼び出しが行われる。

また、店舗には、来店した顧客を撮影する複数のカメラ１ａ〜１ｃが設置されている。本実施形態では、出入口から入店する顧客を撮影する入店カメラ１ａと、窓口で手続きを行う顧客を撮影する窓口カメラ１ｂと、出入口から退店する顧客を撮影する退店カメラ１ｃと、が設置されている。これらのカメラ１ａ〜１ｃは、顧客の顔を概ね正面から撮影するように設置されている。

なお、本実施形態では、１つの出入口で顧客が店舗に出入りするようにしたが、入口および出口を別々に設けるようにしてもよい。この場合、入店カメラ１ａおよび退店カメラ１ｃは入口および出口にそれぞれ設置される。

店舗に来店した顧客は、来店した目的や店舗の混雑状況や顧客自身の都合などに応じて種々の行動をとる（図２の点線で示す顧客Ｃの経路参照）。すなわち、窓口を利用する顧客（窓口利用客）の場合には、出入口から入店すると、まず、発券機で受付番号札を受け取り、呼び出しを受けるまで待合エリアで待機する。そして、呼び出しを受けると、窓口で各種の手続きに関する業務の依頼を行い、窓口業務が終了すると、出入口から退店する。また、バックヤードでの後方支援業務に時間を要する場合には、窓口で依頼を行った後に、窓口から一時的に退席して待合エリアで再度の呼び出しを待ち、呼び出しを受けて窓口業務が終了すると、出入口から退店する。

また、両替機２２を利用する顧客（両替機利用客）の場合には、出入口から入店すると、発券機２１で受付番号札を受け取ることなく両替機２２に向かい、両替機２２で両替を済ませると、出入口から退店する。

また、店舗内が混雑している、特に窓口での順番待ちの顧客が多いと、窓口を利用する目的で来店した顧客の中から、入店して直ちに帰る顧客（即時退店客）や、店舗外で待ち時間潰しをするために店舗から一時外出する顧客（一時外出客）が現れる。

次に、図１に示したＰＣ３で行われる顧客管理処理の概要について説明する。図３、図４、図５および図６は、ＰＣ３で行われる顧客管理処理の概要を説明する説明図である。図３は、窓口利用客の場合を示し、図４は、両替機利用客の場合を示し、図５は、即時退店客の場合を示し、図６は、一時外出客の場合を示す。

図３（Ａ）に示すように、窓口利用客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ１ａで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が失敗する、すなわち入店した人物が登録された顧客および店員の中に存在しない場合には、新規の顧客が入店したことが検知され、その人物が新規に顧客として登録される。

次に、入店した顧客は発券機２１で受付番号札を受け取った後、待合エリアで呼び出しを待つ。そして、顧客が呼び出しを受けると、顧客は窓口で店員に業務の依頼を行い、その顧客が窓口カメラ１ｂで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、顧客に役務を提供する業務が実施されたことが検知され、該当する顧客の顧客情報が更新される。窓口での業務が終了すると、顧客は出入口から退店し、その顧客が退店カメラ１ｃで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、役務の提供が完了した顧客が退店したことが検知されて、顧客の登録が抹消される。

また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、入店してから退店するまでの時間、すなわち店内滞在時間が計測される。また、窓口カメラ１ｂにより顧客が窓口に滞在する間継続して顧客が撮影され、この間に取得した窓口利用時の人物画像の各撮影時刻から窓口業務の開始時刻および終了時刻を取得して、顧客が窓口で業務を依頼してからその業務が終了するまでに要した時間、すなわち業務所要時間を算出する。

また、窓口業務に関連してバックヤードで行われる後方支援業務が時間を要するものである場合には、図３（Ｂ）に示すように、窓口業務が複数回（ここでは２回）に分けて実施される場合がある。この場合、業務所要時間の計測にあたっては、バックヤードでの後方支援業務に要する時間を含めるようにするとよく、最初の窓口業務の開始時刻から最後（ここでは２回目）の窓口業務の終了時刻までの時間が業務所要時間となる。

図４に示すように、両替機利用客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ１ａで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、入店した顧客は両替機２２に向かい、両替機２２で両替を済ませると、出入口から退店し、そのときの顧客が退店カメラ１ｃで撮影される。このとき、顧客が窓口カメラ１ｂで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ１ｃによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。

また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、店内滞在時間が計測される。

図５（Ａ）に示すように、即時退店客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ１ａで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、入店した顧客は店内の様子を見て、窓口で手続きを行うことを断念すると、出入口から退店し、そのときの顧客が退店カメラ１ｃで撮影される。このとき、顧客は窓口カメラ１ｂで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ１ｃによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。また、図５（Ｂ）に示すように、顧客が発券機２１で受付番号札を受け取った後に、店内の様子を見て直ちに帰る場合もあり、この場合も図５（Ａ）に示した場合と同様である。

また、入店時の人物画像および退店時の人物画像の各撮影時刻から入店時刻および退店時刻を取得して、店内滞在時間が計測される。

図６に示すように、一時外出客の場合には、まず、顧客が出入口から入店すると、その顧客が入店カメラ１ａで撮影され、その撮影画像から検出された人物が顧客として登録される。次に、入店した顧客は発券機２１で受付番号札を受け取った後、店内の様子を見て、すぐに呼び出しがないものと考えて、店外で待ち時間潰しをするため、出入口から退店し、そのときの顧客が退店カメラ１ｃで撮影される。このとき、顧客は窓口カメラ１ｂで撮影されないため、役務の提供が完了したことの検知はなく、退店カメラ１ｃによる撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われて人物照合が成功すると、役務の提供が不明な顧客が退店したことが検知されて、顧客情報が更新される。

そして、顧客が店舗に戻って出入口から入店すると、顧客が入店カメラ１ａで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち入店した人物が登録された顧客の中に存在することで、外出した顧客が店舗に戻ったことが検知される。これ以降は、図３に示した窓口利用客と同様である。

ここで、一時外出客の場合には、顧客が店舗に戻るため、役務の提供が不明な状態で退店した顧客が入店したことが検知された時点で一時外出客を判別することができる。また、両替機利用客および即時退店客の場合には、一時外出客とは異なり、店舗に戻ることはないため、閉店時刻までに戻らない、あるいは所定時間が経過しても戻らないことで、一時外出客と区別することができる。

一方、両替機利用客および即時退店客はともに、退店した時点では役務の提供が不明な状態であるため、人物画像による人物照合のみでは、両替機利用客と即時退店客とを判別することができない。そこで、本実施形態では、店内滞在時間に基づいて両替機利用客と即時退店客とを判別する。すなわち、両替機利用客は両替機を利用するが、即時退店客はなにもしないため、両替機利用客の方が即時退店客より店内滞在時間が長くなる場合が多い。したがって、店内滞在時間を基準時間（しきい値）と比較して、両替機利用客および即時退店客のいずれであるかの判定を行い、店内滞在時間が基準時間より長い場合には両替機利用客と判定し、店内滞在時間が基準時間より短い場合には即時退店客と判定する。

なお、両替機利用客は受付番号札を受け取らないため、図５（Ｂ）に示すように、即時退店客が受付番号札を受け取っていた場合には、受付番号による呼び出しを行った時点で不在と判断することができるため、この時点で即時退店客と判定するようにしてもよい。

次に、図１に示したＰＣ３で行われる待ち時間計測処理の概要について説明する。図７は、ＰＣ３で行われる待ち時間計測処理の概要を説明する説明図である。

窓口利用客は、先客の業務が終了して呼び出しを受けるまで待合エリアで待つことになるが、順番待ちの顧客が多いと、顧客が長時間待たされることがあり、これは顧客にとって大きな不満に感じる。そこで、本実施形態では、ＰＣ３で入店した顧客の状態を管理し、特に顧客ごとの待ち時間を計測して、店員に必要な接客行為、すなわち長時間待たせていることを詫びる旨の声掛けを行わせるようにして、顧客満足度の向上を図るようにしている。

具体的には、顧客が店舗の出入口から入店すると、その顧客が入店カメラ１ａで撮影され、このとき、撮影画像から検出された人物が顧客として登録されるとともに、待ち時間の計測が開始される。そして、先客の業務が終了して呼び出しを受けて顧客が窓口に現れると、その顧客が窓口カメラ１ｂで撮影され、このとき、撮影画像から抽出された人物画像と登録された人物画像との間での人物照合が成功して、顧客に役務を提供する業務が実施されたことが検知されると、待ち時間の計測が終了する。

ここで、顧客が入店したところで計測が開始された待ち時間が長くなり、この待ち時間が所定の基準時間を超えると、店員に接客行為を促す通知が行われ、これに応じて、店員は、待合エリアに滞在する顧客の中から該当する顧客を見つけ出して、その顧客に必要な接客行為、すなわち長時間待たせていることを詫びる旨の声掛けを行う。

次に、図１に示したＰＣ３で行われる顧客管理処理について詳しく説明する。図８は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、第１の画像取得部３１と、第２の画像取得部３２と、第３の画像取得部３３と、顧客情報管理部（利用者情報管理部）３４と、入出力制御部３５と、を備えている。

第１の画像取得部３１では、出入口から入店してから受付番号札を受け取るまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得する。本実施形態では、入店カメラ１ａにより出入口から入店する顧客を撮影した入店時の人物画像（第１の人物画像）を取得する。

第２の画像取得部３２では、受付番号による呼び出しを受けてから役務の提供が終了するまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得する。本実施形態では、窓口カメラ１ｂにより窓口で手続きを行う顧客を撮影した窓口利用時の人物画像、すなわち、役務の提供を受ける最中の顧客を撮影した役務提供時の人物画像（第２の人物画像）を取得する。

第３の画像取得部３３では、退店カメラ１ｃにより出入口から退店する顧客を撮影した退店時の人物画像（第３の人物画像）を取得する。

第１〜第３の画像取得部３１〜３３では、カメラ１ａ〜１ｃから入力された撮影画像から人物を検出する人物検出処理と、この人物検出処理で検出された人物の顔領域の画像（顔画像）を撮影画像から切り出す画像処理と、が行われ、顔画像が人物画像として出力される。

顧客情報管理部３４は、第１〜第３の画像取得部３１〜３３によりそれぞれ取得した人物画像に基づいて、顧客の状態に関する顧客情報を生成して管理するものであり、除外人物登録部４１と、人物照合部４２と、顧客登録部４３と、顧客情報蓄積部４４と、時間計測部４５と、顧客種類判定部４６と、接客要否判定部４７と、接客情報取得部４８と、集計処理部４９と、を備えている。

除外人物登録部４１では、顧客管理の対象から除外する人物を登録する処理が行われる。顧客が滞在するロビーには、顧客を案内する業務を専門に行う店員（ロビーアテンダント）が配置され、このような店員がカメラ１ａ〜１ｃで撮影されて顧客管理の対象に含まれると、顧客管理の精度が低下する。このため、本実施形態では、除外人物登録部４１において、店員などの対象外とする人物を撮影した人物画像を用いて、対象外の人物を予め登録する処理が行われる。これにより、店員などの対象外の人物が顧客として登録されることを避けることができる。

人物照合部４２では、第１〜第３の画像取得部３１〜３３によりそれぞれ入店カメラ１ａ、窓口カメラ１ｂおよび退店カメラ１ｃによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、この人物照合の結果に応じて、顧客の状態を検知する。本実施形態では、顧客の状態として、新規の顧客が入店したこと、顧客に役務を提供する業務が実施されたこと、役務の提供が完了した顧客が退店したこと、役務の提供が不明な顧客が退店したこと、および役務の提供が不明な状態で退店した顧客が再度入場したことを検知する。

すなわち、人物照合部４２では、第１の画像取得部３１により入店カメラ１ａによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された顧客の人物画像との間で人物照合が行われる。さらに、除外人物登録部４１により対象外として登録された人物の人物画像との間で人物照合が行われる。そして、両方の人物照合が失敗する、すなわち入店した人物が、登録された顧客および対象外として登録された人物の中に存在しない場合には、新規の顧客が入店したことを検知する（新規顧客入店検知）。また、このときの人物画像の撮影時刻から入店時刻を取得する。

また、人物照合部４２では、第２の画像取得部３２により窓口カメラ１ｂによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、顧客に役務を提供する業務が実施されたことを検知する（提供顧客検知）。また、このときの人物画像の撮影時刻から窓口業務の開始時刻および終了時刻を取得する。

また、人物照合部４２では、第３の画像取得部３３により退店カメラ１ｃによる撮影画像を取得すると、その撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、顧客が退店したことを検知する。そして、顧客が、役務の提供が完了した状態であれば、役務の提供が完了した顧客が退店したことを検知する（提供完了顧客退店検知）。一方、顧客が、役務の提供が完了していない状態であれば、役務の提供が不明な顧客が退店したことを検知する（提供不明顧客退店検知）。また、このときの人物画像の撮影時刻から退店時刻を取得する。

また、人物照合部４２では、第１の画像取得部３１により入店カメラ１ａによる撮影画像を取得すると、その撮影画像から抽出された人物画像と、役務の提供が不明な状態で退店した顧客の人物画像との間で人物照合が行われ、人物照合が成功する、すなわち同一の人物と判定されると、外出した顧客が店舗に戻ったことを検知する（外出顧客戻り検知）。また、このときの人物画像の撮影時刻から外出戻り時刻を取得する。

この人物照合には、公知の人物認識技術を用いればよく、例えば、２つの画像から抽出された特徴量データを比較して同一の人物か否かの判定を行えばよい。また、人物照合のたびに画像から特徴量データを取得する必要はなく、既に特徴量データを取得していれば、その特徴量データを用いて人物照合を行えばよい。

顧客登録部４３では、人物照合部４２により新規の顧客が入店したことが検知されると、人物画像に映った人物を新規の顧客として登録する処理が行われる。この顧客登録処理では、入店の順番にしたがって通し番号が顧客に付与され、人物画像および通し番号を含む顧客情報が生成される。この顧客登録処理で生成した顧客情報は顧客情報蓄積部４４に蓄積される。なお、顧客情報には、人物画像および通し番号の他に、入店時の人物画像の撮影時刻、すなわち入店時刻などの情報も含まれる。

また、顧客登録部４３では、人物照合部４２により役務の提供が完了した顧客が退店したことが検知されると、その顧客の登録を抹消する処理が行われる。なお、登録が抹消された顧客の顧客情報を顧客情報蓄積部４４から消去するようにしてもよいが、履歴として残すようにしてもよい。ただし、履歴として活用する場合には、プライバシーを保護する形で顧客情報を残すことが望ましい。例えば人物画像は消去し、集計処理部４９での処理に必要となる顧客の状態に関する情報は保持するようにするとよい。

また、顧客登録部４３では、人物照合部４２により、顧客に役務を提供する業務が実施されたこと、役務の提供が不明な顧客が退店したこと、および外出した顧客が店舗に戻ったことがそれぞれ検知されると、これらの顧客の状態を表す状態情報をその顧客に関する顧客情報に付加する更新処理が行われる。

時間計測部４５では、人物照合部４２による検知結果に基づき、顧客の状態に関する経過時間を顧客ごとに計測する処理が行われる。本実施形態では、経過時間として、顧客の待ち時間をリアルタイムで計測する処理が行われる。この待ち時間計測処理では、待ち時間として、人物照合部４２における新規顧客入店検知処理により取得した入店時刻から現在までの経過時間を計測する。この待ち時間計測処理は、人物照合部４２により、顧客に役務を提供する業務が開始されたことが検知されるまで継続される。

また、本実施形態では、経過時間として、顧客が入店してから退店するまでに要した店内滞在時間を計測する。また、本実施形態では、経過時間として、役務の提供に関する業務、すなわち窓口利用客に対する窓口業務を開始してから終了するまでに要した業務所要時間を計測する（図３参照）。

店内滞在時間は、人物照合部４２における新規顧客入店検知処理により取得した入店時刻と、退店検知処理により取得した退店時刻とから算出する。また、業務所要時間は、人物照合部４２における提供顧客検知処理により取得した窓口業務の開始時刻および終了時刻から算出する。なお、窓口業務が１回で済む場合（図３（Ａ）参照）には、その窓口業務の開始時刻から終了時刻までの時間が業務所要時間となるが、窓口業務が複数回に分けて実施される場合（図３（Ｂ）参照）には、最初の窓口業務の開始時刻から最後の窓口業務の終了時刻までの時間が業務所要時間となる。

顧客種類判定部４６では、人物照合部４２により検知された顧客の状態に基づき、顧客の種類を判定する処理が行われる。本実施形態では、顧客の種類として、窓口利用客、両替機利用客、即時退店客および一時外出客のいずれであるかを判定する。

すなわち、窓口利用客の場合には、人物照合部４２により、窓口で顧客に役務を提供する業務が実施されたことが検知されることから、この検知結果に基づいて窓口利用客と判定する。また、一時外出客の場合には、人物照合部４２により、外出した顧客が店舗に戻ったことを検知されることから、この検知結果に基づいて一時外出客と判定する。

一方、両替機利用客および即時退店客の場合には、人物照合部４２により、役務の提供が不明な顧客が退店したことが検知されるが、この検知結果は両替機利用客と即時退店客とで同一であるため、人物照合部４２における検知結果のみでは両替機利用客と即時退店客とを判別することができない。そこで、本実施形態では、店内滞在時間を基準時間（しきい値）と比較して両替機利用客と即時退店客とを判別する。すなわち、店内滞在時間が基準時間より長い場合には両替機利用客と判定し、店内滞在時間が基準時間より短い場合には即時退店客と判定する。

接客要否判定部４７では、時間計測部４５により取得した待ち時間に基づいて、待ち時間が長くなる際に必要となる接客行為、すなわち長時間待たせていることを詫びる旨の声掛けの要否を判定する処理が行われる。この接客要否判定処理では、待ち時間を所定の基準時間と比較して、待ち時間が基準時間を超えた場合に接客行為が必要と判断する。

なお、人物照合部４２により、役務の提供が不明な顧客が退店したことが検知された場合に、待ち時間の計測を終了するようにしてもよいが、待ち時間の計測を継続して、一時外出客にも対応するようにしてもよい。この場合、時間計測部４５により取得した待ち時間が基準時間を超過していても、店舗に滞在していなければ、接客行為を不要と判断して、その顧客に関する接客要否判定を行わないようにすればよい。

また、例えば店舗側の方針で顧客の外出を原則禁止するような場合には、顧客が外出すると時間計測部４５での待ち時間の計時を一時的に停止する、また、外出時間分だけ基準時間を長く設定する、また、顧客が店舗に戻ってきてからの待ち時間で接客要否判定を行う、また、外出から戻った顧客には接客行為（声掛け）を行わない、などの方法も可能であり、接客要否判定の条件を店舗側の必要に応じて種々に変更設定することができるようにしてもよい。

接客情報取得部４８は、店員から接客情報を取得するものであり、この接客情報取得部４８では、接客情報として、店員による接客行為の実施状況に関する情報や、接客行為の必要のない顧客に関する情報を、入出力制御部３５を介して取得する処理が行われる。接客情報取得部４８で取得した情報は、該当する顧客の顧客情報として顧客情報蓄積部４４に蓄積される。

集計処理部４９では、時間計測部４５により取得した顧客ごとの経過時間を集計して、所定期間ごとの経過時間を取得する処理が行われる。本実施形態では、時間計測部４５により取得した顧客ごとの店内滞在時間を時間帯ごとに集計して、時間帯ごとの店内滞在時間を取得する。また、時間計測部４５により取得した顧客ごとの窓口での業務所要時間を時間帯ごとに集計して、窓口ごとの業務所要時間を取得する。

また、集計処理部４９では、顧客種類判定部４６により取得した顧客ごとの種類を集計して、所定期間ごとの種類別の顧客の人数を取得する処理が行われる。本実施形態では、顧客種類判定部４６により取得した両替機利用客および即時退店客を集計して、時間帯ごとの両替機利用客および即時退店客の人数を取得する。

入出力制御部３５は、モニタおよびマウスなどの入力デバイス６を用いたＧＵＩ（Graphical User Interface）により、顧客情報管理部３４で生成した顧客情報を出力して店員に提示する処理、および店員の入力操作による入力情報を取得する処理を行うものであり、表示情報生成部（利用者情報提示部）５１と、入力情報取得部５２と、を備えている。

表示情報生成部５１では、登録された顧客の顧客情報を一覧表示する顧客状態表示画面（図１３参照）に関する表示情報を生成してモニタ７に出力する処理が行われ、顧客状態表示画面がモニタ７に表示される。また、表示情報生成部５１では、集計処理部４９で生成した集計結果情報に関する表示情報（図１１，１２参照）を生成してモニタ７やプリンタ８に出力する処理が行われる。入力情報取得部５２では、店員が入力デバイス６を用いてモニタ７に表示された画面上で行った入力操作に応じて入力情報を取得する処理が行われる。

また、本実施形態では、顧客情報管理部３４において、窓口受付システムと連携して顧客情報を管理する処理が行われる。窓口受付システムは、発券機２１と呼出表示パネル２３と操作端末２４とで構成される。発券機２１は、窓口受付システムの制御部も備えている。

この窓口受付システムでは、先客に対する窓口業務が終了して、店員（テラー）が操作端末２４の呼出ボタンを操作すると、呼出表示パネル２３に次の受付番号が表示されて顧客を呼び出し、これに応じて顧客が窓口に来たところで、店員が操作端末２４の受付ボタンを操作する。このとき、店員が操作端末２４の呼出ボタンを操作した時刻を呼出時刻とし、店員が操作端末２４の受付ボタンを操作した時刻を窓口受付時刻として、この呼出時刻および窓口受付時刻と受付番号とが発券機２１から顧客登録部４３に送られる。

顧客登録部４３では、顧客と受付番号とを対応付ける処理が行われ、該当する顧客の顧客情報に受付番号が付加される。顧客と受付番号との対応付けは時刻に基づいて行われる。すなわち、第２の画像取得部３２において、窓口カメラ１ｂにより撮影された窓口利用時の人物画像が取得され、人物照合部４２により窓口業務が開始されたことが検知されると、人物画像および撮影時刻が顧客登録部４３に送られ、顧客登録部４３では、発券機２１から取得した窓口受付時刻と撮影時刻とが近接していることを条件に、顧客と受付番号との対応付けを行う。

なお、このように窓口受付システムでは呼出時刻および窓口受付時刻を取得することができ、この呼出時刻および窓口受付時刻を顧客情報として顧客情報蓄積部４４に蓄積するようにすると、時間計測部４５において、入店時刻から呼出時刻または窓口受付時刻までの経過時間を待ち時間として計測することもできる。

なお、図８に示したＰＣ３の各部は、ＰＣ３のＣＰＵに顧客管理用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。

また、本実施形態では、接客のために顧客情報をリアルタイムでユーザに提示する都合上、第１〜第３の画像取得部３１〜３３、人物照合部４２、顧客登録部４３、および時間計測部４５の各部の処理をリアルタイムで行う必要があるが、接客のための処理が必要ない場合には、前記の各部の処理はリアルタイムで実行する必要はない。この場合、第１〜第３の画像取得部３１〜３３はレコーダ２から画像を取得すればよい。

次に、図８に示した除外人物登録部４１で行われる除外人物登録処理について説明する。図９は、図１に示したモニタ７に表示される映像表示画面および除外人物登録画面を示す説明図である。

本実施形態では、除外人物登録部４１において、店員などの顧客管理の対象から除外する人物を登録する処理が行われる。この除外人物登録処理では、図９に示す映像表示画面６１および除外人物登録画面６２がモニタ７に表示され、この映像表示画面６１および除外人物登録画面６２上でユーザが所要の操作を行うことで、除外人物登録部４１で除外人物登録処理が実行される。

具体的には、映像表示画面６１にカメラ１ａ〜１ｃごとの映像が表示され、登録したい人物をカメラ１ａ〜１ｃで撮影して、映像表示画面６１に人物が写る映像が表示されると、ＳＴＯＰボタン６３を操作して映像の再生を停止した上で登録ボタン６４を操作すると、ホップアップで除外人物登録画面６２が表示され、このとき、映像から検出された人物の顔画像が抽出されて除外人物登録画面６２に表示される。この除外人物登録画面により、顧客管理の対象から除外する人物の顔画像と、その人物の属性などに関する情報を登録することができる。

除外人物登録画面６２には、人物ごとに、顔画像表示部７１と、属性表示部７２と、コメント表示部７３と、が設けられている。顔画像表示部７１には、人物の顔画像が表示される。属性表示部７２には、顔画像および人物に関する属性（撮影日時、氏名、従業員など）が表示される。コメント表示部７３には、職名などのコメントが表示される。

また、除外人物登録画面６２には、ファイル読込ボタン７４、従業員ボタン７５、登録顔編集ボタン７６および削除ボタン７７が設けられている。ファイル読込ボタン７４は、別に用意した画像ファイルを読み込むものであり、その画像ファイルに格納された顔画像を用いて除外人物登録が行われる。従業員ボタン７５は、従業員を選択する画面を表示させるものであり、従業員として予め登録された人物の中から該当する人物を選択すると、その人物の属性（氏名および従業員）が設定される。登録顔編集ボタン７６は、顔画像に対する画像編集を開始させるものである。削除ボタン７７は、除外人物登録画面６２から不要な人物を削除するものである。なお、属性表示部７２およびコメント表示部７３では、必要な情報を直接入力することができるようにしてもよい。

次に、図８に示した人物照合部４２で行われる人物照合処理について説明する。図１０は、人物照合部４２で行われる人物照合処理の概要を説明する説明図である。

本実施形態では、出入口から入店する顧客が入店カメラ１ａで撮影され、第１の画像取得部３１において、人物追跡により入店カメラ１ａで撮影された画像から人物が検出されるたびにその人物の顔画像を取得し、この顔画像が顧客情報蓄積部４４に蓄積される。これにより、顧客情報蓄積部４４には、複数の人物ごとの顔画像が蓄積され、さらに１人の人物に関する複数の顔画像が蓄積される。

一方、出入口から退店する顧客が退店カメラ１ｃで撮影され、第３の画像取得部３３において、人物追跡により退店カメラ１ｃで撮影された画像から人物が検出されるたびにその人物の顔画像を取得する。そして、人物照合部４２において、第３の画像取得部３３で取得した顔画像と、顧客情報蓄積部４４に蓄積された全ての顔画像との間で人物照合が行われ、この人物照合は、第３の画像取得部３３において顔画像を取得するたびに行われる。

人物照合部４２では、入店時の複数の顔画像と退店時の複数の顔画像との間で類似度を算出し、類似度が所定のしきい値以上となると、２つの顔画像を同一人物と判断する。

このように人物照合部４２では、複数の顔画像で人物照合を行うため、誤照合の発生を抑えることができる。すなわち、第１，第３の画像取得部３１，３３では、必ずしも正面を向いた適切な顔画像を取得することができるとは限らないため、１つの顔画像で人物照合を行うと、誤照合が発生するおそれがあるが、本実施形態では、複数枚の顔画像で人物照合を行うため、人物照合の精度を向上させて、誤照合の発生を抑えることができる。一方、複数枚の顔画像で人物照合を行うと、人物照合の回数が増加するが、人物照合の対象となる顧客、すなわち店舗内に滞在する顧客は数十人程度であり、人物照合の処理負荷はさほど大きくなく、リアルタイムな処理が可能である。

このようにして人物照合が成功すると、該当する人物の入店時の顔画像のうち、最初に取得した顔画像の撮影時刻を入店時刻とし、該当する人物の退店時の顔画像のうち、最後に取得した顔画像の撮影時刻を退店時刻とする。

なお、窓口カメラ１ｂで撮影されて第２の画像取得部３２で取得した窓口利用時の顔画像についても同様の要領で、顧客情報蓄積部４４に蓄積された入店時の顔画像との間で人物照合が行われる。

次に、図８に示した集計処理部４９での集計結果について説明する。図１１および図１２は、図１に示したプリンタ８で出力される集計結果を表す帳票を示す説明図である。

本実施形態では、集計処理部４９において、時間計測部４５により取得した顧客ごとの店内滞在時間を時間帯（１時間）ごとに集計して、時間帯ごとの店内滞在時間を取得する処理が行われ、これにより図１１（Ａ）に示すグラフが表示情報生成部５１において生成されてプリンタ８で出力される。この場合、集計処理部４９では、顧客ごとに店舗滞在時刻に基づいて、各時間帯で店舗に滞在した顧客を抽出し、その顧客ごとの店内滞在時間を平均することで、時間帯ごとの店内滞在時間を求めればよい。なお、店舗滞在時刻は、入店時刻、退店時刻、およびその間の適宜な時刻とすればよい。

このグラフにより、店内滞在時間の時間的な推移状況を把握することができる。そして、店内滞在時間は、店内の混雑の程度に応じて変化することから、このグラフにより、店内の混雑状況を把握することができる。

また、本実施形態では、集計処理部４９において、時間計測部４５により取得した顧客ごとの窓口での業務所要時間を時間帯ごとに集計して、時間帯ごとの窓口別の業務所要時間を取得する処理が行われ、これにより図１１（Ｂ）に示すグラフが表示情報生成部５１において生成されてプリンタ８で出力される。この場合、集計処理部４９では、顧客ごとの窓口利用時刻に基づいて、各時間帯で各窓口を利用した顧客を抽出し、その顧客ごとの業務所要時間を平均することで、時間帯ごとの窓口別の業務所要時間を求めればよい。なお、窓口利用時刻は、窓口業務の開始時刻、終了時刻、およびその間の適宜な時刻とすればよい。

このグラフにより、窓口ごとの業務所要時間の時間的な推移状況を把握することができる。そして、窓口ごとの業務所要時間は、窓口ごとの業務効率に応じて変化することから、このグラフにより、窓口ごとの業務効率を把握することができる。

また、本実施形態では、集計処理部４９において、顧客種類判定部４６により両替機利用客および即時退店客と判定された顧客を時間帯ごとに集計して、時間帯ごとの両替機利用客および即時退店客の人数を取得する処理が行われ、これにより図１２（Ａ），（Ｂ）に示すグラフが表示情報生成部５１において生成されてプリンタ８で出力される。この場合、集計処理部４９では、両替機利用客および即時退店客と判定された顧客のうち、顧客ごとの店舗滞在時刻に基づいて、各時間帯で店舗に滞在した顧客を抽出し、その顧客の人数を時間帯ごとに集計することで、時間帯ごとの両替機利用客および即時退店客の人数を求めればよい。

これらのグラフにより、両替機利用客および即時退店客の人数の時間的な推移状況を把握することができる。

なお、図１１および図１２に示した例では、集計単位期間を時間帯としたが、集計単位期間を１日、１週間、および１月などとしてもよい。また、本実施形態では、集計結果を表す帳票をプリンタ８で出力するものとしたが、集計結果を表す画面をモニタ７に表示させるようにしてもよい。

次に、顧客の状態を店員に提示する顧客状態表示画面について説明する。図１３は、図１に示したモニタ７に表示される顧客状態表示画面を示す説明図である。図１４は、図１３に示した顧客状態表示画面の要部を示す説明図である。

本実施形態では、表示情報生成部５１において、呼び出し待ちの状態にある顧客の顧客情報を一覧表示する顧客状態表示画面に関する表示情報を生成する処理が行われ、図１３に示す顧客状態表示画面がモニタ７に表示される。

この顧客状態表示画面には、顧客ごとの顧客情報を表示する顧客情報表示部８１が並べて設けられている。また、この顧客状態表示画面には、全ての顧客の待ち時間を平均した平均待ち時間が表示される。

顧客情報表示部８１は、顧客が存在する場所（待合エリアおよび店舗外）でグループ分けして表示されており、待合エリアの欄には、待合エリアにいると想定される顧客、すなわち店舗に滞在する顧客のうち、呼び出しを受けていない顧客が表示され、店舗外の欄には、店舗外にいる顧客、すなわち役務の提供が不明なまま退店した顧客が表示される。顧客が店舗に入店して登録されると、その顧客に関する顧客情報表示部８１が待合エリアの欄に表示され、役務の提供が不明なまま顧客が退店すると、待合エリアの欄から店舗外の欄に顧客情報表示部８１が移動し、顧客が店舗に戻ると、店舗外の欄から待合エリアの欄に顧客情報表示部８１が移動する。

なお、一時外出客の他に、両替機利用客や即時退店客の場合も、役務の提供が不明なまま退店した顧客となることから、その顧客に関する顧客情報表示部８１は店舗外の欄に表示される。

図１４（Ａ）に示すように、顧客情報表示部８１には、通し番号表示部８２と、人物画像表示部８３と、待ち時間表示部８４と、外出状態表示部８５と、接客情報入力表示部８６と、削除ボタン８７とが設けられている。通し番号表示部８２には、顧客登録部４３で登録時に顧客に入店順に付与された通し番号が表示される。人物画像表示部８３には、顧客登録部４３で登録された顧客の顔画像が表示される。待ち時間表示部８４には、時間計測部４５で取得した待ち時間が表示される。

外出状態表示部８５には、外出に関する状態情報が表示され、具体的には、退店していない場合には空欄となり、退店して店舗内にいない場合には「外出中」の文字が表示され、外出から戻った場合には「外出戻り」の文字が表示される。

接客情報入力表示部８６では、店員による接客行為の実施状況、すなわち店員が実際に行った接客行為が店員により入力され、入力内容に応じた接客行為の実施状況が表示される。

具体的には、図１４（Ｂ）に示すように、接客情報入力表示部８６を操作すると、プルダウンメニューとして、未対応、対応１回、対応２回、および対象外の各選択項目が表示される。この接客情報入力表示部８６には、初期状態として「未対応」が表示され、最初に接客行為を行った場合に「対応１回」を選択し、２回目の接客行為を行った場合に「対応２回」を選択する。また、店員が実際に行った接客行為などにより、同伴者であることが判明した場合や、呼び出しを待つ以外の理由で待合エリアにいることが判明した場合には、接客行為の必要のない顧客と判断して「対象外」を選択する。この選択操作に応じて接客情報入力表示部８６の表示文字が切り換えられる。

ここで、「対象外」が選択された顧客は、接客要否判定部４７で行われる接客要否判定処理の対象外となり、その顧客については、待ち時間が超過したことに関する通知は行われない。

また、窓口業務が複数回に分けて行われる場合（図３（Ｂ）参照）に、２回目以降の待ち状態を表す選択項目を接客情報入力表示部８６に設けるようにしてもよい。このようにすると、呼び出しを２回以上待つ顧客を店員が把握することができる。

図１４（Ａ）に示したように、削除ボタン８７は、手動で顧客の登録を抹消するものであり、この削除ボタン８７を操作すると、顧客登録部４３で登録抹消処理が実行され、その顧客の顧客情報表示部８１が顧客状態表示画面から削除される。この削除ボタン８７により手動で顧客の登録を抹消する場合としては、接客行為の対象外の人物、すなわち同伴者などの接客行為の必要のない人物の場合、何等かの誤った処理で同一人物が重複して登録された場合、ならびに未登録の店員が顧客として登録された場合などである。

また、誤操作により誤って顧客の登録が抹消されることを避けるため、削除ボタン８７を操作すると、確認画面がポップアップで表示され、その確認画面でＯＫボタンを操作すると、削除が確定するようにするとよい。また、接客情報入力表示部８６で「対象外」を選択した人物のみを削除することができるようにしてもよい。

なお、人物照合部４２により役務の提供が完了したことが検知された顧客については、自動的に顧客登録部４３で登録抹消処理が実行され、その顧客の顧客情報表示部８１が顧客状態表示画面から削除される。

また、図１３に示した顧客状態表示画面では、接客要否判定部４７において、待ち時間が基準時間を超えて、接客行為、すなわち、長時間待たせていることを詫びる旨の声掛けが必要と判断された顧客を店員に通知するため、該当する顧客の顧客情報表示部８１が強調表示される。特にここでは、顧客情報表示部８１が反転表示される。なお、顧客情報表示部８１を反転表示させる他に、顧客情報表示部８１の表示色を変更するようにしてもよい。また、接客行為を促すメッセージをポップアップで表示するようにしてもよい。

また、図１３に示した顧客状態表示画面では、接客情報入力表示部８６の入力内容（未対応、対応１回、対応２回、および対象外）に応じて、接客情報入力表示部８６の表示文字とともに顧客情報表示部８１の表示色が変更される。

以上のように、本実施形態では、顧客情報管理部３４により、役務の提供に係る顧客の状態を取得することができ、さらに、カメラ１ａ〜１ｃにより撮影された人物画像のみで顧客の状態を取得することができ、受付番号札に依存しないことから、受付番号札を受け取らない顧客など、通常の行動とは異なる変則的な行動をとる顧客の状態の情報をも取得することができ、これにより、店舗に来店した顧客の状態を漏れなくユーザが把握することができる。

また、本実施形態では、時間計測部４５において、人物照合部４２により検知された顧客の状態、および人物画像の撮影時刻に基づき、顧客の状態に関する経過時間を顧客ごとに計測するようにしたため、顧客の状態に関する経過時間をユーザが把握することができる。これにより、店舗内の混雑状態や、役務の提供に係る業務の効率などを評価することができる。

また、本実施形態では、時間計測部４５において、経過時間として、顧客が入場してから退場するまでに要した場内滞在時間を顧客ごとに計測するようにしたため、顧客ごとの場内滞在時間をユーザが把握することができる。

また、本実施形態では、時間計測部４５において、経過時間として、役務の提供に関する業務を開始してから終了するまでに要した業務所要時間を顧客ごとに計測するようにしたため、顧客ごとの業務所要時間をユーザが把握することができる。そして、顧客ごとの業務所要時間を、業務を行う窓口ごとに集計して、窓口ごとの業務所要時間を取得すると、窓口ごとの業務効率などを評価することができる。

また、本実施形態では、集計処理部１９において、時間計測部４５により取得した顧客ごとの経過時間を集計して、所定期間ごとの経過時間に関する顧客情報を生成するようにしたため、所定期間ごとの経過時間をユーザが把握することができる。そして、所定期間ごとの経過時間を時系列で並べて表示するようにすれば、経過時間の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の経過時間を対比可能に並べて表示するようにすれば、経過時間の日時による違いをユーザが簡単に把握することができる。

また、本実施形態では、顧客種類判定部４６において、人物照合部４２により検知された顧客の状態に基づき、顧客の種類（窓口利用客、両替機利用客、即時退店客および一時外出客）を判定するようにしたため、顧客の種類をユーザが把握することができる。

また、本実施形態では、顧客種類判定部４６において、人物照合部４２により、役務の提供が不明な顧客が退場したことが検知されるとともに、その顧客が再度入場したことが検知されると、その顧客を、施設から一時的に外出した一時外出客と判定するようにしたため、一時外出客をユーザが把握することができる。

また、本実施形態では、時間計測部４５において、人物画像の撮影時刻に基づき、顧客が入場してから退場するまでに要した場内滞在時間を顧客ごとに計測し、顧客種類判定部４６において、時間計測部による計測結果に基づき、顧客の種類を判定するようにしたため、人物画像間の人物照合のみで判定することができない顧客の種類を判別することができる。

また、本実施形態では、顧客種類判定部４６において、人物照合部４２により、役務の提供が不明な顧客が退場したことが検知されるとともに、時間計測部４５による場内滞在時間が所定時間以内である場合に、その顧客を、入場した後に役務の提供を受けないまま直ちに退場した即時退場客と判定するようにしたため、即時退場客をユーザが把握することができる。

また、本実施形態では、顧客種類判定部４６において、人物照合部４２により、役務の提供が不明な顧客が退場したことが検知されるとともに、時間計測部４５による場内滞在時間が所定時間を超える場合に、その顧客を、顧客の操作に応じて役務の提供を行う両替機などを利用したセルフ機利用客と判定するようにしたため、セルフ機利用客をユーザが把握することができる。

また、本実施形態では、集計処理部４９において、顧客種類判定部４６により取得した顧客ごとの種類を集計して、所定期間ごとの種類別の顧客の人数を取得するようにしたため、所定期間ごとの種類別の顧客の人数をユーザが把握することができる。そして、所定期間ごとの種類別の顧客の人数を時系列で並べて表示するようにすれば、種類別の顧客の人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の種類別の顧客の人数を対比可能に並べて表示するようにすれば、種類別の顧客の人数の日時による違いをユーザが簡単に把握することができる。

また、本実施形態では、人物照合部４２により検知された顧客の状態に関する顧客情報をリアルタイムでユーザに提示するようにしたため、役務の提供待ちの状態にある顧客、すなわち接客行為が必要とされる顧客の状態を店員が漏れなく把握することができる。これにより、店員が必要な接客行為を行い、また、顧客が役務の提供を受けないまま放置されることを避けることができるため、顧客の満足度を向上させることができる。

（第２実施形態）
次に、第２実施形態に係る顧客管理システムについて説明する。なお、ここで特に言及しない点は前記の第１実施形態と同様である。図１５は、店舗のレイアウト、カメラ１ａ〜１ｃの設置状況、および顧客の状態を説明する店舗の平面図である。図１６は、ＰＣ３で行われる顧客管理処理の概要を説明する説明図である。

この第２実施形態では、図１５に示すように、両替機２２を利用する顧客を撮影する両替機カメラ１ｄが設置されている。

この場合、図１６に示すように、顧客が出入口から入店すると、その顧客が入店カメラ１ａで撮影され、その撮影画像から検出された人物が顧客として登録される。そして、顧客が両替機２２で両替を行うと、その顧客が両替機カメラ１ｄで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、顧客が両替機２２を利用したこと、すなわち役務の提供が完了したことが検知されて、該当する顧客の顧客情報が更新される。

そして、顧客が両替機２２で両替を済ませて出入口から退店すると、その顧客が退店カメラ１ｃで撮影される。このとき、撮影画像から抽出された人物画像と登録された人物画像との間で人物照合が行われ、人物照合が成功すると、役務の提供が完了した顧客が退店したことが検知されて、顧客の登録が抹消される。

このように第２実施形態では、顧客が両替機２２を利用したことが両替機カメラ１ｄの映像で検知されるため、より一層精度良く両替機利用客を判別することができる。また、第１実施形態では、顧客が退店した時点では両替機利用客と一時外出客との判別ができないが、第２実施形態では、顧客が退店した時点で両替機利用客を判別することができる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る利用者管理装置、利用者管理システムおよび利用者管理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、銀行などの金融機関の例について説明したが、発券機で利用者に受付番号札を発行する施設、例えば携帯電話ショップ、旅行会社、調剤薬局、病院などの医療施設、百貨店、官公庁、およびイベント会場などに広く適用することができる。また、本実施形態では、銀行などの金融機関の例で利用者に役務を提供するものとしたが、商品などの物品を利用者に提供する店舗などに適用することも可能である。

また、本実施形態では、セルフ機（セルフサービス型の役務提供装置）として両替機を設けたが、ＡＴＭ（automated teller machine）など、この他の装置であってもよい。ＡＴＭは通常専用のエリアに設置されているが、窓口を利用する顧客が滞在するエリア（ロビー）内に設置されることもある。

また、本実施形態では、発券機から受付番号札を受け取る顧客をカメラで撮影しないようにしたが、このような顧客を撮影する発券機カメラを設置するようにしてもよい。また、発券機は出入口の近傍に設置されるため、入店カメラ１ａにより、出入口から入店する顧客とともに、発券機で受付番号札を受け取る顧客も撮影するようにしてもよい。

また、本実施形態では、第１の画像取得部３１において、入店カメラ１ａにより入店する顧客を撮影した人物画像を取得するようにしたが、この第１の画像取得部３１では、入店してから受付番号札を受け取るまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得すればよい。なお、両替機利用客を対象とする場合には、発券機を利用しないため、少なくとも店舗に入店する時点で利用者を撮影した人物画像を取得する必要がある。

また、本実施形態では、第２の画像取得部３２において、窓口カメラ１ｂにより窓口に現れた顧客を撮影した人物画像を取得するようにしたが、この第２の画像取得部３２では、受付番号による呼び出しを受けてから役務の提供が終了するまでの少なくともいずれかの時点で顧客を撮影した人物画像を取得すればよい。これにより、顧客に役務を提供する業務が実施されたことを検知することができる。

また、本実施形態では、第１〜第３の画像取得部３１〜３３をＰＣ３に設けたが、ＰＣ３とは別に画像取得装置を設けることも可能である。また、この画像取得装置をカメラ１ａ〜１ｃに一体化して画像取得機能付きカメラとして構成することも可能である。

また、本実施形態では、ＰＣ３で人物追跡処理を行うものとしたが、この人物追跡処理をＰＣ３とは別の装置で構成することも可能である。また、人物追跡の機能をカメラ１ａ〜１ｃに実装して人物追跡機能付きカメラとして構成することも可能である。

また、本実施形態では、顧客管理に必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で顧客管理システムが構成される。

このような構成では、顧客管理に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３などに行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、顧客管理に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側の装置に高速な処理能力が不要となり、ユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも表示情報生成処理をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３やタブレット端末１４などの携帯型端末でも顧客情報を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で顧客の状態を確認することができる。

また、本実施形態では、店舗に設置されたＰＣ３に顧客管理に必要な処理を行わせるとともに、ＰＣ３のモニタ７にＧＵＩの画面を表示させて、ＰＣ３で必要な入力および出力を行うようにしたが、顧客管理に必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末１４などの携帯型端末で必要な入力および出力を行うようにしてもよい。特に、タブレット端末１４などの携帯型端末を、接客を専門に担当する店員などが閲覧および入力操作を行うことができるように、店員に所持させ、あるいは店舗の適宜な場所に設置するようにすると、利便性を高めることができる。

本発明にかかる利用者管理装置、利用者管理システムおよび利用者管理方法は、施設に来場した利用者の状態を漏れなくユーザが把握することができる効果を有し、受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者の状態を管理する利用者管理装置、利用者管理システムおよび利用者管理方法などとして有用である。

１ａ 入店カメラ
１ｂ 窓口カメラ
１ｃ 退店カメラ
１ｄ 両替機カメラ
２ レコーダ
３ ＰＣ
６ 入力デバイス
７ モニタ
８ プリンタ
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
１４ タブレット端末
２１ 発券機（番号札発行部、番号札発行装置）
２２ 両替機（セルフ機）
３１ 第１の画像取得部
３２ 第２の画像取得部
３３ 第３の画像取得部
３４ 顧客情報管理部（利用者情報管理部）
３５ 入出力制御部
４１ 除外人物登録部
４２ 人物照合部
４３ 顧客登録部
４４ 顧客情報蓄積部
４５ 時間計測部
４６ 顧客種類判定部（利用者種類判定部）
４９ 集計処理部
５１ 表示情報生成部（利用者情報提示部）

Claims (12)

1. 受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理装置であって、
   来場した利用者に受付番号札を発行する番号札発行部と、
   前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、
   前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得する第２の画像取得部と、
   少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、
   利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、
   この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、
   を備え、
   前記利用者情報管理部は、
   前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、
   前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理装置。
2. 前記利用者情報管理部は、
   前記人物照合部により検知された利用者の状態、および前記人物画像の撮影時刻に基づき、利用者の状態に関する経過時間を利用者ごとに計測する時間計測部をさらに備えたことを特徴とする請求項１に記載の利用者管理装置。
3. 前記時間計測部は、前記経過時間として、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測することを特徴とする請求項２に記載の利用者管理装置。
4. 前記時間計測部は、前記経過時間として、前記役務または物品の提供に関する業務を開始してから終了するまでに要した業務所要時間を利用者ごとに計測することを特徴とする請求項２に記載の利用者管理装置。
5. 前記利用者情報管理部は、
   前記時間計測部により取得した前記利用者ごとの経過時間を集計して、所定期間ごとの経過時間を取得する集計処理部をさらに備えたことを特徴とする請求項２から請求項４のいずれかに記載の利用者管理装置。
6. 前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、その利用者が再度入場したことが検知されると、その利用者を、施設から一時的に外出した一時外出者と判定することを特徴とする請求項１に記載の利用者管理装置。
7. 前記利用者情報管理部は、
   前記人物画像の撮影時刻に基づき、利用者が入場してから退場するまでに要した場内滞在時間を利用者ごとに計測する時間計測部を備え、
   前記利用者種類判定部は、前記時間計測部による計測結果に基づき、前記利用者の種類を判定することを特徴とする請求項１に記載の利用者管理装置。
8. 前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間以内である場合に、その利用者を、入場した後に前記役務または物品の提供を受けないまま直ちに退場した即時退場者と判定することを特徴とする請求項７に記載の利用者管理装置。
9. 前記利用者種類判定部は、前記人物照合部により、前記役務または物品の提供が不明な利用者が退場したことが検知されるとともに、前記時間計測部による前記場内滞在時間が所定時間を超える場合に、その利用者を、利用者の操作に応じて前記役務または物品の提供を行うセルフ機を利用したセルフ機利用者と判定することを特徴とする請求項７に記載の利用者管理装置。
10. 前記利用者情報管理部は、
    前記利用者種類判定部により取得した利用者ごとの種類を集計して、所定期間ごとの種類別の利用者の人数を取得する集計処理部をさらに備えたことを特徴とする請求項６から請求項９のいずれかに記載の利用者管理装置。
11. 受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする利用者管理システムであって、
    前記施設に設置されたカメラと、
    来場した利用者に受付番号札を発行する番号札発行装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラにより前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得する第１の画像取得部と、
    前記カメラにより前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得する第２の画像取得部と、
    前記カメラにより少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得する第３の画像取得部と、
    利用者ごとの利用者画像を含む状態表示情報を生成して管理する利用者情報管理部と、
    この利用者情報管理部で生成した前記状態表示情報をユーザに提示する利用者情報提示部と、
    を備え、
    前記利用者情報管理部は、
    前記第１、第２および第３の人物画像の間で複数回の人物照合を行う人物照合部と、利用者の種類を判定する利用者種類判定部と、を有し、
    前記人物照合部による照合結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理システム。
12. 受付番号に基づいて順番に役務または物品を利用者に提供する施設において来場した利用者を撮影した人物画像を表示させると共に、利用者ごとの状態を閲覧可能にする処理を情報処理装置により行う利用者管理方法であって、
    来場した利用者に受付番号札を発行するステップと、
    前記施設に入場してから前記受付番号札を受け取るまでの少なくともいずれかの時点で利用者を撮影した複数の第１の人物画像を取得するステップと、
    前記受付番号による呼び出しを受けてから前記役務または物品の提供が終了するまでの少なくともいずれかの時点で利用者を撮影した複数の第２の人物画像を取得するステップと、
    少なくとも前記施設から退場する時点で利用者を撮影した複数の第３の人物画像を取得するステップと、
    利用者ごとの利用者画像を含む状態表示情報を生成して管理するステップと、
    このステップで生成した前記状態表示情報をユーザに提示するステップと、
    を備え、
    前記状態表示情報を生成して管理するステップでは、
    前記第１、第２および第３の人物画像の間で複数回の人物照合を行うステップと、利用者の種類を判定するステップと、を有し、
    前記人物照合の結果に応じて、前記役務または物品の提供に係る利用者の状態を検知し、その検知された利用者の状態に基づき、利用者の種類を判定し、その種類によってグループ分けして表示される前記状態表示情報を生成することを特徴とする利用者管理方法。

Images