図1は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
入口ステレオ画像センサ1−1乃至1−3および島ステレオ画像センサ2−1乃至2−17(図4)は、配置位置の異なる2個のカメラから構成されるセンサであり、2個の配置の異なるカメラにより同一の領域を撮像することにより得られる、アングルの異なる画像を視差を利用して演算処理し、撮像された被写体の空間的な位置を検出し、人追跡サーバ5に供給する。尚、入口ステレオ画像センサ1−1乃至1−3および島ステレオ画像センサ2−1乃至2―17は、それぞれ特に区別する必要がない場合、単に、入口ステレオ画像センサ1および島ステレオ画像センサ2と称するものとし、その他の構成についても同様に称するものとする。
より具体的には、入口ステレオ画像センサ1は、図2で示されるように、カメラ1a,1bにより構成され、それぞれが同一の領域を撮像し、演算処理部1cに出力する。演算処理部1cは、カメラ1a,1bより供給されたアングルの異なる画像を、視差を利用して演算処理することにより(いわゆる、三角法を用いた演算処理により)、撮像された画像内の被写体の空間的な位置を三次元の座標として求め、人ID付加部1dが、出入口より入店してきた被写体となる遊技者一人一人に対して、人IDを付して、人追跡サーバ5に供給する。また、入口ステレオ画像センサ1は、自らの監視領域から遊技者が移動するような場合、遊技者が移動した方向に隣接する監視領域を監視する島ステレオ画像センサ2に対して人IDを供給する。尚、人ID付加部1dは、出入口より入店してきた遊技者に対してのみ、人IDを付加するが、それ以外の遊技者、すなわち、一度人IDを付加した遊技者に対しては新たに人IDを付加しない。
島ステレオ画像センサ2は、図3で示されるように、上述した入口ステレオ画像センサ1と同様の原理によりカメラ2a,2bより供給されたアングルの異なる画像を、視差を利用して演算処理することにより(いわゆる、三角法を用いた演算処理により)、撮像された画像内の被写体の空間的な位置を三次元の座標として求め、人追跡サーバ5に供給する。
尚、島ステレオ画像センサ2は、入口ステレオ画像センサ1、または、隣接する領域の遊技者の位置を検出する島ステレオ画像センサ2より供給されてくる人IDを引き継いで使用するため、人ID付加部を備えていない。
すなわち、1個の入口ステレオ画像センサ1または島ステレオ画像センサ2が、被写体の空間的な位置を検出できる範囲には、店内において制限があるため、それぞれは、例えば、図4で示されるように配置される。すなわち、カメラ1a−1,1b−1からなる入口ステレオ画像センサ1−1は、領域Z1内の被写体、すなわち、遊技店に来店する領域を含む遊技者の空間的な位置を検出し、同様にして、カメラ2a−1,2b−1からなる島ステレオ画像センサ2−1は領域Z2内、カメラ2a−3,2b−3からなる島ステレオ画像センサ2−3は領域Z3内、カメラ2a−5,2b−5からなるステレオ画像センサ2−5は領域Z4内の、それぞれの遊技者の空間的な位置情報を検出する。尚、図4においては、入口ステレオ画像センサ1−1、および、島ステレオ画像センサ2−1,2−3,2−5のそれぞれの監視領域として、領域Z1乃至Z4が示されているのみであり、入口ステレオ画像センサ1−1乃至1−3および島ステレオ画像センサ2−1乃至2−17について、全監視領域が示されていないが、それぞれ同様に監視領域が設定される。また、図4で示されるように、各監視領域は、例えば、斜線部で示されるように、重なり合うように設定されている。尚、図4は、遊技店内の入口ステレオ画像カメラ1、島ステレオ画像カメラ2、およびカメラ3の配置例を示す遊技店の上面図である。
入口ステレオ画像センサ1および島ステレオ画像センサ2は、それぞれの監視領域内の遊技者の位置情報を人ID毎に管理しているが、遊技者が移動することによりそれぞれの監視領域から逸脱してしまい、人IDが付された状態で監視できなくなるといった事態が考えられる。このため、上述したように、監視領域は、いずれも重なり合うように設定されている。
すなわち、例えば、図4中の左上部の出入口において、遊技者が来店するとカメラ1a−1,1b−1からなる入口ステレオ画像センサ1−1により(人ID付加部1d−1により)人ID=Aが付されるものとする。この後、遊技者が移動し、例えば、領域Z3方向に侵入するような場合、入口ステレオ画像センサ1−1は、移動した遊技者の位置情報と人IDを、遊技者が移動した隣接する監視領域を監視するカメラ2a−3,2b−3からなる島ステレオ画像センサ2−3に供給する。この結果、島ステレオ画像センサ2−3においては、入口ステレオ画像センサ1−1により位置情報が検出されていた遊技者と同一の遊技者を同一の人IDで監視することが可能となる。
このように、入口ステレオ画像センサ1−1乃至1−3および島ステレオ画像センサ2−1乃至2−17は、相互に位置情報と人IDについて連携しながら遊技者一人一人の位置情報を監視し続けることができる構成となっている。したがって、出入口付近の領域を監視している入口ステレオ画像センサ1−1乃至1−3は、新たに来店した遊技者について人IDを新たに付するが、その他の島ステレオ画像センサ2−1乃至2−16については、遊技者の移動に伴って、いずれかの出入口付近の領域を監視する入口ステレオ画像センサ1よりリレー形式で人IDが供給されることになる。尚、本実施例においては、入口ステレオ画像センサ1または島ステレオ画像センサ2は、2個のアングルの異なるカメラにより撮像された画像を視差を考慮して処理する例について説明してきたが、視差を考慮して、被写体の空間的な位置を求められる構成であればよいので、例えば、アングルの異なるカメラをさらに多くして撮像し、それぞれの視差を考慮して処理することにより、空間的な座標を求めるようにしてもよい。尚、入口ステレオ画像センサ1および島ステレオ画像センサ2については、図4の例においては合計20個が設けられている例について説明しているが、監視領域を変えて、その他の台数を設置するようにしてもよい。さらに、遊技客の位置を検出する機能としては、入口ステレオ画像センサ1や島ステレオ画像センサ2に限らず、遊技客の空間的な位置が求められるものであれば、どのようなものでもよい。
カメラ3−1乃至3−15は、図4で示されるように、遊技店の出入口付近、または、遊技店内の遊技台などが設置される島設備の間に設けられた監視カメラであり、店内の夫々の位置で遊技者を撮像し、撮像した画像を画像処理ユニット4−1乃至4−15に供給する。尚、図4の例においては、15箇所に設置される場合の例が示されているが、設置個所の数はそれ以外の数であってもよい。また、カメラ3は、それぞれ望遠機能などを備えている。尚、遊技店内全体の範囲をいずれかのカメラ3で撮像できるように配置されていることが望ましい。
画像処理ユニット4は、カメラ3より供給されてくる撮像された画像に基づいて、画像内の来店する遊技者の顔画像を抽出し、顔認識サーバ6に供給する。この後、顔認識サーバ6は、供給された顔画像と予め登録された不正遊技者の顔画像とを比較して、供給された顔画像の遊技者が不正遊技者であるか否かを判定する不正遊技者判定処理を実行することになるが、入店した遊技者の顔画像と不正遊技者の顔画像との比較による不正遊技者判定処理は一度なされればよいものである。そこで、画像処理ユニット4は、抽出した顔画像を顔認識サーバ6に供給する前に人追跡サーバ5に不正遊技者判定処理が済んでいるのか否かを問い合わせる。
これに応じて、人追跡サーバ5は、(詳細は後述するが)供給された顔画像が顔認識サーバ6によって、既に不正遊技者判定処理が済んでいるか否かを統合監視サーバ7に問い合わせ、問い合わせ結果となる情報(不正遊技者判定が済んでいるか否かの情報)、およびその顔画像に対応する人IDを含む照合処理情報を画像処理ユニット4に供給する。そこで、画像処理ユニット4は、この供給されてきた照合処理情報に基づいて、照合処理が終了していない顔画像のみを、顔認識サーバ6に供給する。尚、照合処理情報には、顔画像に対応する遊技者の位置情報に対応付けられて設定されている人IDが付されて供給されるので、画像処理ユニット4は、その供給されてきた人IDを撮像した顔画像に付して顔認識サーバ6に供給する。一方、不正遊技者判定処理が済んでいると判定された場合、画像処理ユニット4は、抽出した顔画像を破棄する。
人追跡サーバ5は、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給される人IDが付された位置情報を取得し、人IDと位置情報からなる位置管理テーブルを設定し、順次供給されてくる各遊技者毎の位置情報を人IDに対応付けて、取得した時刻情報と共に管理する。また、人追跡サーバ5は、画像処理ユニット4より供給されてくる顔画像と、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給されてくる位置情報とに基づいて、顔画像ごとに位置情報を対応付け、対応付けられた人ID、顔画像、および位置情報を統合監視サーバ7に供給する。さらに、人追跡サーバ5は、統合監視サーバ7に対して供給した画像処理ユニット4からの人ID、顔画像、および位置情報に基づいて、統合監視サーバ7より供給されてくる照合処理情報を取得し、画像処理ユニット4に供給する。
顔認識サーバ6は、画像処理ユニット4より供給された人IDおよび顔画像を取得し、予め登録されている不正遊技者の顔画像と比較して照合することにより、供給された顔画像が不正遊技者のものであるか否かを判定する。また、顔認識サーバ6は、撮像されている顔画像の撮像状態、例えば、下を向いている、暗いなどの撮像状態を検出する。顔認識サーバ6は、人IDと共に判定結果、顔画像、および撮像状態の情報を統合監視サーバ7に供給する。
統合監視サーバ7は、人追跡サーバ5より供給される人ID、顔画像、および位置情報を取得すると共に、顔認識サーバ6より供給される人ID、顔画像、不正遊技者判定処理に基づいた判定結果の情報を取得し、それらを統合監視テーブルとして管理する。また、統合監視サーバ7は、人追跡サーバ5より供給された人ID、顔画像、および、位置情報に基づいて、不正遊技者判定処理による判定結果が出ているか否かを示す照合処理情報を生成し、人追跡サーバ5に供給する。尚、この例においては、人追跡サーバ5からも顔認識サーバ6からも同一の顔画像が供給される構成となっているが、いずれか一方から供給されるようにしてもよい。
また、統合監視サーバ7は、統合監視テーブルを監視し、判定結果の欄に不正遊技者が検出された場合、人IDに対応する不正遊技者を示す顔画像、および位置情報に基づいて、不正遊技者来店情報を発生し、遊技店の係員に対して報知する。また、カメラの前を所定回数以上通過して照合ができなかった遊技者が検出された場合(後述する不正遊技者判定処理の判定結果として再確認が報告された回数が所定回数以上の遊技者が検出された場合)、対応する人IDの遊技者の画像(ここでは、下を向いていたり、横を向いていたりして、不正遊技者判定処理ができない画像)と位置情報に基づいて、未確認遊技者来店情報を発生し、遊技店の係員に対して報知する。
次に、図5を参照して、画像処理ユニット4の一実施の形態の構成について説明する。
画像取得部21は、カメラ2より供給されてくる撮像された画像を取得し、顔画像抽出部22に供給する。顔画像抽出部22は、画像取得部21より供給された画像を解析し、遊技者の顔画像となる部分を抽出し、各顔画像と画像中の位置情報とを送信部23に供給する。送信部23は、顔画像と画像中の位置情報に加えて、撮像された画像を人追跡サーバ5に供給する。さらに、これに応じて、送信部23は、人追跡サーバ5より供給されてきた不正遊技者判定処理がなされたか否かを示す照合処理情報を取得する。送信部23は、照合処理情報に基づいて不正遊技者判定処理が済んでいない場合にのみ、人追跡サーバ5より供給される人IDを顔画像に付して、顔認識サーバ6に送信する。
次に、図6を参照して、人追跡サーバ5の一実施の形態の構成について説明する。
位置情報抽出部61は、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給されてくる遊技者の人IDと対応する遊技店内での位置情報を取得し、対応付部63に供給する。また、位置情報抽出部61は、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給される遊技者の人IDと位置情報、並びにそれらの時刻情報を位置管理テーブル64に記憶させる。
顔画像取得部62は、画像処理ユニット4より供給される顔画像と撮像された画像内の位置情報を取得し、対応付部63に供給する。
対応付部63は、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給されてくる人ID毎の位置情報と、画像処理ユニット4より供給される顔画像とを対応付けて、人ID、位置情報、および顔画像を位置情報連絡部65に供給する。
位置情報連絡部65は、対応付部63より供給された人ID、位置情報、および顔画像を統合監視サーバ7に供給する。人ID、位置情報、および顔画像が統合監視サーバ7に供給されると、統合監視サーバ7は、送信されてきた人IDに基づいて、対応する顔画像が不正遊技者判定処理済みであるか否かを判定し、判定結果としての照合処理情報を返信する。これに応じて、位置情報連絡部65は、この照合処理情報を取得し、この照合処理情報を画像処理ユニット4に供給する。また、照合処理情報が不正遊技者判定処理済みではない場合、位置情報連絡部65は、照合処理情報と共に、人IDを画像処理ユニット4に供給する。
次に、図7を参照して、顔認識サーバ6の一実施の形態の構成について説明する。
顔画像取得部81は、画像処理ユニット4より供給される顔画像と人IDを取得し、撮像状態判定部82および類似度計算部83に供給する。撮像状態判定部82は、供給された顔画像に対応して、撮像状態(例えば、照合処理が確実にできる状態の場合には、「良」であるとか、顔の向きが悪く、照合処理に向いていない場合、「不良」であるといった撮像状態)を判定し、判定結果を供給された顔画像および人IDに付して類似度計算部83および判定部85に供給する。
類似度計算部83は、撮像状態が「良」である場合(後述する不正遊技者判定処理が可能である場合)、顔画像取得部81より供給された顔画像と不正遊技者登録データベース84に登録されている顔画像とを一つ一つ比較して照合し、類似度を計算して、計算結果を判定部85に供給する。より具体的には、類似度計算部83は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和または平均比率などを類似度として求めて、人ID、顔画像、および撮像状態と共に判定部85に供給する。尚、類似度の計算方法は、その他の方法であってもよいことは言うまでもない。また、不正遊技者登録データベース84に登録されている不正遊技者の顔画像については、新たな不正遊技者を随時更新できるようにしても良い。
判定部85は、類似度計算部83より供給された人IDが付された各顔画像毎の類似度を所定の閾値と比較し、比較結果に基づいて、供給された顔画像が不正遊技者の顔画像に似ているか否かを判定し、判定結果を統合監視サーバ7に供給する。例えば、上述したように、撮像された顔画像と不正遊技者として登録されている顔画像のそれぞれの特徴量における差分和などの場合、判定部85は、閾値よりも小さければ同一人物であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。さらに、判定部85は、撮像状態が「不良」であると判定された場合、照合処理が不能であり、再確認が必要である旨を判定結果とする。
次に、図8を参照して、統合監視サーバ7の一実施の形態の構成について説明する。
位置情報取得部101は、人追跡サーバ5より供給される人ID、位置情報、および顔画像を取得し、テーブル管理部104に供給する。顔画像取得部102は、顔認識サーバ6より供給された顔画像、人ID、および撮像状態が付された判定結果のうち、顔画像、人ID、および撮像状態を抽出してテーブル管理部104に供給する。判定結果取得部103は、顔認識サーバ6より供給された顔画像、人ID、および撮像状態が付された判定結果のうち、判定結果のみを抽出し、テーブル管理部104に供給する。
テーブル管理部104は、位置情報取得部101より供給される人ID、位置情報、および顔画像、並びに、顔画像取得部102および判定結果取得部103より供給される顔画像、人ID、および撮像状態が付加された判定結果を、双方に共通する人IDにより対応付けて、統合監視テーブル105で管理する。統合監視テーブル105は、より詳細には、顔画像、および撮像状態が付加された判定結果が人IDに対応付けられた判定結果テーブル105aと、位置情報、および時刻情報が人IDに対応付けられた位置管理テーブル105b(人追跡サーバ5の位置管理テーブル64と同様のもの)とからなるテーブルである。尚、顔画像については、位置情報取得部101からも、顔画像取得部102からも供給される構成となっているがいずれか一方の顔画像であればよい。すなわち、顔画像については、人追跡サーバ5からか、または、顔認識サーバ6のいずれか一方から送信されるようにしてもよい。また、テーブル管理部104は、位置情報取得部101より人ID、位置情報、および顔画像が供給された場合、統合監視テーブル105を参照して、その人IDの顔画像が照合済みであるか否か(不正遊技者判定処理済みか否か)を確認し、人IDを付して、照合処理情報として人追跡サーバ5に供給する。
監視部106は、統合監視テーブル105を監視して、判定結果の項目に不正遊技者であることを示す情報がある場合、報知情報を生成し、ディスプレイやスピーカなどからなる出力部107に供給して、遊技店の係員に対して不正遊技者が来店したことを報知する。また、カメラの前を通過した回数(後述する不正遊技者判定処理ができず、判定結果が再確認と報告された回数)が所定回数以上の遊技者は、意図的にカメラ3から照合できるような顔画像を撮像されないように振舞っている可能性があり、不正遊技者である可能性があるので、監視部106は、未確認者が来店していることを報知する。
また、キーボードやボタンからなる操作部109が操作されることにより、再生部108は、統合監視テーブル105の不正遊技者として報知された遊技者の人IDに基づいて、対応する位置情報と時刻情報を時間の変化に合わせて行動軌跡を出力部107に出力させる。
次に、図9のフローチャートを参照して、図1の監視システムにおける統合監視テーブル管理処理について説明する。
ステップS1において、カメラ3は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。所定の時間としては、監視のサンプリングレートにより任意の時間に設定できるようにしてもよく、例えば、250m秒くらいでもよい。
ステップS1において、所定の時間が経過したと判定された場合、ステップS2において、カメラ3は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット4に供給する。画像処理ユニット4の画像取得部21は、供給された画像を取得し、顔画像抽出部22に供給する。
ステップS3において、顔画像抽出部22は、供給された画像より遊技者の顔画像を抽出し、送信部23に供給する。より具体的には、顔画像抽出部22は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、送信部23に供給する。さらに、ステップS4において、送信部23は、顔画像を人追跡サーバ5に送信する。
ステップS21において、人追跡サーバ5の位置情報抽出部61は、入口ステレオ画像センサ1または島ステレオ画像センサ2より供給されてくる人IDが付された位置情報を取得し、対応付部63に供給する。
ステップS22において、顔画像取得部62は、例えば、ステップS4の処理により送信されてくる顔画像を取得し、対応付部63に供給する。
ステップS23において、対応付部63は、人IDが付された位置情報と、顔画像とを対応付けて、位置情報連絡部65に供給する。
すなわち、入口ステレオ画像センサ1または島ステレオ画像センサ2により供給される位置情報は、図10で示されるように、例えば、人ID=1では、座標(X1,Y1,Z1)であり、人ID=2では、座標(X2,Y2,Z2)、人ID=3では、座標(X3,Y3,Z3)である。これに対して、カメラ3で撮像される画像では、図11で示されるように、2次元の画像内における遊技者の顔画像の位置関係(例えば、カメラ3からみて、顔画像Cの遊技者は、顔画像Aの遊技者の後ろにいて、顔画像Bの遊技者は、顔画像Aの遊技者の左側にいるといった位置関係)が求められることになる。従って、カメラ3のアングルから撮像される空間内における位置関係と、入口ステレオ画像センサ1または島ステレオ画像センサ2により検出される位置情報とが一致するように顔画像と、人IDが付された位置情報とを対応付けることにより、例えば、図12で示されるように、人ID=1の位置には、顔画像Bの遊技者が、人ID=2の位置には、顔画像Aの遊技者が、人ID=3の位置には、顔画像Cの遊技者がそれぞれ対応付けられる。
ステップS24において、位置情報連絡部65は、対応付部63より供給された、上述したように対応付けられた人ID、位置情報、および顔画像とを統合監視サーバ7に送信し、人IDの顔画像の不正遊技者判定処理が完了しているか否かを問い合わせる。
この処理に応じて、後述するステップS61乃至S64の処理において、統合監視サーバ7は、人追跡サーバ5より供給される人IDに対応付けられた位置情報、および顔画像と共に、顔画像の不正遊技者判定処理が完了しているか否かの問い合わせに応答する。
ステップS25において、人追跡サーバ5の位置情報連絡部65は、統合監視サーバ7より送信されてくる照合処理情報が、不正遊技者の判定処理が完了しているか否か、すなわち、判定済み(照合済み)であるか否かを判定する。
ステップS25において、例えば、後述するステップS63の処理により統合監視サーバ7から送信されてきた照合処理情報に基づいて、不正遊技者判定処理が未処理である、すなわち、未判定であると判定された場合、ステップS26において、問い合わせてきた顔画像に対応する人IDと共に未処理であることを示す照合処理情報を画像処理ユニット4に送信する。
さらに、ステップS27において、位置情報連絡部65は、対応付部63を制御して不正遊技者の判定処理が済んでいない遊技者の位置情報を、位置管理テーブル64に蓄積させる。より詳細には、対応付部63は、人IDが付された位置情報を位置管理テーブル64として登録する。例えば、位置管理テーブル64は、図13で示されるように登録される。図13においては、左側が人ID、中央が位置情報、右側が時刻情報を示しており、人ID=1の、時刻10:10:10:00における位置情報が、(xa,ya,za)であることが示されており、人ID=2の、時刻11:11:11:00における位置情報が、(xb,yb,zb)であることが示されており、人ID=3の、時刻12:12:12:00における位置情報が、(xc,yc,zC)であることが示されている。尚、ここでは、XY平面が床面であり、Z方向は高さであるものとする。尚、時刻情報におけるAA:BB:CC:DDは、AA時BB分CC秒DD/100秒を示している。
一方、ステップS25において、例えば、後述するステップS64の処理により統合監視サーバ7から送信されてきた照合処理情報に基づいて、不正遊技者判定処理が済んでいる、すなわち、判定済みであると判定された場合、ステップS28において、画像処理ユニット4より問い合わせてきた顔画像が処理済みであることを示す照合処理情報を画像処理ユニット4に送信する。
すなわち、ステップS25の処理により、不正遊技者の判定が済んでいないということは、その人IDに対応する遊技者は、不正遊技者である可能性が残されているとも言えるので、ステップS27において、位置情報が蓄積され、ステップS25において、不正遊技者判定が済んでいると判定された場合には、それ以上の不正遊技者判定が必要ないため、位置情報を蓄積しないものとする(ステップS28により判定結果のみを送信して、位置情報を蓄積しない)。
ステップS5において、画像処理ユニット4の送信部23は、人追跡サーバ5より供給されてきた通知が、不正遊技者判定処理が済んでいるか否か、すなわち、判定済み(照合済み)であったか否かを判定する。ステップS5において、例えば、ステップS28の処理により判定済み(照合済み)であると判定された場合、その処理は、ステップS1に戻り、それ以降の処理が繰り返される。
一方、ステップS5において、例えば、ステップS25の処理により未判定であると判定された場合、ステップS6において、送信部23は、併せて供給されてきた人IDを顔画像に付加して、その顔画像を顔認識サーバ6に送信する。
ステップS41において、顔認識サーバ6の顔画像取得部81は、人IDが付加された顔画像を取得する。ステップS42において、顔画像抽出部81は、供給された顔画像のうち、いずれか未処理の1つを抽出し、撮像状態判定部82に供給する。
ステップS43において、撮像状態判定部82は、供給された人IDが付された顔画像に基づいて、撮像状態を判定する。より具体的には、撮像状態判定部82は、例えば、目、鼻、口、耳などの配置を幾何学的な配置や、撮像されたときの明るさなどを認識する。
ステップS44において、撮像状態判定部82は、撮像状態に基づいて、顔が撮像された状態が不正遊技者の顔画像と照合する不正遊技者判定処理が可能であるか否かを判定し、「良」または「不良」などの判定結果を判定部85に供給する。
ステップS44において、不正遊技者の顔画像と照合する不正遊技者判定処理が可能であると判定された場合、ステップS45において、不正遊技者判定処理が実行される。
ここで、図14のフローチャートを参照して、不正遊技者判定処理について説明する。
ステップS81において、類似度計算部83は、不正遊技者登録データベース84に予め登録されている各不正遊技者の顔画像と、抽出された顔画像との類似度を計算する。より具体的には、類似度計算部83は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和または平均比率などを類似度として判定部85に供給する。
ステップS82において、判定部85は、類似度の最も高いものは所定値以上であるか否かを判定する。すなわち、ここでは、類似度が高ければ高いほど、不正遊技者の顔画像と、抽出された顔画像とが一致しているものとするが、もちろん、類似度の設定により不正遊技者の顔画像と一致しているか否かの判定は異なる場合がある。
ステップS82において、類似度が最も高いものは所定値以上であると判定された場合、ステップS83において、判定部85は、抽出された顔画像が不正遊技者の顔画像であることを判定結果として設定する。
ステップS82において、類似度が最も高いものは所定値以上ではないと判定された場合、ステップS84において、判定部85は、抽出された顔画像が不正遊技者の顔画像ではないことを判定結果として設定する。
以上の処理により、画像処理ユニット4より供給された画像に含まれる顔画像が不正遊技者の顔画像であるか否かが判定される。
ここで、図9のフローチャートの説明に戻る。
ステップS44において、判定不能であると判定された場合、ステップS46において、判定部85は、要再確認を判定結果に設定し、その処理は、ステップS47に進む。
ステップS47において、顔画像取得部81は、供給された顔画像のすべてが不正遊技者の顔画像と照合されたか否か、すなわち、不正遊技者判定処理されたか否かを判定し、全て判定処理されていない場合、その処理は、ステップS42に戻り、それ以降の処理が繰り返される。ステップS47において、全ての判定処理がなされたと判定された場合、その処理は、ステップS48に進む。
ステップS48において、判定部85は、人ID、顔画像、撮像状態、および判定結果を統合監視サーバ7に送信する。尚、判定部85は、判定結果が不正遊技者であった場合、最も類似度の高い登録された不正遊技者の顔画像および類似度の情報も併せて統合監視サーバ7に送信する。
一方、上述したステップS24の処理に応じて、ステップS61において、統合監視サーバ7の位置情報取得部101は、人追跡サーバ5より供給される人IDに対応付けられた顔画像と共に、顔画像の不正遊技者判定処理が完了しているか否かの問い合わせを取得し、テーブル管理部104に供給する。
ステップS62において、テーブル管理部104は、統合監視テーブル105を参照して、問い合わせのあった人IDの判定結果を検索し、不正遊技者判定処理が済んでいるか否かを判定する。ステップS62において、例えば、通常、最初の処理においては、統合監視テーブル105には、不正遊技者の判定処理が記録されていないことになるので、不正遊技者の判定処理が済んでいないと判定され、その処理は、ステップS63に進む。
ステップS63において、テーブル管理部104は、問い合わせのあった顔画像に対応する人IDと共に、未だに不正遊技者判定処理が処理済みではないことを示す照合処理情報を人追跡サーバ5に通知する。
ステップS65において、統合監視サーバ7の顔画像取得部102は、顔認識サーバ6より供給される人ID、顔画像、撮像状態、および判定結果のうち、人IDが付加された顔画像、および撮像状態の情報を取得し、テーブル管理部104に供給する。また、判定結果取得部103は、顔認識サーバ6より供給される人ID、顔画像、撮像状態、および判定結果のうち、判定結果を取得し、テーブル管理部104に供給する。
すなわち、上述したように、不正遊技者判定処理が済んでいない場合、画像処理ユニット4が顔画像と人IDを顔認識サーバ6に供給し、この顔画像に基づいて、顔認識サーバ6が人ID、顔画像、撮像状態、および判定結果を供給することになるので、顔画像取得部102は、この顔認識サーバ6より供給される人ID、顔画像、撮像状態、および判定結果のうち、人IDが付加された顔画像、および撮像状態の情報を取得し、判定結果取得部103は、判定結果を取得することになる。
ステップS66において、テーブル管理部104は、ステップS61の処理で位置情報取得部101より供給された人IDが付加された位置情報、および時刻情報を位置管理テーブル105bとして、統合監視テーブル105に格納させる。また、テーブル管理部104は、顔画像取得部102より供給された人IDが付された顔画像、撮像状態の情報、並びに、判定結果取得部103より供給された不正遊技者判定処理の判定結果の情報に基づいて、人IDに対応付けて、顔画像、撮像状態、判定結果を判定結果テーブル105aとして統合監視テーブル105に記録させる(判定結果テーブル105aおよび位置管理テーブル105bのいずれにおいても、初回の場合は登録処理となり、それ以降の場合、蓄積されていくことになる)。
ここで、位置管理テーブル105bは、図6の位置管理テーブルと同様である。また、判定結果テーブル105aは、例えば、図15で示されるようなテーブルである。すなわち、図中の左から人ID、顔画像、撮像状態、および判定結果が示されており、最上段では、人ID=1に対応する顔画像が示されている。また、撮像状態が「良」であり、判定結果が「済」として記され、不正遊技者ではなかったことが示されている。
上から2段目では、人ID=2に対応する顔画像が示されている。また、撮像状態が「良」であり、判定結果が「済(不正遊技者)」として記され、不正遊技者であったことが示されている。
さらに、上から3段目では、人ID=3に対応する顔画像が示されている。また、撮像状態が「不良(顔向き不良)」であり、判定結果が「再確認 2」として記され、不正遊技者であるか否かが不明であり、判定結果として再確認が報告された回数(不正遊技者判定ができなかった回数)が2回であることが示されている。
また、上から4段目では、人ID=4に対応する顔画像が存在せず、顔画像が撮像できていないことが示されている。また、撮像状態が「顔画像なし」であり、判定結果が「再確認 3」として記され、不正遊技者であるか否かが不明であり、判定結果として再確認が報告された回数(不正遊技者判定ができなかった回数)が3回であることが示されている。
尚、判定結果が不正遊技者であった場合、類似度が最も高い不正遊技者の顔画像と類似度の情報も送信されてくることになるので、例えば、図15の撮像状態の欄に、それらの情報を登録するようにしてもよいし、統合監視テーブル105に新たな別欄を設けて登録させるようにしても良い。
一方、ステップS62において、不正遊技者判定が済んでいないと判定された場合、ステップS64において、テーブル管理部104は、問い合わせのあった顔画像に対応する不正遊技者判定処理が処理済みであることを示す照合処理情報を人追跡サーバ5に通知する。
以上の処理により、カメラ3で撮像された画像内の顔画像の遊技者が、それぞれ人IDに対応付けられて位置情報、顔画像、および判定結果が統合監視テーブル105に集約されることにより、一括して遊技者の顔画像による不正遊技者の判定処理を管理することが可能となる。尚、統合監視テーブル105における判定結果テーブル105aと位置管理テーブル105bの情報は、いずれも人ID毎に管理されているため、判定結果テーブル105aで管理される顔画像、撮像状態、および判定結果と、位置管理テーブル105bで管理される位置情報、および時刻情報は、人IDにより1つのテーブル(統合監視テーブル105)として管理することが可能になる。
さらに、以上の処理により、カメラ3により撮像された顔画像のうち、既に不正遊技者判定処理が完了したものについては、顔認識サーバ6に送信されることがなくなるため、処理負荷の大きな類似度の計算を省略させることができ、監視システム全体として処理負荷を低減させることが可能になる。
また、ステップS62の処理により、不正遊技者判定処理が済んでいない遊技者の位置情報は蓄積されていくが、それ以外の遊技者の位置情報は蓄積されないことになるため、位置管理テーブル64および統合監視テーブル105の容量を不要に必要としないため、装置のコストを低減させると共に、各種の検索処理を高速化することが可能となる。
さらに、不正遊技者判定処理が済んだ顔画像については、不要な不正遊技者判定処理をする必要がなくなるので、判定処理に伴う誤判定を低減させることができ、結果として、不正遊技者の検出率を向上させることが可能となる。
尚、ステップS66の処理については、不正遊技者判定処理ができない顔画像の撮像状態が、既存の状態よりも良好である場合にのみ、顔画像を更新するようにしてもよく、このようにすることで、統合監視テーブル105には、最も良好な状態の顔画像のみを記録させておくことが可能となり、後述する未確認遊技者来店情報を提示する際、不正遊技者判定処理が不可能であっても、最も良好な状態の顔画像を提示することができるので、係員による未確認遊技者の探索を容易にすることが可能となる。
次に、図16のフローチャートを参照して、統合監視サーバ7による不正遊技者、または、不正遊技者判定処理ができない未確認遊技者の監視処理について説明する。
ステップS201において、監視部106は、統合監視テーブル105を参照して、判定結果の欄に注目し、判定結果が済であって、不正遊技者が存在するか否かを判定し、例えば、不正遊技者が存在する場合、すなわち、不正遊技者判定結果が不正遊技者であった場合、その処理は、ステップS202に進む。
ステップS202において、監視部106は、統合監視テーブル105より、不正遊技者として判定されている人IDに対応する一連の情報を出力部107に供給する。出力部107は、監視部106より供給された人IDに対応する一連の情報により、例えば、図17で示されるような不正遊技者来店情報を表示して、不正遊技者の来店を報知する。
図17においては、図中左上に人ID表示欄201が設けられており、今の場合、「人ID=AA」と表示されており、不正遊技者が統合監視テーブル105の人ID=「AA」として登録されている人物であることが示されている。人ID表示欄201の下には、顔画像表示欄202および登録画像表示欄203が設けられており、それぞれ顔画像が表示されている。顔画像表示欄202には、人ID=AAに対応する顔画像が表示され、登録画像表示欄203には、顔画像表示欄202に表示された遊技者と最も類似度の高い、予め登録されている不正遊技者の顔画像が表示されている。
顔画像表示欄202の下には、条件表示欄204が設けられている。今の場合、条件表示欄204には、「顔検出条件:良」、および、「顔類似度:70%」と表示されており、それぞれ撮像状態が「良」であって、類似度の計算結果が70%であることが示されている。
図17の右側の欄には、現在位置表示欄205が設けられており、人ID=AAに対応する最新の位置情報に基づいて、今現在不正遊技者と判定された遊技者の遊技店内の位置が、例えば、ポイント205aとして示されている。
条件表示欄204の下には、行動軌跡表示ボタン206が設けられており、不正遊技者として判定された遊技者の行動軌跡を再生させたい場合、操作部109などにより操作されると(押下されると)、後述する行動軌跡再生処理が実行される。
現在位置表示欄205の下には、確認ボタン207が設けられており、不正遊技者来店情報の表示を終了させたいとき、操作されることにより、不正遊技者来店情報の表示が終了する。
以上の処理により、統合監視テーブル105に不正遊技者が検出されたことを示す判定結果が登録された時点で、出力部107より不正遊技者来店情報が表示されることにより、遊技店の係員は、不正遊技者が来店したことを認識することが可能となり、さらに、顔画像や現在位置の情報に基づいて、不正遊技者を迅速に探し出すことが可能となる。
尚、出力部107にスピーカなどが設けられている場合、警告を示す音声を発生させるようにしても良く、このようにすることで、さらに、迅速に不正遊技者の来店を認識することが可能となる。
ここで、図16のフローチャートの説明に戻る。
ステップS203において、監視部106は、統合監視テーブル105を参照して、判定結果の欄に注目し、判定結果が未確認(再確認) であって、判定結果として再確認が報告された回数、すなわち、カメラ3の前を通過した回数が所定回数以上の遊技者が存在するか否かを判定し、存在する場合、すなわち、所定回数以上不正遊技者判定処理が不能な遊技者がいる場合、その処理は、ステップS204に進む。
ステップS204において、監視部106は、統合監視テーブル105より、不正遊技者判定処理ができない遊技者の人IDに対応する一連の情報を出力部107に供給する。出力部107は、監視部106より供給された人IDに対応する一連の情報により、例えば、図18で示されるような未確認遊技者来店情報を表示して、未確認遊技者の来店を報知する。
図18においては、図中右上に人ID表示欄221が設けられており、今の場合、「人ID=BB」と表示されており、未確認者が統合監視テーブル105の人ID=「BB」として登録されている人物であることが示されている。人ID表示欄221の下には、顔画像表示欄222が設けられている。顔画像表示欄222には、人ID=BBに対応する、不正遊技者判定処理ができない画像が表示されている。尚、図18においては、顔としては認識できない、例えば、後ろを向いていたり、横を向いているなどしている画像が表示されている例を示している。このように表示することで、不正遊技者判定処理ができなくても、係員が背格好、服装、顔色、または髪型などの特徴を認識することができるので、目視により不正遊技者の可能性の高い遊技者を捜索することが可能となる。
図18の右側の欄には、現在位置表示欄223が設けられており、人ID=BBに対応する最新の位置情報に基づいて、今現在不正遊技者判定処理ができない遊技者の遊技店内の位置が、例えば、ポイント223aとして示されている。
顔画像表示欄222の下には、行動軌跡表示ボタン224が設けられており、不正遊技者判定処理ができない遊技者の行動軌跡を再生させたい場合、操作部109などで操作されると(押下されると)、後述する行動軌跡再生処理が実行される。
現在位置表示欄223の下には、確認ボタン225が設けられており、未確認遊技者来店情報の表示を終了させたいとき、操作されることにより、未確認遊技者来店情報の表示が終了する。
以上の処理により、統合監視テーブル105にカメラ3の前を通過した回数が所定回数以上(判定結果として再確認が報告された回数が所定回数以上)不正遊技者判定処理ができない状態となった時点で、出力部107より未確認遊技者来店情報が表示されることにより、遊技店の係員は、監視システムの存在を意識して、顔画像が正確に撮像できないように振舞っている不正遊技者の可能性の高い遊技者が来店したことを認識することが可能となり、さらに、画像(不正遊技者判定はできないが、背格好、服装、顔色、または髪型などが認識できる程度の画像)や現在位置の情報に基づいて、不正遊技者判定処理をすることができない、不正遊技者の可能の高い遊技者を迅速に探し出すことが可能となる。
尚、出力部107にスピーカなどが設けられている場合、不正遊技者が検出された場合とは異なる警告を示す音声を発生させるようにしても良く、そのようにすることで、より迅速に不正遊技者判定処理をすることができない、不正遊技者の可能の高い遊技者を探し出すことが可能となる。
また、ステップS201において、不正遊技者が存在しない場合、ステップS202の処理は、スキップされ、ステップS203において、カメラの前を通過した回数が所定回数以上(判定結果として再確認が報告された回数が所定回数以上)の遊技者が存在しない場合、ステップS204の処理がスキップされ、その処理は、ステップS201に戻り、それ以降の処理が繰り返される。
次に、図19のフローチャートを参照して、上述した行動軌跡ボタン206,224が操作された場合に実行される行動軌跡処理について説明する。
ステップS221において、再生部108は、統合監視テーブル105の位置管理テーブル105bを参照して、図17または図18の人ID表示欄201または221に表示されている人IDに基づいて、蓄積された位置情報および時刻情報を読み出す。
ステップS222において、再生部108は、時刻情報に合わせて位置情報を遊技店内の座標上にプロットし、結果を出力部107に供給して表示させる。
ステップS223において、再生部108は、次の位置情報が存在するか否かを判定し、例えば、次の位置情報が存在すると判定された場合、その処理は、ステップS221に戻り、それ以降の処理が繰り返され、全ての位置情報がプロットされると、ステップS223において、次の位置情報が存在しないと判定され、ステップS224において、「戻る」(例えば、図20の戻るボタン254)が操作されたか否かを判定し、「戻る」が操作されたと判定された場合、その処理は終了する。
例えば、行動軌跡は、図20で示されるように表示される。すなわち、図20においては、遊技店内の平面図251が示され、遊技者の位置を示すポイント251aが、順次プロットされ、通過した後には、図中の点線で示されるように軌跡252が表示される。さらに、図20においては、軌跡252の経路上に立ち寄った遊技台を示す遊技台表示欄253もさらに示されており、このようにすることで、島設備に設けられた遊技台のうち、今の場合151番台に不正遊技者または未確認遊技者が立ち寄ったことが認識でき、151番台の遊技台に立ち寄ったことがわかる。
結果として、立ち寄った遊技台で不正が発覚した場合、別途連続撮影する監視カメラを設けておけば、不正のあった遊技台付近が撮像された画像を解析することにより、検出された不正遊技者が何らかの不正をした証拠とすることが可能となり、不正遊技者の検挙に貢献することが可能となる。また、未確認遊技者である場合、上述した行動軌跡により、不正遊技者であるか否かを判断する材料とすることが可能となる。
以上によれば、監視システムにおいて、不正遊技者の誤検出を低下させるとともに、検出率を向上させることが可能となる。
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図21は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)301を内蔵している。CPU301にはバス304を介して、入出力インタフェース305が接続されている。バス304には、ROM(Read Only Memory)302およびRAM(Random Access Memory)303が接続されている。
入出力インタフェース305には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部306、処理操作画面や処理結果の画像を表示デバイスに出力する出力部307、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部308、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部309が接続されている。また、磁気ディスク321(フレキシブルディスクを含む)、光ディスク322(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク323(MD(Mini Disc)を含む)、もしくは半導体メモリ324などの記録媒体に対してデータを読み書きするドライブ310が接続されている。
CPU301は、ROM302に記憶されているプログラム、または磁気ディスク321乃至半導体メモリ324から読み出されて記憶部308にインストールされ、記憶部308からRAM303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。