JP6669016B2 - Image extraction device, face matching system, player management system, image extraction method, and program - Google Patents

Description

本発明は、画像抽出装置、顔照合システム、遊技者管理システム、画像抽出方法、及びプログラムに関する。   The present invention relates to an image extraction device, a face matching system, a player management system, an image extraction method, and a program.

特許文献１及び特許文献２に記載されているように、撮像装置により撮像された遊技者の顔の画像を利用して、各遊技者の遊技動向又は趣向などを分析する顧客分析システム及び不審者などの特定の人物を監視する監視システムが知られている。
特許文献１ 特開２０１１−１３９８７２号公報
特許文献２ 特開２０１２−１４５６８号公報 As described in Patent Literature 1 and Patent Literature 2, a customer analysis system and a suspicious individual that analyze a game trend or a taste of each player using an image of a player's face captured by an imaging device A monitoring system for monitoring a specific person such as a person is known.
Patent Document 1 Japanese Patent Application Laid-Open No. 2011-139872 Patent Document 2 Japanese Patent Application Laid-Open No. 2012-14568

上記のような顧客分析システム及び監視システムなど顔の画像を利用するシステムによれば、正面など所望の向きの顔を含む画像を効率的に取得することが望ましい場合がある。   According to a system using a face image such as the customer analysis system and the monitoring system described above, it may be desirable to efficiently obtain an image including a face in a desired direction such as the front.

本発明の一態様に係る画像抽出装置によれば、時間的に連続する複数の画像を格納する画像格納部と、複数の画像の一部である複数の第１画像を抽出する第１画像抽出部と、複数の第１画像のそれぞれに含まれる顔が向いている方向を特定する顔向き特定部と、時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、２つの第１画像の間の少なくとも１つの第２画像を複数の画像から抽出し、又は第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、第１画像と第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を複数の画像から抽出する第２画像抽出部とを備える。   According to the image extraction device according to one aspect of the present invention, an image storage unit that stores a plurality of temporally continuous images, and a first image extraction unit that extracts a plurality of first images that are a part of the plurality of images Part, a face direction identification unit that identifies the direction in which the face included in each of the plurality of first images is oriented, and a direction in which the face included in each of the two temporally continuous first images is oriented. When a predetermined direction is included between the two first images, at least one second image between the two first images is extracted from the plurality of images, or the direction in which the face included in the first image faces is predetermined. A second image extracting unit that extracts, from the plurality of images, at least one second image between the first image and another continuous first image before or after the first image when included in the range of the given direction. And

画像格納部は、先入れ先出し方式で予め定められた数の複数の画像を格納してよい。   The image storage unit may store a predetermined number of images in a first-in first-out manner.

画像格納部は、撮像装置が特定の領域を撮像することにより得られた複数の画像を格納してよい。   The image storage unit may store a plurality of images obtained by the imaging device imaging a specific area.

撮像装置は、遊技台の周辺に設置されてよい。   The imaging device may be installed around the gaming table.

撮像装置は、遊技台の遊技に関する処理を実行する遊技周辺機器に設置されてよい。   The imaging device may be installed in a game peripheral device that executes a process related to a game in the game table.

本発明の一態様に係る顔照合システムによれば、上記画像抽出装置と、複数の第１画像及び少なくとも１つの第２画像のそれぞれから、顔に相当するオブジェクトの顔の顔らしさを示す顔信頼度を導出する顔信頼度導出部を備えてよい。顔照合システムは、顔信頼度導出部により導出された顔信頼度が基準顔信頼度より大きいか否かを判定する顔信頼度判定部を備えてよい。顔照合システムは、複数の第１画像及び少なくとも１つの第２画像のそれぞれに含まれる顔が向いている方向が、予め定められた方向の範囲に含まれるか否かを判定する顔向き判定部を備えてよい。顔照合システムは、複数の第１画像及び少なくとも１つの第２画像の中から、顔信頼度判定部により顔信頼度が基準顔信頼度より大きいと判定され、かつ顔向き判定部により顔が向いている方向が予め定められた方向の範囲に含まれると判定されたオブジェクトを含む第３画像を抽出する第３画像抽出部を備えてよい。顔照合システムは、第３画像抽出部により抽出された第３画像に含まれる顔の画像を、顔データベースに格納されている顔の画像と照合する照合部を備えてよい。   According to the face collating system according to one aspect of the present invention, the image extraction device and the face reliability indicating the face-likeness of the face of the object corresponding to the face from each of the plurality of first images and at least one second image. A face reliability deriving unit for deriving the degree may be provided. The face matching system may include a face reliability determination unit that determines whether the face reliability derived by the face reliability derivation unit is greater than the reference face reliability. A face matching unit configured to determine whether a direction in which a face included in each of the plurality of first images and the at least one second image is facing is included in a range of a predetermined direction; May be provided. In the face matching system, the face reliability determining unit determines that the face reliability is larger than the reference face reliability from the plurality of first images and at least one second image, and the face orientation determining unit turns the face. The image processing apparatus may further include a third image extraction unit that extracts a third image including an object whose direction is included in the range of the predetermined direction. The face matching system may include a matching unit that matches a face image included in the third image extracted by the third image extracting unit with a face image stored in the face database.

顔信頼度導出部は、複数の第１画像から顔信頼度を第１精度で導出し、少なくとも１つの第２画像から顔信頼度を第１精度より高い第２精度で導出してよい。   The face reliability deriving unit may derive the face reliability from the plurality of first images with a first accuracy, and derive the face reliability from at least one second image with a second accuracy higher than the first accuracy.

本発明の一態様に係る遊技者管理システムは、上記顔照合システムを備える。遊技者管理システムは、遊技機の遊技に関する処理を実行する遊技周辺機器であって、撮像装置、画像抽出装置、第１顔信頼度導出部、第１顔信頼度判定部、第２顔信頼度導出部、第２顔信頼度判定部を備えてよい。遊技者管理システムは、第３画像抽出部を有する遊技周辺機器と、照合部、及び顔データベースを有する顔照合装置を備えてよい。   A player management system according to one aspect of the present invention includes the face matching system. The player management system is a game peripheral device that executes processing related to a game of a gaming machine, and includes an imaging device, an image extraction device, a first face reliability deriving unit, a first face reliability determination unit, and a second face reliability. A derivation unit and a second face reliability determination unit may be provided. The player management system may include a game peripheral device having a third image extracting unit, a matching unit, and a face matching device having a face database.

遊技周辺機器は、第３画像抽出部により抽出された第１画像及び第２画像を顔照合装置に送信し、第３画像抽出部により抽出されていない第１画像及び第２画像を顔照合装置に送信しなくてよい。   The game peripheral device transmits the first image and the second image extracted by the third image extracting unit to the face matching device, and compares the first image and the second image not extracted by the third image extracting unit with the face matching device. Need not be sent to

本発明の一態様に係る画像抽出方法は、時間的に連続する複数の画像を画像格納部に格納する段階と、複数の画像の一部である複数の第１画像を抽出する段階と、複数の第１画像のそれぞれに含まれる顔の向きを特定する段階と、時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、２つの第１画像の間の少なくとも１つの第２画像を複数の画像から抽出し、又は第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、第１画像と第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を複数の画像から抽出する段階とを備える。   An image extraction method according to an aspect of the present invention includes a step of storing a plurality of temporally consecutive images in an image storage unit, a step of extracting a plurality of first images that are a part of the plurality of images, Determining a direction of a face included in each of the first images, and a predetermined direction is included between the directions of the faces included in each of the two temporally consecutive first images. In the case, at least one second image between the two first images is extracted from the plurality of images, or when the direction in which the face included in the first image faces is included in a range of a predetermined direction, Extracting at least one second image from the plurality of images between the first image and another first image continuous before or after the first image.

本発明の一態様に係るプログラムは、時間的に連続する複数の画像を画像格納部に格納する段階と、複数の画像の一部である複数の第１画像を抽出する段階と、複数の第１画像のそれぞれに含まれる顔の向きを特定する段階と、時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、２つの第１画像の間の少なくとも１つの第２画像を複数の画像から抽出し、又は第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、第１画像と第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を複数の画像から抽出する段階とをコンピュータに実行させる。   The program according to an aspect of the present invention includes a step of storing a plurality of temporally continuous images in an image storage unit, a step of extracting a plurality of first images that are a part of the plurality of images, and a step of extracting a plurality of first images. When a predetermined direction is included between the step of specifying the direction of the face included in each of the one image and the direction of the face included in each of the two temporally consecutive first images, If at least one second image between the two first images is extracted from the plurality of images, or the direction in which the face included in the first image is facing is included in a range of a predetermined direction, the first Extracting from a plurality of images at least one second image between the image and another first image that is continuous before or after the first image.

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。   The above summary of the present invention is not an exhaustive listing of all features of the present invention. Sub-combinations of these features can also be inventions.

遊技システムの全体構成の一例を示すシステム構成図である。It is a system configuration diagram showing an example of the overall configuration of the gaming system. 画像処理ユニットのより詳細な機能ブロックを示す図である。FIG. 3 is a diagram illustrating more detailed functional blocks of the image processing unit. 顔が向いている方向について説明するための図である。It is a figure for explaining the direction in which the face is turned. 生体情報認識装置の機能ブロックを示す図である。It is a figure showing the functional block of a living body information recognition device. 表示装置の機能ブロックを示す図である。FIG. 3 is a diagram illustrating functional blocks of the display device. 画像取得部による画像取得処理の手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a procedure of an image acquisition process performed by an image acquisition unit. 画像抽出処理全体の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the whole image extraction processing. 画像抽出処理全体の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the whole image extraction processing. 通常画像抽出処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of a normal image extraction process. 高速画像抽出処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of a high-speed image extraction process. 通常画像抽出処理について説明するための図である。FIG. 9 is a diagram for describing a normal image extraction process. 高速画像抽出処理について説明するための図である。It is a figure for explaining high-speed image extraction processing. 高速画像抽出処理について説明するための図である。It is a figure for explaining high-speed image extraction processing. コンピュータの一例を示す図である。FIG. 2 is a diagram illustrating an example of a computer.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all combinations of the features described in the embodiments are necessarily essential to the solution of the invention.

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階又は（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。   Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, wherein blocks represent (1) steps in a process in which an operation is performed or (2) devices responsible for performing an operation. May be expressed as “parts”. Particular stages and "parts" may be provided by dedicated circuits, programmable circuits provided with computer readable instructions stored on computer readable media, and / or processors provided with computer readable instructions stored on computer readable media. May be implemented. Dedicated circuits may include digital and / or analog hardware circuits, and may include integrated circuits (ICs) and / or discrete circuits. Programmable circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. And the like, and may include reconfigurable hardware circuits.

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。   Computer readable media may include any tangible device capable of storing instructions for execution by a suitable device, such that the computer readable media having instructions stored thereon is specified in a flowchart or block diagram. Product comprising instructions that can be executed to create a means for performing the specified operation. Examples of the computer readable medium may include an electronic storage medium, a magnetic storage medium, an optical storage medium, an electromagnetic storage medium, a semiconductor storage medium, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically erasable programmable read only memory (EEPROM), static random access memory (SRAM), compact disk read only memory (CD-ROM), digital versatile disk (DVD), Blu-ray (RTM) disk, memory stick, integrated A circuit card or the like may be included.

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードの何れかを含んでよい。   The computer readable instructions may be assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or object oriented programming such as Smalltalk, JAVA, C ++, etc. Language, and any source or object code written in any combination of one or more programming languages, including conventional procedural programming languages such as the "C" programming language or similar programming languages. Good.

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。   The computer readable instructions may be provided to a processor or programmable circuit of a general purpose computer, special purpose computer, or other programmable data processing device, either locally or over a wide area network (WAN) such as a local area network (LAN), the Internet, or the like. ) May be executed to create means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.

図１は、本実施形態に係る遊技システム１０００の全体構成の一例を示すシステム構成図である。遊技システム１０００は、遊技店に設置される。遊技システム１０００は、台間機１０、遊技台２０、計数機７０、精算機８０、生体情報認識装置２００、生体情報データベース２３０、遊技店管理装置３００、遊技台管理データベース３３０、媒体貸出管理装置４００、媒体貸出管理データベース４３０、及び表示装置２５０、３５０、及び４５０を備える。   FIG. 1 is a system configuration diagram illustrating an example of an overall configuration of a gaming system 1000 according to the present embodiment. The game system 1000 is installed in a game store. The gaming system 1000 includes a game machine 10, a gaming machine 20, a counter 70, a payment machine 80, a biometric information recognition device 200, a biometric information database 230, an amusement shop management device 300, a game console management database 330, and a medium lending management device 400. , A medium lending management database 430, and display devices 250, 350, and 450.

遊技システム１０００は、遊技者が遊技する遊技台２０を管理する。例えば、遊技システム１０００は、遊技者に貸し出された遊技媒体の情報を管理する。遊技システム１０００は、例えば、遊技者の来店状況、遊技台の稼動状況などを収集し、遊技者の動向を分析する。遊技システム１０００は、遊技者の不正行為などを監視してよい。   The gaming system 1000 manages the gaming table 20 on which the player plays. For example, the gaming system 1000 manages information on gaming media lent to a player. The gaming system 1000 collects, for example, the state of arrival of players, the operating state of game consoles, and the like, and analyzes the trends of the players. The gaming system 1000 may monitor a player's misconduct or the like.

遊技台２０は、例えば、パチンコ機又はスロットマシンである。計数機７０は、遊技者が遊技台２０を遊技することにより獲得した遊技媒体の数を計数し、計数結果を磁気カード、レシートなどに示して出力する。精算機８０は、例えば、遊技媒体を借りるための点数を記録したプリペイドカードを販売する。精算機８０は、販売したプリペイドカードの点数の情報と払い受けた金額の情報とを媒体貸出管理装置４００に供給する。また、精算機８０は、度数として貸し出した遊技媒体の残数の情報に基づいて現金を精算して払い出す。精算機８０は、プリペイドカードの残度数の情報と払い戻した現金の金額の情報とを媒体貸出管理装置４００に供給する。   The gaming table 20 is, for example, a pachinko machine or a slot machine. The counter 70 counts the number of game media acquired by the player playing the gaming table 20, and outputs the counting result on a magnetic card, a receipt, or the like. The checkout machine 80 sells, for example, a prepaid card in which points for renting game media are recorded. The checkout machine 80 supplies the information on the points of the prepaid cards sold and the information on the paid amount to the medium lending management device 400. The payment machine 80 pays out and pays out the cash based on the information on the remaining number of the game media lent as the frequency. The payment machine 80 supplies the medium lending management device 400 with information on the remaining number of the prepaid card and information on the amount of cash refunded.

台間機１０は、遊技者が遊技台２０で遊技する場合に、プリペイドカードなどの記録媒体、又は現金などにより遊技者が指定した点数、金額などを受け付け、受け付けた点数、金額などに応じた数量の遊技媒体を貸し出す。台間機１０は、貸し出した遊技媒体の数量の情報を媒体貸出管理装置４００に供給する。媒体貸出管理装置４００は、受け付けた現金又はプリペイドカードの残数などの情報と共に、貸し出した遊技媒体の数量の情報を管理する。台間機１０は、遊技台２０の遊技に関する処理を実行する遊技周辺機器の一例である。   When the player plays the game at the gaming table 20, the inter-chamber machine 10 receives points, amounts, and the like designated by the player using a recording medium such as a prepaid card, or cash, etc., and responds to the received points, amounts, and the like. Lend a number of game media. The machine 10 supplies information on the number of rented game media to the media lending management device 400. The medium lending management device 400 manages information on the number of lent game media lent together with information on the received cash or the remaining number of prepaid cards. The machine 10 is an example of a gaming peripheral device that executes a process related to a game of the gaming table 20.

台間機１０は、撮像装置３０及び画像処理ユニット１００を備える。撮像装置３０は、時間的に連続する複数の画像を撮像する。撮像装置３０は、予め定められた周期（予め定められたフレームレート）で、時間的に連続する複数の画像を撮像してよい。撮像装置３０は、遊技台２０側から遊技台２０を使用している遊技者の顔を含む画像を撮像する。画像処理ユニット１００は、撮像装置３０により撮像された複数の画像から遊技者の顔を含む画像を抽出する。画像処理ユニット１００は、抽出された画像に含まれる顔を示すオブジェクトを画像分析して、オブジェクトの顔らしさを示す顔信頼度などを導出し、顔信頼度が高いオブジェクトを含む画像を生体情報認識装置２００に供給する。   The machine 10 includes an imaging device 30 and an image processing unit 100. The imaging device 30 captures a plurality of temporally continuous images. The imaging device 30 may capture a plurality of temporally continuous images at a predetermined cycle (a predetermined frame rate). The imaging device 30 captures an image including the face of the player using the gaming table 20 from the gaming table 20 side. The image processing unit 100 extracts an image including the player's face from the plurality of images captured by the imaging device 30. The image processing unit 100 performs image analysis on an object indicating a face included in the extracted image, derives a face reliability or the like indicating a face likeness of the object, and recognizes an image including an object with a high face reliability on biometric information recognition. Supply to the device 200.

なお、本実施形態では、遊技者の顔を撮像するための撮像装置３０を台間機１０に設置する例について説明する。しかし、撮像装置３０は、任意の場所に設置されてよい。撮像装置３０は、遊技者などのユーザが操作するユーザインタフェースであるボタン、タッチパネル、現金の投入口、ＩＣカードの挿入口などの操作部の近傍に設置されてよい。撮像装置３０は、遊技台２０の周辺に設置されてよい。撮像装置３０は、遊技台２０の周辺に設置されてよい。撮像装置３０は、例えば、遊技者の顔を撮像できる遊技店内及び遊技店周辺の任意の場所に設置されてよい。撮像装置３０は、計数機７０及び精算機８０の付近、遊技店の出入口付近に設置されてよい。   Note that, in the present embodiment, an example will be described in which an imaging device 30 for imaging the face of a player is installed in the machine 10. However, the imaging device 30 may be installed at any location. The imaging device 30 may be installed near an operation unit such as a button, a touch panel, a cash slot, or an IC card insertion slot, which is a user interface operated by a user such as a player. The imaging device 30 may be installed around the gaming table 20. The imaging device 30 may be installed around the gaming table 20. The imaging device 30 may be installed, for example, in an amusement arcade where a face of a player can be imaged and at an arbitrary location around the arcade. The imaging device 30 may be installed near the counter 70 and the checkout machine 80, near the entrance of the game store.

生体情報データベース２３０は、遊技店に来店した遊技者の属性情報を格納する。生体情報認識装置２００は、遊技店に来店した遊技者の属性情報を生体情報データベース２３０に登録し、管理する。なお、生体情報データベース２３０は、顔データベースの一例である。   The biological information database 230 stores the attribute information of the player who has visited the game store. The biological information recognition device 200 registers and manages the attribute information of the player who has visited the game store in the biological information database 230. The biometric information database 230 is an example of a face database.

遊技店管理装置３００は、いわゆるホールコンピュータであり、遊技台２０の動作を監視する。遊技店管理装置３００は、遊技台２０の出玉又はメダルの払い出しの情報、遊技台２０のエラー情報などを管理する。   The game store management device 300 is a so-called hall computer, and monitors the operation of the game console 20. The game store management device 300 manages information on payout of balls or medals at the gaming table 20, error information on the gaming table 20, and the like.

表示装置２５０、３５０、及び４５０は、遊技店の店員により利用される。表示装置２５０は、生体情報認識装置２００で管理されている情報を表示する。表示装置３５０は、遊技店管理装置３００に管理されている情報を表示する。表示装置４５０は、媒体貸出管理装置４００に管理されている情報を表示する。   The display devices 250, 350, and 450 are used by clerks at the game store. The display device 250 displays information managed by the biological information recognition device 200. The display device 350 displays information managed by the game store management device 300. The display device 450 displays information managed by the medium lending management device 400.

上記のように構成された遊技システム１０００において、生体情報認識装置２００は、台間機１０に設置された撮像装置３０により撮像された画像に含まれる遊技者の顔の画像と、生体情報データベース２３０に格納されている複数の遊技者の顔の画像とを照合し、遊技者の個人認証を行う。このような照合に利用される画像に含まれる遊技者の顔が向いている方向は、特定の方向であることが好ましい。例えば、画像に含まれる遊技者の顔の方向は、顔が正面を向いている方向であることが好ましい。   In the gaming system 1000 configured as described above, the biological information recognition device 200 includes the image of the player's face included in the image captured by the imaging device 30 installed in the inter-machine 10 and the biological information database 230 Is compared with the images of the faces of a plurality of players stored in the player and personal authentication of the players is performed. It is preferable that the direction in which the player's face is included in the image used for such matching is a specific direction. For example, the direction of the player's face included in the image is preferably the direction in which the face is facing the front.

ところが、撮像装置３０に撮像されている遊技者は、撮像装置３０に撮像されていることを意識していないこともある。したがって、撮像装置３０により撮像された画像は、必ずしも正面などの特定の方向を向く顔を含むとは限らない。画像処理ユニット１００が、撮像装置３０が比較的に短い間隔で撮像した画像を全て処理して、正面を向く顔を含む画像を抽出することも考えられる。しかし、このように全ての画像を処理すると、画像処理ユニット１００の処理の負担が大きくなる。画像処理ユニット１００の処理速度が低下する場合もある。画像処理ユニット１００の処理速度が低下すると、生体情報認識装置２００による顔の照合の速度も低下する。   However, the player being imaged by the imaging device 30 may not be aware that the image is being captured by the imaging device 30. Therefore, the image captured by the imaging device 30 does not always include a face facing a specific direction such as the front. It is also conceivable that the image processing unit 100 processes all images captured by the imaging device 30 at relatively short intervals to extract an image including a face facing front. However, when all the images are processed in this way, the processing load on the image processing unit 100 increases. The processing speed of the image processing unit 100 may decrease. When the processing speed of the image processing unit 100 decreases, the speed of face matching by the biometric information recognition device 200 also decreases.

そこで、本実施形態に係る遊技システム１０００によれば、画像処理ユニット１００の処理負担の増大を抑制しつつ、効率的に予め定められた方向を向いている顔を含む画像を抽出する。   Therefore, according to the gaming system 1000 according to the present embodiment, an image including a face facing a predetermined direction is efficiently extracted while suppressing an increase in the processing load of the image processing unit 100.

図２は、画像処理ユニット１００の機能ブロックを示す図である。画像処理ユニット１００は、画像取得部１０２、画像格納部１０４、第１画像抽出部１０６、顔信頼度導出部１０８、顔信頼度判定部１１０、顔向き格納部１１４、顔向き特定部１１２、第２画像抽出部１１６、顔向き判定部１１８、第３画像抽出部１２０、及び送受信部１２２を備える。   FIG. 2 is a diagram showing functional blocks of the image processing unit 100. The image processing unit 100 includes an image acquisition unit 102, an image storage unit 104, a first image extraction unit 106, a face reliability derivation unit 108, a face reliability determination unit 110, a face orientation storage unit 114, a face orientation identification unit 112, It includes a two-image extracting unit 116, a face-direction determining unit 118, a third image extracting unit 120, and a transmitting / receiving unit 122.

画像取得部１０２は、撮像装置３０により時間的に連続して撮像された複数の画像を順次取得する。画像取得部１０２は、予め定められた時間間隔毎に撮像装置３０から画像を取得する。画像取得部１０２は、例えば、毎秒３０枚（３０ｆｐｓ）で撮像装置３０から画像を取得する。画像格納部１０４は、画像取得部１０２が撮像装置３０から取得した時間的に連続する複数の画像を格納する。画像格納部１０４は、撮像装置３０が特定の領域を撮像することにより得られた複数の画像を格納する。画像格納部１０４は、先入れ先出し方式で予め定められた数の複数の画像を格納する。画像格納部１０４は、例えば、画像取得部１０２が撮像装置３０から取得した最新の３０枚の画像を格納する。   The image obtaining unit 102 sequentially obtains a plurality of images temporally continuously captured by the imaging device 30. The image acquisition unit 102 acquires an image from the imaging device 30 at predetermined time intervals. The image acquiring unit 102 acquires an image from the imaging device 30 at, for example, 30 frames per second (30 fps). The image storage unit 104 stores a plurality of temporally continuous images acquired by the image acquisition unit 102 from the imaging device 30. The image storage unit 104 stores a plurality of images obtained by the imaging device 30 imaging a specific area. The image storage unit 104 stores a predetermined number of images in a first-in first-out manner. The image storage unit 104 stores, for example, the latest 30 images acquired by the image acquisition unit 102 from the imaging device 30.

第１画像抽出部１０６は、画像格納部１０４に格納された複数の画像の一部である複数の第１画像を抽出する。第１画像抽出部１０６は、予め定められた時間間隔毎に画像格納部１０４から最新の１枚の画像を第１画像として抽出する。第１画像抽出部１０６は、例えば、毎秒３枚（３ｆｐｓ）で画像格納部１０４から最新の１枚の画像を第１画像として抽出する。   The first image extraction unit 106 extracts a plurality of first images that are a part of the plurality of images stored in the image storage unit 104. The first image extracting unit 106 extracts one latest image from the image storing unit 104 as a first image at predetermined time intervals. The first image extraction unit 106 extracts, for example, the latest one image from the image storage unit 104 as a first image at three images per second (3 fps).

顔信頼度導出部１０８は、複数の第１画像のそれぞれから顔に相当するオブジェクトの顔の顔らしさを示す顔信頼度を導出する。顔信頼度が高い画像ほど、照合に適した画像である。顔信頼度導出部１０８は、画像に含まれる顔の特徴量及び顔の特徴を示す器官の器官らしさを示す器官信頼度を顔信頼度として導出してよい。特徴量は、人物などの対象物を識別可能な情報であればよく、画像の画素値の情報、又は画像に含まれる顔の目、鼻、口の間隔又は大きさ、肌の色、髪型などの外見的特徴を数値で示した情報でよい。画像に含まれるオブジェクトの特徴量が高いほど、そのオブジェクトが顔である可能性が高いことを示す。つまり、画像に含まれるオブジェクトの特徴量が高いほど、照合に適した画像である。   The face reliability deriving unit 108 derives a face reliability indicating the likeness of a face of an object corresponding to a face from each of the plurality of first images. An image with higher face reliability is more suitable for matching. The face reliability deriving unit 108 may derive, as the face reliability, the feature amount of the face included in the image and the organ reliability indicating the likeness of the organ indicating the feature of the face. The feature amount may be any information that can identify a target such as a person, and information on the pixel value of an image, or the distance or size of eyes, nose, and mouth of a face included in the image, skin color, hairstyle, etc. May be information indicating numerically the external characteristics of. The higher the feature amount of the object included in the image, the higher the possibility that the object is a face. That is, the higher the feature amount of the object included in the image, the more suitable the image for matching.

顔信頼度導出部１０８は、画像内のオブジェクトから、顔を構成する器官（例えば、目、耳、鼻、口、額、顎、輪郭）を抽出し、抽出された器官の位置情報を導出する。そして、顔信頼度導出部１０８は、抽出された器官と、抽出された器官の位置情報とに基づいて、オブジェクトの器官信頼度を導出してよい。   The face reliability deriving unit 108 extracts an organ (for example, an eye, an ear, a nose, a mouth, a forehead, a chin, and a contour) constituting a face from an object in an image, and derives positional information of the extracted organ. . Then, the face reliability deriving unit 108 may derive the organ reliability of the object based on the extracted organ and the position information of the extracted organ.

器官信頼度は、顔を含む画像毎の照合処理に適する度合いを示すものである。したがって、器官信頼度が高い画像ほど、照合に適した画像である。例えば、器官信頼度は、器官のうち、目、耳、鼻、口、額、顎、輪郭などの有無により、器官毎に点数を設定した合計となる数値でよい。また、器官信頼度は、左右の目又は耳と、鼻又は口との距離の比率、あるいは、額及び鼻の距離と、顎及び鼻の距離との比率などに基づいて導出される数値でよい。   The organ reliability indicates a degree suitable for a matching process for each image including a face. Therefore, an image with higher organ reliability is an image more suitable for collation. For example, the organ reliability may be a numerical value that is a total obtained by setting a score for each organ depending on the presence or absence of an eye, an ear, a nose, a mouth, a forehead, a chin, a contour, and the like. The organ reliability may be a numerical value derived based on the ratio of the distance between the left or right eye or ear and the nose or mouth, or the ratio of the distance between the forehead and nose and the distance between the chin and nose. .

顔信頼度判定部１１０は、顔信頼度導出部１０８により導出された顔信頼度が基準顔信頼度より大きいか否かを判定する。顔信頼度判定部１１０は、特徴量が予め定められた基準特徴量より大きく、かつ器官信頼度が予め定められた基準器官信頼度より大きい場合、画像に含まれるオブジェクトが顔による照合に適していると判断する。   The face reliability determination unit 110 determines whether the face reliability derived by the face reliability derivation unit 108 is larger than the reference face reliability. When the feature amount is larger than the predetermined reference feature amount and the organ reliability is larger than the predetermined reference organ reliability, the object included in the image is suitable for the face matching. Judge that there is.

顔向き特定部１１２は、画像に含まれる顔が向いている方向を特定する。顔向き特定部１１２は、画像の法線方向を基準として、画像の左右方向（すなわち横方向、又は水平方向）における角度を顔の向きの指標として導出する。顔向き特定部１１２は、さらに、画像の法線方向を基準として、画像の上下方向（すなわち縦方向、又は垂直方向）における角度を顔の向きの指標として導出する。加えて、顔向き特定部１１２は、画像の法線方向の軸を中心とした顔の回転角度を導出してよい。顔向き特定部１１２は、顔の中心線と画像の上下方向の線（垂直線）とのなす角度を顔の回転角度として導出してよい。   The face direction identification unit 112 identifies the direction in which the face included in the image is facing. The face direction identification unit 112 derives the angle in the left-right direction (that is, the horizontal direction or the horizontal direction) of the image as an index of the face direction based on the normal direction of the image. The face direction identification unit 112 further derives an angle in a vertical direction (that is, a vertical direction or a vertical direction) of the image as an index of the face direction based on the normal direction of the image. In addition, the face direction identification unit 112 may derive a face rotation angle about an axis in the normal direction of the image. The face direction identification unit 112 may derive an angle between a center line of the face and a vertical line (vertical line) of the image as a face rotation angle.

顔向き格納部１１４は、顔向き特定部１１２により特定された、画像に含まれる顔が向いている方向を格納する。顔向き判定部１１８は、画像に含まれる顔が向いている方向が、予め定められた方向の範囲に含まれるか否かを判定する。顔向き判定部１１８は、顔向き特定部１１２により特定された顔の方向が、画像の法線方向を含む予め定められた方向の範囲内にある画像を照合に適した画像と判定する。画像の法線方向を含む予め定められた方向の範囲は、画像に含まれる顔の画像を利用して照合部２１０が顔の照合を行う場合に同一人物であるにもかかわらず別の人物として照合される可能性が低い角度の範囲でよい。予め定められた方向の範囲は、例えば、照合部２１０の照合性能に応じて、定められてよい。画像の法線方向を含む予め定められた方向の範囲が、顔の方向が撮像装置３０（の撮像面）に対して真正面以外の方向である場合も含む。画像の法線方向を含む予め定められた方向の範囲は、顔の方向が撮像装置３０（の撮像面）に対して真正面を向いている方向を含むある程度幅のある角度の範囲である。例えば、図３に示すように、画像の法線方向、すなわち撮像装置３０の撮像面の法線方向３２を基準とした画像の左右方向の角度が予め定められた第１角の範囲（−θ〜＋θ：例えば、−１０度〜＋１０度）に、遊技者９０の顔の向きが含まれる場合、顔向き判定部１１８は、画像に含まれる顔の方向が、予め定められた方向の範囲に含まれていると判定する。   The face direction storage unit 114 stores the direction of the face included in the image specified by the face direction specifying unit 112. The face direction determination unit 118 determines whether the direction in which the face included in the image is facing is included in a range of a predetermined direction. The face direction determination unit 118 determines that an image whose direction of the face specified by the face direction specification unit 112 is within a range of a predetermined direction including the normal direction of the image is an image suitable for matching. The range of the predetermined direction including the normal direction of the image is different even though the matching unit 210 performs face matching using the image of the face included in the image even though the person is the same person. An angle range where the possibility of collation is low may be sufficient. The range of the predetermined direction may be determined according to the matching performance of the matching unit 210, for example. The range of the predetermined direction including the normal direction of the image includes the case where the direction of the face is a direction other than directly in front of (the imaging surface of) the imaging device 30. The range of the predetermined direction including the normal direction of the image is a range of an angle having a certain width including a direction in which the face direction is directly in front of (the imaging surface of) the imaging device 30. For example, as shown in FIG. 3, the angle in the left-right direction of the image with respect to the normal direction of the image, that is, the normal direction 32 of the imaging surface of the imaging device 30 is a predetermined first angle range (−θ). When the direction of the face of the player 90 is included in the direction of the face of the player 90, the direction of the face included in the image falls within the range of the predetermined direction. It is determined that it is included.

顔向き判定部１１８は、画像に含まれる顔の向きが、画像の法線方向を基準として画像の左右方向に予め定められた第１角度の範囲内にある画像を照合に適した画像と判定してよい。顔向き判定部１１８は、画像に含まれる顔の向きが、画像の法線方向を基準として第１角度の範囲内にあり、かつ画像の上下方向に予め定められた第２角度の範囲内にある画像を照合に適した画像と判定してよい。顔向き判定部１１８は、画像に含まれる顔の向きが、画像の法線方向を基準として第１角度の範囲内にあり、かつ第２角度の範囲内にあり、画像の法線方向の軸を中心とした顔の回転角度が予め定められた第３角度の範囲内にある画像を照合に適した画像と判定してよい。   The face direction determination unit 118 determines an image whose face direction included in the image is within a predetermined first angle range in the left-right direction of the image with reference to the normal direction of the image as an image suitable for comparison. May do it. The face orientation determination unit 118 determines that the orientation of the face included in the image is within a range of the first angle with respect to the normal direction of the image, and within a range of a second angle that is predetermined in the vertical direction of the image. A certain image may be determined as an image suitable for matching. The face direction determination unit 118 determines that the direction of the face included in the image is within the range of the first angle and the range of the second angle with respect to the normal direction of the image, An image in which the rotation angle of the face around the angle is within a predetermined third angle range may be determined as an image suitable for collation.

第２画像抽出部１１６は、時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、２つの第１画像の間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出する。第２画像抽出部１１６は、時間的に連続する２つの第１画像のそれぞれに含まれる顔の方向の間に、画像の法線方向が含まれる場合、その２つの第１画像の間で、顔が撮像装置３０（の撮像面）に対して真正面を通過したと判断する。つまり、第２画像抽出部１１６は、時間的に連続する２つの第１画像のそれぞれに含まれる顔の方向の間に、画像の法線方向が含まれる場合、その２つの第１画像の間に撮像装置３０により撮像され、画像格納部１０４に格納された画像の中に、顔が撮像装置３０（の撮像面）に対して正面を向く画像が含まれている可能性が高いと判断する。そこで、第２画像抽出部１１６は、２つの第１画像の間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出する。   When the predetermined direction is included between the directions in which the faces included in each of the two temporally consecutive first images are facing, the second image extracting unit 116 determines whether the first At least one second image is extracted from the plurality of images stored in the image storage unit 104. When the normal direction of the image is included between the directions of the faces included in each of the two temporally consecutive first images, the second image extracting unit 116 determines, between the two first images, It is determined that the face has passed in front of (the imaging surface of) the imaging device 30. That is, when the normal direction of an image is included between the directions of the faces included in each of the two temporally consecutive first images, the second image extracting unit 116 determines that It is determined that there is a high possibility that an image whose face faces the front of (the imaging surface of) the imaging device 30 is included in the images captured by the imaging device 30 and stored in the image storage unit 104. . Therefore, the second image extraction unit 116 extracts at least one second image between the two first images from the plurality of images stored in the image storage unit 104.

また、第２画像抽出部１１６は、第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、第１画像と第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出してよい。第２画像抽出部１１６は、第１画像に含まれる顔が向いている方向が、が、第１画像の法線方向を基準として第１画像の左右方向に予め定められた第１角度の範囲内にある場合、その第１画像とその第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出してよい。第２画像抽出部１１６は、第１画像に含まれる顔が向いている方向が、第１画像の法線方向を基準として第１角度の範囲内にあり、かつ第１画像の上下方向に予め定められた第２角度の範囲内にある場合、その第１画像とその第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出してよい。第２画像抽出部１１６は、第１画像に含まれる顔が向いている方向が、画像の法線方向を基準として第１角度の範囲内にあり、かつ第２角度の範囲内にあり、画像の法線方向の軸を中心とした顔の回転角度が予め定められた第３角度の範囲内にある場合、その第１画像とその第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を、画像格納部１０４に格納された複数の画像から抽出してよい。   In addition, when the direction in which the face included in the first image is facing is included in the range of the predetermined direction, the second image extraction unit 116 may determine whether the face included in the first image is different from the one continuous before or after the first image. At least one second image between the first image and the first image may be extracted from the plurality of images stored in the image storage unit 104. The second image extraction unit 116 determines that the direction in which the face included in the first image is facing is within a predetermined first angle range in the left-right direction of the first image with respect to the normal direction of the first image. If the first image is within the first image, at least one second image between the first image and another continuous first image before or after the first image is extracted from the plurality of images stored in the image storage unit 104. May do it. The second image extracting unit 116 determines that the direction of the face included in the first image is within a first angle range with respect to the normal direction of the first image, and If it is within the range of the determined second angle, at least one second image between the first image and another continuous first image before or after the first image is stored in the image storage unit 104. It may be extracted from a plurality of stored images. The second image extracting unit 116 determines that the direction of the face included in the first image is within the range of the first angle and the range of the second angle with respect to the normal direction of the image. If the rotation angle of the face about the axis in the normal direction is within a predetermined third angle range, the first image and another first image continuous before or after the first image are May be extracted from the plurality of images stored in the image storage unit 104.

顔信頼度導出部１０８は、第２画像抽出部１１６により抽出された少なくとも１つの第２画像の顔信頼度を導出する。顔信頼度導出部１０８は、第１画像から顔信頼度を第１精度で導出し、第２画像から顔信頼度を第１精度より高い第２精度で導出してよい。例えば、顔信頼度導出部１０８により導出される第２画像に含まれる顔の外見的特徴を示す数値のダイナミックレンジは、顔信頼度導出部１０８により導出される第１画像に含まれる顔の外見的特徴を示す数値のダイナミックレンジより広くてよい。顔信頼度導出部１０８により導出される第２画像に含まれる器官毎の点数のダイナミックレンジが、顔信頼度導出部１０８により導出される第１画像に含まれる器官毎の点数のダイナミックレンジより広くてよい。   The face reliability deriving unit 108 derives the face reliability of at least one second image extracted by the second image extracting unit 116. The face reliability deriving unit 108 may derive the face reliability from the first image with the first accuracy, and derive the face reliability from the second image with the second accuracy higher than the first accuracy. For example, the dynamic range of the numerical value indicating the appearance feature of the face included in the second image derived by the face reliability deriving unit 108 is determined by the appearance of the face included in the first image derived by the face reliability deriving unit 108. It may be wider than the dynamic range of the numerical value indicating the characteristic feature. The dynamic range of the score for each organ included in the second image derived by the face reliability deriving unit 108 is wider than the dynamic range of the score for each organ included in the first image derived by the face reliability deriving unit 108. May be.

顔信頼度判定部１１０は、第１画像の顔信頼度が第１基準顔信頼度より大きいか否かを判定し、第２画像の顔信頼度が第２基準顔信頼度より大きいか否かを判定してよい。第１基準顔信頼度と第２基準信頼度とは異なる値でよい。   The face reliability determination unit 110 determines whether the face reliability of the first image is greater than the first reference face reliability, and determines whether the face reliability of the second image is greater than the second reference face reliability. May be determined. The first reference face reliability and the second reference reliability may be different values.

第３画像抽出部１２０は、複数の第１画像及び少なくとも１つの第２画像の中から、顔信頼度判定部１１０により顔信頼度が基準顔信頼度より大きいと判定され、かつ顔向き判定部１１８により顔が向いている方向が予め定められた方向の範囲に含まれると判定されたオブジェクトを含む第３画像を照合に適した照合用の画像として抽出する。第３画像抽出部１２０は、複数の第１画像及び少なくとも１つの第２画像の中から、顔信頼度判定部１１０により顔信頼度が基準顔信頼度より大きいと判定され、かつ顔向き判定部１１８により顔が向いている方向が、画像の法線方向を基準として画像の左右方向に予め定められた第１角度の範囲内にあると判定されたオブジェクトを含む画像を照合用の画像である第３画像として抽出してよい。第３画像抽出部１２０は、複数の第１画像及び少なくとも１つの第２画像の中から、顔信頼度判定部１１０により顔信頼度が基準顔信頼度より大きいと判定され、かつ顔向き判定部１１８により画像に含まれるオブジェクトの顔が画像の法線方向を基準として第１角度の範囲内にあり、かつ画像の上下方向に予め定められた第２角度の範囲内にあると判定されたオブジェクトを含む画像を照合用の画像である第３画像として抽出してよい。第３画像抽出部１２０は、複数の第１画像及び少なくとも１つの第２画像の中から、顔信頼度判定部１１０により顔信頼度が基準顔信頼度より大きいと判定され、かつ顔向き判定部１１８により画像に含まれるオブジェクトの顔が向いている方向が、画像の法線方向を基準として第１角度の範囲内にあり、かつ第２角度の範囲内にあり、画像の法線方向の軸を中心とした顔の回転角度が予め定められた第３角度の範囲内にあると判定されたオブジェクトを含む画像を照合用の画像である第３画像として抽出してよい。   The third image extracting unit 120 determines, from the plurality of first images and the at least one second image, that the face reliability determining unit 110 determines that the face reliability is greater than the reference face reliability, and the face orientation determining unit A third image including the object determined to include the direction in which the face is facing in step 118 is included in the range of the predetermined direction is extracted as a matching image suitable for matching. The third image extracting unit 120 determines, from the plurality of first images and the at least one second image, that the face reliability determining unit 110 determines that the face reliability is greater than the reference face reliability, and the face orientation determining unit An image for comparison is an image including an object that is determined to have a face facing in a range of a first angle predetermined in the left-right direction of the image with respect to the normal direction of the image based on the normal direction of the image. It may be extracted as a third image. The third image extracting unit 120 determines, from the plurality of first images and the at least one second image, that the face reliability determining unit 110 determines that the face reliability is greater than the reference face reliability, and the face orientation determining unit An object determined by 118 that the face of the object included in the image is within the range of the first angle with respect to the normal direction of the image and within the range of the predetermined second angle in the vertical direction of the image May be extracted as a third image which is an image for collation. The third image extracting unit 120 determines, from the plurality of first images and the at least one second image, that the face reliability determining unit 110 determines that the face reliability is greater than the reference face reliability, and the face orientation determining unit The direction in which the face of the object included in the image is oriented by 118 is within the range of the first angle and the range of the second angle with respect to the normal direction of the image. May be extracted as a third image that is an image for comparison, including an object whose rotation angle of the face around the object is determined to be within a predetermined third angle range.

送受信部１２２は、第３画像抽出部１２０により抽出された第３画像、及びその第３画像に含まれる顔に関する情報、撮像装置３０の設置場所に対応する情報、例えば、遊技台２０の台番号情報を生体情報認識装置２００に送信する。   The transmission / reception unit 122 transmits the third image extracted by the third image extraction unit 120, information about the face included in the third image, information corresponding to the installation location of the imaging device 30, for example, the number of the gaming table 20 The information is transmitted to the biological information recognition device 200.

画像処理ユニット１００は、正面などの予め定められた方向を向く顔が含まれる可能性が高い場合、時間間隔が通常よりも短いそれぞれの画像を処理する。画像処理ユニット１００は、正面の方向など予め定められた方向を向く顔を含む画像を短時間に効率的に抽出して、出力することができる。画像処理ユニット１００は、撮像装置３０が比較的に短い間隔で撮像した全ての画像に対して顔信頼度等を導出せずに済む。画像処理ユニット１００の処理の負担の増大を抑制できる。画像処理ユニット１００の処理速度の低下を抑制でき、生体情報認識装置２００による顔の照合の速度の低下を抑制できる。   The image processing unit 100 processes each image whose time interval is shorter than usual when there is a high possibility that a face facing a predetermined direction such as the front is included. The image processing unit 100 can efficiently extract and output an image including a face oriented in a predetermined direction such as the front direction in a short time. The image processing unit 100 does not need to derive the face reliability or the like for all the images captured by the imaging device 30 at relatively short intervals. An increase in the processing load of the image processing unit 100 can be suppressed. A decrease in the processing speed of the image processing unit 100 can be suppressed, and a decrease in the speed of face matching by the biological information recognition device 200 can be suppressed.

図４は、生体情報認識装置２００の機能ブロックを示す図である。   FIG. 4 is a diagram showing functional blocks of the biological information recognition device 200.

生体情報認識装置２００は、照合部２１０、操作部２２０、及び検索部２２２を備える。照合部２１０は、第３画像抽出部１２０により抽出された画像に含まれる顔の画像を、生体情報データベース２３０に格納されている遊技者の顔の画像と照合する。操作部２２０は、遊技者の顔の画像に基づいて特定の情報を検索して表示する場合の表示条件を店員などのユーザから受け付ける。検索部２２２は、操作部２２０により受け付けられた表示条件に基づいて、生体情報データベース２３０を検索して、表示条件にあった遊技者の顔の画像、その遊技者が遊技した遊技台２０の台番号、その遊技者の遊技開始時間及び遊技終了時間などを検索結果として取得して、表示装置２５０に提供する。表示装置２５０は、検索部２２２による検索結果を表示する。   The biometric information recognition device 200 includes a collation unit 210, an operation unit 220, and a search unit 222. The matching unit 210 matches the face image included in the image extracted by the third image extracting unit 120 with the player's face image stored in the biometric information database 230. The operation unit 220 receives display conditions for searching and displaying specific information based on the image of the player's face from a user such as a clerk. The search unit 222 searches the biometric information database 230 based on the display conditions received by the operation unit 220, and displays the image of the face of the player meeting the display conditions, and the platform of the gaming table 20 where the player played. The number, the game start time, the game end time, and the like of the player are obtained as search results and provided to the display device 250. The display device 250 displays a search result by the search unit 222.

照合部２１０は、顔情報取得部２１１、特徴量抽出部２１２、類似度導出部２１３、類似度判定部２１４、類似度判定部２１４、及びデータベース登録部２１５を有する。顔情報取得部２１１は、画像処理ユニット１００から遊技者の顔の画像を含む顔情報を取得する。顔情報取得部２１１は、遊技者の顔の画像の他に、その遊技者が遊技中の遊技台の台番号、その画像が撮像された時刻情報などを画像処理ユニット１００から取得してよい。   The matching unit 210 includes a face information acquisition unit 211, a feature amount extraction unit 212, a similarity derivation unit 213, a similarity determination unit 214, a similarity determination unit 214, and a database registration unit 215. The face information acquisition unit 211 acquires face information including an image of a player's face from the image processing unit 100. The face information acquisition unit 211 may acquire, from the image processing unit 100, the image of the face of the player, the number of the game console where the player is playing, the time information when the image was captured, and the like.

特徴量抽出部２１２は、画像に含まれる顔の情報から、画像に含まれる顔の特徴量を抽出する。特徴量は、人物などの対象物を識別可能な情報であればよく、画像の画素値の情報、又は画像に含まれる顔の目、鼻、口の間隔又は大きさ、肌の色、髪型などの外見的特徴を数値で示した情報などでよい。   The feature amount extraction unit 212 extracts a feature amount of a face included in the image from information of the face included in the image. The feature amount may be any information that can identify a target such as a person, and information on the pixel value of an image, or the distance or size of eyes, nose, and mouth of a face included in the image, skin color, hairstyle, etc. May be information indicating the external characteristics of the data by numerical values.

類似度導出部２１３は、特徴量抽出部２１２により抽出された顔の特徴量と、生体情報データベース２３０に格納されている各登録画像に含まれる各顔の特徴量との類似度を導出する。類似度判定部２１４は、導出された類似度が基準値以上あり、最も類似度が高い登録画像であるかどうかを判定する。データベース登録部２１５は、導出された類似度が基準値以上あり、類似度が最も高い登録画像を、画像処理ユニット１００により提供された今回の画像に含まれる顔の画像を用いて更新する。類似度判定部２１４により、類似度が基準値以上あり、類似度が最も高いと判定された登録画像が存在する場合、データベース登録部２１５は、今回の顔の画像を既存の登録遊技者の顔の画像として生体情報データベース２３０に登録する。一方、類似度判定部２１４により、類似度が基準値以上あり、類似度が最も高いと判定された登録画像が存在しない場合、今回の顔の画像を新規の未登録遊技者の顔の画像として生体情報データベース２３０に登録する。   The similarity deriving unit 213 derives the similarity between the feature amount of the face extracted by the feature amount extracting unit 212 and the feature amount of each face included in each registered image stored in the biometric information database 230. The similarity determination unit 214 determines whether the derived similarity is equal to or greater than the reference value and is a registered image having the highest similarity. The database registration unit 215 updates the registered image having the derived similarity equal to or more than the reference value and having the highest similarity, using the face image included in the current image provided by the image processing unit 100. When there is a registered image whose similarity is equal to or more than the reference value and the similarity is determined to be the highest by the similarity determination unit 214, the database registration unit 215 replaces the image of the current face with the face of the existing registered player. Is registered in the biometric information database 230 as the image of. On the other hand, when there is no registered image whose similarity is equal to or more than the reference value and the similarity is determined to be the highest by the similarity determination unit 214, the image of the current face is set as the image of the face of a new unregistered player. Register in the biometric information database 230.

図５は、表示装置２５０の機能ブロックを示す図である。表示装置２５０は、通信部２５２、画像処理部２５４、及び表示部２５６を有する。通信部２５２は、検索部２２２により検索された検索結果を受信する。画像処理部２５４は、表示フォーマットに従って検索結果に応じた表示用の画像データを作成する。表示部２５６は、作成された画像データを表示する。   FIG. 5 is a diagram showing functional blocks of the display device 250. The display device 250 includes a communication unit 252, an image processing unit 254, and a display unit 256. The communication unit 252 receives the search result searched by the search unit 222. The image processing unit 254 creates display image data according to the search result according to the display format. The display unit 256 displays the created image data.

図６は、画像取得部１０２による画像取得処理の手順を示すフローチャートである。画像取得部１０２は、予め定められた時間間隔毎に、例えば３０ｆｐｓで撮像装置３０から画像を取得する（Ｓ１００）。画像取得部１０２は、取得した画像を順次、先読み先出し方式で、画像格納部１０４に格納する（Ｓ１０２）。画像格納部１０４は、例えば、画像取得部１０２により取得された最新の３０枚の画像を格納する。   FIG. 6 is a flowchart illustrating a procedure of an image acquisition process performed by the image acquisition unit 102. The image acquisition unit 102 acquires an image from the imaging device 30 at a predetermined time interval, for example, at 30 fps (S100). The image acquisition unit 102 sequentially stores the acquired images in the image storage unit 104 in a read-ahead first-out manner (S102). The image storage unit 104 stores, for example, the latest 30 images acquired by the image acquisition unit 102.

図７及び図８は、画像処理ユニット１００による画像抽出処理全体の手順を示すフローチャートである。図９は、第１画像抽出部１０６による通常画像抽出処理の手順を示すフローチャートである。図１０は、第２画像抽出部１１６による高速画像抽出処理の手順を示すフローチャートである。   7 and 8 are flowcharts showing the procedure of the entire image extraction process by the image processing unit 100. FIG. 9 is a flowchart illustrating a procedure of the normal image extraction process performed by the first image extraction unit 106. FIG. 10 is a flowchart illustrating the procedure of the high-speed image extraction processing by the second image extraction unit 116.

第１画像抽出部１０６は、まず、前回顔向き情報を「ＮＵＬＬ」、通常抽出フレームＮｏ．を「０」、及び高速抽出フレームＮｏ．を「ＮＵＬＬ」に設定する（Ｓ２００）。第１画像抽出部１０６は、予め定められた第１時間間隔、例えば、３[a1]ｆｐｓで、画像格納部１０４から通常画像である第１画像を抽出する（Ｓ２０２）。   First, the first image extraction unit 106 sets the previous face orientation information to “NULL” and sets the normal extraction frame No. "0" and the high-speed extraction frame No. Is set to “NULL” (S200). The first image extracting unit 106 extracts a first image that is a normal image from the image storage unit 104 at a predetermined first time interval, for example, 3 [a1] fps (S202).

第１画像抽出部１０６は、図９に示すフローチャートに従って第１画像を抽出する。第１画像抽出部１０６は、通常抽出フレームＮｏ．に該当する画像が画像格納部１０４に既に格納されているか否かを判定する（Ｓ３００）。第１画像抽出部１０６は、該当する画像がなければ、該当する画像が画像格納部１０４に格納されるまで待機する。   The first image extraction unit 106 extracts the first image according to the flowchart shown in FIG. The first image extraction unit 106 outputs the normal extraction frame No. It is determined whether an image corresponding to is already stored in the image storage unit 104 (S300). If there is no corresponding image, the first image extracting unit 106 waits until the corresponding image is stored in the image storage unit 104.

該当する画像が画像格納部１０４に格納されていれば、第１画像抽出部１０６は、画像格納部１０４から通常抽出フレームＮｏ．に該当する画像を第１画像として抽出する（Ｓ３０２）。次いで、第１画像抽出部１０６は、通常抽出フレームＮｏ．を「＋１０」する（Ｓ３０４）。   If the corresponding image is stored in the image storage unit 104, the first image extraction unit 106 sends the normal extraction frame No. from the image storage unit 104. Is extracted as the first image (S302). Next, the first image extraction unit 106 outputs the normal extracted frame No. Is increased by “+10” (S304).

第１画像抽出部１０６が第１画像を抽出した後、顔信頼度導出部１０８は、第１画像から顔に相当するオブジェクトを検出する（Ｓ２０４）。顔信頼度導出部１０８は、第１画像に含まれるオブジェクトの顔信頼度として、オブジェクトの特徴量及び器官信頼度を第１精度で導出する。さらに、顔向き特定部１１２が、第１画像に含まれるオブジェクトの顔の向きを特定する（Ｓ２０６）。   After the first image extracting unit 106 extracts the first image, the face reliability deriving unit 108 detects an object corresponding to a face from the first image (S204). The face reliability deriving unit 108 derives the feature amount and the organ reliability of the object with the first accuracy as the face reliability of the object included in the first image. Further, the face orientation identification unit 112 identifies the orientation of the face of the object included in the first image (S206).

顔向き特定部１１２は、顔の向きが特定された第１画像が、２回目以降の顔検出での画像か否かを判定する（Ｓ２０８）。顔向き特定部１１２は、前回顔向き情報が「ＮＵＬＬ」であれば、最初の顔検出と判断し、「ＮＵＬＬ」でなければ、２回目以降の顔検出と判断する。   The face direction identification unit 112 determines whether or not the first image whose face direction has been identified is an image in the second and subsequent face detections (S208). If the previous face direction information is “NULL”, the face direction identification unit 112 determines that the first face has been detected, and if “NULL”, determines that the face has been detected for the second time or later.

顔向き特定部１１２は、最初の顔検出であれば、特定された顔の向きの情報を前回顔向き情報として顔向き格納部１１４に記憶する（Ｓ２１４）。２回目以降の顔検出であれば、第２画像抽出部１１６が、今回、顔向き特定部１１２により特定された顔向きの左右角度が０度か否かを判定する。また、第２画像抽出部１１６は、顔向き格納部１１４に格納された前回の顔向きと、顔向き特定部１１２により特定された今回の顔向きとを比較して、今回の顔向きの左右角度と前回の顔向きの左右角度とが逆極性となったか否かを判定する（Ｓ２１０）。左右角度が０度でも、逆極性でもなかったら、顔向き特定部１１２は、特定された顔の向きの情報を前回顔向き情報として顔向き格納部１１４に記憶する（Ｓ２１４）。   If the first face detection is performed, the face direction identification unit 112 stores the information on the direction of the identified face in the face direction storage unit 114 as previous face direction information (S214). In the case of the second and subsequent face detections, the second image extraction unit 116 determines whether the left and right angles of the face orientation specified by the face orientation identification unit 112 are 0 degrees this time. Further, the second image extraction unit 116 compares the previous face orientation stored in the face orientation storage unit 114 with the current face orientation identified by the face orientation identification unit 112, and determines whether the current face orientation is left or right. It is determined whether or not the angle and the left and right angles of the previous face orientation have opposite polarities (S210). If the left-right angle is neither 0 degree nor the opposite polarity, the face direction identification unit 112 stores the information of the identified face direction in the face direction storage unit 114 as previous face direction information (S214).

左右角度が０度、又は逆極性であれば、第２画像抽出部１１６は、今回の顔向きの上下角度が０度であるか否かを判定する。また、第２画像抽出部１１６は、顔向き格納部１１４に格納された前回の顔向きと、顔向き特定部１１２により特定された今回の顔向きとを比較して、今回の顔向きの上下角度と前回の顔向きの上下角度とが逆極性となったか否かを判定する（Ｓ２１２）。上下角度が０度でも、逆極性でもなければ、顔向き特定部１１２は、特定された顔の向きの情報を前回顔向き情報として顔向き格納部１１４に記憶する（Ｓ２１４）。   If the left-right angle is 0 degrees or the opposite polarity, the second image extraction unit 116 determines whether the up-down angle of the current face direction is 0 degrees. Further, the second image extraction unit 116 compares the previous face orientation stored in the face orientation storage unit 114 with the current face orientation identified by the face orientation identification unit 112, and determines whether the current face orientation is up or down. It is determined whether or not the angle and the vertical angle of the previous face orientation have opposite polarities (S212). If the vertical angle is neither 0 degree nor the opposite polarity, the face direction identification unit 112 stores the information on the identified face direction in the face direction storage unit 114 as previous face direction information (S214).

左右角度が０度、又は左右角度が逆極性、かつ上下角度が０度、又は上下角度が逆極性であれば、画像処理ユニット１００は、高速抽出モードに移行する。まず、第２画像抽出部１１６は、通常抽出フレームＮｏ．を「−２」した値を高速抽出フレームＮｏ．とする。また、第２画像抽出部１１６は、通常抽出フレームＮｏ．を「−１０」した値をＥＮＤフレームＮｏ．とする（Ｓ２２０）。   If the left-right angle is 0 degree, or the left-right angle is reverse polarity, and the up-down angle is 0 degree or the up-down angle is reverse polarity, the image processing unit 100 shifts to the high-speed extraction mode. First, the second image extraction unit 116 outputs the normal extraction frame No. Of the high-speed extraction frame No. And In addition, the second image extraction unit 116 outputs the normal extracted frame No. Is changed to “−10” by the END frame No. (S220).

次いで、第２画像抽出部１１６は、現在の高速抽出フレームＮｏ．がＥＮＤフレームＮｏ．より大きいか否かを判定する（Ｓ２２２）。大きければ、第２画像抽出部１１６は、高速画像抽出を実行する。第２画像抽出部１１６は、第１時間間隔より短い第２時間間隔毎に、例えば、１５ｆｐｓで、画像格納部１０４から画像を高速画像である第２画像として抽出する（Ｓ２２４）。   Next, the second image extraction unit 116 outputs the current high-speed extraction frame No. Is the END frame No. It is determined whether or not it is larger than (S222). If it is larger, the second image extraction unit 116 executes high-speed image extraction. The second image extraction unit 116 extracts an image from the image storage unit 104 as a high-speed second image at every second time interval shorter than the first time interval, for example, at 15 fps (S224).

第２画像抽出部１１６は、図１０に示すフローチャートに従って第２画像を抽出する。第２画像抽出部１１６は、画像格納部１０４から高速抽出フレームＮｏ.に該当する画像を第２画像として抽出する（Ｓ４００）。次いで、第２画像抽出部１１６は、高速抽出フレームＮｏ．を「−２」する（Ｓ４０２）。   The second image extraction unit 116 extracts a second image according to the flowchart shown in FIG. The second image extraction unit 116 extracts an image corresponding to the high-speed extraction frame No. from the image storage unit 104 as a second image (S400). Next, the second image extracting unit 116 outputs the high-speed extracted frame No. Is reduced by "-2" (S402).

第２画像抽出部１１６が第２画像を抽出した後、顔信頼度導出部１０８が、第２画像に対して顔検出を実行し（Ｓ２２６）、第２画像に含まれる顔に相当するオブジェクトについて、特徴量及び器官信頼度を第２精度で導出する。さらに、顔向き特定部１１２が、第２画像に含まれる顔の向きを特定する（Ｓ２２８）。   After the second image extraction unit 116 extracts the second image, the face reliability derivation unit 108 performs face detection on the second image (S226), and performs an operation on the object corresponding to the face included in the second image. , Feature quantity and organ reliability are derived with the second accuracy. Further, the face direction specifying unit 112 specifies the direction of the face included in the second image (S228).

第２画像抽出部１１６は、今回の第２画像の顔の左右角度と、前回の第２画像の顔の左右角度とが同極性となったか否かを判定する（Ｓ２３０）。同極性でなければ、第２画像抽出部１１６は、高速抽出モードを継続すべく、ステップＳ２２２以降のステップを繰り返す。   The second image extraction unit 116 determines whether the left and right angles of the face of the current second image and the left and right angles of the face of the previous second image have the same polarity (S230). If the polarities are not the same, the second image extraction unit 116 repeats the steps after step S222 to continue the high-speed extraction mode.

また、第２画像抽出部１１６は、今回の第２画像の上下角度と、前回の第２画像の上下角度とが同極性となったか否かを判定する（Ｓ２３２）。同極性でなければ、第２画像抽出部１１６は、高速抽出モードを継続すべく、ステップＳ２２２以降のステップを繰り返す。   In addition, the second image extraction unit 116 determines whether or not the current vertical angle of the second image and the previous vertical angle of the second image have the same polarity (S232). If the polarities are not the same, the second image extraction unit 116 repeats the steps after step S222 to continue the high-speed extraction mode.

同極性となった場合には、第２画像抽出部１１６は高速抽出モードを終了すべく、高速抽出フレームＮｏ．をＥＮＤフレームＮｏ．にする（Ｓ２３４）。高速抽出フレームＮｏ．がＥＮＤフレームＮｏ．に達すると、第２画像抽出部１１６は、高速抽出モードを終了する。   When the polarities are the same, the second image extracting unit 116 ends the high-speed extraction frame No. in order to end the high-speed extraction mode. Of the END frame No. (S234). High-speed extraction frame No. Is the END frame No. , The second image extraction unit 116 ends the high-speed extraction mode.

以上の通り、本実施形態に係る画像処理ユニット１００によれば、遊技者の顔が正面を向いた画像を抽出できる可能性が高い場合、画像格納部１０４に格納された画像を抽出する時間間隔を通常よりも短くして、顔検出を実行する画像の数を増加させる。これにより、画像処理ユニット１００は、処理負担の増大を抑制しつつ、遊技者の顔が正面を向いた画像をより効率的に抽出することができる。   As described above, according to the image processing unit 100 according to the present embodiment, when there is a high possibility that an image in which the face of the player faces front can be extracted, the time interval for extracting the image stored in the image storage unit 104 Is shorter than usual, and the number of images for which face detection is performed is increased. Thus, the image processing unit 100 can more efficiently extract an image in which the player's face is facing forward while suppressing an increase in the processing load.

例えば、図１１に示すように、前回の第１画像の顔の左右角度と、今回の第１画像の顔の左右角度との極性が同一である場合には、前回の第１画像と、今回の第１画像との間の他の画像の顔が正面を向く、つまり、顔の角度が０度に近い可能性が低い。一方、図１２及び図１３に示すように、前回の第１画像の顔の左右角度と、今回の第１画像の顔の左右角度との極性が逆である場合、前回の第１画像と、今回の第１画像との間の少なくとも一つの他の画像の顔が正面を向く、つまり、顔の角度が０度に近い可能性が高い。そこで、第２画像抽出部１１６は、今回の第１画像と前回の第１画像との間の画像を第２画像として抽出して、顔検出を実行する画像の枚数を増加させる。これにより、画像処理ユニット１００は、遊技者の顔が正面を向いた画像をより効率的に抽出することができる。   For example, as shown in FIG. 11, when the polarity of the left and right angles of the face of the previous first image is the same as the polarity of the left and right angles of the face of the current first image, the previous first image and the current The face of the other image between the first image and the first image faces front, that is, it is unlikely that the angle of the face is close to 0 degrees. On the other hand, as shown in FIGS. 12 and 13, when the left and right angles of the face of the previous first image are opposite to the polarities of the face of the current first image, the previous first image and There is a high possibility that the face of at least one other image between the first image and the current image faces the front, that is, the face angle is close to 0 degrees. Therefore, the second image extracting unit 116 extracts an image between the current first image and the previous first image as a second image, and increases the number of images for which face detection is performed. Thereby, the image processing unit 100 can more efficiently extract the image in which the player's face faces front.

図１４は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ１２００の例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の１又は複数の「部」として機能させることができ、又は当該操作又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ１２１２によって実行されてよい。   FIG. 14 illustrates an example of a computer 1200 in which aspects of the present invention may be wholly or partially embodied. The program installed in the computer 1200 can cause the computer 1200 to function as an operation associated with the device according to the embodiment of the present invention or one or more “units” of the device, or the operation or the one or more units. A plurality of “units” may be executed, and / or the computer 1200 may execute a process or a step of the process according to an embodiment of the present invention. Such programs may be executed by CPU 1212 to cause computer 1200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、グラフィックコントローラ１２１６、及びディスプレイデバイス１２１８を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、ハードディスクドライブ１２２４、及びＩＣカードドライブのような入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。コンピュータ１２００は、キーボードのようなレガシの入力／出力ユニットを含み、それらは入出力チップ１２４０を介して入力／出力コントローラ１２２０に接続されている。   The computer 1200 according to the present embodiment includes a CPU 1212, a RAM 1214, a graphic controller 1216, and a display device 1218, which are interconnected by a host controller 1210. Computer 1200 also includes input / output units such as a communication interface 1222, a hard disk drive 1224, and an IC card drive, which are connected to a host controller 1210 via an input / output controller 1220. Computer 1200 also includes ROM 1230. Computer 1200 includes legacy input / output units such as a keyboard, which are connected to input / output controller 1220 via input / output chip 1240.

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中にＣＰＵ１２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。   The CPU 1212 operates according to programs stored in the ROM 1230 and the RAM 1214, and controls each unit. The graphic controller 1216 obtains the image data generated by the CPU 1212 in a frame buffer or the like provided in the RAM 1214 or in itself, and causes the image data to be displayed on the display device 1218.

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。   The communication interface 1222 communicates with another electronic device via a network. The hard disk drive 1224 stores programs and data used by the CPU 1212 in the computer 1200. The IC card drive reads programs and data from the IC card and / or writes programs and data to the IC card.

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入力／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入力／出力コントローラ１２２０に接続してよい。   The ROM 1230 stores therein a boot program executed by the computer 1200 at the time of activation and / or a program depending on hardware of the computer 1200. The input / output chip 1240 may also connect various input / output units to the input / output controller 1220 via parallel ports, serial ports, keyboard ports, mouse ports, and the like.

プログラムが、ＣＲ−ＲＯＭ、ＵＳＢ又はＩＣカードのようなコンピュータ可読記録媒体又はネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるハードディスクドライブ１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報の操作又は処理を実現することによって構成されてよい。   The program is provided via a computer-readable recording medium such as a CR-ROM, a USB or an IC card, or a network. The program is installed in a hard disk drive 1224, a RAM 1214, or a ROM 1230, which is also an example of a computer-readable recording medium, and is executed by the CPU 1212. The information processing described in these programs is read by the computer 1200 and provides a link between the programs and the various types of hardware resources described above. An apparatus or method may be configured by implementing operations or processing of information according to the use of computer 1200.

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御下、ＲＡＭ１２１４、ハードディスクドライブ１２２４、又はＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。   For example, when communication is performed between the computer 1200 and an external device, the CPU 1212 executes a communication program loaded in the RAM 1214, and performs communication processing with the communication interface 1222 based on the processing described in the communication program. You may order. The communication interface 1222 reads transmission data stored in a transmission buffer processing area provided in a recording medium such as a RAM 1214, a hard disk drive 1224, or an IC card under the control of the CPU 1212, and transmits the read transmission data to a network. The transmission or reception data received from the network is written in a reception buffer processing area or the like provided on a recording medium.

また、ＣＰＵ１２１２は、ハードディスクドライブ１２２４、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックする。   Also, the CPU 1212 causes the RAM 1214 to read all or a necessary part of a file or database stored in an external recording medium such as a hard disk drive 1224, an IC card, or the like, and performs various types of processing on the data on the RAM 1214. May be performed. Next, the CPU 1212 writes back the processed data to the external recording medium.

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。   Various types of information such as various types of programs, data, tables, and databases may be stored on the recording medium and subjected to information processing. The CPU 1212 performs various types of operations, information processing, condition determination, conditional branching, unconditional branching, and information retrieval described in various parts of the present disclosure and specified by the instruction sequence of the program, on the data read from the RAM 1214. Various types of processing may be performed, including / replace, and the results are written back to RAM 1214. Further, the CPU 1212 may search for information in a file, a database, or the like in the recording medium. For example, when a plurality of entries each having the attribute value of the first attribute associated with the attribute value of the second attribute are stored in the recording medium, the CPU 1212 specifies the attribute value of the first attribute. Searching for an entry matching the condition from the plurality of entries, reading an attribute value of a second attribute stored in the entry, and associating the attribute value with a first attribute satisfying a predetermined condition. The attribute value of the obtained second attribute may be obtained.

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。   The programs or software modules described above may be stored on computer 1200 or on a computer readable medium near computer 1200. In addition, a recording medium such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable medium, thereby providing a program to the computer 1200 via the network. I do.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As described above, the present invention has been described using the embodiments, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each processing such as operation, procedure, step, and step in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before”, “before”. It should be noted that they can be realized in any order as long as the output of the previous process is not used in the subsequent process. Even if the operation flow in the claims, the specification, and the drawings is described using "first," "second," or the like for convenience, it means that it is essential to perform the operation in this order. Not something.

１０ 台間機
２０ 遊技台
３０ 撮像装置
３２ 法線方向
７０ 計数機
８０ 精算機
９０ 遊技者
１００ 画像処理ユニット
１０２ 画像取得部
１０４ 画像格納部
１０６ 第１画像抽出部
１０８ 顔信頼度導出部
１１０ 顔信頼度判定部
１１２ 顔向き特定部
１１４ 顔向き格納部
１１６ 第２画像抽出部
１１８ 顔向き判定部
１２０ 第３画像抽出部
１２２ 送受信部
２００ 生体情報認識装置
２１０ 照合部
２１１ 顔情報取得部
２１２ 特徴量抽出部
２１３ 類似度導出部
２１４ 類似度判定部
２１５ データベース登録部
２２０ 操作部
２２２ 検索部
２３０ 生体情報データベース
２５０ 表示装置
２５２ 通信部
２５４ 画像処理部
２５６ 表示部
３００ 遊技店管理装置
３３０ 遊技台管理データベース
３５０ 表示装置
４００ 媒体貸出管理装置
４３０ 媒体貸出管理データベース
４５０ 表示装置
１０００ 遊技システム
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２１６ グラフィックコントローラ
１２１８ ディスプレイデバイス
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２２４ ハードディスクドライブ
１２３０ ＲＯＭ
１２４０ 入出力チップ 10 machine 20 gaming machine 30 imaging device 32 normal direction 70 counter 80 settlement machine 90 player 100 image processing unit 102 image acquisition unit 104 image storage unit 106 first image extraction unit 108 face reliability derivation unit 110 face reliability Degree determination unit 112 Face orientation identification unit 114 Face orientation storage unit 116 Second image extraction unit 118 Face orientation determination unit 120 Third image extraction unit 122 Transmission / reception unit 200 Biometric information recognition device 210 Collation unit 211 Face information acquisition unit 212 Feature extraction Unit 213 similarity derivation unit 214 similarity determination unit 215 database registration unit 220 operation unit 222 search unit 230 biometric information database 250 display unit 252 communication unit 254 image processing unit 256 display unit 300 game store management device 330 game console management database 350 display Device 400 Medium lending management device 430 Medium lending management database Scan 450 display device 1000 game system 1200 computer 1210 host controller 1212 CPU
1214 RAM
1216 graphic controller 1218 display device 1220 input / output controller 1222 communication interface 1224 hard disk drive 1230 ROM
1240 I / O chip

Claims (11)

時間的に連続する複数の画像を格納する画像格納部と、
前記複数の画像の一部である複数の第１画像を抽出する第１画像抽出部と、
前記複数の第１画像のそれぞれに含まれる顔が向いている方向を特定する顔向き特定部と、
時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、前記２つの第１画像の間の少なくとも１つの第２画像を前記複数の画像から抽出し、又は前記第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、前記第１画像と前記第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を前記複数の画像から抽出する第２画像抽出部と
を備える画像抽出装置。 An image storage unit that stores a plurality of temporally continuous images,
A first image extracting unit that extracts a plurality of first images that are a part of the plurality of images;
A face direction specifying unit that specifies a direction in which a face included in each of the plurality of first images is facing;
When a predetermined direction is included between the directions in which the faces included in each of the two temporally consecutive first images are facing, at least one second image between the two first images is displayed. If the direction in which the face included in the first image is directed is included in a range of a predetermined direction, the first image and the first image are continuous before or after the first image. A second image extracting unit configured to extract at least one second image between the plurality of images and another first image. 前記画像格納部は、先入れ先出し方式で予め定められた数の前記複数の画像を格納する、請求項１に記載の画像抽出装置。   The image extraction device according to claim 1, wherein the image storage unit stores a predetermined number of the plurality of images in a first-in first-out manner. 前記画像格納部は、撮像装置が特定の領域を撮像することにより得られた前記複数の画像を格納する、請求項１又は２に記載の画像抽出装置。   The image extraction device according to claim 1, wherein the image storage unit stores the plurality of images obtained by the imaging device imaging a specific area. 前記撮像装置は、遊技台の周辺に設置されている、請求項３に記載の画像抽出装置。   The image extraction device according to claim 3, wherein the imaging device is installed around a gaming table. 前記撮像装置は、前記遊技台の遊技に関する処理を実行する遊技周辺機器に設置されている、請求項４に記載の画像抽出装置。   The image extraction device according to claim 4, wherein the imaging device is installed in a game peripheral device that executes a process related to a game of the game table. 請求項１から５の何れか１つに記載の画像抽出装置と、
前記複数の第１画像及び前記少なくとも１つの第２画像のそれぞれから、顔に相当するオブジェクトの顔の顔らしさを示す顔信頼度を導出する顔信頼度導出部と、
前記顔信頼度導出部により導出された顔信頼度が基準顔信頼度より大きいか否かを判定する顔信頼度判定部と、
前記複数の第１画像及び前記少なくとも１つの第２画像のそれぞれに含まれる顔が向いている方向が、予め定められた方向の範囲に含まれるか否かを判定する顔向き判定部と、
前記複数の第１画像及び前記少なくとも１つの第２画像の中から、前記顔信頼度判定部により顔信頼度が前記基準顔信頼度より大きいと判定され、かつ前記顔向き判定部により顔が向いている方向が前記予め定められた方向の範囲に含まれると判定されたオブジェクトを含む第３画像を抽出する第３画像抽出部と、
前記第３画像抽出部により抽出された前記第３画像に含まれる顔の画像を、顔データベースに格納されている顔の画像と照合する照合部と
を備える顔照合システム。 An image extraction device according to any one of claims 1 to 5,
A face reliability deriving unit that derives, from each of the plurality of first images and the at least one second image, a face reliability indicating a face-likeness of a face of an object corresponding to a face;
A face reliability determination unit that determines whether the face reliability derived by the face reliability derivation unit is greater than a reference face reliability,
A face direction determination unit that determines whether a direction in which a face included in each of the plurality of first images and the at least one second image is directed is included in a range of a predetermined direction,
From the plurality of first images and the at least one second image, the face reliability determination unit determines that the face reliability is greater than the reference face reliability, and the face orientation determination unit turns the face. A third image extracting unit that extracts a third image including an object whose direction is determined to be included in the range of the predetermined direction;
A face matching system comprising: a matching unit that matches a face image included in the third image extracted by the third image extracting unit with a face image stored in a face database. 前記顔信頼度導出部は、前記複数の第１画像から前記顔信頼度を第１精度で導出し、前記少なくとも１つの第２画像から前記顔信頼度を前記第１精度より高い第２精度で導出する、請求項６に記載の顔照合システム。   The face reliability deriving unit derives the face reliability from the plurality of first images with a first accuracy, and calculates the face reliability from the at least one second image with a second accuracy higher than the first accuracy. The face matching system according to claim 6, which derives the face. 請求項６又は７に記載の顔照合システムを備える遊技者管理システムであって、
遊技機の遊技に関する処理を実行する遊技周辺機器であって、前記画像抽出装置、前記顔信頼度導出部、前記顔信頼度判定部、及び前記第３画像抽出部を有する遊技周辺機器と、
前記照合部、及び前記顔データベースを有する顔照合装置と
を備える遊技者管理システム。 A player management system comprising the face matching system according to claim 6 or 7,
A game peripheral device that executes processing related to a game of a gaming machine, the game peripheral device having the image extraction device, the face reliability derivation unit, the face reliability determination unit, and the third image extraction unit,
A player management system comprising the matching unit and a face matching device having the face database. 前記遊技周辺機器は、前記第３画像抽出部により抽出された前記第１画像及び前記第２画像を前記顔照合装置に送信し、前記第３画像抽出部により抽出されていない前記第１画像及び前記第２画像を前記顔照合装置に送信しない、請求項８に記載の遊技者管理システム。   The gaming peripheral device transmits the first image and the second image extracted by the third image extraction unit to the face matching device, and outputs the first image and the second image not extracted by the third image extraction unit. 9. The player management system according to claim 8, wherein the second image is not transmitted to the face matching device. 時間的に連続する複数の画像を画像格納部に格納する段階と、
前記複数の画像の一部である複数の第１画像を抽出する段階と、
前記複数の第１画像のそれぞれに含まれる顔の向きを特定する段階と、
時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、前記２つの第１画像の間の少なくとも１つの第２画像を前記複数の画像から抽出し、又は前記第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、前記第１画像と前記第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を前記複数の画像から抽出する段階と
を備える画像抽出方法。 Storing a plurality of temporally continuous images in an image storage unit;
Extracting a plurality of first images that are part of the plurality of images;
Identifying a direction of a face included in each of the plurality of first images;
When a predetermined direction is included between the directions in which the faces included in each of the two temporally consecutive first images are facing, at least one second image between the two first images is displayed. If the direction in which the face included in the first image is directed is included in a range of a predetermined direction, the first image and the first image are continuous before or after the first image. Extracting at least one second image between the first and second images from the plurality of images. 時間的に連続する複数の画像を画像格納部に格納する段階と、
前記複数の画像の一部である複数の第１画像を抽出する段階と、
前記複数の第１画像のそれぞれに含まれる顔の向きを特定する段階と、
時間的に連続する２つの第１画像のそれぞれに含まれる顔が向いている方向の間に予め定められた方向が含まれる場合、前記２つの第１画像の間の少なくとも１つの第２画像を前記複数の画像から抽出し、又は前記第１画像に含まれる顔が向いている方向が予め定められた方向の範囲に含まれる場合、前記第１画像と前記第１画像の前もしくは後に連続する他の第１画像との間の少なくとも１つの第２画像を前記複数の画像から抽出する段階と
をコンピュータに実行させるためのプログラム。 Storing a plurality of temporally continuous images in an image storage unit;
Extracting a plurality of first images that are part of the plurality of images;
Identifying a direction of a face included in each of the plurality of first images;
When a predetermined direction is included between the directions in which the faces included in each of the two temporally consecutive first images are facing, at least one second image between the two first images is displayed. If the direction in which the face included in the first image is directed is included in a range of a predetermined direction, the first image and the first image are continuous before or after the first image. Extracting at least one second image between the first and second images from the plurality of images.

Images