JP2011003138A - Person identification system, person identification method, person identification device and person identification program - Google Patents
Person identification system, person identification method, person identification device and person identification program Download PDFInfo
- Publication number
- JP2011003138A JP2011003138A JP2009147742A JP2009147742A JP2011003138A JP 2011003138 A JP2011003138 A JP 2011003138A JP 2009147742 A JP2009147742 A JP 2009147742A JP 2009147742 A JP2009147742 A JP 2009147742A JP 2011003138 A JP2011003138 A JP 2011003138A
- Authority
- JP
- Japan
- Prior art keywords
- person
- area
- persons
- operated
- operation object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムに関する。 The present invention relates to a person identification system, a person identification method, a person identification apparatus, and a person identification program for associating a video of a person who has operated an operation target with a person identifier.
一般に、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システムが知られている（例えば、特許文献１、２参照）。
例えば、特許文献１に示される人物識別システム（人物追跡装置）は、図１３に示すように、ＩＤ読取装置１０１と、人物を撮影するセンサ１０２と、人物の特徴情報を抽出する特徴情報抽出手段１０３と、人物の識別情報を取得する識別情報取得手段１０４と、識別情報と特徴情報を関連付ける特徴学習手段１０５とから構成されている。
In general, there is known a person identification system that associates an image of a person who operates an operation target with an identifier of the person (for example, see
For example, as shown in FIG. 13, a person identification system (person tracking device) disclosed in
このような構成を有する人物識別システムは、以下のように動作する。
まず、システムの利用者がＩＤ読取装置１０１にＩＤカードを近づけると、ＩＤ読取装置１０１によってＩＤが読み取られ、これが識別情報取得手段１０４によって取得される。
同時に、センサ１０２によって所定の範囲の映像が取得され、特徴情報抽出手段１０３によって特徴量が抽出される。
このとき、センサ１０２により取得された映像には１人の人物が撮影されていることを前提として、ＩＤ読取装置１０１を操作した人物を特定している。
The person identification system having such a configuration operates as follows.
First, when a system user brings an ID card close to the
At the same time, an image in a predetermined range is acquired by the
At this time, the person who operated the
次いで、特徴学習手段１０５によってＩＤと撮影された人物の特徴量の結びつけを行い、センサ１０２で取得された人物の映像とＩＤの紐付けを行う。
この紐付けを行うことにより、ある領域内を移動する人物の映像が誰であるかを特定することができ、その領域へ入退している人物を特定することが可能になる。
Next, the
By performing this association, it is possible to identify who is the video of the person who moves within a certain area, and it is possible to identify the person who has entered or exited that area.
また、このような人物識別技術は、例えば、特許文献３に示されるように、人物同士がある領域で出会い、会話のきっかけを提供するシステムに適用することが考えられる。
具体的には、ディスプレイの前に来た人物は、ＩＤ読取装置にＩＤカードをタッチして、ディスプレイに自分の属性情報を表示させる。このとき、上述のような人物特定技術によってタッチした人物を特定し、その人物がその領域を出た際にはディスプレイに表示したその人物の属性情報を消去することができる。
Further, for example, as shown in Patent Document 3, such a person identification technique can be applied to a system in which persons meet in a certain area and provide an opportunity for conversation.
Specifically, the person who came in front of the display touches the ID card on the ID reading device to display his / her attribute information on the display. At this time, the person touched by the person specifying technique as described above is specified, and when the person leaves the area, the attribute information of the person displayed on the display can be deleted.
しかしながら、特許文献１に記載の人物識別システムでは、センサによって取得される映像に含まれる人物の数が１であることを前提としており、図１４に示すようにセンサで取得された映像に含まれる人物の数が２以上の場合には、操作対象物（特許文献１ではＩＤ読取装置）をどの人物が操作したかがわからず、結果的にそれぞれの人物を特定することができないという問題があった。
However, in the person identification system described in
本発明の目的は、上述した課題である、センサで取得された映像に含まれる人物の数が２以上の場合においても、操作対象物を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができるという課題を解決する人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムの提供を目的とする。 The object of the present invention is to identify one person who is operating the operation target even when the number of persons included in the image acquired by the sensor, which is the problem described above, is two or more. It is an object of the present invention to provide a person identification system, a person identification method, a person identification device, and a person identification program that can solve the problem of being able to associate an image of a person with an identifier of a person.
上記目的を達成するため本発明の人物識別システムは、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを備え、前記人物識別装置が、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備える構成としてある。 In order to achieve the above object, a person identification system according to the present invention includes an operation target, a sensor that acquires an image of a region in which the operation target can be operated, a video of a person who operates the operation target, and a person identifier. A person identification device, and the person identification device detects that the operation object has been operated and / or an object operation detection means for detecting an operated position of the operation object, When the operation target is operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person operating the operation target; When the number of persons is 2 or more, the apparatus includes a person specifying unit that specifies one person who is operating the operation target object from two or more persons.
また、本発明の人物識別方法は、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを用い、前記人物識別装置に、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手順と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手順と、を実行させる方法としてある。 In the person identification method of the present invention, the operation target, a sensor that acquires an image of a region in which the operation target can be operated, and the video of the person who operated the operation target are associated with the person identifier. The person identification device is used, and the person identification device is operated by the object to be operated and / or the object operation detection procedure for detecting the operation position of the object to be operated, and the operation object is When operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person operating the operation target, and the number of persons Is a person specifying procedure for specifying one person who is operating the operation target object from two or more persons.
また、本発明の人物識別装置は、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるにあたり、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備える構成としてある。 Further, the person identification device of the present invention is connected to an operation target and a sensor that acquires an image of a region in which the operation target can be operated, and an image of a person who operates the operation target and a person identifier When the operation object is operated and / or object operation detection means for detecting the operation position of the operation object, and when the operation object is operated, the image is displayed. When the number of persons included is detected and the number of persons is 1, the person is identified as the person who is operating the operation target, and when the number of persons is 2 or more, 2 And a person specifying means for specifying one person who is operating the operation target from the above persons.
また、本発明の人物識別プログラムは、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるコンピュータを動作させるにあたり、前記コンピュータを、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段、として機能させる構成としてある。 The person identification program of the present invention is connected to an operation object and a sensor that acquires an image of a region in which the operation object can be operated, and includes an image of a person who operates the operation object, a person identifier, When operating the computer associated with the operation object, the operation object is detected by the operation object and / or the operation position of the operation object is detected, and the operation object is operated by the operation object. The number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person operating the operation target, and the number of persons is In the case of two or more, it is configured to function as a person specifying unit that specifies one person who is operating the operation target object from two or more persons.
本発明によれば、センサで取得された映像に含まれる人物の数が２以上の場合においても、操作対象物を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。 According to the present invention, even when the number of persons included in the video acquired by the sensor is two or more, one person who is operating the operation target is specified, and the video of the specified person and the identifier of the person are identified. Can be linked.
以下、本発明に係る人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムの実施形態について、図面を参照して説明する。
なお、以下に示す本発明の人物識別システム及び人物識別装置で実行される処理動作（人物識別方法）は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。
プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような本発明の所定の処理、例えば、操作対象物が操作されたことや操作対象物の***作位置を検出する対象物操作検出処理、操作対象物が操作されたときに、映像に含まれる人物の数を検出して人物を特定する人物特定処理、センサの映像取得領域から、操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出処理、センサの映像取得領域から、操作対象物の***作位置を基準とした一部の領域を抽出する第二の領域抽出処理等の各処理・手順を行わせる。
Hereinafter, embodiments of a person identification system, a person identification method, a person identification apparatus, and a person identification program according to the present invention will be described with reference to the drawings.
The processing operation (person identification method) executed by the person identification system and person identification apparatus of the present invention described below is realized by processes, means, and functions executed by a computer in accordance with instructions of a program (software).
The program sends a command to each component of the computer and performs predetermined processing of the present invention as described below, for example, object operation detection for detecting that the operation object has been operated and the operation position of the operation object. Processing, a person identification process that identifies the person by detecting the number of people included in the image when the operation object is operated, and a part based on the installation position of the operation object from the image acquisition area of the sensor Each process / procedure such as a first area extraction process for extracting the first area, a second area extraction process for extracting a part of the area from the sensor image acquisition area based on the operated position of the operation target Let it be done.
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
Thus, each process and means in the present invention are realized by specific means in which the program and the computer cooperate.
Note that all or part of the program is provided by, for example, a magnetic disk, optical disk, semiconductor memory, or any other computer-readable recording medium, and the program read from the recording medium is installed in the computer and executed. The The program can also be loaded and executed directly on a computer through a communication line without using a recording medium.
［第一実施形態］
図１は、本発明の第一実施形態に係る人物識別システムの概略構成を示すブロック図である。
この図に示すように、本発明の第一実施形態に係る人物識別システムは、操作対象物１と、操作対象物１を操作可能な領域の映像を取得するセンサ２と、操作対象物１を操作した人物の映像と人物の識別子とを紐付ける人物識別装置３とを備えている。
[First embodiment]
FIG. 1 is a block diagram showing a schematic configuration of a person identification system according to the first embodiment of the present invention.
As shown in this figure, the person identification system according to the first embodiment of the present invention includes an
人物識別装置３は、操作対象物１が操作されたこと、及び／又は、操作対象物１の***作位置を検出する対象物操作検出手段４と、操作対象物１が操作されたとき、映像に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、２以上の人物から操作対象物１を操作している１の人物を特定する人物特定手段５とを備えている。
このような構成により、センサ２で取得された映像に含まれる人物の数が２以上の場合においても、操作対象物１を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。
When the
With such a configuration, even when the number of persons included in the image acquired by the
つぎに、本発明の第一実施形態に係る人物識別システムの具体的な構成について、図２を参照して説明する。
図２は、本発明の第一実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
この図に示すように、本発明の第一実施形態に係る人物識別システムの人物識別装置３は、上述した対象物操作検出手段４及び人物特定手段５（図１参照）を備えるとともに、人物検出手段６と、人物追跡手段７と、対象物指定手段８と、第一の領域抽出手段９と、第二の領域抽出手段１０と、個人識別情報取得手段１１と、個人識別情報格納手段１２、個人特定手段１３の各手段を備えている。
Next, a specific configuration of the person identification system according to the first embodiment of the present invention will be described with reference to FIG.
FIG. 2 is a block diagram showing a specific configuration of the person identification system according to the first embodiment of the present invention.
As shown in this figure, the person identification device 3 of the person identification system according to the first embodiment of the present invention includes the above-described object operation detection means 4 and person identification means 5 (see FIG. 1), and also detects a person.
人物検出手段６は、センサ２が取得した映像から人物を検出する手段である。
人物追跡手段７は、人物検出手段６が検出した人物を追跡する手段である。
対象物指定手段８は、センサ２の映像取得領域において操作対象物１の設置位置を指定する手段である。
第一の領域抽出手段９は、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域（第一の領域）を抽出する手段である。
第二の領域抽出手段１０は、センサ２の映像取得領域から、操作対象物１の***作位置を基準とした第二の操作可能領域（第二の領域）を抽出する手段である。
The person detection means 6 is means for detecting a person from the video acquired by the
The person tracking means 7 is means for tracking the person detected by the person detecting means 6.
The object specifying means 8 is means for specifying the installation position of the
The first area extracting means 9 is a means for extracting a first operable area (first area) based on the installation position of the
The second area extracting means 10 is a means for extracting a second operable area (second area) based on the operated position of the
個人識別情報取得手段１１は、特定した人物の個人識別情報を取得する手段である。
個人識別情報格納手段１２は、個人識別の参照データとなる個人識別情報を予め格納する手段である。
個人特定手段１３は、個人識別情報取得手段１１が取得した個人識別情報と、個人識別情報格納手段１２に格納された個人識別情報との類似度にもとづいて、特定した人物が誰であるかを特定する手段である。
The personal identification information acquisition means 11 is means for acquiring personal identification information of the specified person.
The personal identification information storage means 12 is means for previously storing personal identification information serving as reference data for personal identification.
The
以下、上記のような各手段を備えて構成される本実施形態に係る人物識別システムの具体的な処理・動作について、図３を参照して説明する。
図３は、本発明の第一実施形態に係る人物識別システムの動作手順を示すフローチャートである。
この図に示すように、本実施形態に係る人物識別システムの導入時においては、まず、センサ２の取得映像と対象物指定手段８により、センサ映像取得領域内における操作対象物１の設置位置が指定される（図３のステップＳＴ１）。
また、操作対象物１の設置位置が指定されると、第一の領域抽出手段９により、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域が抽出される（図３のステップＳＴ２）。
さらに、所定の個人識別情報が、個人識別情報格納手段１２に格納される（図３のステップＳＴ３）。
Hereinafter, specific processes and operations of the person identification system according to the present embodiment configured by including the above-described units will be described with reference to FIG.
FIG. 3 is a flowchart showing an operation procedure of the person identification system according to the first embodiment of the present invention.
As shown in this figure, when the person identification system according to the present embodiment is introduced, first, the installation position of the
In addition, when the installation position of the
Further, predetermined personal identification information is stored in the personal identification information storage means 12 (step ST3 in FIG. 3).
以上の導入時の設定・動作が完了すると、人物識別システムは定常動作状態になる。
この状態でセンサ２の映像取得領域に人が入った場合は、センサ映像取得領域内の人物が人物検出手段６によって検出される（図３のステップＳＴ４）。そして、センサ映像取得領域内の人物の移動が人物追跡手段７によって追跡される（図３のステップＳＴ５）。
つぎに、操作対象物１が操作されたか否か、また、操作された場合にはその操作対象物１の***作位置が、対象物操作検出手段４によって検出される（図３のステップＳＴ６）。
操作対象物１の操作が検出された場合は、人物特定手段５により第一の操作可能領域内に存在する人物の数が判定される（図３のステップＳＴ７）。
When the setting and operation at the time of introduction are completed, the person identification system is in a steady operation state.
When a person enters the image acquisition area of the
Next, whether or not the
When the operation of the
第一の操作可能領域内に存在する人物が１人と判定された場合には、センサ映像から個人識別情報取得手段１１によって個人識別情報が取得され（図３のステップＳＴ８）、個人特定手段１３によって個人識別情報格納手段１２に格納された個人識別情報との類似度が算出される（図３のステップＳＴ９）。
これによって、操作対象物１を操作した人物が誰かが特定され、特定された人物の映像とその人物の識別子とが紐付けられる（図３のステップＳＴ１０）。
If it is determined that there is one person in the first operable area, personal identification information is acquired from the sensor video by the personal identification information acquisition means 11 (step ST8 in FIG. 3), and the personal identification means 13 is obtained. Thus, the similarity with the personal identification information stored in the personal identification information storage means 12 is calculated (step ST9 in FIG. 3).
As a result, the person who operated the
また、第一の操作可能領域内に２人以上の人が存在すると判定された場合は、後述する対象物指定方法が「線」であることが確認された後（図３のステップＳＴ１１）、第二の領域抽出手段１０によって、操作対象物１の***作位置を基準とした第二の操作可能領域が抽出される（図３のステップＳＴ１２）。
次いで、人物特定手段５により、第二の操作可能領域内に存在する人物の数が判定される（図３のステップＳＴ１３）。
Further, when it is determined that there are two or more people in the first operable region, after it is confirmed that the object designation method described later is “line” (step ST11 in FIG. 3), A second operable region is extracted by the second region extracting means 10 based on the operated position of the operation target 1 (step ST12 in FIG. 3).
Next, the number of persons existing in the second operable area is determined by the person specifying means 5 (step ST13 in FIG. 3).
第二の操作可能領域内に存在する人物が１人と判定された場合は、センサ映像から個人識別情報取得手段１１により個人識別情報が取得されるとともに（図３のステップＳＴ８）、個人特定手段１３によって個人識別情報格納手段１２に格納された個人識別情報との類似度が算出され（図３のステップＳＴ９）、操作対象物１を操作した人物が誰かが特定させる。
そして、特定された操作対象物１を操作した人物の映像と個人識別子とが紐付ける（図３のステップＳＴ１０）。
また、第二の操作可能領域内に２人以上の人が存在すると判定された場合には、エラー情報を出力する（図３のステップＳＴ１４）。
When it is determined that there is one person in the second operable area, the personal identification information is acquired from the sensor video by the personal identification information acquisition unit 11 (step ST8 in FIG. 3), and the
Then, the video of the person who operated the specified
If it is determined that there are two or more people in the second operable area, error information is output (step ST14 in FIG. 3).
なお、上述したセンサ２は、単一のセンサに限定されるものではなく、センサ映像取得領域を広く取る場合には、複数のセンサにより構成してもよい。
また、操作対象物１が個人情報取得する機能を備える場合は、センサ映像から個人識別情報を取得するのではなく、図４に示すように、操作対象物１の操作を通して、個人識別情報取得手段１４及び個人識別情報格納手段１５から個人識別情報を取得し（図５のステップＳＴ１５）、個人特定手段１６によって操作対象物１を操作した個人を特定し、操作した人物の映像と人物の識別子とを紐付けることができる（図５のステップＳＴ１６）。
なお、図５において、第一、第二の操作可能領域内の人物の数を判定して人物を特定する動作については上述した通りである。
Note that the
Further, when the
In FIG. 5, the operation of determining the number of persons in the first and second operable areas and specifying the person is as described above.
つぎに、本発明の第一実施形態に係る人物識別システムの具体的な利用形態について、図６及び図７を参照してする。
図６は、本実施形態に係る人物識別システムの利用状況を示す説明図である。
この図に示す利用形態では、操作対象物１としてタッチパネル付きのディスプレイ、センサ２としてカメラを考える。操作対象物１がカメラ画像に含まれるように、天井、壁、または操作対象物１から伸びるステーにカメラを取り付ける。カメラからの画像は図６に示すように、操作対象物１であるタッチパネル付きディスプレイを含む一点鎖線で囲まれた領域である。
Next, a specific usage pattern of the person identification system according to the first embodiment of the present invention will be described with reference to FIGS.
FIG. 6 is an explanatory diagram showing the usage status of the person identification system according to the present embodiment.
In the usage form shown in this figure, a display with a touch panel is considered as the
本システム導入時に、図６に示すようなカメラからの画像を表示したコンピュータ上で、マウス等の一般的に使用されているユーザインタフェースを用いて、操作対象物１の設置位置を指定する。
ここでは、タッチパネル付きディスプレイは、人が手を伸ばして操作する最大距離（約１ｍ）に比べて無視できないサイズの操作対象物１であるため、操作対象物１の設置位置をタッチパネル領域に対応する線として指定する（図３のステップＳＴ１）。
When the system is introduced, the installation position of the
Here, since the display with a touch panel is the
指定された線から操作可能距離の範囲（図６で破線部分）を第一の操作可能領域として抽出する（図３のステップＳＴ２）。
更に、本システムを利用する人の個人識別情報を予め取得し、個人識別情報格納手段１２により保持する（図３のステップＳＴ３）。
この状態で、本システムは定常動作状態となり、画像取得領域内の人物を検出する（図３のステップＳＴ４）。
人物の検出方法は、例えば、背景差分法を用いて、リファレンスとなる人物がいない場合の背景画像と、人物が存在する場合の画像の差分を取り、差分として人物が存在する場合に追加された各ピクセルを階層化クラスタリングアルゴリズムなどの手法を用いて、近いピクセル同士を結合してグループ化する。各グループの面積がある範囲内のものを人物と判定する方法がある。
The range of the operable distance from the designated line (broken line portion in FIG. 6) is extracted as the first operable region (step ST2 in FIG. 3).
Further, personal identification information of a person who uses this system is acquired in advance and held by the personal identification information storage means 12 (step ST3 in FIG. 3).
In this state, the system enters a steady operation state, and detects a person in the image acquisition area (step ST4 in FIG. 3).
The person detection method was added, for example, by using the background subtraction method to take the difference between the background image when there is no reference person and the image when there is a person, and when there is a person as the difference Each pixel is grouped by combining nearby pixels using a technique such as a hierarchical clustering algorithm. There is a method of determining a person within a certain area of each group as a person.
例えば、人物Ａと人物Ｂを検出し、検出した人物を追跡したら（図３のステップＳＴ５）、人物Ａと人物Ｂの位置関係が図６に示すようになり、そのとき、人物Ｂがタッチパネル付きディスプレイを操作したとする（図３のステップＳＴ６）。
このとき、第一の操作可能領域内には人物Ｂしか存在しないことが人物Ｂの位置座標と第一の操作可能領域の関係から分かる（図３のステップＳＴ７）。そして、上部カメラからの画像により取得可能な髪型や服の色などの個人識別情報を取得し（図３のステップＳＴ８）、予め登録していた個人識別情報との類似度によりタッチパネル付きディスプレイを操作した人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図３のステップＳＴ９、ＳＴ１０）。
For example, when the persons A and B are detected and the detected persons are tracked (step ST5 in FIG. 3), the positional relationship between the persons A and B becomes as shown in FIG. Assume that the display is operated (step ST6 in FIG. 3).
At this time, it can be seen from the relationship between the position coordinates of the person B and the first operable area that only the person B exists in the first operable area (step ST7 in FIG. 3). Then, personal identification information such as a hairstyle and clothing color that can be acquired from the image from the upper camera is acquired (step ST8 in FIG. 3), and the display with touch panel is operated according to the similarity to the personal identification information registered in advance. The person B is identified, and the video of the person B and the identifier of the person B are linked (steps ST9 and ST10 in FIG. 3).
また、第一の操作可能領域内に人物Ｂと人物Ｃが存在する場合は、人物Ｂ、人物Ｃの位置座標と第一の操作可能領域の関係から、第一の操作可能領域内に２人の人物が存在することが分かる。
このとき、タッチパネル付きディスプレイにタッチした水平方向の位置座標をタッチパネルの出力から取得する。そして、操作対象物１として指定した線の長さとタッチパネルの水平方向の解像度の比から、指定した線上におけるタッチした***作位置を算出し、その***作位置を中心とした第二の操作可能領域を抽出する（図３のステップＳＴ１２）。
In the case where the person B and the person C exist in the first operable area, two people in the first operable area are determined from the relationship between the position coordinates of the person B and the person C and the first operable area. It can be seen that there is a person.
At this time, the horizontal position coordinate touched on the display with a touch panel is acquired from the output of the touch panel. Then, the touched operation position on the specified line is calculated from the ratio between the length of the line specified as the
第二の操作可能領域内には人物Ｂしか存在しないことが人物Ｂの位置座標と第二の操作可能領域の関係から分かる（図３のステップＳＴ１３）。そして、上部カメラからの画像により取得可能な髪型や服の色などの個人識別情報を取得し（図３のステップＳＴ８）、予め登録していた個人識別情報との類似度によりタッチパネル付きディスプレイを操作した人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図３のステップＳＴ９、ＳＴ１０）。
なお、第二の操作可能領域内に複数の人物が存在する場合には、エラー情報をタッチパネル付きディスプレイ上に表示する（図３のステップＳＴ１４）。
It can be seen from the relationship between the position coordinates of the person B and the second operable area that only the person B exists in the second operable area (step ST13 in FIG. 3). Then, personal identification information such as a hairstyle and clothing color that can be acquired from the image from the upper camera is acquired (step ST8 in FIG. 3), and the display with touch panel is operated according to the similarity to the personal identification information registered in advance. The person B is identified, and the video of the person B and the identifier of the person B are linked (steps ST9 and ST10 in FIG. 3).
If there are a plurality of persons in the second operable area, error information is displayed on the display with a touch panel (step ST14 in FIG. 3).
図７は、本発明の第一実施形態に係る人物識別システムの別の利用状況を示す説明図である。
この図に示す利用形態では、操作対象物１としてＩＤカードリーダ、センサ２としてカメラを考える。前述の利用形態と同様に、操作対象物１がカメラ画像に含まれるように天井、壁、または操作対象物から伸びるステーにカメラを取り付ける。カメラからの画像は、図７に示すように操作対象物１であるＩＤカードリーダを含む一点鎖線で囲まれた領域である。
FIG. 7 is an explanatory diagram showing another usage situation of the person identification system according to the first embodiment of the present invention.
In the usage form shown in this figure, an ID card reader is considered as the
本システム導入時に、図７に示すようなカメラからの画像を表示したコンピュータ上で、マウス等の一般的に使用されているユーザインタフェースを用いて、操作対象物１の位置を指定する。ここで、ＩＤカードリーダは、人が手を伸ばして操作する最大距離（約１m）に比べて無視できるサイズの操作対象物１であるため、操作対象物１の設置位置は点で指定する（図５のステップＳＴ１）。
指定された点から操作可能距離の範囲（図７で破線部分）を第一の操作可能領域として抽出する（図５のステップＳＴ２）。
When the system is introduced, the position of the
The range of the operable distance from the designated point (the broken line portion in FIG. 7) is extracted as the first operable region (step ST2 in FIG. 5).
つぎに、前述の利用形態と同様に、第一の操作可能領域に存在するのは人物Ｂであることを検出し（図５のステップＳＴ７）、ＩＤカードリーダの読取結果から人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図５のステップＳＴ１５、１６）。
なお、操作対象物１の指定方法を判定し（図５のステップＳＴ１１）、操作対象物が点で指定されている場合には、第一の操作可能領域と第二の操作可能領域が同一となるので、第一の操作可能領域内に複数人が存在する場合には、第二の操作可能領域の抽出や判定処理をスキップし、ＩＤカードリーダから警告音を出力する（図６のステップＳＴ１４）。
Next, as in the above-described usage pattern, it is detected that the person B exists in the first operable area (step ST7 in FIG. 5), and the person B is identified from the reading result of the ID card reader. The video of person B and the identifier of person B are linked (steps ST15 and ST16 in FIG. 5).
Note that the method of specifying the
以上のように構成された本実施形態によれば、操作対象物１と、操作対象物１を操作可能な領域の映像を取得するセンサ２と、操作対象物１を操作した人物の映像と人物の識別子とを紐付ける人物識別装置３とを備え、人物識別装置３が、操作対象物１が操作されたこと、及び／又は、操作対象物１の***作位置を検出する対象物操作検出手段４と、操作対象物１が操作されたとき、映像に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、２以上の人物から操作対象物１を操作している１の人物を特定する人物特定手段５とを備えるので、センサ２で取得された映像に含まれる人物の数が２以上の場合においても、操作対象物１を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。
According to the present embodiment configured as described above, the
また、人物識別装置３は、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域を抽出する第一の領域抽出手段９と、センサ２の映像取得領域から、操作対象物１の***作位置を基準とした第二の操作可能領域を抽出する第二の領域抽出手段１０とを備え、人物特定手段５が、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、第二の操作可能領域に含まれる人物の数を検出し、その数が１の場合に、その人物が操作対象物１を操作している１の人物であると特定することができる。
これにより、操作対象物１の設置位置を基準とした第一の操作可能領域に複数の人物が存在する状況でも、操作対象物１の***作位置を基準として、操作対象物１を操作している１の人物を正確に特定することができるようになる。
In addition, the person identification device 3 includes a first
As a result, even when there are a plurality of persons in the first operable region based on the installation position of the
［第二実施形態］
つぎに、本発明の第二実施形態に係る人物識別システムについて、図８〜図１２を参照して説明する。
図８は、本発明の第二実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
この図に示すように、本発明の第二実施形態に係る人物識別システムは、上述した第一実施形態における人物検出システムの構成に加えて、操作確度算出手段１７を備える点が第一実施形態と相違している。
[Second Embodiment]
Next, a person identification system according to a second embodiment of the present invention will be described with reference to FIGS.
FIG. 8 is a block diagram showing a specific configuration of the person identification system according to the second embodiment of the present invention.
As shown in this figure, the person identification system according to the second embodiment of the present invention includes an operation accuracy calculation means 17 in addition to the configuration of the person detection system in the first embodiment described above. Is different.
操作確度算出手段１７は、第二の操作可能領域に含まれる人物毎に、操作対象物１の***作位置を頂点として各人物が含まれる扇領域を抽出し、この扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する。
これにより、人物特定手段５は、第二の操作可能領域に含まれる人物の数が２以上の場合であっても、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
For each person included in the second operable area, the operation accuracy calculation means 17 extracts a fan area including each person with the operated position of the
Thereby, even if the number of persons included in the second operable area is two or more, the
つぎに、本発明の第二実施形態に係る人物識別システムにおける具体的な処理・動作について、図８及び図９を参照して説明する。
図９は、本発明の第二実施形態に係る人物識別システムの動作手順を示すフローチャートである。
なお、操作対象物１の設置位置の指定（図９のステップＳＴ１）から、第一の操作可能領域内の人物の数を検出（図９のステップＳＴ７）までの動作、さらに、第一、第二の操作可能領域内の人物が１人の場合の動作は、第一実施形態と同様の動作であるため、説明は省略する。
Next, specific processes and operations in the person identification system according to the second embodiment of the present invention will be described with reference to FIGS.
FIG. 9 is a flowchart showing an operation procedure of the person identification system according to the second embodiment of the present invention.
The operation from the designation of the installation position of the operation target 1 (step ST1 in FIG. 9) to the detection of the number of persons in the first operable region (step ST7 in FIG. 9), and the first and second Since the operation when the number of persons in the second operable area is one is the same as that in the first embodiment, the description thereof is omitted.
操作確度算出手段１７は、第二の操作可能領域内（設置位置の指定が点の場合は第一の操作可能領域内）の人物が２人以上の場合、センサ２の取得映像を分析することによって、第二の操作可能領域内の人物毎に、操作対象物１を操作した可能性の大きさを示す操作確度を算出する（図９のステップＳＴ１７）。
つぎに、個々の人物の操作確度を比較し、操作確度の高い人物を、操作対象物１を操作した１の人物として特定する（図９のステップＳＴ１８）。
なお、操作対象物１を操作した人物を特定した後の個人を特定する動作については、第一実施形態と同様である。
The operation accuracy calculation means 17 analyzes the acquired image of the
Next, the operation accuracy of each person is compared, and a person with high operation accuracy is specified as one person who has operated the operation target 1 (step ST18 in FIG. 9).
In addition, about the operation | movement which specifies the individual after specifying the person who operated the
つぎに、本発明の第二実施形態に係る人物識別システムの具体的な利用形態について、図１０及び図１１を参照して説明する。
図１０は、本発明の第二実施形態に係る人物識別システムの利用状況を示す説明図、図１１は、本発明の第二実施形態に係る人物識別システムの操作確度算出方法を示す説明図である。
Next, a specific usage pattern of the person identification system according to the second embodiment of the present invention will be described with reference to FIGS.
FIG. 10 is an explanatory diagram showing a usage situation of the person identification system according to the second embodiment of the present invention, and FIG. 11 is an explanatory diagram showing an operation accuracy calculation method of the person identification system according to the second embodiment of the present invention. is there.
図１０に示す利用形態では、操作対象物１としてタッチパネル付きディスプレイ、センサ２としてカメラを考える。操作対象物１がカメラ画像に含まれるように天井、壁、または操作対象物１から伸びるステーにカメラを取り付ける。カメラからの画像は図１０に示すように操作対象物１であるタッチパネル付きディスプレイを含む一点鎖線で囲まれた領域である。
なお、操作対象物１の指定（図９のステップＳＴ１）、第一の操作可能領域の抽出（図９のステップＳＴ２）、人物検出（図９のステップＳＴ４）、人物の追跡（図９のステップＳＴ５）、第二の操作可能領域の抽出（図９のステップＳＴ１２）については、第一実施形態の利用形態と同様である。
In the utilization form shown in FIG. 10, a display with a touch panel is considered as the
Note that the
人物Ｂと人物Ｄの位置関係が図１０に示すようになり、そのとき、人物Ｂがタッチパネル付きディスプレイを操作したとする（図９のステップＳＴ６）。
このとき、第二の操作可能領域内には人物Ｂ、人物Ｄが存在することが、人物Ｂ、人物Ｄの位置座標と第二の操作可能領域の関係から分かる（図９のステップＳＴ１３）。
The positional relationship between the person B and the person D is as shown in FIG. 10, and it is assumed that the person B operates the display with a touch panel (step ST6 in FIG. 9).
At this time, it can be seen from the relationship between the position coordinates of the person B and the person D and the second operable area that the person B and the person D exist in the second operable area (step ST13 in FIG. 9).
この場合、人物Ｂ、人物Ｄについて、それぞれの操作確度を算出する（図９のステップＳＴ１７）。操作確度は、例えば、背景差分法により人物が存在しない状況でのカメラ画像と、人物が存在する場合のカメラ画像との差分から、差分ピクセルを算出する。
つぎに、図１１に示すようなタッチパネル付きディスプレイにタッチした位置を頂点とする人物Ｂを含む扇領域から人物Ｂの部分を除いた三角領域と、人物Ｄを含む扇領域から人物Ｄの部分を除いた三角領域とのそれぞれに含まれる差分ピクセルの数（＝面積）を算出する。そして、それぞれの三角領域に含まれる差分ピクセルの数（＝面積の小ささ）を操作確度とする。
In this case, the respective operation accuracy is calculated for the person B and the person D (step ST17 in FIG. 9). For the operation accuracy, for example, a difference pixel is calculated from a difference between a camera image in a situation where no person exists by the background difference method and a camera image when a person exists.
Next, a triangular area obtained by removing the person B from the fan area including the person B having the position touched on the display with the touch panel as illustrated in FIG. The number (= area) of difference pixels included in each of the excluded triangular regions is calculated. Then, the number of difference pixels (= smallness of the area) included in each triangular area is set as the operation accuracy.
なお、操作確度の算出については、オプティカルフロー推定により、タッチパネル付きディスプレイへのタッチを検出したときに、タッチ直前のタッチ位置を中心とする動きベクトルを検出するとともに、タッチした位置を頂点として各人物を含む扇領域内の動きベクトルの大きさを操作確度として算出しても良い。 Regarding the calculation of the operation accuracy, when a touch on a display with a touch panel is detected by optical flow estimation, a motion vector centered on the touch position immediately before the touch is detected, and each person with the touched position as a vertex is detected. The size of the motion vector in the fan area including “” may be calculated as the operation accuracy.
そして、人物Ｂ、人物Ｄのそれぞれの操作確度を比較し、操作確度が高い方がタッチパネル付きディスプレイを操作していると判定する（図９のステップＳＴ１８）。
なお、個人識別情報の取得（図９のステップＳＴ８）、識別情報の類似度算出（図９のステップＳＴ９）、個人の特定（図９のステップＳＴ１０）については、第一実施形態の利用形態と同様である。
また、操作対象物１が個人情報取得する機能を備える場合は、センサ映像から個人識別情報を取得するのではなく、図１２に示すように、操作対象物１の操作を通して、個人識別情報取得手段１４及び個人識別情報格納手段１５から個人識別情報を取得し、個人特定手段１６によって操作対象物１を操作した個人を特定し、操作した人物の映像と人物の識別子とを紐付けることができる。
Then, the operation accuracy of each of person B and person D is compared, and it is determined that the one with higher operation accuracy is operating the display with a touch panel (step ST18 in FIG. 9).
Note that acquisition of personal identification information (step ST8 in FIG. 9), calculation of similarity of identification information (step ST9 in FIG. 9), and identification of an individual (step ST10 in FIG. 9) are the same as the usage mode of the first embodiment. It is the same.
Further, when the
以上のように構成された第二実施形態によれば、人物識別装置３が、第二の操作可能領域に含まれる人物毎に、操作対象物１の***作位置を頂点として各人物が含まれる扇領域を抽出し、扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する操作確度算出手段１７を備え、人物特定手段５が、第二の操作可能領域に含まれる人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することができる。
これにより、第二の操作可能領域に含まれる人物の数が２以上の場合であっても、操作対象物１を操作している１の人物を特定することが可能になる。
According to the second embodiment configured as described above, the person identification device 3 includes each person with the operated position of the
Thereby, even if the number of persons included in the second operable area is two or more, it is possible to specify one person who is operating the
例えば、センサ２が、操作対象物１を操作可能な領域を上方から撮影し、操作対象物１が、タッチパネル付きのディスプレイであり、設置位置がタッチパネル領域に対応する線として指定される場合に、人物特定手段５は、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、前記人物の数が２以上の場合に、第二の操作可能領域に含まれる人物の数を検出し、その数が１の場合に、その人物が操作対象物１を操作している１の人物であると特定し、第二の操作可能領域に含まれる人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
For example, when the
また、センサ２が、操作対象物１を操作可能な領域を上方から撮影し、操作対象物１が、ＩＤカード読取装置であり、設置位置がＩＤカード読取位置に対応する点として指定される場合に、人物特定手段５は、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、前記人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
そして、操作対象物１の設置位置が点で指定される場合は、第一及び第二の操作可能領域が同じになるので、上記のように第二の操作可能領域の抽出や、第二の操作可能領域内の人数判定をスキップすることにより、処理負担の軽減や処理速度の向上を図ることができる。
Further, when the
And when the installation position of the
以上、本発明の人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムについて、実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、特許請求の範囲内で種々の変更が可能であることは言うまでもない。 As described above, the person identification system, the person identification method, the person identification apparatus, and the person identification program according to the present invention have been described with reference to the embodiments. However, the present invention is not limited to the above-described embodiments, and is claimed. It goes without saying that various modifications can be made within the range described above.
本発明は、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムとして利用することができる。また、これらを含む人物検出システム、人物追跡システムなどでも利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used as a person identification system, a person identification method, a person identification device, and a person identification program for associating an image of a person who has operated an operation target with a person identifier. Further, it can also be used in a person detection system including these, a person tracking system, and the like.
１ 操作対象物
２ センサ
３ 人物識別装置
４ 対象物操作検出手段
５ 人物特定手段
６ 人物検出手段
７ 人物追跡手段
８ 対象物指定手段
９ 第一の領域抽出手段
１０ 第二の領域抽出手段
１１ 個人識別情報取得手段
１２ 個人識別情報格納手段
１３ 個人特定手段
１４ 個人識別情報取得手段
１５ 個人識別情報格納手段
１６ 個人特定手段
１７ 操作確度算出手段
DESCRIPTION OF
Claims (11)
前記人物識別装置が、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備えることを特徴とする人物識別システム。 An operation object, a sensor that acquires an image of an area in which the operation object can be operated, and a person identification device that associates an image of a person who operated the operation object with an identifier of the person,
The person identification device is
An object operation detection means for detecting that the operation object has been operated and / or an operated position of the operation object;
When the operation object is operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person who is operating the operation object. A person identifying system comprising: a person identifying unit that identifies one person who is operating the operation target from two or more persons when the number of persons is two or more.
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手段と、
前記センサの映像取得領域から、前記操作対象物の***作位置を基準とした一部の領域を抽出する第二の領域抽出手段と、を備え、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定する請求項１記載の人物識別システム。 The person identification device is
A first area extracting means for extracting a part of the area based on the installation position of the operation object from the image acquisition area of the sensor;
A second area extracting means for extracting a partial area based on the operated position of the operation target from the image acquisition area of the sensor,
The person specifying means is
When the operation object is operated, the number of persons included in the first area is detected, and when the number of persons is 1, the person is operating the operation object. When the number of persons is 2 or more, the number of persons included in the second area is detected, and when the number is 1, the person operates the operation target. The person identification system according to claim 1, wherein the person identification system is identified as one person.
前記第二の領域に含まれる人物毎に、前記操作対象物の***作位置を頂点として各人物が含まれる扇領域を抽出し、前記扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、前記扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する操作確度算出手段を備え、
前記人物特定手段が、
前記第二の領域に含まれる人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項２記載の人物識別システム。 The person identification device is
For each person included in the second area, extract the fan area including each person with the operated position of the operation target as a vertex, and the small area of the triangular area excluding the person from the fan area, And / or comprising an operation accuracy calculation means for calculating, as the operation accuracy, the magnitude of the motion vector immediately before the operation in the fan area,
The person specifying means is
The person identification according to claim 2, wherein when the number of persons included in the second area is two or more, one person who operates the operation target is specified based on the operation accuracy of each person. system.
前記操作対象物を操作可能な領域を上方から撮影し、
前記操作対象物が、
タッチパネル付きのディスプレイであり、前記設置位置がタッチパネル領域に対応する線として指定され、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定し、前記第二の領域に含まれる人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項３記載の人物識別システム。 The sensor is
Shooting from above the area where the operation object can be operated,
The operation object is
A display with a touch panel, the installation position is designated as a line corresponding to the touch panel area,
The person specifying means is
When the operation object is operated, the number of persons included in the first area is detected, and when the number of persons is 1, the person is operating the operation object. When the number of persons is 2 or more, the number of persons included in the second area is detected, and when the number is 1, the person operates the operation target. If the number of persons included in the second area is two or more, the one person who is operating the operation target is determined based on the operation accuracy of each person. The person identification system according to claim 3 to be specified.
前記操作対象物を操作可能な領域を上方から撮影し、
前記操作対象物が、
ＩＤカード読取装置であり、前記設置位置がＩＤカード読取位置に対応する点として指定され、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項３記載の人物識別システム。 The sensor is
Shooting from above the area where the operation object can be operated,
The operation object is
An ID card reader, wherein the installation position is designated as a point corresponding to the ID card reading position;
The person specifying means is
When the operation object is operated, the number of persons included in the first area is detected, and when the number of persons is 1, the person is operating the operation object. 4. The person identification system according to claim 3, wherein when the number of persons is two or more, one person who is operating the operation target is specified based on the operation accuracy of each person.
前記人物識別装置に、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手順と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手順と、を実行させることを特徴とする人物識別方法。 Using an operation object, a sensor that acquires an image of an area in which the operation object can be operated, and a person identification device that associates an image of a person who operated the operation object with a person identifier,
In the person identification device,
An object operation detection procedure for detecting that the operation object has been operated and / or an operated position of the operation object;
When the operation object is operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person who is operating the operation object. And a person identification procedure for identifying one person who is operating the operation target from two or more persons when the number of persons is two or more.
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手順と、
前記センサの映像取得領域から、前記操作対象物の***作位置を基準とした一部の領域を抽出する第二の領域抽出手順と、を実行させ、
前記人物特定手段に、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定させる請求項６記載の人物識別方法。 In the person identification device,
A first region extraction procedure for extracting a portion of the region based on the installation position of the operation object from the image acquisition region of the sensor;
A second region extraction procedure for extracting a portion of the region based on the operated position of the operation target from the image acquisition region of the sensor;
In the person identification means,
When the operation object is operated, the number of persons included in the first area is detected, and when the number of persons is 1, the person is operating the operation object. When the number of persons is 2 or more, the number of persons included in the second area is detected, and when the number is 1, the person operates the operation target. The person identifying method according to claim 6, wherein the person is identified as one person.
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備えることを特徴とする人物識別装置。 In connection with an operation object and a sensor that acquires an image of an area in which the operation object can be operated, and associating an image of a person who operated the operation object with an identifier of a person,
An object operation detection means for detecting that the operation object has been operated and / or an operated position of the operation object;
When the operation object is operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person who is operating the operation object. A person identifying device comprising: a person identifying unit that identifies one person who is operating the operation target from two or more persons when the number of persons is two or more.
前記センサの映像取得領域から、前記操作対象物の***作位置を基準とした一部の領域を抽出する第二の領域抽出手段と、を備え、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定する請求項８記載の人物識別装置。 A first area extracting means for extracting a part of the area based on the installation position of the operation object from the image acquisition area of the sensor;
A second area extracting means for extracting a partial area based on the operated position of the operation target from the image acquisition area of the sensor,
The person specifying means is
When the operation object is operated, the number of persons included in the first area is detected, and when the number of persons is 1, the person is operating the operation object. When the number of persons is 2 or more, the number of persons included in the second area is detected, and when the number is 1, the person operates the operation target. The person identifying apparatus according to claim 8, wherein the person identifying apparatus identifies the person as one person.
前記コンピュータを、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の***作位置を検出する対象物操作検出手段、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段、として機能させることを特徴とする人物識別プログラム。 When operating a computer that is connected to an operation object and a sensor that acquires an image of an area in which the operation object can be operated, and associates an image of a person who has operated the operation object with an identifier of a person,
The computer,
Object operation detecting means for detecting that the operation object has been operated and / or an operated position of the operation object;
When the operation object is operated, the number of persons included in the video is detected, and when the number of persons is 1, the person is identified as the person who is operating the operation object. When the number of persons is two or more, a person identifying program that functions as person identifying means for identifying one person who is operating the operation target from two or more persons.
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手段、
前記センサの映像取得領域から、前記操作対象物の***作位置を基準とした一部の領域を抽出する第二の領域抽出手段、として機能させ、
前記人物特定手段に、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出させ、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定させ、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出させ、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定させる請求項１０記載の人物識別プログラム。 The computer,
A first region extracting means for extracting a partial region based on the installation position of the operation target object from the image acquisition region of the sensor;
From the image acquisition area of the sensor, to function as a second area extraction means for extracting a partial area based on the operated position of the operation target,
In the person identification means,
When the operation target is operated, the number of persons included in the first region is detected, and when the number of persons is 1, the person is operating the operation target. When the number of persons is 2 or more, the number of persons included in the second area is detected. When the number is 1, the person is operating the operation target. The person identifying program according to claim 10, wherein the person identifying program is specified to be one person.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009147742A JP2011003138A (en) | 2009-06-22 | 2009-06-22 | Person identification system, person identification method, person identification device and person identification program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009147742A JP2011003138A (en) | 2009-06-22 | 2009-06-22 | Person identification system, person identification method, person identification device and person identification program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011003138A true JP2011003138A (en) | 2011-01-06 |
Family
ID=43561021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009147742A Pending JP2011003138A (en) | 2009-06-22 | 2009-06-22 | Person identification system, person identification method, person identification device and person identification program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011003138A (en) |
-
2009
- 2009-06-22 JP JP2009147742A patent/JP2011003138A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101603017B1 (en) | Gesture recognition device and gesture recognition device control method | |
| JP7282851B2 (en) | Apparatus, method and program | |
| JP5381569B2 (en) | Gesture recognition device, gesture recognition method, and gesture recognition program | |
| CN104487915B (en) | Maintain the continuity of amplification | |
| JP5001260B2 (en) | Object tracking method and object tracking apparatus | |
| JP6364743B2 (en) | Information processing apparatus, control method, program, and information system | |
| JP6639091B2 (en) | Display control device and display control method | |
| TWI438702B (en) | Method for setting dynamic enviromental image borders and method for instantly determining the content of staff member activities | |
| JP2016099941A (en) | System and program for estimating position of object | |
| JP5754990B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6210234B2 (en) | Image processing system, image processing method, and program | |
| EP2591460A1 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| JP2007233871A (en) | Image processor, control method for computer, and program | |
| JP6638723B2 (en) | Image analysis device, image analysis method, and image analysis program | |
| JP5668587B2 (en) | Image processing apparatus, image processing method, and program | |
| JPWO2014050432A1 (en) | Information processing system, information processing method, and program | |
| JP2010140425A (en) | Image processing system | |
| JP6283008B2 (en) | Tracking device | |
| JP5441151B2 (en) | Facial image tracking device, facial image tracking method, and program | |
| JP2006244272A (en) | Hand position tracking method, device and program | |
| JP6393409B2 (en) | Image recognition system, camera state estimation device, and program | |
| JP2011003138A (en) | Person identification system, person identification method, person identification device and person identification program | |
| WO2016142965A1 (en) | Video processing device, video processing method, and storage medium storing video processing program | |
| KR101837482B1 (en) | Image processing method and apparatus, and interface method and apparatus of gesture recognition using the same | |
| JP2019101745A (en) | Biological image processing device, biological image processing method, and biological image processing program |