JP2007043579A - Object identification system and detection apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object identification system capable of simultaneously and consecutively identifying a plurality of objects positioned in the direction of a user's sight. <P>SOLUTION: An infrared tag 6 is attached to a prescribed object and flickers in accordance with an ID number uniquely assigned to the object, and a detection apparatus 1 is mounted on a user's head, and a CMOS image sensor 22 photographs a near infrared image including the object in the direction user's sight, and an image processor 23 generates a binary image resulting from binarizing the near infrared image photographed by the CMOS sensor 22 and detects the infrared tag 6 on the basis of temporal changes in the brightness of the binary image and detects the ID number from the flickering state of the detected infrared tag 6 and detects XY coordinates of the infrared tag 6 on the near infrared image and outputs data of the ID number, XY coordinates, etc. to a portable computer 10. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる検出装置に関するものである。   INDUSTRIAL APPLICABILITY The present invention is used in an object identification system for identifying an object located in a user's field of view by detecting a light emitting device attached to the object with a detection device attached to the user, and the object identification system. The present invention relates to a detection device.

近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照）。   In recent years, in order to recognize the movement of a person in a room, a technique for knowing the position of an individual using a wireless or wearable navigation system has been developed. In addition, a technology for automatically recognizing an ID (identification information) of an object viewed by a person using an ID tag that rapidly blinks infrared rays has been developed (see, for example, Non-Patent Documents 1 and 2).

しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。   However, in the method using the ID tag that blinks the infrared light at a high speed, since a normal camera is used, the processing speed cannot be ensured sufficiently, and for example, even a low-speed object such as a person's movement can be captured. I couldn't. In addition, there is a camera that uses a special high-speed camera to improve the processing speed. However, the camera is expensive and large-sized, and cannot be applied to a use worn by a person.

このため、本願発明者らは、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを開発している（特許文献１参照）。この対象物識別システムでは、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影し、この赤外線画像の中から所定サイズの光点をＩＤタグとして検出することにより対象物の識別情報を取得している。
青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６ 松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６ 特開２００４−２０８２２９号公報 For this reason, the inventors of the present application can identify an object located in the direction of the user's line of sight, and can identify an object that can be reduced in size and cost so that the processing speed is high and a person can wear it. A system is being developed (see Patent Document 1). In this object identification system, an infrared image of a predetermined imaging region including an object is captured, and an optical spot having a predetermined size is identified from the infrared image. The identification information of the object is acquired by detecting it as a tag.
Tsuyoshi Aoki, infrared tag read by camera and its application, interactive system and software VIII (WISS 2000), Japan Society for Software Science, Modern Science, 2000, pp. 131-136 Nobuyuki Matsushita, 4 others, ID Cam: Image sensor capable of acquiring scene and ID simultaneously, Interaction 2002, Information Processing Society of Japan, 2002, pp. 9-16 JP 2004-208229 A

しかしながら、上記の対象物識別システムでは、赤外線画像の中から所定サイズの光点を中心とする領域を切り出して一つのＩＤタグを検出しているため、複数のＩＤタグを同時に且つ連続的に検出することができない。   However, in the above object identification system, since a single ID tag is detected by cutting out an area centered on a light spot of a predetermined size from an infrared image, a plurality of ID tags are detected simultaneously and continuously. Can not do it.

本発明の目的は、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる対象物識別システムを提供することである。   The objective of this invention is providing the target object identification system which can identify the several target object located in a user's gaze direction simultaneously and continuously.

本発明に係る対象物識別システムは、対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を基に発光装置の識別情報を検出する識別情報検出手段とを備えるものである。   An object identification system according to the present invention includes a plurality of light emitting devices attached to an object and a detection device attached to a user. The light emitting device includes light emitting means for emitting infrared rays, and the light emitting device is attached to the light emitting device. A light emission control means for causing the light emission means to blink in accordance with identification information uniquely assigned to a given object, and the detection device has an optical axis substantially coincident with the user's line of sight, An imaging unit that sequentially captures images of a predetermined area including an object at predetermined intervals, and a multi-valued image that is obtained by creating a multi-valued image based on the brightness of each pixel. The light spot detecting means for detecting the light spot blinking based on the temporal change in brightness of each pixel of the digitized image, and the identification information of the light emitting device based on the blinking state of the light spot detected by the light spot detecting means With identification information detecting means for detecting That.

本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   In the object identification system according to the present invention, the light emitting device blinks according to the identification information uniquely assigned to the object to which the light emitting device is attached, and the detection device attached to the user causes the user to An image of a predetermined imaging region including an object positioned in the line-of-sight direction is photographed, and a multi-valued image is created based on the brightness of each pixel from the photographed image, and the created multi-valued image The flashing light spot is detected based on the temporal change in brightness of each pixel, and the identification information of the light emitting device is detected based on the detected flashing state of the light spot. The object can be identified. In addition, a multi-valued image is created based on the brightness of each pixel from the photographed image, and the light spot blinks based on the temporal brightness change of each pixel of the created multi-valued image Therefore, a plurality of light spots included in one image can be detected simultaneously and at high speed. Therefore, a plurality of objects positioned in the user's line of sight can be identified simultaneously and continuously.

光点検出手段は、撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することが好ましい。   It is preferable that the light spot detection means creates a multi-valued image in which the image photographed by the photographing means is multi-valued based on a predetermined reference brightness value.

この場合、所定の基準明度値を基に多値化画像を作成しているので、多値化処理にフレームバッファ等の特別なメモリを用いることなく、多値化画像を高速に作成することができる。   In this case, since the multilevel image is created based on the predetermined reference brightness value, the multilevel image can be created at high speed without using a special memory such as a frame buffer for the multilevel processing. it can.

光点検出手段は、撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することが好ましい。   The light spot detecting means preferably creates a multi-valued image obtained by multi-valued the image taken by the photographing means based on the luminance value of the image taken immediately before the image.

この場合、直前に撮影された画像の輝度値を基に多値化画像を作成することができるので、撮影環境が変化した場合でも、明度の変化を正確に反映した多値化画像を作成することができる。   In this case, a multi-valued image can be created based on the luminance value of the image taken immediately before, so even if the shooting environment changes, a multi-valued image that accurately reflects the change in brightness is created. be able to.

光点検出手段は、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、多値化回路により多値化された多値化画像を記憶する記憶回路と、記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、識別情報検出手段は、変化検出回路により検出された光点に対応する多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。   The light spot detecting means includes a multi-valued circuit for creating a multi-valued image obtained by multi-valued the image photographed by the photographing means based on the brightness of each pixel, and a multi-valued multi-valued image by the multi-valued circuit. A storage circuit that stores a binarized image, and a change detection circuit that detects a flashing light spot based on a temporal change in brightness of each pixel with reference to the multi-valued image stored in the storage circuit. Preferably, the identification information detection means detects the identification information of the light emitting device by reading the multi-value value corresponding to the light spot detected by the change detection circuit from the storage circuit and decoding it.

この場合、多値化回路及び変化検出回路を専用のハードウエアから作成することができるので、点滅する光点をより高速に検出することができ、ユーザの視線方向に位置する多数の対象物を同時に且つ連続的に識別することができる。   In this case, since the multi-value conversion circuit and the change detection circuit can be created from dedicated hardware, the flashing light spot can be detected at a higher speed, and a large number of objects located in the user's line-of-sight direction can be detected. It can be identified simultaneously and continuously.

識別情報検出手段は、変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。   When the pixel corresponding to the light spot detected by the change detection circuit is not blinking, the identification information detection means emits light by reading out the multi-value value of the pixel located around the pixel from the storage circuit and decoding it. It is preferable to detect the identification information of the device.

この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の多値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   In this case, the blinking state of the light spot can be decoded using not only the pixel detected as the light spot but also the multivalued values of the pixels located around the pixel, so that the object moves at high speed. Even in this case, a plurality of objects located in the user's line-of-sight direction can be identified simultaneously and continuously.

撮影手段は、可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、分離手段により分離された赤外光を受光して対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、分離手段により分離された可視光を受光して対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、光点検出手段は、赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、検出装置は、ユーザの頭部に装着されることが好ましい。   The photographing means includes a separating means for separating light including visible light and infrared light into visible light and infrared light, and a predetermined photographing region including an object by receiving the infrared light separated by the separating means. An infrared photographing means for photographing an infrared image; and a visible light photographing means for photographing a visible light image of a predetermined photographing region including an object by receiving the visible light separated by the separating means, and the light spot detecting means , Create a multi-valued image obtained by multi-valued the infrared image captured by the infrared imaging means based on the brightness of each pixel, and based on the temporal brightness change of each pixel of the created multi-valued image The flashing light spot is detected, and the detection device is preferably mounted on the user's head.

この場合、ユーザの視線方向に位置する複数の対象物を、同一の光軸で赤外線画像及び可視光画像として撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。また、撮影手段の構成を簡略化することができるので、可視光撮影手段をも一体に構成し、ユーザの頭部への装着に適した小型の検出装置を実現することができる。   In this case, since a plurality of objects located in the user's line-of-sight direction can be taken as an infrared image and a visible light image with the same optical axis, the position of the object on the visible light image and the near-infrared image is one. In addition to identifying the object located in the direction of the user's line of sight, the image of the object can be taken at the same time, and the position of the object can be detected with high accuracy. In addition, since the configuration of the imaging unit can be simplified, the visible light imaging unit is also integrally formed, and a small detection device suitable for being mounted on the user's head can be realized.

検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。   The detection device includes a light-emitting device for detection device that includes a light-emitting unit that emits infrared light, and a light-emission control unit that causes the light-emission unit to blink according to identification information uniquely assigned to a user who wears the detection device. Further, it is preferable that the detection device is mounted on the user's head.

この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物識別システムの用途を拡大することができる。   In this case, since the light emitting means that blinks in accordance with the identification information uniquely assigned to the user can be integrated with the downsized detection device, the user's head can be mounted. In addition to identifying an object located in the line of sight of the user, the object can be identified as an object located in the line of sight of another user as a side on which the user is seen. Can be enlarged.

上記対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えることが好ましい。   The object identification system further includes a fixed detection device fixed to a structure constituting a space where the user is located, the fixed detection device having an optical axis set in a predetermined direction, and including a predetermined user including the user An imaging unit that sequentially captures images in the imaging area at predetermined intervals, and a multi-valued image in which the images captured by the imaging unit are multi-valued based on the brightness of each pixel, and each pixel of the multi-valued image is created. A light spot detecting means for detecting a flashing light spot based on a temporal change in brightness, and identification information for detecting the blinking state of the light spot detected by the light spot detecting means to detect the identification information of the light emitting device And detecting means.

この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を識別することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。   In this case, not only the detection device mounted on the user's head but also the fixed detection device fixed to the structure constituting the space where the user is located, the user located in the distance and the object in the user's line-of-sight direction. Since it can be identified, the situation around the user can be detected over a wide range from different viewpoints.

本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えるものである。   A detection device according to the present invention is a detection device that detects a light emitting device that is attached to a user and attached to a target, and has a light axis that substantially matches the direction of the user's line of sight, and includes a predetermined target including the target An image capturing unit that sequentially captures images of a region at predetermined intervals, and a multi-valued image in which the image captured by the image capturing unit is multi-valued based on the brightness of each pixel is created, and each pixel of the multi-valued image is Light spot detection means for detecting a light spot flashing on the basis of temporal changes in brightness, and identification information detection for detecting the light spot blinking state detected by the light spot detection means and detecting the identification information of the light emitting device Means.

本発明に係る検出装置においては、対象物に発光装置が取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   In the detection device according to the present invention, when a light-emitting device is attached to an object and the light-emitting device blinks in accordance with identification information uniquely assigned to the object, the object positioned in the user's line-of-sight direction An image of a predetermined shooting area including an object is shot, a multi-valued image is created based on the brightness of each pixel from the shot image, and the time of each pixel of the created multi-valued image is created A light spot that blinks based on a change in brightness and darkness is detected, and identification information of the light emitting device is detected based on the blinking state of the detected light spot, so that an object positioned in the direction of the user's line of sight is identified. Can do. In addition, a multi-valued image is created based on the brightness of each pixel from the photographed image, and the light spot blinks based on the temporal brightness change of each pixel of the created multi-valued image Therefore, a plurality of light spots included in one image can be detected simultaneously and at high speed. Therefore, a plurality of objects positioned in the user's line of sight can be identified simultaneously and continuously.

本発明によれば、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出されるので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができ、検出された光点の点滅状態を基に複数の発光装置の識別情報が検出されるので、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   According to the present invention, an image of a predetermined imaging region including an object positioned in the direction of the user's line of sight is captured, and a multi-valued image is created based on the brightness of each pixel from the captured image. Since a flashing light spot is detected based on a temporal change in brightness of each pixel of the created multi-valued image, a plurality of light spots included in one image can be detected simultaneously and at high speed. Since the identification information of the plurality of light emitting devices is detected based on the detected blinking state of the light spot, the plurality of objects positioned in the user's line of sight can be identified simultaneously and continuously.

以下、本発明による対象物識別システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。   Hereinafter, an object identification system according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an object identification system according to an embodiment of the present invention.

図１に示す対象物識別システムは、検出装置１、赤外線タグ６及び固定検出装置７を備える。赤外線タグ６は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。検出装置１は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ６から送信される対象物のＩＤ番号及び赤外線タグ６の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ６を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像を携帯型コンピュータ１０へ出力する。携帯型コンピュータ１０は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ１１へ送信する。   The object identification system shown in FIG. 1 includes a detection device 1, an infrared tag 6, and a fixed detection device 7. The infrared tag 6 is attached to the object itself or in the vicinity thereof, and transmits an ID number (identification information) uniquely assigned to the object by flashing infrared rays. The detection device 1 is attached to the user and detects the ID number of the object transmitted from the infrared tag 6 located in the user's field of view and the XY coordinates in the infrared image of the infrared tag 6, and includes the infrared tag 6. A visible light image is captured, and the detected ID number, XY coordinates, and other information and the captured visible light image are output to the portable computer 10. The portable computer 10 performs predetermined processing such as addition of time information on each input information, and transmits each information to the server 11 wirelessly.

また、検出装置１は、ユーザのＩＤ番号を赤外線の点滅により送信する。固定検出装置７は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置１及び赤外線タグ６から送信されるＩＤ番号及び検出装置１及び赤外線タグ６の赤外線画像内のＸＹ座標を検出してサーバ１１へ出力する。   Moreover, the detection apparatus 1 transmits a user's ID number by blinking of infrared rays. The fixed detection device 7 is fixed to a structure that constitutes a space where the user is located, and the ID number transmitted from the detection device 1 and the infrared tag 6 located in the photographing range, and the infrared image of the detection device 1 and the infrared tag 6. XY coordinates are detected and output to the server 11.

上記のようにして収集された各情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。   Each piece of information collected as described above is used for various purposes in the server 11, for example, used to create an interaction corpus that is a knowledge base in which interaction data related to person-to-person interaction is accumulated. Is done.

検出装置１は、赤外線検出部２、画像撮影部３、赤外線タグ４及びマイク部５を備える。図２は、図１に示す検出装置１の外観を示す模式的斜視図である。図２に示すように、検出装置１は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部２及び画像撮影部３は直方体形状の筺体に一体に内蔵され、赤外線タグ４は筺体の側面に一体に固定され、マイク部５はユーザの口元付近に配置される。また、携帯型コンピュータ１０は、ユーザに背負われて使用され、検出装置１からの各出力が携帯型コンピュータ１０へ供給される。   The detection device 1 includes an infrared detection unit 2, an image capturing unit 3, an infrared tag 4, and a microphone unit 5. FIG. 2 is a schematic perspective view showing the appearance of the detection apparatus 1 shown in FIG. As shown in FIG. 2, the detection device 1 is configured as an ear-necked neckband headset that is worn on the user's head, and is worn on the user's head. The infrared detection unit 2 and the image capturing unit 3 are integrally incorporated in a rectangular parallelepiped housing, the infrared tag 4 is integrally fixed to a side surface of the housing, and the microphone unit 5 is disposed near the mouth of the user. The portable computer 10 is used on the back of the user, and each output from the detection device 1 is supplied to the portable computer 10.

再び、図１を参照して、赤外線タグ６は、ＬＥＤ（Light Emitting Diode）６１及び駆動回路６２を備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。   Referring again to FIG. 1, the infrared tag 6 includes an LED (Light Emitting Diode) 61 and a drive circuit 62. The LED 61 is composed of an infrared LED or the like. For example, a high-power light emitting diode for optical communication (DN311 manufactured by Stanley) or the like can be used, and an infrared LED having a weak directivity and about 800 nm that is close to visible light is preferably used. Can be used.

駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。なお、ＬＥＤ６１及び駆動回路６２は、内部電池（図示省略）から電源を供給されている。   The drive circuit 62 is composed of a microcomputer or the like. For example, an Atmel 4 MHz drive microcomputer AT90S2323 can be used, and an ID number uniquely assigned to an object to which the infrared tag 6 is attached is identified. The LED 61 is controlled to blink as possible. The LED 61 and the drive circuit 62 are supplied with power from an internal battery (not shown).

具体的には、駆動回路６２は、マンチェスタ符号化方式を用い、データ間隔８ｍｓ／１ｂｉｔで、スタートビット（２ｂｉｔ）、１番目（ＩＤ１番目）／続き（ＩＤ連続）符号（１ｂｉｔ）、ＩＤ番号（１０ｂｉｔ）及びパリティビット（１ｂｉｔ）のデータフォーマットに従い、ＬＥＤ６１を点滅させ、ＩＤ番号を繰り返し送信する。   Specifically, the drive circuit 62 uses the Manchester encoding method, with a data interval of 8 ms / 1 bit, a start bit (2 bits), a first (ID1) / continue (ID continuous) code (1 bit), an ID number ( In accordance with the data format of 10 bits) and parity bits (1 bit), the LED 61 is blinked and the ID number is repeatedly transmitted.

画像撮影部３は、レンズ３１、光学素子３２及びＣＣＤカメラ３３を備える。レンズ３１は、ユーザの視線方向に位置し且つ赤外線タグ６が取り付けられた対象物を含む所定撮影範囲の可視光及び近赤外光を光学素子３２へ導く。光学素子３２は、近赤外光を反射して赤外線検出部２へ導き、可視光を通過させて可視光画像をＣＣＤカメラ３３上に結像させる。ＣＣＤカメラ３３は、可視光画像を撮影して映像信号を携帯型コンピュータ１０へ出力する。   The image photographing unit 3 includes a lens 31, an optical element 32, and a CCD camera 33. The lens 31 guides visible light and near-infrared light in a predetermined imaging range including an object to which the infrared tag 6 is attached, to the optical element 32 and is positioned in the user's line of sight. The optical element 32 reflects near-infrared light, guides it to the infrared detection unit 2, passes visible light, and forms a visible light image on the CCD camera 33. The CCD camera 33 captures a visible light image and outputs a video signal to the portable computer 10.

このように、画像撮影部３及び赤外線検出部２は、光学素子３２により分離された可視光及び近赤外光を用い、同一光軸上の可視光画像及び近赤外線画像を撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が完全に一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。   As described above, the image capturing unit 3 and the infrared detection unit 2 can capture a visible light image and a near infrared image on the same optical axis using the visible light and the near infrared light separated by the optical element 32. Therefore, the positions of the object on the visible light image and near-infrared image are completely matched, and not only the object located in the direction of the user's line of sight can be identified, but also the image of the object can be taken simultaneously. The position of the object can be detected with high accuracy.

赤外線検出部２は、反射素子２１、ＣＭＯＳイメージセンサ２２及び画像処理装置２３を備える。反射素子２１は、光学素子３２からの近赤外光を反射してＣＭＯＳイメージセンサ２２上に結像させる。ＣＭＯＳイメージセンサ２２は、結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３へ出力する。ＣＭＯＳイメージセンサ２２としては、例えば、ナショナルセミコンダクター社製高感度モノクロＣＭＯＳイメージセンサＬＭ９６３０等を用いることができ、この場合、解像度は１２８×９８ｐｉｘｅｌ、フレームレートは５００ｆｐｓである。   The infrared detection unit 2 includes a reflective element 21, a CMOS image sensor 22, and an image processing device 23. The reflective element 21 reflects near-infrared light from the optical element 32 and forms an image on the CMOS image sensor 22. The CMOS image sensor 22 captures a near-infrared image composed of the formed near-infrared light and outputs it to the image processing device 23. As the CMOS image sensor 22, for example, a high-sensitivity monochrome CMOS image sensor LM9630 manufactured by National Semiconductor Co., Ltd. can be used. In this case, the resolution is 128 × 98 pixels and the frame rate is 500 fps.

画像処理装置２３は、ＣＭＯＳイメージセンサ２２の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ１０へ出力する。このように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６のＩＤ番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。   The image processing device 23 controls the CMOS image sensor 22 and performs data processing, detects the infrared tag 6 from the near-infrared image captured by the CMOS image sensor 22, and detects the ID number from the flashing state of the detected infrared tag 6. At the same time, the XY coordinates of the infrared tag 6 on the near-infrared image are detected, and data such as an ID number and XY coordinates are output to the portable computer 10 in accordance with a data transmission standard such as RS232C. As described above, since the infrared detection unit 2 can detect the ID number of the infrared tag 6 using a near-infrared image created mainly from only the near-infrared light, the light having a wavelength in the visible light region that causes disturbance. Can be sufficiently reduced, and the detection process can be speeded up.

赤外線タグ４は、ＬＥＤ４１及び駆動回路４２を備える。赤外線タグ４は、検出装置１に一体に構成され、検出装置１を装着するユーザのＩＤ番号を送信する点を除き、赤外線タグ６と同様のハードウエアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたＩＤ番号に応じて点滅する赤外線タグ４を一体に構成して小型化した検出装置１をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。   The infrared tag 4 includes an LED 41 and a drive circuit 42. The infrared tag 4 is configured integrally with the detection device 1 and is configured by the same hardware as the infrared tag 6 except that it transmits the ID number of the user wearing the detection device 1 and operates in the same manner. In this case, since the infrared detecting tag 4 that blinks in accordance with the ID number uniquely assigned to the user can be integrated with the detection device 1 that has been downsized, the user can attach it to the user's head. In addition to identifying an object located in the viewing direction of the user as a viewing side, the object is identified as an object located in the viewing direction of another user as the viewing side of the user, and the above-described collection of the interaction corpus, etc. It can use suitably for various uses.

マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。   The microphone unit 5 includes an audio processing circuit 51 and a microphone 52. The microphone 52 collects the user's utterance or ambient sound and outputs it to the voice processing circuit 51, and the voice processing circuit 51 outputs the recorded voice signal to the portable computer 10. When not recording sound, the microphone unit 5 may be omitted, and a speaker or the like may be integrated with the headset in order to transmit the sound or the like to the user.

固定検出装置７は、赤外線フィルタ７１、レンズ７２、ＣＭＯＳイメージセンサ７３及び画像処理装置７４を備える。赤外線フィルタ７１は、赤外線タグ４のＬＥＤ４１等から発光される赤外線のうち主に近赤外線のみ透過させてレンズ７２に近赤外線を導く。赤外線フィルタ７１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。レンズ７２は、赤外線フィルタ７１を透過した近赤外線をＣＭＯＳイメージセンサ７３上に結像させる。ＣＭＯＳイメージセンサ７３及び画像処理装置７４は、上記の赤外線検出部２のＣＭＯＳイメージセンサ２２及び画像処理装置２３と同様に構成され、同様に動作する。   The fixed detection device 7 includes an infrared filter 71, a lens 72, a CMOS image sensor 73, and an image processing device 74. The infrared filter 71 mainly transmits only near infrared rays among infrared rays emitted from the LEDs 41 of the infrared tag 4 and guides the near infrared rays to the lens 72. As the infrared filter 71, for example, a plastic IR pass filter manufactured by Edmund that blocks visible light and passes near infrared light can be used. The lens 72 forms an image on the CMOS image sensor 73 of near infrared light that has passed through the infrared filter 71. The CMOS image sensor 73 and the image processing device 74 are configured in the same manner as the CMOS image sensor 22 and the image processing device 23 of the infrared detection unit 2 and operate in the same manner.

サーバ１１は、固定検出装置７から出力される赤外線タグ４のＩＤ番号及び赤外線画像内のＸＹ座標、並びに検出装置１から出力される赤外線タグ６のＩＤ番号及び赤外線画像内のＸＹ座標等を受け、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成する処理を実行する。   The server 11 receives the ID number of the infrared tag 4 output from the fixed detection device 7 and the XY coordinates in the infrared image, the ID number of the infrared tag 6 output from the detection device 1, and the XY coordinates in the infrared image. Then, a process for creating an interaction corpus as a knowledge base in which interaction data relating to human-human interaction is accumulated is executed.

次に、図１に示す画像処理装置２３について詳細に説明する。図３は、図１に示す画像処理装置２３の構成を示すブロック図である。図３に示すように、画像処理装置２３は、２値化回路８１、ＳＲＡＭ（Static Random Access Memory）８２、明度変化検出回路８３及びデコード回路８４を備える。例えば、２値化回路８１及び明度変化検出回路８３は、ＣＰＬＤ（Complex Programmable Logic Device）等から構成され、デコード回路８４は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することによりデコード処理を行う。なお、画像処理装置２３の構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。   Next, the image processing apparatus 23 shown in FIG. 1 will be described in detail. FIG. 3 is a block diagram showing a configuration of the image processing apparatus 23 shown in FIG. As shown in FIG. 3, the image processing device 23 includes a binarization circuit 81, an SRAM (Static Random Access Memory) 82, a brightness change detection circuit 83, and a decoding circuit 84. For example, the binarization circuit 81 and the brightness change detection circuit 83 are configured by a CPLD (Complex Programmable Logic Device) or the like, and the decode circuit 84 is configured by a CPU or the like, and is decoded by executing a predetermined decode program by the CPU. Process. Note that the configuration of the image processing device 23 is not particularly limited to the above example, and various modifications such as configuring all of them from dedicated hardware circuits are possible.

２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を予め記憶している基準明度値と比較して２値化し、２値化画素データをＳＲＡＭ８２に順次記憶させる。例えば、ＣＭＯＳイメージセンサ２２から２５６階調で明度データが出力される場合、１２８階調以上の明度を「１」に変換し、１２８階調未満の明度を「０」に変換する。多値化処理は、上記の例に特に限定されず、１２８階調以上の明度を「２」、１２８階調未満６４階調以上を「１」、６４階調未満を「０」に変換し、「２」の場合を「明」、「０」の場合を「滅」として点滅状態を判断する等の種々の変更が可能である。   The binarization circuit 81 receives the brightness data of each pixel constituting the photographed near-infrared image from the CMOS image sensor 22 and binarizes the brightness value of each pixel by comparing with a reference brightness value stored in advance. The binarized pixel data is sequentially stored in the SRAM 82. For example, when lightness data is output from the CMOS image sensor 22 with 256 gradations, the lightness of 128 gradations or more is converted to “1”, and the lightness of less than 128 gradations is converted to “0”. The multi-value processing is not particularly limited to the above example, and the brightness of 128 gradations or more is converted to “2”, less than 128 gradations of 64 gradations or more to “1”, and less than 64 gradations to “0”. , “2” can be changed to “bright”, and “0” can be changed to “blink” to determine the blinking state.

ＳＲＡＭ８２は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を複数枚、例えば、６７２枚記憶可能な記憶容量を有し、２値化回路８１から出力される２値化画素データを画像毎に記憶する。   The SRAM 82 has a storage capacity capable of storing a plurality of, for example, 672 near-infrared images taken by the CMOS image sensor 22, and stores the binarized pixel data output from the binarization circuit 81 for each image. To do.

明度変化検出回路８３は、連続して撮影された複数枚、例えば、５枚の２値化画像の各画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある画素データが点滅すなわち時間的に「１」又は「０」を交互に繰り返している全ての点滅画素を光点（赤外線タグ６）として検出し、検出した複数の光点の２値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ８２の記憶アドレスをデコード回路８４へ出力する。   The brightness change detection circuit 83 reads out the pixel data of a plurality of, for example, five binarized images taken continuously, from the SRAM 82, and the pixel data at the same position on each binarized image blinks. All flashing pixels that alternately repeat “1” or “0” in time are detected as light spots (infrared tag 6), and the positions of the detected light spots on the binarized image and the image Position information for specifying the number of frames to be captured, for example, the storage address of the flashing pixel data in the SRAM 82 is output to the decoding circuit 84.

また、明度変化検出回路８３は、隣接する複数の画素が点滅している場合、これらの画素を一つの光点として検出する。この場合、同時に点滅している隣接する複数の画素を一つの光点として検出することができるので、ＣＭＯＳイメージセンサ２２の１画素の大きさに拘らず、種々の大きさのＬＥＤ６１を一つの光点として正確に検出することができる。   Further, when a plurality of adjacent pixels are blinking, the lightness change detection circuit 83 detects these pixels as one light spot. In this case, since a plurality of adjacent pixels blinking at the same time can be detected as one light spot, regardless of the size of one pixel of the CMOS image sensor 22, the LEDs 61 of various sizes can be used as one light spot. It can be accurately detected as a point.

デコード回路８４は、点滅画素の位置情報を基に２値化画像内の点滅画素の２値化画素データをＳＲＡＭ８２から順次読み出してデコードし、複数の光点すなわち複数の赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。   The decoding circuit 84 sequentially reads and decodes the binarized pixel data of the blinking pixels in the binarized image from the SRAM 82 based on the position information of the blinking pixels, and decodes the plurality of light spots, that is, the ID numbers of the plurality of infrared tags 6. The XY coordinates on the captured image are output to the portable computer 10.

また、デコード回路８４は、明度変化検出回路８３により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の２値化画素データをＳＲＡＭ８２から読み出し、周辺の画素の時間的に前後する２値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の２値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   In addition, when the pixel corresponding to the light spot detected by the brightness change detection circuit 83 is not blinking, the decoding circuit 84 reads the binarized pixel data of the pixel located around the pixel from the SRAM 82, and The blinking state of the light spot is decoded again using the binarized pixel data of the pixel that changes in time, and the ID number of the infrared tag 6 is detected. In this case, the blinking state of the light spot can be decoded using not only the pixel detected as the light spot but also the binarized values of the pixels located around the pixel, so that the object moves at high speed. Even in this case, a plurality of objects located in the user's line-of-sight direction can be identified simultaneously and continuously.

本実施の形態では、赤外線タグ６が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、ＬＥＤ６１が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、反射素子２１、ＣＭＯＳイメージセンサ２２、光学素子３２及びＣＣＤカメラ３３が撮影手段の一例に相当し、２値化回路８１、ＳＲＡＭ８２及び明度変化検出回路８３が光点検出手段の一例に相当し、デコード回路８４が識別情報検出手段の一例に相当する。   In the present embodiment, the infrared tag 6 corresponds to an example of a light emitting device, the detection device 1 corresponds to an example of a detection device, the LED 61 corresponds to an example of a light emission unit, and the drive circuit 62 corresponds to an example of a light emission control unit. The reflective element 21, the CMOS image sensor 22, the optical element 32, and the CCD camera 33 correspond to an example of an imaging unit, and the binarization circuit 81, the SRAM 82, and the brightness change detection circuit 83 correspond to an example of a light spot detection unit. The decode circuit 84 corresponds to an example of identification information detection means.

また、２値化回路８１が多値化回路の一例に相当し、ＳＲＡＭ８２が記憶回路の一例に相当し、明度変化検出回路８３が変化検出回路の一例に相当し、反射素子２１及び光学素子３２が分離手段の一例に相当し、ＣＭＯＳイメージセンサ２２が赤外線撮影手段の一例に相当し、ＣＣＤカメラ３３が可視光撮影手段の一例に相当する。   The binarization circuit 81 corresponds to an example of a multi-value conversion circuit, the SRAM 82 corresponds to an example of a storage circuit, the brightness change detection circuit 83 corresponds to an example of a change detection circuit, and the reflective element 21 and the optical element 32. Corresponds to an example of a separating unit, the CMOS image sensor 22 corresponds to an example of an infrared photographing unit, and the CCD camera 33 corresponds to an example of a visible light photographing unit.

また、赤外線タグ４が検出装置用発光装置の一例に相当し、ＬＥＤ４１が発光手段の一例に相当し、駆動回路４２が発光制御手段の一例に相当し、固定検出装置７が固定検出装置の一例に相当し、赤外線フィルタ７１、レンズ７２及びＣＭＯＳイメージセンサ７３が撮影手段の一例に相当し、画像処理装置７４が光点検出手段及び識別情報検出手段の一例に相当する。   The infrared tag 4 corresponds to an example of a light emitting device for a detection device, the LED 41 corresponds to an example of a light emitting unit, the drive circuit 42 corresponds to an example of a light emission control unit, and the fixed detection device 7 is an example of a fixed detection device. The infrared filter 71, the lens 72, and the CMOS image sensor 73 correspond to an example of an imaging unit, and the image processing device 74 corresponds to an example of a light spot detection unit and an identification information detection unit.

次に、上記のように構成された検出装置１による赤外線タグ検出処理について説明する。図４は、図１に示す検出装置１の赤外線タグ検出処理を説明するためのフローチャートである。   Next, an infrared tag detection process performed by the detection apparatus 1 configured as described above will be described. FIG. 4 is a flowchart for explaining the infrared tag detection processing of the detection apparatus 1 shown in FIG.

まず、画像処理装置２３は、ＣＭＯＳイメージセンサ２２等を初期化し（ステップＳ１１）、全画面（１２８×９８ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ１２）。次に、２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を所定の基準明度値と比較して２値化（「０」又は「１」）し、２値化画素データを近赤外線画像毎にＳＲＡＭ８２に記憶させる（ステップＳ１３）。   First, the image processing device 23 initializes the CMOS image sensor 22 and the like (step S11), and sequentially captures and acquires near-infrared images of the full screen (128 × 98 pixels) (step S12). Next, the binarization circuit 81 receives brightness data of each pixel constituting the photographed near-infrared image from the CMOS image sensor 22 and compares the brightness value of each pixel with a predetermined reference brightness value to binarize. ("0" or "1"), and the binarized pixel data is stored in the SRAM 82 for each near-infrared image (step S13).

次に、明度変化検出回路８３は、連続して撮影された複数枚の２値化画像の各画素の２値化画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある２値化画素データが「１」又は「０」を所定順序で交互に繰り返している全ての点滅画素を光点として検出し、検出した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路８４へ出力する（ステップＳ１４）。   Next, the brightness change detection circuit 83 reads the binarized pixel data of each pixel of a plurality of binarized images taken continuously from the SRAM 82, and the binarity at the same position on each binarized image. All blinking pixels whose pixel data is alternately repeating “1” or “0” in a predetermined order are detected as light spots, and each position on the image of the detected light spots and the number of frames taken for the image are detected. Is output to the decoding circuit 84 (step S14).

次に、デコード回路８４は、点滅画素の位置情報を基にＳＲＡＭ８２から複数の２値化画像の各光点の２値化画素データを順次読み出してデコードし（ステップＳ１５）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。   Next, the decoding circuit 84 sequentially reads and decodes the binarized pixel data of each light spot of the plurality of binarized images from the SRAM 82 based on the position information of the blinking pixel (step S15), A parity check is performed and read data determination processing is performed (step S16).

ここで、パリティチェックが正しければ（ステップＳ１６でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。   If the parity check is correct (YES in step S16), the decoding circuit 84 outputs the decoded ID number and XY coordinates of the infrared tag 6 to the portable computer 10 (step S17), and then returns to step S12. To continue the above process.

一方、パリティチェックが正しくなければ（ステップＳ１６でＮＯ）、デコード回路８４は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の２値化画素データをＳＲＡＭ８２から読み出し、読み出した２値化画素データと点滅画素の２値化画素データとの論理和をデコードし（ステップＳ１８）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１９）。   On the other hand, if the parity check is not correct (NO in step S16), the decoding circuit 84 is positioned on the periphery of the pixel based on the position information of the blinking pixel, for example, on the top, bottom, left, and right of the blinking pixel. The binarized pixel data of 8 pixels is read from the SRAM 82, the logical sum of the read binarized pixel data and the binarized pixel data of the blinking pixel is decoded (step S18), and the parity check is performed again on the decoded result. The read data determination process is performed (step S19).

ここで、パリティチェックが正しければ（ステップＳ１９でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ１２に戻って上記の処理を継続する。   If the parity check is correct (YES in step S19), the decoding circuit 84 outputs the decoded ID number and XY coordinates of the infrared tag 6 to the portable computer 10 (step S17), and then returns to step S12. To continue the above process. If the parity check is not correct, the process returns to step S12 and the above processing is continued.

上記のように、本実施の形態では、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ６１の点滅により送信し、ユーザに装着された検出装置１により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像から各画素の明度を所定の基準明度値と比較して２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号及びその位置が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を２値化した２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   As described above, in the present embodiment, the ID number uniquely assigned to the object to which the infrared tag 6 is attached is transmitted by blinking the LED 61, and the user is detected by the detection device 1 attached to the user. A near-infrared image of a predetermined imaging region including an object located in the line-of-sight direction is captured, and a binary image is created by comparing the brightness of each pixel with a predetermined reference brightness value from the captured near-infrared image. , A flashing light spot is detected based on the temporal change in brightness of each pixel of the created binarized image, and the ID numbers of the plurality of infrared tags 6 and the number thereof are determined based on the flashing state of the detected light spot. Since the position is detected, it is possible to identify an object located in the user's line-of-sight direction. Also, a binarized image obtained by binarizing the photographed near-infrared image is created, and a flashing light spot is detected based on a temporal change in brightness of each pixel of the created binarized image. Therefore, a plurality of light spots included in one image can be detected simultaneously and at high speed. Therefore, a plurality of objects positioned in the user's line of sight can be identified simultaneously and continuously.

また、所定の基準明度値と比較して２多値化画像を作成しているので、２値化処理にフレームバッファ等の特別なメモリを必要がなく、２値化画像を高速に作成することができるとともに、そのデータ容量を削減することができるので、ＳＲＡＭ８２の記憶容量を低く抑えることができる。さらに、２値化回路８１及び明度変化検出回路８３をＣＰＬＤから構成しているので、複数の光点をより高速に検出することができる。   In addition, since a binary multi-valued image is created in comparison with a predetermined reference brightness value, a special memory such as a frame buffer is not required for the binarization process, and a binary image is created at high speed. In addition, since the data capacity can be reduced, the storage capacity of the SRAM 82 can be kept low. Furthermore, since the binarization circuit 81 and the lightness change detection circuit 83 are constituted by CPLD, a plurality of light spots can be detected at higher speed.

次に、図１に示すＣＭＯＳイメージセンサ２２及び画像処理装置２３の他の例について詳細に説明する。図５は、図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。   Next, another example of the CMOS image sensor 22 and the image processing device 23 shown in FIG. 1 will be described in detail. FIG. 5 is a block diagram showing a configuration of another example of the CMOS image sensor and the image processing apparatus shown in FIG.

図５に示すように、ＣＭＯＳイメージセンサ２２ａは、反射素子２１（図１参照）により反射された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３ａへ出力する。ＣＭＯＳイメージセンサ２２ａとしては、例えば、ＭＩＣＲＯＮ社製撮像エリアＣＭＯＳ型撮像素子ＭＴ９Ｍ４１３等を用いることができ、この場合、解像度は１２８０×１０２４ｐｉｘｅｌ、フレームレートは４００ｆｐｓである。   As shown in FIG. 5, the CMOS image sensor 22a captures a near-infrared image composed of near-infrared rays reflected by the reflecting element 21 (see FIG. 1) and outputs it to the image processing device 23a. As the CMOS image sensor 22a, for example, an imaging area CMOS type imaging device MT9M413 manufactured by MICRON can be used. In this case, the resolution is 1280 × 1024 pixels and the frame rate is 400 fps.

なお、上記のような高解像度のＣＭＯＳイメージセンサを用いる場合、近赤外光及び可視光に対して感度を有していれば、ＣＣＤカメラ３３を省略してＣＭＯＳイメージセンサ２２ａを可視光画像の撮影にも用いることができ、検出装置１の構成をより簡略化することができる。   In the case of using the high-resolution CMOS image sensor as described above, if it has sensitivity to near-infrared light and visible light, the CCD camera 33 is omitted and the CMOS image sensor 22a is used for the visible light image. It can also be used for photographing, and the configuration of the detection apparatus 1 can be further simplified.

画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａの制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２ａにより撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータを携帯型コンピュータ１０へ出力する。   The image processing device 23a performs control and data processing of the CMOS image sensor 22a, detects the infrared tag 6 from the near-infrared image photographed by the CMOS image sensor 22a, and detects the ID number from the flashing state of the detected infrared tag 6. At the same time, the XY coordinates of the infrared tag 6 on the near-infrared image are detected, and data such as the ID number and the XY coordinates are output to the portable computer 10.

画像処理装置２３ａは、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３、明度変化検出回路９４及びデコード回路９５を備える。例えば、４値化回路９１及び明度変化検出回路９４は、ＦＰＧＡ（Fileld Programmable Gate Array）等から構成され、デコード回路９５は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することにより下記のデコード処理を行う。なお、画像処理装置２３ａの構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。   The image processing device 23 a includes a quaternization circuit 91, a frame buffer 92, an SRAM 93, a brightness change detection circuit 94, and a decoding circuit 95. For example, the quaternarization circuit 91 and the brightness change detection circuit 94 are configured by an FPGA (Filed Programmable Gate Array) or the like, and the decode circuit 95 is configured by a CPU or the like, and a predetermined decode program is executed by the CPU as described below. Perform the decoding process. Note that the configuration of the image processing device 23a is not particularly limited to the above example, and various modifications such as configuring all from a dedicated hardware circuit are possible.

４値化回路９１は、複数フレーム、例えば、２０フレームを比較処理単位として近赤外線画像を処理し、１フレーム目の赤外線画像をフレームバッファ９２に記憶させ、２フレーム目の赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している１フレーム目の赤外線画像を構成する各画素の明度データとを比較し、比較結果として４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、２フレーム目の赤外線画像をフレームバッファ９２に記憶させる。   The quaternarization circuit 91 processes a near infrared image using a plurality of frames, for example, 20 frames as a comparison processing unit, stores the infrared image of the first frame in the frame buffer 92, and configures each infrared image of the second frame. The pixel brightness data is compared with the brightness data of each pixel constituting the infrared image of the first frame stored in the frame buffer 92, and the four-valued pixel data is stored in the SRAM 93 as a comparison result. The infrared image of the second frame is stored in the frame buffer 92.

以降、上記と同様に、４値化回路９１は、現フレームの赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの赤外線画像を構成する各画素の明度データとを比較し、比較結果から４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、現フレーム（比較処理単位の最終フレームを除く）の赤外線画像をフレームバッファ９２に記憶させる処理を繰り返す。ＳＲＡＭ９３は、４値化回路９１から出力される４値化画像の４値化画素データを比較処理単位、例えば、２０フレーム単位で記憶する。   Thereafter, in the same manner as described above, the quaternary circuit 91 performs the brightness data of each pixel constituting the infrared image of the current frame and the brightness data of each pixel constituting the infrared image of the immediately previous frame stored in the frame buffer 92. The four-valued pixel data obtained by the four-value comparison are stored in the SRAM 93, and the process of storing the infrared image of the current frame (excluding the last frame of the comparison processing unit) in the frame buffer 92 is repeated. The SRAM 93 stores the quaternary pixel data of the quaternary image output from the quaternary circuit 91 in units of comparison processing, for example, 20 frames.

例えば、現フレームの判定対象画素の明度値をｐ、直前フレームの該当画素の明度値をＰ、予め定めた閾値をＴとすると、４値化回路９１は、ＳＲＡＭ９３に、Ｐ≦ｐ＜Ｐ＋Ｔのときは「０」を記憶させ、Ｐ＋Ｔ≦ｐのときは「１」を記憶させ、Ｐ−Ｔ＜ｐ＜Ｐのときは「２」を記憶させ、ｐ≦Ｐ−Ｔのときは「３」を記憶させ、画素毎に直前フレームと明度を比較して４段階に分類する。   For example, if the lightness value of the determination target pixel in the current frame is p, the lightness value of the corresponding pixel in the previous frame is P, and a predetermined threshold value is T, the quaternary circuit 91 stores P ≦ p <P + T in the SRAM 93. “0” is stored, “1” is stored when P + T ≦ p, “2” is stored when P−T <p <P, and “3” is stored when p ≦ P−T. And the brightness is compared with the immediately preceding frame for each pixel and classified into four stages.

明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる複数フレーム、例えば、２０フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画像の４値化画素データを基に各画素の明滅状態を判定し、判定結果から光点（赤外線タグ６）として判断した複数の光点の４値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ９３の記憶アドレスをデコード回路９５へ出力する。また、明度変化検出回路９４は、隣接する複数の画素が点滅していると判断した場合、これらの画素を一つの光点として検出する。   When the final frame of the comparison processing unit is stored in the SRAM 93, the lightness change detection circuit 94 reads out the four-valued pixel data of a plurality of frames, for example, 20 frames as the comparison processing unit from the SRAM 93, and reads out the four-value quantization. The blinking state of each pixel is determined on the basis of the quaternary pixel data of the image, and the positions on the quaternary image of the plurality of light spots determined as light spots (infrared tag 6) from the determination result and the shooting frame of the image Position information for specifying the number, for example, the storage address of the flashing pixel data in the SRAM 93 is output to the decoding circuit 95. Further, when it is determined that a plurality of adjacent pixels are blinking, the brightness change detection circuit 94 detects these pixels as one light spot.

例えば、比較処理単位が２０フレーム単位のとき、明度変化検出回路９４は、各画素の明滅状態として、全１９フレーム中に「１」か「３」の４値化画素データが合計４回以上出る場合は当該画素を「０」と判定し、連続する１０フレーム以内に「１」の４値化画素データと「３」の４値化画素データとが両方出る場合は当該画素を「１」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計２回以上３回以下出る場合は当該画素を「２」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計１回以下しか出ない場合は当該画素を「３」と判定し、判定結果が「０」又は「１」の画素を光点として検出する。   For example, when the comparison processing unit is 20 frame units, the brightness change detection circuit 94 outputs a total of four or more quaternary pixel data of “1” or “3” in all 19 frames as the blinking state of each pixel. In this case, the pixel is determined to be “0”, and when both the four-valued pixel data “1” and the four-valued pixel data “3” appear within 10 consecutive frames, the pixel is set to “1”. If the total of four-valued pixel data “1” or “3” appears 2 times or more and 3 times or less in all 19 frames, the pixel is determined as “2” and “1” in all 19 frames. Or if the total of four-valued pixel data of “3” appears only once or less in total, the pixel is determined as “3”, and a pixel whose determination result is “0” or “1” is detected as a light spot.

デコード回路９５は、点滅画素の位置情報を基に４値化画像内の点滅画素の４値化画素データをＳＲＡＭ９３から順次読み出し、４値化画素データが「１」の場合を「１」（明状態）、４値化画素データが「３」の場合を「０」（滅状態）としてデコードし、複数の光点すなわち赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。   The decode circuit 95 sequentially reads the quaternary pixel data of the blinking pixels in the quaternary image from the SRAM 93 based on the position information of the blinking pixels, and sets the case where the quaternary pixel data is “1” (bright). State) When the quaternary pixel data is “3”, it is decoded as “0” (destructive state), and the portable computer 10 determines the ID number of the plurality of light spots, that is, the infrared tag 6 and the XY coordinates on the photographed image. Output to.

また、比較処理単位の複数フレーム中に赤外線タグ６が画素を跨いで移動した場合に対処するため、明度変化検出回路９４は、判定結果が「１」又は「２」の画素の位置情報をデコード回路９５へ出力するようにしてもよい。この場合、デコード回路９５は、当該画素の周辺に位置する画素の明度判定結果データをＳＲＡＭ９３から読み出し、周辺の画素の時間的に前後する４値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。また、フレーム毎に近赤外線画像を濃淡でラベリングし、ラベリングされた各領域の重心座標、面積、円形度、フィレ径、平均明度等を記録し、その形状のＬＥＤらしさを判定して光点を検出するようにしてもよい。   Further, in order to cope with the case where the infrared tag 6 moves across the pixels in a plurality of frames of the comparison processing unit, the brightness change detection circuit 94 decodes the position information of the pixel whose determination result is “1” or “2”. You may make it output to the circuit 95. FIG. In this case, the decode circuit 95 reads the brightness determination result data of the pixels located around the pixel from the SRAM 93, and also uses the quaternary pixel data that changes in time around the surrounding pixels to change the blinking state of the light spot. The ID number of the infrared tag 6 is detected by decoding again. Also, the near-infrared image is labeled in shades for each frame, and the barycentric coordinates, area, circularity, fillet diameter, average brightness, etc. of each labeled area are recorded, and the LED spot of the shape is judged to determine the light spot. You may make it detect.

本例では、ＣＭＯＳイメージセンサ２２ａが撮影手段の一例に相当し、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３及び明度変化検出回路９４が光点検出手段の一例に相当し、デコード回路９５が識別情報検出手段の一例に相当し、４値化回路９１が多値化回路の一例に相当し、ＳＲＡＭ９３が記憶回路の一例に相当し、明度変化検出回路９４が変化検出回路の一例に相当する。   In this example, the CMOS image sensor 22a corresponds to an example of an imaging unit, the quaternary circuit 91, the frame buffer 92, the SRAM 93, and the brightness change detection circuit 94 correspond to an example of a light spot detection unit, and the decoding circuit 95 identifies The quaternary circuit 91 corresponds to an example of a multi-value circuit, the SRAM 93 corresponds to an example of a storage circuit, and the brightness change detection circuit 94 corresponds to an example of a change detection circuit.

次に、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理について説明する。図６は、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理を説明するためのフローチャートである。   Next, infrared tag detection processing using the CMOS image sensor 22a and the image processing device 23a shown in FIG. 5 will be described. FIG. 6 is a flowchart for explaining infrared tag detection processing using the CMOS image sensor 22a and the image processing device 23a shown in FIG.

まず、画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａ等を初期化し（ステップＳ２１）、全画面（１２８０×１０２４ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ２２）。次に、４値化回路９１は、直前フレームの近赤外線画像を構成する各画素の明度データをフレームバッファ９２に記憶させ、現フレームの近赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの近赤外線画像を構成する各画素の明度データとを比較し、比較結果を４値化して比較処理単位で４値化画素データをＳＲＡＭ９３に記憶させる（ステップＳ２３）。   First, the image processing device 23a initializes the CMOS image sensor 22a and the like (step S21), and sequentially captures and acquires near-infrared images of the full screen (1280 × 1024 pixels) (step S22). Next, the quaternary circuit 91 stores the brightness data of each pixel constituting the near-infrared image of the previous frame in the frame buffer 92, and the brightness data of each pixel constituting the near-infrared image of the current frame and the frame buffer 92. Are compared with the brightness data of each pixel constituting the near-infrared image of the immediately preceding frame stored in, and the comparison result is quaternized, and the quaternary pixel data is stored in the SRAM 93 in comparison processing units (step S23).

次に、明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる１９フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画素データを基に各画素の明滅状態を上記の「０」〜「３」に４値化して判定する（ステップＳ２４）
ここで、明滅状態が「０」又は「１」の場合（ステップＳ２５でＹＥＳ）、明度変化検出回路９４は、当該画素を光点（赤外線タグ６）として判定し、判定した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路９５へ出力する。 Next, when the final frame of the comparison processing unit is stored in the SRAM 93, the lightness change detection circuit 94 reads 19 frames of quaternary pixel data as a comparison processing unit from the SRAM 93 and reads the quaternary pixel data thus read out. Based on the above, the blinking state of each pixel is quaternized to the above “0” to “3” and determined (step S24).
Here, when the blinking state is “0” or “1” (YES in step S25), the lightness change detection circuit 94 determines the pixel as a light spot (infrared tag 6), and the plurality of light spots determined. Position information for specifying each position on the image and the number of frames taken of the image is output to the decoding circuit 95.

次に、デコード回路９５は、点滅画素の位置情報を基にＳＲＡＭ９３から複数の４値化画像の各光点の４値化画素データを順次読み出し、４値化画素データが「１」の場合を「１」、４値化画素データが「３」の場合を「０」としてデコードし（ステップＳ２６）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ２７）。   Next, the decoding circuit 95 sequentially reads out the quaternary pixel data of each light spot of the plurality of quaternarized images from the SRAM 93 based on the position information of the blinking pixels, and the case where the quaternary pixel data is “1”. When “1” and quaternary pixel data are “3”, decoding is performed as “0” (step S26), parity check is performed on the decoding result, and read data determination processing is performed (step S27).

ここで、パリティチェックが正しければ（ステップＳ２７でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。   If the parity check is correct (YES in step S27), the decode circuit 95 outputs the decoded ID number and XY coordinates of the infrared tag 6 to the portable computer 10 (step S28), and then returns to step S22. To continue the above process.

一方、明滅状態が「０」又は「１」でない場合（ステップＳ２５でＮＯ）、又は、パリティチェックが正しくなければ（ステップＳ２６でＮＯ）、デコード回路９５は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の明度変化判定結果データをＳＲＡＭ９３から読み出し、読み出した４値化画素データと点滅画素の４値化画素データとを用いてデコードし（ステップＳ２９）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ３０）。   On the other hand, if the blinking state is not “0” or “1” (NO in step S25), or if the parity check is not correct (NO in step S26), the decoding circuit 95 performs the operation based on the position information of the blinking pixel. The brightness change determination result data of pixels located in the periphery of the pixels, for example, 8 pixels located vertically, horizontally, and diagonally of the blinking pixel are read from the SRAM 93, and the read quaternary pixel data and the quaternary pixel data of the blinking pixel are read. (Step S29), the parity check is performed again on the decoded result, and the read data determination process is performed (step S30).

ここで、パリティチェックが正しければ（ステップＳ３０でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ２２に戻って上記の処理を継続する。   If the parity check is correct (YES in step S30), the decode circuit 95 outputs the decoded ID number and XY coordinates of the infrared tag 6 to the portable computer 10 (step S28), and then returns to step S22. To continue the above process. If the parity check is not correct, the process returns to step S22 and the above processing is continued.

上記のように、本例でも、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像の各画素の明度と直前に撮影された近赤外線画像の明度と比較して４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を４値化した４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。   As described above, also in this example, a near-infrared image of a predetermined imaging region including an object located in the user's line-of-sight direction is captured, and the brightness of each pixel of the captured near-infrared image and the near-field captured immediately before are captured. A quaternary image is created in comparison with the brightness of the infrared image, and a flashing light spot is detected based on a temporal change in brightness of each pixel of the created quaternary image. Since the ID numbers of the plurality of infrared tags 6 are detected based on the blinking state, it is possible to identify the object located in the user's line-of-sight direction. Further, a quaternary image obtained by quaternizing the captured near-infrared image is created, and a flashing light spot is detected based on a temporal change in brightness of each pixel of the created quaternary image. Therefore, a plurality of light spots included in one image can be detected simultaneously and at high speed. Therefore, a plurality of objects positioned in the user's line of sight can be identified simultaneously and continuously.

また、直前に撮影された近赤外線画像の明度と比較して４多値化画像を作成しているので、撮影環境が変化した場合でも、明度の変化を正確に反映した４値化画像を作成することができる。さらに、４値化回路９１及び明度変化検出回路９４をＦＰＧＡから構成しているので、複数の光点をより高速に検出することができる。   In addition, four multi-value images are created in comparison with the brightness of the near-infrared image taken immediately before, so even if the shooting environment changes, a four-value image that accurately reflects the change in brightness is created. can do. Furthermore, since the quaternarization circuit 91 and the brightness change detection circuit 94 are made of FPGA, a plurality of light spots can be detected at higher speed.

次に、上記のように構成された対象物識別システムの応用例について説明する。図７は、図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。   Next, an application example of the object identification system configured as described above will be described. FIG. 7 is a schematic diagram for explaining an example of collecting an interaction corpus in the exhibition hall using the object identification system shown in FIG.

図７に示すように、説明員Ｐ１等が検出装置１を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。赤外線タグ６は、訪問者Ｐ２の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、固定検出装置７が取り付けられている。   As shown in FIG. 7, the instructor P1 or the like wears the portable computer 10 while wearing the detection device 1 on the head. The infrared tag 6 is attached to the chest of the visitor P2 and attached to the computer M1 and the robot M2 for the explanation of the exhibition, the stuffed toy M3 for the exhibition, the board B1 for the explanation of the exhibition, etc. Send the ID number. A fixed detection device 7 is attached to the ceiling or wall of the exhibition hall.

上記のように各装置が配置されることにより、例えば、検出装置１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、固定検出装置７により説明員Ｐ１が対象物として識別されるとともに、説明員Ｐ１の周囲の対象物として訪問者Ｐ２、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。   By arranging each device as described above, for example, the visitor P2 or the like who has entered the field of view of the instructor P1 is identified by the detection device 1 as an object, and the instructor P1 is identified as an object by the fixed detection device 7. At the same time, the visitor P2, the robot M2, and the like are identified as objects around the instructor P1. In this way, it is possible to collect interaction data relating to the interaction between people in the exhibition hall, and it is possible to create an interaction corpus as a knowledge base from the collected data.

上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。また、本実施の形態では、撮影した画像を２値化又は４値化したが、多値化の例はこれらの例に特に限定されず、３値化等の他の数を用いてもよい。   In the above description, interaction corpus collection has been described as an example. However, the application to which the present invention can be applied is not particularly limited to the above example, and can be applied to various applications. Further, although one infrared tag is attached to one object, a plurality of infrared tags that transmit the same ID number to one object may be provided. Further, in the present embodiment, the captured image is binarized or quaternarized, but examples of multilevel binarization are not particularly limited to these examples, and other numbers such as ternarization may be used. .

本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。It is a block diagram which shows the structure of the target object identification system by one embodiment of this invention. 図１に示す検出装置の外観を示す模式的斜視図である。It is a typical perspective view which shows the external appearance of the detection apparatus shown in FIG. 図１に示す画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus shown in FIG. 図１に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the infrared tag detection process of the detection apparatus shown in FIG. 図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。It is a block diagram which shows the structure of the other example of the CMOS image sensor and image processing apparatus which are shown in FIG. 図５に示すＣＭＯＳイメージセンサ及び画像処理装置を用いた赤外線タグ検出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the infrared tag detection process using the CMOS image sensor and image processing apparatus which are shown in FIG. 図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。It is a schematic diagram for demonstrating the collection example of the interaction corpus in the exhibition hall using the target object identification system shown in FIG.

符号の説明Explanation of symbols

１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ 赤外線タグ
５ マイク部
６ 赤外線タグ
７ 固定検出装置
２１ 反射素子
２２ ＣＭＯＳイメージセンサ
２３ 画像処理装置
３１ レンズ
３２ 光学素子
３３ ＣＣＤカメラ
４１ ＬＥＤ
４２ 駆動回路
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
７１ 赤外線フィルタ
７２ レンズ
７３ ＣＭＯＳイメージセンサ
７４ 画像処理装置
８１ ２値化回路
８２ ＳＲＡＭ
８３ 明度変化検出回路
８４ デコード回路
９１ ４値化回路
９２ フレームバッファ
９３ ＳＲＡＭ
９４ 明度変化検出回路
９５ デコード回路 DESCRIPTION OF SYMBOLS 1 Detection apparatus 2 Infrared detection part 3 Image photographing part 4 Infrared tag 5 Microphone part 6 Infrared tag 7 Fixed detection apparatus 21 Reflective element 22 CMOS image sensor 23 Image processing apparatus 31 Lens 32 Optical element 33 CCD camera 41 LED
42 Drive circuit 51 Audio processing circuit 52 Microphone 61 LED
62 drive circuit 71 infrared filter 72 lens 73 CMOS image sensor 74 image processing device 81 binarization circuit 82 SRAM
83 Lightness Change Detection Circuit 84 Decode Circuit 91 Quadrature Circuit 92 Frame Buffer 93 SRAM
94 brightness change detection circuit 95 decoding circuit

Claims (9)

対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を基に前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする対象物識別システム。 A plurality of light emitting devices attached to an object and a detection device attached to a user;
The light emitting device
A light emitting means for emitting infrared rays;
A light emission control means for blinking the light emission means according to identification information uniquely assigned to the object to which the light emitting device is attached,
The detection device includes:
An imaging unit that has an optical axis substantially coincident with the user's line-of-sight direction, and sequentially captures images of a predetermined area including the object at predetermined intervals;
A multi-valued image is created by multi-valued the image photographed by the photographing means based on the brightness of each pixel, and blinks based on the temporal brightness change of each pixel of the created multi-valued image. A light spot detecting means for detecting a light spot;
An object identification system comprising: identification information detection means for detecting identification information of the light emitting device based on a blinking state of the light spot detected by the light spot detection means. 前記光点検出手段は、前記撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。   2. The object identification system according to claim 1, wherein the light spot detection means creates a multi-valued image obtained by multi-valued the image photographed by the photographing means based on a predetermined reference brightness value. . 前記光点検出手段は、前記撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。   The light spot detection unit creates a multi-valued image obtained by converting the image captured by the image capturing unit into a multi-value based on a luminance value of an image captured immediately before the image. 1. The object identification system according to 1. 前記光点検出手段は、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、
前記多値化回路により多値化された多値化画像を記憶する記憶回路と、
前記記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、
前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項１〜３のいずれかに記載の対象物識別システム。 The light spot detecting means is
A multi-valued circuit for creating a multi-valued image obtained by multi-valued the image photographed by the photographing means based on the brightness of each pixel;
A storage circuit for storing a multi-valued image multi-valued by the multi-value circuit;
A change detection circuit for detecting a flashing light spot based on a temporal change in brightness of each pixel with reference to the multi-valued image stored in the storage circuit,
The identification information detecting means detects identification information of the light emitting device by reading out from the storage circuit and decoding a multi-value value corresponding to the light spot detected by the change detection circuit. Item 4. The object identification system according to any one of Items 1 to 3. 前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項４記載の対象物識別システム。   When the pixel corresponding to the light spot detected by the change detection circuit is not blinking, the identification information detection unit reads out and decodes the multivalued values of the pixels located around the pixel from the storage circuit The object identification system according to claim 4, wherein the identification information of the light emitting device is detected. 前記撮影手段は、
可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、
前記分離手段により分離された赤外光を受光して前記対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、
前記分離手段により分離された可視光を受光して前記対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、
前記光点検出手段は、前記赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜５のいずれかに記載の対象物識別システム。 The photographing means includes
Separation means for separating light including visible light and infrared light into visible light and infrared light;
Infrared imaging means for receiving infrared light separated by the separation means and photographing an infrared image of a predetermined imaging region including the object;
Visible light photographing means for receiving visible light separated by the separating means and photographing a visible light image of a predetermined photographing region including the object,
The light spot detecting means creates a multi-valued image obtained by multi-valued the infrared image taken by the infrared image taking means based on the brightness of each pixel, and the time of each pixel of the created multi-valued image Detect a flashing light spot based on a change in brightness,
The object detection system according to claim 1, wherein the detection device is attached to a user's head. 前記検出装置は、
赤外線を発光する発光手段と、
当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜６のいずれかに記載の対象物識別システム。 The detection device includes:
A light emitting means for emitting infrared rays;
A light-emitting device for a detection device, further comprising: a light-emission control unit that causes the light-emission unit to blink according to identification information uniquely assigned to a user wearing the detection device;
The object detection system according to claim 1, wherein the detection device is attached to a user's head. ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする請求項７記載の対象物識別システム。 It further comprises a fixed detection device fixed to a structure that constitutes a space where the user is located,
The fixed detection device is:
An imaging unit having an optical axis set in a predetermined direction and sequentially imaging images of a predetermined imaging region including the user at a predetermined interval;
Light that flashes on the basis of a change in temporal brightness of each pixel of the multi-valued image by creating a multi-valued image obtained by multi-valued the image taken by the photographing means based on the brightness of each pixel A light spot detecting means for detecting a point;
The object identification system according to claim 7, further comprising identification information detection means for detecting the blinking state of the light spot detected by the light spot detection means and detecting identification information of the light emitting device. ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする検出装置。 A detection device that detects a light emitting device that is attached to a user and attached to an object,
An imaging unit that has an optical axis substantially coincident with the user's line-of-sight direction, and sequentially captures images of a predetermined area including the object at predetermined intervals;
Light that flashes on the basis of a change in temporal brightness of each pixel of the multi-valued image by creating a multi-valued image obtained by multi-valued the image taken by the photographing means based on the brightness of each pixel A light spot detecting means for detecting a point;
A detection apparatus comprising: identification information detection means for detecting a blinking state of a light spot detected by the light spot detection means and detecting identification information of the light emitting device.

Images