JP2006332752A - Image information processing system, image information processing apparatus and method, and recording medium and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To quickly read data. <P>SOLUTION: A mobile terminal images blinking LEDs and displays the images on a display section. The images 12-1A to 12-3A of the LEDs displayed on the display section are scanned to detect addresses. In this case, a greater region R1 is scanned. The scanning of the region R1 is carried out at a frame rate of 4kfps. When a user designates the image of one of the LEDs, a narrower region R2 including the image 12-2A of the designated LED is set as the scanning region. The region R2 is scanned at a faster frame rate of 400 kfps. The technology above can be applied to mobile phones. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像情報処理システム、画像情報処理装置および方法、記録媒体並びにプログラムに関し、特に、迅速に情報を読み取ることができるようにした画像情報処理システム、画像情報処理装置および方法、記録媒体並びにプログラムに関する。   The present invention relates to an image information processing system, an image information processing apparatus and method, a recording medium, and a program, and in particular, an image information processing system, an image information processing apparatus and method, a recording medium, and a recording medium that can read information quickly. Regarding the program.

特許文献１には、データ通信システムが開示されている。このデータ通信システムにおいては、LED（Light Emitting Diode）が点滅され、この点滅するLEDがビデオカメラにより撮像される。撮像画像の点滅状態を分析することで、LEDから送信された情報を読み取ることができる。
再公表特許公報ＷＯ２００３／０３６８２９ Patent Document 1 discloses a data communication system. In this data communication system, an LED (Light Emitting Diode) blinks, and the blinking LED is imaged by a video camera. By analyzing the blinking state of the captured image, the information transmitted from the LED can be read.
Republished patent publication WO2003 / 036829

しかしながら、特許文献１の発明においては、各フレームの全てのピクセルデータを分析するようにするため、情報を迅速に送信し、読み取ることができない課題があった。   However, in the invention of Patent Document 1, since all pixel data of each frame is analyzed, there is a problem that information cannot be quickly transmitted and read.

本発明はこのような状況に鑑みてなされたものであり、より迅速に情報を送信し、読み取ることができるようにするものである。   The present invention has been made in view of such circumstances, and enables information to be transmitted and read more quickly.

本発明の第１の側面は、提示画像を提示する提示装置と、提示装置により提示された提示画像から情報を読み取る読取装置とからなる画像情報処理システムにおいて、提示装置は、提示画像を提示し、読取装置は、提示装置により提示された提示画像を含む画像を処理対象画像として保持し、処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ提示装置により提示された提示画像を含む第２の領域を設定し、処理対象画像の設定された第２の領域についてサンプリングし、サンプリングされた処理対象画像から提示画像に含まれる情報を読み取る画像情報処理システムである。   According to a first aspect of the present invention, in an image information processing system including a presentation device that presents a presentation image and a reading device that reads information from the presentation image presented by the presentation device, the presentation device presents the presentation image. The reading device holds an image including the presentation image presented by the presentation device as a processing target image, and is presented as a scanning region of the processing target image smaller than the first region as a whole and presented by the presentation device. It is an image information processing system that sets a second region including a presentation image, samples the second region in which the processing target image is set, and reads information included in the presentation image from the sampled processing target image.

本発明の第１の側面においては、提示装置により提示画像が提示される。読取装置は、提示装置により提示された提示画像を含む画像を処理対象画像として保持し、処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ提示装置により提示された提示画像を含む第２の領域を設定し、処理対象画像の設定された第２の領域についてサンプリングし、サンプリングされた処理対象画像から提示画像に含まれる情報を読み取る。   In the first aspect of the present invention, a presentation image is presented by a presentation device. The reading device holds an image including the presentation image presented by the presentation device as a processing target image, and is smaller than the first region as a whole as a scanning region of the processing target image and presented by the presentation device. A second region including the image is set, the second region where the processing target image is set is sampled, and information included in the presentation image is read from the sampled processing target image.

提示装置は所定の位置に固定された装置とし、読取装置はユーザにより携帯される携帯電話機、PDA（Personal Digital Assistants）、その他の携帯可能な装置とすることができる。勿論いずれも固定装置または携帯装置としてもよい。   The presentation device may be a device fixed at a predetermined position, and the reading device may be a mobile phone carried by a user, a PDA (Personal Digital Assistants), or other portable device. Of course, both may be fixed devices or portable devices.

本発明の第２の側面は、提示画像に含まれる情報を読み取る画像情報処理装置または方法において、提示画像を含む画像を処理対象画像として保持する保持手段またはステップと、処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ提示画像を含む第２の領域を設定する領域設定手段またはステップと、処理対象画像の設定された第２の領域についてサンプリングするサンプリング手段またはステップと、サンプリングされた処理対象画像から提示画像に含まれる情報を読み取る読取手段またはステップとを備える画像情報処理装置または方法である。   According to a second aspect of the present invention, in an image information processing apparatus or method for reading information included in a presentation image, a holding unit or step that holds an image including the presentation image as a processing target image, and a scanning region of the processing target image An area setting means or step for setting a second area that is smaller than the entire first area and that includes the presentation image; and a sampling means or step for sampling the second area in which the processing target image is set An image information processing apparatus or method comprising reading means or a step for reading information contained in a presentation image from a sampled processing target image.

本発明の第２の側面においては、提示画像を含む画像が処理対象画像として保持され、処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ提示画像を含む第２の領域が設定され、処理対象画像の設定された第２の領域についてサンプリングされ、サンプリングされた処理対象画像から提示画像に含まれる情報が読み取られる。   In the second aspect of the present invention, an image including a presentation image is held as a processing target image, and a second scanning region of the processing target image is smaller than the first region as a whole and includes the presentation image. A region is set, the second region where the processing target image is set is sampled, and information included in the presentation image is read from the sampled processing target image.

提示画像を撮像する撮像手段をさらに設け、保持手段は、撮像手段により撮像された画像を前記処理対象画像として保持することができる。   An imaging unit that captures the presented image is further provided, and the holding unit can hold the image captured by the imaging unit as the processing target image.

撮像手段は画像情報処理装置本体と一体化してもよいし、別体とすることもできる。   The imaging means may be integrated with the image information processing apparatus main body, or may be a separate body.

領域設定手段は、処理対象画像の走査領域として、第２の領域を設定する前に第１の領域を設定し、サンプリング手段は、第１の領域をサンプリングした後、第２の領域をサンプリングすることができる。   The area setting means sets the first area before setting the second area as the scanning area of the processing target image, and the sampling means samples the second area after sampling the first area. be able to.

サンプリング手段は、第１の領域を第１の速度でサンプリングし、第２の領域を、第１の速度より速い第２の速度でサンプリングすることができる。   The sampling means can sample the first region at a first rate and sample the second region at a second rate that is faster than the first rate.

領域設定手段は、光が第１の周波数で点滅する提示画像から情報を読み取る場合に第１の領域を設定し、第１の周波数より高い第２の周波数で点滅する提示画像から情報を読み取る場合に第２の領域を設定することができる。   The region setting means sets the first region when reading information from a presentation image in which light blinks at a first frequency, and reads information from a presentation image that blinks at a second frequency higher than the first frequency. The second area can be set to

読取手段は、第１の領域から提示画像の提示元を識別する識別情報を読み取り、第２の領域から主情報を読み取ることができる。   The reading unit can read identification information for identifying the presentation source of the presentation image from the first area, and can read main information from the second area.

第１の領域の処理対象画像から読み取られた提示画像の提示元の識別情報に基づいて、提示元に通知を出力する通知手段をさらに設け、領域設定手段は、通知手段による通知に伴って、走査領域の設定を第１の領域から第２の領域に切り替えることができる。   Based on the identification information of the presentation source of the presentation image read from the processing target image of the first region, further provided is a notification unit that outputs a notification to the presentation source, and the region setting unit includes a notification by the notification unit, The setting of the scanning area can be switched from the first area to the second area.

保持手段により保持されている処理対象画像を表示する表示手段をさらに設け、領域設定手段は、表示されている処理対象画像から提示画像が選択された場合、選択された提示画像を含む領域を第２の領域として設定することができる。   Display means for displaying the processing target image held by the holding means is further provided, and when the presentation image is selected from the displayed processing target images, the area setting means selects a region including the selected presentation image. 2 areas can be set.

表示手段は、第１の領域の処理対象画像のサンプリングにより得られた情報に基づいて、ユーザが提示画像を選択するためのマークをさらに表示することができる。   The display means can further display a mark for the user to select a presentation image based on information obtained by sampling the processing target image in the first region.

このマークは、文字、記号、それらの組み合わせ、その他のもので構成することができるばかりでなく、画像情報処理装置に設けられているボタンに提示元を対応付け、そのボタンにマークをユーザに認識可能に表示させることで実現してもよい。   This mark can be composed of characters, symbols, combinations thereof, and others, as well as a display source associated with a button provided on the image information processing apparatus, and the user can recognize the mark on the button. You may implement | achieve by displaying as possible.

表示手段は、保持手段により保持されている処理対象画像上の提示画像の位置をガイドするマークをさらに表示することができる。   The display means can further display a mark for guiding the position of the presentation image on the processing target image held by the holding means.

このマークは、音声によるガイドと共に表示してもよい。   This mark may be displayed together with an audio guide.

サンプリング手段は、第１の領域と第２の領域とで、処理対象画像の異なる光の波長帯域成分の画像についてサンプリングすることができる。   The sampling means can sample the images of the wavelength band components of different light of the processing target image in the first region and the second region.

領域設定手段は、保持手段により保持されている処理対象画像上の提示画像の位置が変化した場合、その変化した位置に追従するように第２の領域を設定することができる。   The area setting means can set the second area so as to follow the changed position when the position of the presentation image on the processing target image held by the holding means changes.

探索する提示画像の提示元の識別情報を取得する取得手段と、取得した識別情報に一致する識別情報を提示する提示元を、処理対象画像の第１の領域から検索する検索手段と をさらに設けることができる。   An acquisition means for acquiring identification information of a presentation source of a presentation image to be searched, and a search means for searching for a presentation source for presenting identification information that matches the acquired identification information from the first region of the processing target image are further provided. be able to.

処理対象画像をズームするズーム手段と、ズームされた処理対象画像の中から、情報の誤りが最小のものを選択する選択手段とをさらに設けることができる。   Zooming means for zooming the processing target image and selection means for selecting the one with the smallest information error from the zoomed processing target image can be further provided.

第２の領域の処理対象画像のうち、情報を読み取るための演算の対象となるピクセル群を変更する変更手段と、演算の対象となるピクセル群の中から、情報の誤りが最小のものを選択する選択手段とをさらに設けることができる。   Of the processing target images in the second region, a change means for changing a pixel group to be subjected to an operation for reading information, and a pixel having the smallest information error from the pixel group to be subjected to the operation are selected. And a selection means to be further provided.

本発明によれば、画像に含まれる情報を読み取ることができる。特に本発明によれば、迅速に情報を読み取ることができる。   According to the present invention, information included in an image can be read. In particular, according to the present invention, information can be read quickly.

以下に本発明の最良の形態を説明するが、開示される発明と実施形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施形態があったとしても、そのことは、その実施形態が、その発明に対応するものではないことを意味するものではない。逆に、実施形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施形態が、その発明以外の発明には対応しないものであることを意味するものでもない。   BEST MODE FOR CARRYING OUT THE INVENTION The best mode of the present invention will be described below. The correspondence relationship between the disclosed invention and the embodiment is exemplified as follows. Although there are embodiments which are described in the specification but are not described here as corresponding to the invention, it is not that the embodiment corresponds to the invention. It doesn't mean that. On the contrary, even if an embodiment is described herein as corresponding to the invention, this does not mean that the embodiment does not correspond to an invention other than the invention.

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。   Further, this description does not mean all the inventions described in the specification. In other words, this description is for the invention described in the specification and not claimed in this application, i.e., for the invention that will be applied for in the future or that will appear as a result of amendment and added. It does not deny existence.

請求項１の画像情報処理システムは、提示画像を提示する提示装置（例えば、図１のオブジェクト11-1乃至11-3）と、前記提示装置により提示された提示画像から情報を読み取る読取装置（例えば、図１の携帯端末21）とからなる画像情報処理システム（例えば、図１の画像情報処理システム１）において、前記提示装置は、前記提示画像を提示し（例えば、図１のLED12-1乃至12-3を点滅させ）、前記読取装置は、前記提示装置により提示された前記提示画像を含む画像を処理対象画像として保持し（例えば、ピクセルデータを図７のアナログメモリアレイ152 に記憶し）、前記処理対象画像の走査領域として、その全体である第１の領域（例えば、図１３の領域R1 ）より小さく、かつ前記提示装置により提示された前記提示画像を含む第２の領域（例えば、図１３の領域R2 ）を設定し（例えば、図１５のステップS81で小領域を設定し）、前記処理対象画像の設定された前記第２の領域についてサンプリングし（例えば、図１５のステップS82で図１３の領域R2 をサンプリングし）、サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る（例えば、図１５のステップS84 でデータを読み取る）。   The image information processing system according to claim 1 includes a presentation device that presents a presentation image (for example, the objects 11-1 to 11-3 in FIG. 1) and a reading device that reads information from the presentation image presented by the presentation device ( For example, in an image information processing system (for example, the image information processing system 1 in FIG. 1) including the mobile terminal 21) in FIG. 1, the presenting device presents the presented image (for example, the LED 12-1 in FIG. 1). Through 12-3), the reading device holds an image including the presentation image presented by the presentation device as a processing target image (for example, stores pixel data in the analog memory array 152 in FIG. 7). ), A second area (the area to be processed) that is smaller than the entire first area (for example, the area R1 in FIG. 13) and that includes the presentation image presented by the presentation device. For example, the region R2 in FIG. 13 is set (for example, a small region is set in step S81 in FIG. 15), and the second region in which the processing target image is set is sampled (for example, the step in FIG. 15). In step S82, the region R2 in FIG. 13 is sampled), and information included in the presented image is read from the sampled processing target image (for example, data is read in step S84 in FIG. 15).

請求項２の画像情報処理装置は、提示画像（例えば、図１のLED12-1 乃至12-3が点滅する画像）に含まれる情報を読み取る画像情報処理装置（例えば、図１の携帯端末21）において、前記提示画像を含む画像を処理対象画像として保持する保持手段（例えば、図７のアナログメモリアレイ152 ）と、前記処理対象画像の走査領域として、その全体である第１の領域（例えば、図１３の領域R1 ）より小さく、かつ前記提示画像を含む第２の領域（例えば、図１３の領域R2 ）を設定する領域設定手段（例えば、図９の領域設定部204）と、前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリング手段（例えば、図９のサンプリング部205）と、サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取手段（例えば、図９の読取部208）とを備える。   The image information processing apparatus according to claim 2 reads information included in a presentation image (for example, an image in which LEDs 12-1 to 12-3 in FIG. 1 are blinking) (for example, a portable terminal 21 in FIG. 1). The holding unit (for example, the analog memory array 152 in FIG. 7) that holds the image including the presented image as a processing target image, and the first region (for example, the entire processing target image, for example) The region setting means (for example, the region setting unit 204 in FIG. 9) for setting a second region (for example, the region R2 in FIG. 13) that is smaller than the region R1 in FIG. Sampling means (for example, the sampling unit 205 in FIG. 9) that samples the second region in which the image is set, and reads information included in the presented image from the sampled processing target image Comprising preparative means (e.g., the reading unit 208 in FIG. 9) and.

前記提示画像を撮像する撮像手段（例えば、図１のカメラ42）をさらに備え、前記保持手段は、前記撮像手段により撮像された画像を前記処理対象画像として保持する。   The image processing apparatus further includes an imaging unit (for example, the camera 42 in FIG. 1) that captures the presented image, and the holding unit holds the image captured by the imaging unit as the processing target image.

前記領域設定手段は、前記処理対象画像の走査領域として、前記第２の領域を設定する前に前記第１の領域を設定し（例えば、初期状態では、走査領域として大領域を設定し）、前記サンプリング手段は、前記第１の領域をサンプリングした後、前記第２の領域をサンプリングする（例えば、アイコンが指定された後、図１２のステップS57でデータ受信モードを設定して、図１５のステップS81で走査領域として小領域を設定する）。   The region setting means sets the first region before setting the second region as the scanning region of the processing target image (for example, in the initial state, sets a large region as the scanning region), The sampling means samples the first area and then samples the second area (for example, after an icon is designated, the data reception mode is set in step S57 of FIG. In step S81, a small area is set as the scanning area).

前記サンプリング手段は、前記第１の領域を第１の速度（例えば、4 kfps）でサンプリングし、前記第２の領域を、前記第１の速度より速い第２の速度（例えば、400 kfps）でサンプリングする（例えば、アイコンが指定された後、図１２のステップS51でデータ受金モードを設定して、図１５のステップS81で走査領域として小領域を設定する）。   The sampling means samples the first area at a first speed (for example, 4 kfps), and the second area at a second speed (for example, 400 kfps) faster than the first speed. Sampling is performed (for example, after an icon is designated, a data receiving mode is set in step S51 in FIG. 12, and a small area is set as a scanning area in step S81 in FIG. 15).

前記領域設定手段は、光が第１の周波数で点滅する前記提示画像から情報（例えば、図１１の１kHzのアドレスフレーム）を読み取る場合に前記第１の領域を設定し、前記第１の周波数より高い第２の周波数で点滅する前記提示画像から情報（例えば、図１１の100 kHzのデータフレーム）を読み取る場合に前記第２の領域を設定する。   The region setting means sets the first region when reading information (for example, a 1 kHz address frame in FIG. 11) from the presentation image in which light blinks at the first frequency, and the first region is set based on the first frequency. The second area is set when information (for example, a 100 kHz data frame in FIG. 11) is read from the presentation image blinking at a high second frequency.

前記読取手段は、前記第１の領域から前記提示画像の提示元を識別する識別情報（例えば、図１のオブジェクト11-1乃至11-3のアドレス）を読み取り、前記第２の領域から主情報（例えば、コンテンツ情報）を読み取る。   The reading unit reads identification information (for example, addresses of the objects 11-1 to 11-3 in FIG. 1) for identifying the presentation source of the presentation image from the first area, and reads main information from the second area. (For example, content information) is read.

前記第１の領域の前記処理対象画像から読み取られた前記提示画像の提示元の識別情報に基づいて、前記提示元に通知を出力する通知手段（例えば、図３０のステップS257でオブジェクト指定情報を送信する処理を行う図２９の送信部281）をさらに備え、前記領域設定手段は、前記通知手段による通知に伴って、前記走査領域の設定を前記第１の領域から前記第２の領域に切り替える（例えば、図３０のステップS258 で、モードを、サーチモードからデータ読取モードに切り替える）。   Based on the identification information of the presentation source of the presentation image read from the processing target image in the first area, notification means for outputting a notification to the presentation source (for example, the object designation information in step S257 of FIG. 30). 29 for performing the transmission process, and the area setting means switches the setting of the scanning area from the first area to the second area in accordance with the notification by the notifying means. (For example, in step S258 in FIG. 30, the mode is switched from the search mode to the data reading mode).

前記保持手段により保持されている前記処理対象画像を表示する表示手段（例えば、図１のモニタ41）をさらに備え、前記領域設定手段は、表示されている前記処理対象画像から前記提示画像が選択された場合（例えば、図１２のステップS56 でアイコンが指定されたと判定された場合）、選択された前記提示画像を含む領域を前記第２の領域として設定する（例えば、図１２のステップS57でデータ読取モードを設定し、図１５のステップS81で走査領域として小領域を設定する）。   The image processing apparatus further includes display means (for example, the monitor 41 in FIG. 1) that displays the processing target image held by the holding means, and the region setting means selects the presented image from the displayed processing target images. If it is determined (for example, when it is determined in step S56 in FIG. 12 that an icon has been designated), the region including the selected presentation image is set as the second region (for example, in step S57 in FIG. 12). A data reading mode is set, and a small area is set as a scanning area in step S81 of FIG.

前記表示手段は、前記第１の領域の前記処理対象画像のサンプリングにより得られた情報に基づいて、ユーザが前記提示画像を選択するためのマーク（例えば、図２のアドレスを表すアイコン43-1乃至43-3）をさらに表示する。   Based on the information obtained by sampling the processing target image in the first area, the display means displays a mark (for example, an icon 43-1 representing an address in FIG. 2) for the user to select the presentation image. To 43-3) are further displayed.

前記表示手段は、前記保持手段により保持されている前記処理対象画像上の前記提示画像の位置をガイドするマーク（例えば、図３１のマーク301）をさらに表示する。   The display means further displays a mark (for example, a mark 301 in FIG. 31) for guiding the position of the presentation image on the processing target image held by the holding means.

前記サンプリング手段は、前記第１の領域と前記第２の領域とで、前記処理対象画像の異なる光の波長帯域成分の画像についてサンプリングする（例えば、図２５のステップS182でピクセルの赤の成分について大領域をサンプリングするか、または図２６のステップS202でピクセルの緑の成分について小領域をサンプリングする）。   The sampling means samples the image of the wavelength band component of the different light of the processing target image in the first region and the second region (for example, the red component of the pixel in step S182 in FIG. 25). Either sample the large area or sample the small area for the green component of the pixel in step S202 of FIG. 26).

前記領域設定手段は、前記保持手段により保持されている前記処理対象画像上の前記提示画像の位置が変化した場合、その変化した位置に追従するように前記第２の領域を設定する（例えば、図３５のステップS302で、オブジェクトの位置が変化した場合、その変化した位置小領域を設定する）。   When the position of the presentation image on the processing target image held by the holding unit is changed, the area setting unit sets the second area so as to follow the changed position (for example, If the position of the object has changed in step S302 in FIG. 35, the changed position small area is set).

探索する前記提示画像の提示元の識別情報を取得する取得手段（例えば、図３６のステップS331で、探索するアドレスを取得する処理を実行する図９の取得部201）と、取得した前記識別情報に一致する前記識別情報を提示する前記提示元を、前記処理対象画像の前記第１の領域から検索する検索手段（例えば、図３７のステップS355でアドレスが一致したかを判定する処理を行う図９の判定部203）とをさらに備える。   Acquisition means for acquiring identification information of the presentation source of the presentation image to be searched (for example, the acquisition unit 201 of FIG. 9 that executes processing for acquiring an address to be searched in step S331 of FIG. 36), and the acquired identification information Search means for searching for the presentation source that presents the identification information that matches the search information from the first region of the processing target image (for example, a process of determining whether the addresses match in step S355 of FIG. 37) 9 determination unit 203).

前記処理対象画像をズームするズーム手段（例えば、図３９のステップS376の画像をズームする処理を実行する図３８のズーム部341）と、ズームされた前記処理対象画像の中から、情報の誤りが最小のものを選択する選択手段（例えば、図３９のステップS381で、最小の誤り率が得られたかを判定する処理を行う図３８の判定部203）とをさらに備える。   There is an error in information among the zoom means for zooming the processing target image (for example, the zoom unit 341 in FIG. 38 that executes the processing for zooming the image in step S376 in FIG. 39) and the zoomed processing target image. It further comprises selection means for selecting the smallest one (for example, the determination unit 203 in FIG. 38 that performs a process of determining whether the minimum error rate is obtained in step S381 in FIG. 39).

前記第２の領域の前記処理対象画像のうち、前記情報を読み取るための演算の対象となるピクセル群を変更する変更手段（例えば、図４１のステップS406で、加算するピクセルを変更する処理を行う図４０の変更部361）と、演算の対象となる前記ピクセル群の中から、情報の誤りが最小のものを選択する選択手段（例えば、図４１のステップS411で、最小の誤り率が得られたかを判定する処理を行う図４０の判定部203）とをさらに備える。   Changing means for changing a pixel group that is a calculation target for reading the information in the processing target image in the second area (for example, a process of changing the pixel to be added is performed in step S406 in FIG. 41). The change unit 361 in FIG. 40) and selection means for selecting the smallest information error from the pixel group to be operated (for example, in step S411 in FIG. 41, the minimum error rate is obtained). And a determination unit 203 in FIG.

請求項１７の画像情報処理方法は、提示画像（例えば、図１のLED12-1 乃至12-3 が点滅する画像）に含まれる情報を読み取る画像情報処理装置（例えば、図１の携帯端末21）の画像情報処理方法において、前記提示画像を含む画像を処理対象画像として保持する保持ステップ（例えば、ピクセルデータを図７のアナログメモリアレイ152 に記憶する図１０のステップS21）と、前記処理対象画像の走査領域として、その全体である第１の領域（例えば、図１３の領域R1）より小さく、かつ前記提示画像を含む第２の領域（例えば、図１３の領域R2 ）を設定する領域設定ステップ（例えば、図１２のデータ読取モードを設定するステップS57、図１５のサーチモードを設定するステップS85）と、前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリングステップ（例えば、図１５の400 kfpsでサンプリングを行うステップS82）と、サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取ステップ（例えば、図１５のデータを読み取るステップS84）とを含む。   The image information processing method according to claim 17 is an image information processing apparatus (for example, portable terminal 21 in FIG. 1) that reads information included in a presented image (for example, an image in which LEDs 12-1 to 12-3 in FIG. 1 blink). In the image information processing method, a holding step for holding an image including the presented image as a processing target image (for example, step S21 in FIG. 10 in which pixel data is stored in the analog memory array 152 in FIG. 7), and the processing target image An area setting step for setting a second area (for example, area R2 in FIG. 13) that is smaller than the entire first area (for example, area R1 in FIG. 13) and includes the presented image as the scanning area of (For example, step S57 for setting the data reading mode in FIG. 12 and step S85 for setting the search mode in FIG. 15) and the second region in which the processing target image is set is sampled. A sampling step for ringing (for example, step S82 for sampling at 400 kfps in FIG. 15), and a reading step for reading information contained in the presented image from the sampled processing target image (for example, reading the data in FIG. 15) S84).

図１は、本発明を適用した画像情報処理システムの実施形態を表す。この画像情報処理システム１は、所定の位置に固定されたオブジェクト１１−１乃至１１−３（以下、オブジェクト１１−１乃至１１−３を個々に区別する必要がない場合、単にオブジェクト１１と称する）と携帯端末２１により構成されている。オブジェクト１１−１は、LED（Light Emitting Diode）１２−１を有する。同様に、オブジェクト１１−２，１１−３は、LED１２−２,１２−３を有する。LED１２−１乃至１２−３（以下、これらを個々に区別する必要がない場合、単にLED１２と称する）は、光の点滅信号を発生する（光が点滅する画像を提示する）。これによりオブジェクト１１は各種の情報を各ユーザに提供する。   FIG. 1 shows an embodiment of an image information processing system to which the present invention is applied. The image information processing system 1 includes objects 11-1 to 11-3 fixed at predetermined positions (hereinafter simply referred to as objects 11 when it is not necessary to individually distinguish the objects 11-1 to 11-3). And the portable terminal 21. The object 11-1 has an LED (Light Emitting Diode) 12-1. Similarly, the objects 11-2 and 11-3 have LEDs 12-2 and 12-3. The LEDs 12-1 to 12-3 (hereinafter, simply referred to as the LED 12 when they do not need to be individually distinguished) generate a light blinking signal (present an image in which the light blinks). Thereby, the object 11 provides various information to each user.

ユーザにより携帯される携帯電話機、PDA（Personal Digital Assistants）等により構成される携帯端末２１は、本体２２と本体２２に対して開閉自在に連結されているカバー部２３により構成されている。本体２２には、各種のボタンやスイッチなどにより構成される入力部３１が設けられている。カバー部２３には、本体２２と対向する面にモニタ４１が設けられている。カバー部２３の先端部にはカメラ４２が設けられており、カメラ４２で撮像した画像がモニタ４１に表示される。   A mobile terminal 21 constituted by a mobile phone carried by a user, PDA (Personal Digital Assistants), and the like is constituted by a main body 22 and a cover portion 23 connected to the main body 22 so as to be freely opened and closed. The main body 22 is provided with an input unit 31 composed of various buttons and switches. The cover 23 is provided with a monitor 41 on the surface facing the main body 22. A camera 42 is provided at the tip of the cover portion 23, and an image captured by the camera 42 is displayed on the monitor 41.

図１の実施形態においては、モニタ４１にオブジェクト１１−１とLED１２−１をカメラ４２で撮像して得られる画像１１−１Ａと１２−１Ａが表示されている。また、オブジェクトの画像１１−１Ａ（LEDの画像１２−１Ａ）に対応するアイコン４３−１が表示されている。   In the embodiment of FIG. 1, images 11-1A and 12-1A obtained by imaging the object 11-1 and the LED 12-1 with the camera 42 are displayed on the monitor 41. Also, an icon 43-1 corresponding to the object image 11-1A (LED image 12-1A) is displayed.

実際には、LED１２−１を有するオブジェクト１１−１だけでなく、LED１２−２を有するオブジェクト１１−２、並びにLED１２−３を有するオブジェクト１１−３もカメラ４２により撮像されている。従って、図２に示されるように、LED１２−１を有するオブジェクト１１−１の画像１２−１Ａ,１１−１Ａ以外に、LED１２−２を有するオブジェクト１１−２、LED１２−３を有するオブジェクト１１−３の画像１２−２Ａ，１１−２Ａ，１２−３Ａ，１１−３Ａもモニタ４１に表示されている。また、オブジェクトの画像１１−２Ａ,１１−３Ａ（LEDの画像１２−２Ａ，１２−３Ａ）にそれぞれ対応して、アイコン４３−２，４３−３も表示されている。   Actually, not only the object 11-1 having the LED 12-1, but also the object 11-2 having the LED 12-2 and the object 11-3 having the LED 12-3 are imaged by the camera 42. Therefore, as shown in FIG. 2, in addition to the images 12-1A and 11-1A of the object 11-1 having the LED 12-1, the object 11-2 having the LED 12-2 and the object 11-3 having the LED 12-3. The images 12-2A, 11-2A, 12-3A, and 11-3A are also displayed on the monitor 41. Icons 43-2 and 43-3 are also displayed corresponding to the object images 11-2A and 11-3A (LED images 12-2A and 12-3A), respectively.

図１と図２に示される実施形態においては、アイコン４３−１乃至４３−３として、それぞれの対応するオブジェクト１１−１乃至１１−３を識別する識別情報としてのアドレスであるアドレス１乃至アドレス３が表示されている。   In the embodiment shown in FIGS. 1 and 2, the icons 43-1 to 43-3 are addresses 1 to 3 which are addresses as identification information for identifying the corresponding objects 11-1 to 11-3, respectively. Is displayed.

図３は、カメラ４２による撮像の原理を表している。同図に示されるように、LED１２−１の画像は、レンズ６２によりイメージセンサ６１上の１つのピクセル７１−１に結像される。同様に、LED１２−２，１２−３は、それぞれレンズ６２によりイメージセンサ６１上のピクセル７１−２，７１−３に結像する。なお、実際には、LED１２−１乃至１２−３は、１つのピクセルではなく、複数のピクセル上に結像される。すなわち、１つのLEDは複数のピクセルにより表示されるが、その場合にはその複数のピクセルデータが加算され、その加算された値に基づいてそのLEDの点滅信号が読み取られる。   FIG. 3 shows the principle of imaging by the camera 42. As shown in the figure, the image of the LED 12-1 is formed on one pixel 71-1 on the image sensor 61 by the lens 62. Similarly, the LEDs 12-2 and 12-3 form images on the pixels 71-2 and 71-3 on the image sensor 61 by the lens 62, respectively. Actually, the LEDs 12-1 to 12-3 are imaged on a plurality of pixels instead of one pixel. That is, one LED is displayed by a plurality of pixels. In this case, the plurality of pixel data are added, and the blinking signal of the LED is read based on the added value.

以下においては、説明を簡単にするために、特に断らない限り、１つのLEDの画像が１つのピクセルに結像するものとして説明をする。   In the following, in order to simplify the explanation, it is assumed that an image of one LED is formed on one pixel unless otherwise specified.

オブジェクト１１は、例えば、図４に示されるように構成される。クロック発生部１０１は、基準となるクロック信号を、アドレスフレーム生成部１０２とデータフレーム生成部１０３に供給する。アドレスフレーム生成部１０２は、クロック発生部１０１より供給されたクロックに同期してアドレスフレームを生成する。データフレーム生成部１０３は、クロック発生部１０１より供給されたクロックに同期してデータフレームを生成する。合成部１０４は、アドレスフレーム生成部１０２により生成されたアドレスフレームと、データフレーム生成部１０３により生成されたデータフレームとを合成し、送信部１０５に出力する。送信部１０５は、合成部１０４より供給された信号を、例えばマンチェスタ符号に符号化し、その符号化データに基づいてLED１２を点滅させることで点滅信号を送信する。すなわち、明るさの変化する画像を提示することで情報が提供される。点滅は、基本的には光が出射される期間（第１の期間）と、出射が停止される期間（第２の期間）とで実現されるが、第２の期間において、光は必ずしも完全に出射を停止せずとも、第１の期間と識別できる程度のレベルで出射されていてもよい。制御部１０６は、クロック発生部１０１、アドレスフレーム生成部１０２、データフレーム生成部１０３，合成部１０４、並びに送信部１０５の動作を制御する。   The object 11 is configured as shown in FIG. 4, for example. The clock generation unit 101 supplies a reference clock signal to the address frame generation unit 102 and the data frame generation unit 103. The address frame generation unit 102 generates an address frame in synchronization with the clock supplied from the clock generation unit 101. The data frame generation unit 103 generates a data frame in synchronization with the clock supplied from the clock generation unit 101. The synthesizer 104 synthesizes the address frame generated by the address frame generator 102 and the data frame generated by the data frame generator 103 and outputs the synthesized result to the transmitter 105. The transmission unit 105 encodes the signal supplied from the synthesis unit 104 into, for example, a Manchester code, and transmits a blinking signal by blinking the LED 12 based on the encoded data. That is, information is provided by presenting an image with varying brightness. The blinking is basically realized in a period in which the light is emitted (first period) and a period in which the emission is stopped (second period), but in the second period, the light is not necessarily complete. The light may be emitted at a level that can be distinguished from the first period without stopping the emission. The control unit 106 controls operations of the clock generation unit 101, the address frame generation unit 102, the data frame generation unit 103, the synthesis unit 104, and the transmission unit 105.

アドレスフレーム生成部１０２により発生されるアドレスフレームは、例えば、図５Ａに示されるフォーマット構成とされる。この実施形態においては、アドレスフレームは160ビットにより構成され、その先頭に８ビットのスタートビット（Start）が配置され、その次に８ビットのアドレスビット（Address）が配置され、その次に120ビットの属性が配置され、その次に１６ビットのFCS（Frame Check Sequence）が配置され、最後に、８ビットのストップビット（Stop）が配置されている。   The address frame generated by the address frame generation unit 102 has a format configuration shown in FIG. 5A, for example. In this embodiment, the address frame is composed of 160 bits, an 8-bit start bit (Start) is arranged at the head thereof, an 8-bit address bit (Address) is arranged next, and then 120 bits. Next, a 16-bit FCS (Frame Check Sequence) is arranged, and finally an 8-bit stop bit (Stop) is arranged.

スタートビットとストップビットは、それぞれフレームのスタート位置と停止位置を表す。アドレスは、オブジェクト１１を特定（識別）する情報である。識別情報としてのアドレスは、画像を提示する提示元としてのオブジェクト１１を直接特定する情報とすることができるが、最終的に特定できる情報であれば、間接的に特定する情報とすることもできる。属性は、例えば、オブジェクト１１や、そのオブジェクト１１が提供するデータ（情報）の属性を表す。オブジェクトの属性としては、例えば、道案内、地域情報、宣伝、店の種類といった、オブジェクトが提供する情報のカテゴリを表すコードをあげることができる。データの属性としては、例えば、テキスト、画像、音楽、電子チケットといった、データフレームにおいて転送されるデータの種類やデータ量などをあげることができる。アドレスと同時にこれらの情報が得られれば、携帯端末２１のモニタ４１に表示するアイコンの種類を、情報のカテゴリによって変えたり、転送されるデータ量をアイコンに表示したりすることが可能になる。   The start bit and stop bit represent the start position and stop position of the frame, respectively. The address is information for specifying (identifying) the object 11. The address as the identification information can be information that directly specifies the object 11 as the presentation source that presents the image, but can also be information that is indirectly specified as long as it can be finally specified. . The attribute represents, for example, an attribute of the object 11 or data (information) provided by the object 11. Examples of the attribute of the object include a code representing a category of information provided by the object, such as route guidance, regional information, advertisement, and store type. Examples of data attributes include the type and amount of data transferred in a data frame, such as text, images, music, and electronic tickets. If such information is obtained at the same time as the address, the type of icon displayed on the monitor 41 of the portable terminal 21 can be changed depending on the category of information, or the amount of data to be transferred can be displayed on the icon.

FCS（Frame Check Sequence）は、エラー訂正のための符号である。   FCS (Frame Check Sequence) is a code for error correction.

データフレーム生成部１０３が生成するデータフレームのフォーマットは、例えば図５Ｂに示される。データフレームは約１６キロビットで構成され、先頭の８ビットはスタートビット（Start）とされる。次の８ビットはアドレスビット（Adress）とされる。さらに、その次には、オブジェクト１１が携帯端末２１に提供する主情報としてのデータとされる。すなわち、道案内、地域情報、宣伝、近隣の店の紹介などの主情報がここに配置される。主情報は、１フレームで完結してもよいが、複数フレームで完結するようにしてもよい。データの次には、１６ビットのFCSが配置され、そして最後に８ビットのストップビット（Stop）が配置される。   The format of the data frame generated by the data frame generation unit 103 is shown in FIG. 5B, for example. The data frame is composed of about 16 kilobits, and the first 8 bits are used as start bits. The next 8 bits are address bits (Adress). Further, next, data as main information provided to the portable terminal 21 by the object 11 is used. That is, main information such as route guidance, regional information, advertisements, and introductions of nearby stores are arranged here. The main information may be completed in one frame, but may be completed in a plurality of frames. Next to the data, a 16-bit FCS is arranged, and finally an 8-bit stop bit (Stop) is arranged.

なお、アドレスフレームにおいて属性情報を送信する必要ない場合には、図５Ａの120ビットの属性の欄にもアドレスを割り当てるようにして、例えば図５Ｃに示されるように、128ビットにアドレスを振り当てることができる。あるいはまた、図５Ａの120ビットの属性の欄を削除し、図５Ｄに示されるように、８ビットのスタートビットとアドレスビットに続いて１６ビットのFCSを配置し、最後に８ビットのストップビットを配置して、１フレームを４０ビットで構成するようにすることも可能である。   If it is not necessary to transmit attribute information in the address frame, an address is also assigned to the 120-bit attribute column in FIG. 5A, and the address is assigned to 128 bits, for example, as shown in FIG. 5C. be able to. Alternatively, the 120-bit attribute field in FIG. 5A is deleted, and as shown in FIG. 5D, an 8-bit start bit and an address bit are followed by a 16-bit FCS, and finally an 8-bit stop bit. It is also possible to arrange one frame so that one frame is composed of 40 bits.

送信部１０５が、アドレスフレームの１ビットを１kHzの周波数（１msの周期）で送信する場合、160ビットのアドレスフレームの周期は160 msとなり、データフレームの１ビットを100 kHzの周波数（１０μsの周期）で送信する場合、約１６キロビットのデータフレームの周期もやはり約160 msとなる。   When the transmission unit 105 transmits one bit of the address frame at a frequency of 1 kHz (1 ms cycle), the cycle of the 160-bit address frame is 160 ms, and one bit of the data frame is converted to a frequency of 100 kHz (period of 10 μs). ), The period of the data frame of about 16 kilobits is also about 160 ms.

図６は、携帯端末２１の構成を表している。携帯端末２１は、カメラ４２、制御部１２１、DSP（Digital Signal Processor）１２２、入力部３１およびモニタ４１により構成されている。   FIG. 6 shows the configuration of the mobile terminal 21. The portable terminal 21 includes a camera 42, a control unit 121, a DSP (Digital Signal Processor) 122, an input unit 31, and a monitor 41.

センサーチップ１３１は、図７に示されるように、基本的にピクセルアレイ１５１とアナログメモリアレイ１５２により構成されている。ピクセルアレイ１５１は、図３におけるイメージセンサ６１に対応する。ピクセルアレイ１５１には、複数の受光セル１６１がマトリクス状に配置されている。同様に、アナログメモリアレイ１５２も複数のメモリセル１７１がマトリクス状に配置されている。ピクセルＶデコーダ１５３は、レンズ６２により入射された光に基づく画像のピクセルデータを、各受光セル１６１の列毎に設けられている垂直信号線１６２を利用して、受光セル１６１の行単位で、ピクセルＨデコーダ１５４に転送するか、または、アナログメモリアレイ１５２の対応するメモリセル１７１に転送する。ピクセルＨデコーダ１５４は、ピクセルアレイ１５１より入力された各ライン毎のピクセルデータを画像信号としてDSP１２２に出力する。   As shown in FIG. 7, the sensor chip 131 basically includes a pixel array 151 and an analog memory array 152. The pixel array 151 corresponds to the image sensor 61 in FIG. In the pixel array 151, a plurality of light receiving cells 161 are arranged in a matrix. Similarly, the analog memory array 152 includes a plurality of memory cells 171 arranged in a matrix. The pixel V decoder 153 uses the vertical signal line 162 provided for each column of the light receiving cells 161 for pixel data of an image based on the light incident by the lens 62, in units of rows of the light receiving cells 161. Transfer to pixel H decoder 154 or to corresponding memory cell 171 of analog memory array 152. The pixel H decoder 154 outputs the pixel data for each line input from the pixel array 151 to the DSP 122 as an image signal.

メモリＶデコーダ１５５は、アナログメモリアレイ１５２の各メモリセル１７１に保持されたピクセルデータを、各ライン毎にコンパレータ１５６に出力する。コンパレータ１５６は、２つのフレームの対応するピクセルデータの大きさを比較し、その比較結果に基づく論理としてのデータをメモリＨデコーダ１５７に出力する。メモリＨデコーダ１５７は、コンパレータ１５６より入力されたデータを光信号検出結果出力として出力する。   The memory V decoder 155 outputs the pixel data held in each memory cell 171 of the analog memory array 152 to the comparator 156 for each line. The comparator 156 compares the sizes of the corresponding pixel data in the two frames, and outputs data as logic based on the comparison result to the memory H decoder 157. The memory H decoder 157 outputs the data input from the comparator 156 as an optical signal detection result output.

なお、センサチップ１３１においては、ピクセルアレイ１５１のすべての受光セル１６１に保持されたピクセルデータだけでなく、その一部の範囲の受光セル１６１に保持されたピクセルデータだけをアナログメモリアレイ１５２の対応するメモリセル１７１に転送し、その一部のピクセルデータについてだけコンパレータ１５６で比較することが可能である。また、Ｒ,Ｇ,Ｂの３色のうちの任意の色成分だけを転送したり、比較することが可能である。   In the sensor chip 131, not only the pixel data held in all the light receiving cells 161 of the pixel array 151 but also only the pixel data held in the light receiving cells 161 in a part of the range are supported by the analog memory array 152. It is possible to transfer the data to the memory cell 171 and compare only a part of the pixel data by the comparator 156. Also, it is possible to transfer or compare only arbitrary color components of the three colors R, G, and B.

図６のDSP１２２は、センサーチップ１３１より入力された画像信号に基づく画像を表示するための信号を生成し、モニタ４１に出力し、表示させる。また、DSP１２２は、センサーチップ１３１より入力された最新の光信号検出結果出力を処理し、それに基づく必要な画像を表示するための信号を生成し、モニタ４１に出力し、表示させる。制御部１２１は、入力部３１からのユーザの指示に基づいて、各部を制御する。なお、光信号検出結果出力は、制御部１２１に入力し、制御部１２１で処理した結果に基づいてDSP１２２を制御し、必要な情報をモニタ４１に表示させるようにしてもよい。   The DSP 122 in FIG. 6 generates a signal for displaying an image based on the image signal input from the sensor chip 131, and outputs the signal to the monitor 41 for display. The DSP 122 processes the latest optical signal detection result output input from the sensor chip 131, generates a signal for displaying a necessary image based on the output, and outputs the signal to the monitor 41 for display. The control unit 121 controls each unit based on a user instruction from the input unit 31. The optical signal detection result output may be input to the control unit 121 and the DSP 122 may be controlled based on the result processed by the control unit 121 so that necessary information is displayed on the monitor 41.

次に、図８のフローチャートを参照して、オブジェクト１１の送信処理（画像提示処理）について説明する。   Next, the transmission process (image presentation process) of the object 11 will be described with reference to the flowchart of FIG.

ステップＳ１において、アドレスフレーム生成部１０２は、アドレスフレームを生成する。このアドレスフレームは、上述したように、図５Ａ（または図５Ｃもしくは図５Ｄ）に示されるフォーマットを有している。ステップＳ２において、データフレーム生成部１０３は、データフレームを生成する。このデータフレームは、図５Ｂに示されるフォーマットの構成とされる。次にステップＳ３において、合成部１０４は、ステップＳ１で生成されたアドレスフレームとステップＳ２で生成されたデータフレームを合成する。この実施形態の場合、合成部１０４は、アドレスフレームとデータフレームをフレーム毎に時分割多重することで合成する（後述する図１１Ａ参照）。ステップＳ４において、送信部１０５は、LED１２を合成信号に基づいて駆動し、点滅信号を送信する（光の明るさが変化する画像を提示する）。送信部１０５は、アドレスフレームを１kHzの周波数で送信し、データフレームを100 kHzの周波数で送信する。これにより、アドレスフレームとデータフレームは、160msの周期毎に交互に送信される。   In step S1, the address frame generation unit 102 generates an address frame. As described above, this address frame has the format shown in FIG. 5A (or FIG. 5C or FIG. 5D). In step S2, the data frame generation unit 103 generates a data frame. This data frame has a format shown in FIG. 5B. Next, in step S3, the combining unit 104 combines the address frame generated in step S1 and the data frame generated in step S2. In this embodiment, the combining unit 104 combines the address frame and the data frame by time-division multiplexing for each frame (see FIG. 11A described later). In step S4, the transmission unit 105 drives the LED 12 based on the composite signal and transmits a blinking signal (presents an image in which the brightness of light changes). The transmission unit 105 transmits an address frame at a frequency of 1 kHz and transmits a data frame at a frequency of 100 kHz. As a result, the address frame and the data frame are alternately transmitted every 160 ms.

ステップＳ５において、制御部１０６は、オブジェクト１１の管理者より終了が指示されたかを判定し、終了がまだ指示されていない場合には処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。ステップＳ５において、終了が指示されたと判定された場合、送信処理は終了される。   In step S5, the control unit 106 determines whether the administrator of the object 11 has instructed termination. If the termination has not been instructed yet, the process returns to step S1, and the subsequent processing is repeatedly executed. . In step S5, when it is determined that the end is instructed, the transmission process is ended.

以上のようにして、図１１Ａを参照して後述するように、アドレスフレームとデータフレームが160 msの周期で交互に繰り返し送信される。アドレスフレームには各オブジェクト１１のアドレスが含まれており、データフレームにはオブジェクト１１から各ユーザに提供する主情報としてのデータが含まれている。   As described above, as will be described later with reference to FIG. 11A, the address frame and the data frame are repeatedly transmitted alternately at a period of 160 ms. The address frame includes the address of each object 11, and the data frame includes data as main information provided from the object 11 to each user.

携帯端末２１のDSP１２２は、オブジェクト１１から以上のようにして送信されてくるデータを受信するために、図９に示されるように機能的に構成されている。すなわち、DSP１２２は、取得部２０１、表示部２０２、判定部２０３、領域設定部２０４、サンプリング部２０５、モード設定部２０６、記憶部２０７、並びに読取部２０８により構成されている。なお、これらの各部は必要に応じて信号を相互に授受することが可能とされている。このことは、他の実施形態においても同様である。   The DSP 122 of the portable terminal 21 is functionally configured as shown in FIG. 9 in order to receive data transmitted from the object 11 as described above. That is, the DSP 122 includes an acquisition unit 201, a display unit 202, a determination unit 203, an area setting unit 204, a sampling unit 205, a mode setting unit 206, a storage unit 207, and a reading unit 208. These units can exchange signals with each other as necessary. This is the same in other embodiments.

取得部２０１は、センサーチップ１３１のピクセルＨデコーダ１５４より出力される画像データを取得したり、アドレスを取得する。表示部２０２は、取得された画像データに基づく画像をモニタ４１に表示する。判定部２０３は、各種の判定処理を実行する。領域設定部２０４は、走査領域を大領域または小領域に設定する。サンプリング部２０５は、設定された領域を、４kfpsまたは400 kfpsでサンプリングする。１kfpsは、１秒間に1000フレームをサンプリングする速度を意味する。したがって、４kfpsの周波数のサンプリングとは、４kHzの周波数のサンプリングを意味し、400 kfpsの周波数のサンプリングとは400 kHzのサンプリングを意味する。   The acquisition unit 201 acquires image data output from the pixel H decoder 154 of the sensor chip 131 or acquires an address. The display unit 202 displays an image based on the acquired image data on the monitor 41. The determination unit 203 executes various determination processes. The area setting unit 204 sets the scanning area to a large area or a small area. The sampling unit 205 samples the set area at 4 kfps or 400 kfps. 1 kfps means a rate of sampling 1000 frames per second. Therefore, sampling at a frequency of 4 kfps means sampling at a frequency of 4 kHz, and sampling at a frequency of 400 kfps means sampling at 400 kHz.

モード設定部２０６は、サーチモード、データ読取モード、または画像取得モードのいずれかのモードを設定する。記憶部２０７は各種のデータを記憶する処理を実行する。読取部２０８は、センサーチップ１３１のメモリＨデコーダ１５７より出力された光信号検出結果出力からデータを読み取る処理を実行する。   The mode setting unit 206 sets a search mode, a data reading mode, or an image acquisition mode. The storage unit 207 executes processing for storing various data. The reading unit 208 executes processing for reading data from the optical signal detection result output output from the memory H decoder 157 of the sensor chip 131.

なお、取得部２０１乃至読取部２０８は、そのすべてをDSP１２２あるいは制御部１２１に設けてもよいし、或いはそのうちの一部、例えば、判定部２０３、領域設定部２０４、サンプリング部２０５、モード設定部２０６を制御部１２１に設け、それ以外の取得部２０１、表示部２０２、記憶部２０７、および読取部２０８をDSP１２２に設けるようにしても良い。さらにまた、例えば判定部２０３を制御部１２１とDSP１２２の両方に設けるようにしても良い。   The acquisition unit 201 to the reading unit 208 may be all provided in the DSP 122 or the control unit 121, or some of them, for example, the determination unit 203, the region setting unit 204, the sampling unit 205, and the mode setting unit. 206 may be provided in the control unit 121, and the other acquisition unit 201, display unit 202, storage unit 207, and reading unit 208 may be provided in the DSP 122. Furthermore, for example, the determination unit 203 may be provided in both the control unit 121 and the DSP 122.

次に、図１０のフローチャートを参照して、携帯端末２１における受信処理（提示された画像から情報を読み取る処理）について説明する。ステップＳ２１において、取得部２０１は画像データを取得する。すなわち、ユーザは携帯端末２１のカメラ４２を所定の方向に指向させてオブジェクトを撮影する。撮影した画像がピクセルアレイ１５１の受光セル１６１により結像される。受光セル１６１のピクセルデータがピクセルＶデコーダ１５３とピクセルＨデコーダ１５４により読み出され、DSP１２２に供給される。取得部２０１はこのピクセルデータを取得する。ステップＳ２２において、表示部２０２は画像を表示する。すなわち、ステップＳ２１で取得されたピクセルデータに基づく画像が、モニタ４１に出力され、表示される。   Next, a reception process (a process of reading information from the presented image) in the mobile terminal 21 will be described with reference to the flowchart of FIG. In step S21, the acquisition unit 201 acquires image data. That is, the user photographs the object with the camera 42 of the mobile terminal 21 pointing in a predetermined direction. The photographed image is formed by the light receiving cell 161 of the pixel array 151. Pixel data of the light receiving cell 161 is read by the pixel V decoder 153 and the pixel H decoder 154 and supplied to the DSP 122. The acquisition unit 201 acquires this pixel data. In step S22, the display unit 202 displays an image. That is, an image based on the pixel data acquired in step S21 is output to the monitor 41 and displayed.

ステップＳ２３において、判定部２０３は現在のモードがサーチモードかを判定する。現在設定されているモードがサーチモードである場合には、ステップＳ２４において、サンプリング部２０５は、４kfpsによるサンプリング処理を行う。これに対して、設定されているのがサーチモードではなくデータ読取モードである場合には、ステップＳ２５において、サンプリング部２０５は、400 kfpsによるサンプリング処理を実行する。ステップＳ２４またはステップＳ２５の処理の後、ステップＳ２６において、判定部２０３は、ユーザより終了が指示されたかを判定し、まだ指示されていないと判定した場合には、処理はステップＳ２１に戻り、それ以降の処理が繰り返し実行される。ステップＳ２６において、ユーザより終了が指示されたと判定された場合、処理は終了される。   In step S23, the determination unit 203 determines whether the current mode is the search mode. If the currently set mode is the search mode, in step S24, the sampling unit 205 performs a sampling process with 4 kfps. On the other hand, when it is not the search mode but the data reading mode that is set, in step S25, the sampling unit 205 executes a sampling process at 400 kfps. After the process of step S24 or step S25, in step S26, the determination unit 203 determines whether the user has instructed termination. If it is determined that the user has not instructed termination, the process returns to step S21. The subsequent processing is repeatedly executed. If it is determined in step S26 that the user has instructed termination, the process is terminated.

オブジェクトの送信処理により図１１Ａに示されるように、160 msの周期でアドレスフレームとデータフレームが交互に繰り返し送信されている。携帯端末２１は、サーチモードを設定することで、４kfpsによるサンプリング処理を実行し、アドレスフレームのアドレスを読み取る処理を実行する。これに対して、データ読取モードにおいては、400 kfpsによるサンプリング処理を行い、データを読み取る処理が実行されることになる。   As shown in FIG. 11A by the object transmission process, the address frame and the data frame are alternately and repeatedly transmitted at a cycle of 160 ms. The portable terminal 21 executes the sampling process by 4 kfps by setting the search mode, and executes the process of reading the address of the address frame. On the other hand, in the data reading mode, sampling processing is performed at 400 kfps, and processing for reading data is executed.

図１２のフローチャートを参照して後述するように、４kfpsによるサンプリング処理の１回の処理時間は、３アドレスフレーム分の期間（480 ms）とされる。したがって、図１１Ｂに示されるように、３３msの期間において画像を表示する処理が行われた後、３フレーム分の期間（480 ms）において、４kfpsのサンプリング処理が行われる処理が繰り返し実行される。   As will be described later with reference to the flowchart of FIG. 12, the processing time for one sampling process using 4 kfps is a period of 3 address frames (480 ms). Therefore, as shown in FIG. 11B, after the process of displaying an image in a period of 33 ms, a process of performing a sampling process of 4 kfps is repeatedly executed in a period of 3 frames (480 ms).

このことは、400 kfpsによるサンプリング処理の場合も同様である。すなわち、図１５を参照して後述するように、400 kfpsによるサンプリング処理の１回の処理時間も３フレーム分の期間（480 ms）とされる。従って、図１１Ｃに示されるように、３３msの期間の画像を表示する処理と、３フレーム分の期間の400kfpsによるサンプリング処理が交互に繰り返し実行される。   The same applies to the sampling process at 400 kfps. That is, as will be described later with reference to FIG. 15, the processing time for one sampling process at 400 kfps is also set to a period of 3 frames (480 ms). Therefore, as shown in FIG. 11C, a process of displaying an image for a period of 33 ms and a sampling process of 400 kfps for a period of 3 frames are alternately and repeatedly executed.

なお、図１１Ｂと図１１Ｃには、作図の便宜上、サーチモードのサンプリングとデータ読取モードのサンプリングが同時に行われるように図示されているが、この実施形態では、実際には両者が同時に行われることはなく、一方のみが実行される。   In FIG. 11B and FIG. 11C, for convenience of drawing, the sampling in the search mode and the sampling in the data reading mode are performed at the same time. However, in this embodiment, both are actually performed at the same time. No, only one is executed.

画像を表示する場合、ピクセルＶデコーダ１５３とピクセルＨデコーダ１５４は、ピクセルアレイ１５１の受光セル１６１に保持されているピクセルデータを図中上方に読み出し、画像信号として出力する。これに対して、４kfpsサンプリング処理、または400 kfpsサンプリング処理を実行する場合には、ピクセルＶデコーダ１５３とメモリＶデコーダ１５５により、ピクセルアレイ１５１に保持されているピクセルデータは、アナログメモリアレイ１５２に転送され、保持される。そして、その後ピクセルアレイ１５１に保持されたピクセルデータ（現在のフレームのピクセルデータ）と、アナログメモリアレイ１５２に保持されたピクセルデータ（過去のフレームのピクセルデータ）が、コンパレータ１５６により比較され、その比較結果がメモリＨデコーダ１５７により読み出され、光信号検出結果出力として出力されることになる。   When displaying an image, the pixel V decoder 153 and the pixel H decoder 154 read pixel data held in the light receiving cells 161 of the pixel array 151 upward in the figure and output them as image signals. On the other hand, when 4 kfps sampling processing or 400 kfps sampling processing is executed, the pixel data held in the pixel array 151 is transferred to the analog memory array 152 by the pixel V decoder 153 and the memory V decoder 155. And retained. Then, the pixel data (pixel data of the current frame) held in the pixel array 151 and the pixel data (pixel data of the past frame) held in the analog memory array 152 are compared by the comparator 156, and the comparison is performed. The result is read by the memory H decoder 157 and output as an optical signal detection result output.

モード設定部２０６は、携帯端末２１の電源がオンされた場合、モードの初期値として画像取得モードを設定すると、ステップＳ２５でモードが画像取得モードと判定されるので、ステップＳ２１，２２の処理が繰り返し実行される。ユーザが入力部３１を操作して、情報の検索を指示した場合、モード設定部２０６はモードとしてサーチモードを設定する。この場合、ステップＳ２３において、設定されているモードがサーチモードであると判定され、ステップＳ２４において、４kfpsによるサンプリング処理が実行される。この４kfpsによるサンプリング処理の詳細は図１２に示されている。   When the mobile terminal 21 is turned on and the mode setting unit 206 sets the image acquisition mode as the initial value of the mode, the mode is determined to be the image acquisition mode in step S25, so the processing in steps S21 and S22 is performed. Repeatedly executed. When the user operates the input unit 31 to instruct information search, the mode setting unit 206 sets the search mode as the mode. In this case, it is determined in step S23 that the set mode is the search mode, and in step S24, sampling processing by 4 kfps is executed. Details of the sampling processing by 4 kfps are shown in FIG.

すなわち、ステップＳ５１において、領域設定部２０４は、走査領域として大領域を設定する。図１３Ａに示されるように、横方向のＨ１個のピクセルと縦方向のＶ１個のピクセルにより構成される領域Ｒ１が大領域とされる。この大領域である領域Ｒ１は通常の画面の全体である。ステップＳ５２において、サンプリング部２０５は、４kfpsでサンプリングする処理を実行する。このとき、横方向Ｈ１、縦方向Ｖ１の領域Ｒ１のピクセルデータが、すべてアナログメモリアレイ１５２に転送され、保持される。   That is, in step S51, the area setting unit 204 sets a large area as the scanning area. As shown in FIG. 13A, a region R1 composed of H1 pixels in the horizontal direction and V1 pixels in the vertical direction is a large region. The large area R1 is the entire normal screen. In step S52, the sampling unit 205 executes a process of sampling at 4 kfps. At this time, all the pixel data in the region R1 in the horizontal direction H1 and the vertical direction V1 are transferred to the analog memory array 152 and held.

コンパレータ１５６は、アナログメモリアレイ１５２に保持された（過去のフレームの）ピクセルデータと、その後、ピクセルアレイ１５１に保持された（新たなフレームの）ピクセルデータの値を比較し、新たなフレームのピクセルデータの値の方が大きい場合、立ち上がりエッジとしてこれを検出し、新たなフレームのピクセルデータの値の方が小さい場合には、これを立ち下がりエッジとして検出する。送信されるデータは、マンチェスタ符号として符号化されているため、立ち上がりエッジは論理０に対応され、立ち下がりエッジは論理１に対応される。   The comparator 156 compares the pixel data (in the past frame) held in the analog memory array 152 with the pixel data (in the new frame) held in the pixel array 151, and then the pixel in the new frame. If the data value is larger, this is detected as a rising edge, and if the pixel data value of a new frame is smaller, this is detected as a falling edge. Since the transmitted data is encoded as a Manchester code, the rising edge corresponds to logic 0 and the falling edge corresponds to logic 1.

具体的には、図１４に示されるように、実線で示されるデータ境界２３２に同期してLED１２が点滅する。例えば、高レベルの期間がLEDが点灯している期間に対応し、低レベルの期間がLEDが消灯している期間に対応する。破線で示されるフレーム境界２３１のタイミングでサンプリングが行われる。データ境界２３２の略中央での立ち上がりエッジは論理０として、立下りエッジは論理１として、それぞれ検出される。この検出結果が、メモリＨデコーダ１５７から光信号検出結果出力としてDSP１２２に出力される。   Specifically, as shown in FIG. 14, the LED 12 blinks in synchronization with the data boundary 232 indicated by the solid line. For example, a high level period corresponds to a period during which the LED is lit, and a low level period corresponds to a period during which the LED is not lit. Sampling is performed at the timing of the frame boundary 231 indicated by the broken line. The rising edge at the approximate center of the data boundary 232 is detected as logic 0, and the falling edge is detected as logic 1. This detection result is output from the memory H decoder 157 to the DSP 122 as an optical signal detection result output.

ステップＳ５３において、判定部２０３はアドレスフレームを検出したかを判定する。図５Ａに示されるように、アドレスフレームは160ビットで構成されている。アドレスフレームが検出された場合、ステップＳ５４において、読取部２０８はアドレスを読み取る。具体的には、図５Ａの８ビットのアドレスが読み取られることになる。ステップＳ５５において、表示部２０２は、アイコンを表示する処理を実行する。すなわち、例えば図１に示されるように、LED２２−１の点滅信号からアドレスフレームを読み取った場合、得られたアドレスがアイコン４３−１として表示される。   In step S53, the determination unit 203 determines whether an address frame has been detected. As shown in FIG. 5A, the address frame is composed of 160 bits. If an address frame is detected, the reading unit 208 reads the address in step S54. Specifically, the 8-bit address in FIG. 5A is read. In step S55, the display unit 202 executes processing for displaying an icon. That is, for example, as shown in FIG. 1, when the address frame is read from the blinking signal of the LED 22-1, the obtained address is displayed as the icon 43-1.

ステップＳ５６において、判定部２０３は、アイコンが指定されたかを判定する。アイコンが指定されていないと判定された場合には、ステップＳ５８において、判定部２０３は480 msが経過したかを判定する。４kfpsによるサンプリング処理を開始してから480 msがまだ経過していない場合には、処理はステップＳ５２に戻り、それ以降の処理が繰り返し実行される。このような処理が繰り返し実行されることで、例えば図２に示されるように、モニタ４１にLEDの画像１２−１Ａ乃至１２−３Ａが表示されているような場合には、それぞれに対応するアイコン４３−１乃至４３−３が表示されることになる。   In step S56, the determination unit 203 determines whether an icon is designated. If it is determined that the icon is not designated, in step S58, the determination unit 203 determines whether 480 ms has elapsed. If 480 ms has not yet elapsed since the start of the sampling process at 4 kfps, the process returns to step S52, and the subsequent processes are repeatedly executed. By repeatedly executing such processing, for example, as shown in FIG. 2, when the LED images 12-1A to 12-3A are displayed on the monitor 41, the corresponding icons are displayed. 43-1 to 43-3 are displayed.

ステップＳ５８において、480 msが経過したと判定された場合、４kfpsによるサンプリング処理は終了される。したがって、図１１Ｂに示されるように、480 msの期間４kfpsでサンプリング処理が行われ、その後、３３msの期間（画像取得モードの期間）において、画像を取得する処理が実行されることになる。   If it is determined in step S58 that 480 ms has elapsed, the sampling process using 4 kfps is terminated. Therefore, as shown in FIG. 11B, sampling processing is performed in a period of 4 kfps of 480 ms, and thereafter, processing for acquiring an image is executed in a period of 33 ms (period of the image acquisition mode).

ユーザは、オブジェクト１１から情報を取得する場合、希望するオブジェクトに対応するアイコンを入力部３１を操作することで指定する。このとき、ステップＳ５６において、アイコンが指定されたと判定され、ステップＳ５７において、モード設定部２０６はモードをデータ読取モードに設定する。   When acquiring information from the object 11, the user designates an icon corresponding to the desired object by operating the input unit 31. At this time, it is determined in step S56 that an icon has been designated, and in step S57, the mode setting unit 206 sets the mode to the data reading mode.

例えば図２に示されるように、モニタ４１にアドレス１乃至アドレス３（アイコン４３−１乃至４３−３）が表示されている状態において、ユーザは所望のアドレス（アイコン４３）を指定する。この指定は、入力部３１を構成する各種のボタン、あるいはスイッチを操作することで行われる。このとき、図１２のステップＳ５７で、モードがそれまでのサーチモードからデータ読取モードに変更される。その結果、図１０のステップＳ２３においてモードがサーチモードではないと判定され、ステップＳ２５において400 kfpsによるサンプリング処理が実行される。   For example, as shown in FIG. 2, in a state where addresses 1 to 3 (icons 43-1 to 43-3) are displayed on the monitor 41, the user designates a desired address (icon 43). This designation is performed by operating various buttons or switches constituting the input unit 31. At this time, in step S57 of FIG. 12, the mode is changed from the previous search mode to the data reading mode. As a result, in step S23 of FIG. 10, it is determined that the mode is not the search mode, and in step S25, a sampling process using 400 kfps is executed.

次に、図１５のフローチャートを参照して、この400 kfpsによるサンプリング処理の詳細について説明する。   Next, details of the sampling process using 400 kfps will be described with reference to the flowchart of FIG.

ステップＳ８１において、領域設定部２０４は、走査領域として小領域を設定する。例えば、図２に示されるアイコン４３−２がユーザにより指定された場合、対応するLEDの画像１２−２Ａを含む領域が領域Ｒ２（小領域）として設定される。この領域Ｒ２は、図１３Ｂに示されるように、横方向Ｈ２個のピクセルと縦方向Ｖ２個のピクセルにより構成されている。ステップＳ８２において、サンプリング部２０５は、400 kfpsでサンプリングする処理を実行する。すなわち、ステップＳ８１で設定された領域Ｒ２が、400 kfpsでサンプリングされる。   In step S81, the area setting unit 204 sets a small area as the scanning area. For example, when the icon 43-2 shown in FIG. 2 is designated by the user, a region including the corresponding LED image 12-2A is set as a region R2 (small region). As shown in FIG. 13B, the region R2 is composed of H2 pixels in the horizontal direction and V2 pixels in the vertical direction. In step S82, the sampling unit 205 executes a process of sampling at 400 kfps. That is, the region R2 set in step S81 is sampled at 400 kfps.

領域Ｒ２は、図１３Ａの領域Ｒ１より狭い領域とされている。したがって、広い領域Ｒ１をサンプリングする場合に較べて、より迅速に情報の読み取りを行うことが可能となる。さらにまた、領域Ｒ１のサンプリングの周波数が４kfpsとされているのに対し、領域Ｒ２のサンプリング周波数が400 kfpsとされているため、さらに、より迅速に情報の読み取りを行うことが可能となる。   The region R2 is a region narrower than the region R1 in FIG. 13A. Therefore, it is possible to read information more quickly than when sampling the wide region R1. Furthermore, since the sampling frequency of the region R1 is 4 kfps, the sampling frequency of the region R2 is 400 kfps, so that information can be read more rapidly.

ピクセルＨデコーダ１５４とピクセルＶデコーダ１５３は、Ｈ２×Ｖ２個のピクセルだけを400 kfpsの周波数でサンプリングし、アナログメモリアレイ１５２に転送する。コンパレータ１５６は、アナログメモリアレイ１５２に転送された過去のフレームの領域のピクセルデータと、ピクセルアレイ１５１にその後保持された新たなフレームの、領域Ｒ２のピクセルデータとを比較する。その結果、領域Ｒ２のピクセルデータ（点滅信号）が読み取られる。その読み取られた結果が、メモリＨデコーダ１５７により光信号検出結果として出力される。   The pixel H decoder 154 and the pixel V decoder 153 sample only H2 × V2 pixels at a frequency of 400 kfps and transfer them to the analog memory array 152. The comparator 156 compares the pixel data of the region of the past frame transferred to the analog memory array 152 and the pixel data of the region R2 of the new frame held in the pixel array 151 thereafter. As a result, the pixel data (flashing signal) in the region R2 is read. The read result is output as an optical signal detection result by the memory H decoder 157.

データフレームは100 kHzの周波数で送信されるが、サンプリングは400 kfpsで行われるため、すなわち、160 msのデータフレームを１秒間に400×10³回サンプリングすることになるため、データフレームのビットを容易に読み取ることが可能となる。 Since the data frame is transmitted at a frequency of 100 kHz, sampling is performed at 400 kfps, that is, a 160 ms data frame is sampled 400 × 10 ³ times per second. It can be easily read.

ステップＳ８３において、判定部２０３は図５Ｂに示されるデータフレームを検出したかを判定し、まだ検出していない場合には、ステップＳ８６において、480 msが経過したかを判定する。400 kfpsでサンプリングを開始してから、まだ480 msが経過していない場合には、処理はステップＳ８２に戻り、400 kfpsによるサンプリングが繰り返し実行される。ステップＳ８６において、480 msが経過したと判定された場合には、400 kfpsによるサンプリング処理は終了される。   In step S83, the determination unit 203 determines whether the data frame shown in FIG. 5B has been detected. If not yet detected, the determination unit 203 determines in step S86 whether 480 ms has elapsed. If 480 ms has not yet elapsed after starting sampling at 400 kfps, the process returns to step S82, and sampling at 400 kfps is repeatedly executed. If it is determined in step S86 that 480 ms has elapsed, the sampling process using 400 kfps is terminated.

すなわち、図１１Ｃに示されるように、480 msの期間400 kfpsでサンプリングが行われ、480 msの期間が終了したとき、次に３３msの期間、通常の画像取得処理が実行されることになる。   That is, as shown in FIG. 11C, sampling is performed at a period of 400 kfps for 480 ms, and when the period of 480 ms is completed, normal image acquisition processing is executed for a period of 33 ms next.

ステップＳ８３において、データフレームを検出したと判定された場合、ステップＳ８４において、読取部２０８はデータを読み取る処理を実行する。すなわち、これにより、例えば、図５Ｂに示されるデータフレームの主情報としてのデータが読み取られることになる。   If it is determined in step S83 that a data frame has been detected, in step S84, the reading unit 208 executes processing for reading data. That is, for example, data as main information of the data frame shown in FIG. 5B is read.

次に、ステップＳ８５において、モード設定部２０６はモードをそれまでのデータ読取モードに換えて、サーチモードを設定する。その結果、再び各オブジェクトのLEDの画像からアドレス読み取る処理が行われる。   Next, in step S85, the mode setting unit 206 sets the search mode by changing the mode to the previous data reading mode. As a result, the address reading process is performed again from the LED image of each object.

図１１に示されるように、フレーム周期は160 msであるから、フレーム周波数は6.25 Hzとなる。サーチモードにおけるサンプリングは４kHzであり、データフレームにおける光点滅の周波数は100 kHzであるから、サーチモードのサンプリングにおいて、データフレームを読み取ることはできない。サンプリング期間は３フレーム分の期間とされているので、サンプリング期間に少なくとも１回はアドレスフレームが存在するので、そのタイミングでアドレスフレームを読み取ることが可能である。   As shown in FIG. 11, since the frame period is 160 ms, the frame frequency is 6.25 Hz. Since sampling in the search mode is 4 kHz and the frequency of light flashing in the data frame is 100 kHz, the data frame cannot be read in the sampling in the search mode. Since the sampling period is a period corresponding to three frames, an address frame exists at least once in the sampling period, so that the address frame can be read at that timing.

これに対して、データ読取モードにおけるサンプリングは400 kHzであり、100 kHzの周波数のデータフレームのデータを充分読み取ることが可能となる。400 kfpsのサンプリングによりアドレスフレームのデータも読み取ることが可能ではあるが、読み取ったデータの内容または周波数からデータフレームであるのかアドレスフレームであるのかの識別が可能となる。   On the other hand, sampling in the data reading mode is 400 kHz, and it is possible to sufficiently read data in a data frame having a frequency of 100 kHz. Although it is possible to read address frame data by sampling at 400 kfps, it is possible to identify whether it is a data frame or an address frame from the content or frequency of the read data.

アドレスフレームとデータフレームの送信と受信を同期させることが可能である場合には、図１６Ａに示されるように、アドレスフレームとデータフレームは、160 msの周期で交互に送信されてくるので、受信側において図１６Ｂと図１６Ｃに示されるように、それぞれアドレスフレームにおいてはサーチモードでサンプリングを行い、データフレームにおいてはデータ読取モードでサンプリングを行うようにすることが可能となる。   When it is possible to synchronize the transmission and reception of the address frame and the data frame, as shown in FIG. 16A, the address frame and the data frame are alternately transmitted at a period of 160 ms. On the side, as shown in FIGS. 16B and 16C, it is possible to perform sampling in the search mode in the address frame and in the data reading mode in the data frame, respectively.

図４の実施形態においては、アドレスフレームとデータフレームを時分割多重して送信するようにしたが、同時に送信することも可能である。図１７は、この場合の実施形態を表している。   In the embodiment of FIG. 4, the address frame and the data frame are transmitted by time division multiplexing, but can be transmitted simultaneously. FIG. 17 shows an embodiment in this case.

この実施形態においては、オブジェクト１１−２１がLED１２−３１とLED１２−３２を有している。LED１２−３１はアドレスフレームを送信し、LED１２−３２はデータフレームを送信する。すなわち、LED１２−３１は１kHzの周波数で点滅し、LED１２−３２は100 kHzの周波数で点滅する。図１７の実施形態においては、LED１２−３１とLED１２−３２の対応する画像が、レンズ６２によりイメージセンサ６１の１つのピクセル７１上に結像している状態が示されている。   In this embodiment, the object 11-21 has an LED 12-31 and an LED 12-32. The LED 12-31 transmits an address frame, and the LED 12-32 transmits a data frame. That is, the LED 12-31 blinks at a frequency of 1 kHz, and the LED 12-32 blinks at a frequency of 100 kHz. In the embodiment of FIG. 17, a state where images corresponding to the LEDs 12-31 and the LEDs 12-32 are formed on one pixel 71 of the image sensor 61 by the lens 62 is shown.

図１８は、図１７の実施形態におけるオブジェクト１１の構成例を表している。その基本的構成は、図４における場合と同様であるが、図１８の実施形態においては、送信部１０５が、送信部１０５−１と送信部１０５−２の２つに分かれている。そして、送信部１０５−１は、アドレスフレーム生成部１０２より供給されるアドレスフレームを、LED１２−３１を介して送信する。送信部１０５−２は、データフレーム生成部１０３より供給されるデータフレームを、LED１２−３２を制御することで送信する。その他の構成は、図４における場合と同様である。   FIG. 18 shows a configuration example of the object 11 in the embodiment of FIG. The basic configuration is the same as that in FIG. 4, but in the embodiment of FIG. 18, the transmission unit 105 is divided into two, a transmission unit 105-1 and a transmission unit 105-2. Then, the transmission unit 105-1 transmits the address frame supplied from the address frame generation unit 102 via the LED 12-31. The transmission unit 105-2 transmits the data frame supplied from the data frame generation unit 103 by controlling the LED 12-32. Other configurations are the same as those in FIG.

図１８のオブジェクトの送信処理は、図１９のフローチャートに示されるように行われる。すなわち、ステップＳ１０１において、アドレスフレーム生成部１０２はアドレスフレームを生成する。ステップＳ１０２において、送信部１０５−１は、アドレスフレーム生成部１０２により生成されたアドレスフレームを、LED１２−３１を点滅させることで送信する。ステップＳ１０３において、データフレーム生成部１０３はデータフレームを生成する。ステップＳ１０４において、送信部１０５−２は、データフレーム生成部１０３により生成されたデータフレームを、LED１２−３２を点滅させることで送信する。なお、実際には、ステップＳ１０１，Ｓ１０２の処理と、ステップＳ１０３，Ｓ１０４の処理とは並行して実行される。   The object transmission process of FIG. 18 is performed as shown in the flowchart of FIG. That is, in step S101, the address frame generation unit 102 generates an address frame. In step S102, the transmission unit 105-1 transmits the address frame generated by the address frame generation unit 102 by blinking the LED 12-31. In step S103, the data frame generation unit 103 generates a data frame. In step S104, the transmission unit 105-2 transmits the data frame generated by the data frame generation unit 103 by blinking the LED 12-32. In practice, the processes in steps S101 and S102 and the processes in steps S103 and S104 are executed in parallel.

ステップＳ１０５において、制御部１０６は、処理の終了が指示されたかを判定し、まだ指示されていない場合には処理はステップＳ１０１に戻り、それ以降の処理が繰り返し実行される。   In step S105, the control unit 106 determines whether the end of the process has been instructed. If not instructed yet, the process returns to step S101, and the subsequent processes are repeatedly executed.

したがって、図２０Ａに示されるように、LED１２−３１は１kHzの周波数のアドレスフレームの点滅信号を送信し、LED１２−３２は、図２０Ｂに示されるように、100 kHzの周波数のデータフレームのデータの点滅信号を送信する。その結果、受信側においては、図２０Ｃに示されるように、LED１２−３１が出力した信号とLED１２−３２が出力した信号の合成信号を受信することになる。   Thus, as shown in FIG. 20A, the LED 12-31 transmits a blink signal of an address frame having a frequency of 1 kHz, and the LED 12-32 transmits data of a data frame having a frequency of 100 kHz as shown in FIG. 20B. Send a blinking signal. As a result, on the receiving side, as shown in FIG. 20C, a combined signal of the signal output from the LED 12-31 and the signal output from the LED 12-32 is received.

携帯端末２１における受信処理は、図１０のフローチャートに示される場合と同様となる。ただし、そのステップＳ２４の４kfpsによるサンプリング処理とステップＳ２５の400 kfpsによるサンプリング処理は、図２１または図２２に示されるようになる。   The reception process in the portable terminal 21 is the same as that shown in the flowchart of FIG. However, the sampling process at 4 kfps in step S24 and the sampling process at 400 kfps in step S25 are as shown in FIG. 21 or FIG.

すなわち、４kfpsによるサンプリング処理は、図２１のステップＳ１２１乃至ステップＳ１２８に示されるように行われる。この図２１の各ステップの処理は、図１２のステップＳ５１乃至ステップＳ５８の処理と基本的に同様の処理であるが、ステップＳ５８に対応するステップＳ１２８における判定処理の時間のみが、図１２における場合と異なっている。すなわち、ステップＳ１２８においては、判定の期間が320 msとされている。その他の処理は、図１２における場合と同様である。   That is, the sampling process by 4 kfps is performed as shown in steps S121 to S128 in FIG. The processing in each step in FIG. 21 is basically the same as the processing in steps S51 to S58 in FIG. 12, but only the determination processing time in step S128 corresponding to step S58 is the case in FIG. Is different. That is, in step S128, the determination period is set to 320 ms. Other processes are the same as those in FIG.

図２２の400 kfpsによるサンプリング処理も、図１５の400 kfpsによるサンプリング処理のステップＳ８１乃至ステップＳ８６の処理と同様の処理である。図２２のステップＳ１５１乃至ステップＳ１５６のうちのステップＳ１５６の処理だけが、図１５のステップＳ８６の処理と異なっている。すなわち、ステップＳ１５６においては、400 kfpsでサンプリングする処理を開始してからの経過時間の判定が320 msで行われる。その他のステップＳ１５１乃至ステップＳ１５５の処理は、図１５のステップＳ８１乃至ステップＳ８５の処理と同様である。   The sampling process at 400 kfps in FIG. 22 is the same process as the process at steps S81 to S86 of the sampling process at 400 kfps in FIG. Only the process of step S156 out of steps S151 to S156 of FIG. 22 is different from the process of step S86 of FIG. That is, in step S156, the elapsed time from the start of sampling at 400 kfps is determined at 320 ms. The other processes in steps S151 through S155 are the same as the processes in steps S81 through S85 in FIG.

以上の処理を、図２３を参照してさらに説明する。すなわち、LED１２−３１は図２３Ａに示されるように、160 msのフレーム周期でアドレスフレームを発生する。同様に、図２３Ｂに示されるように、LED１２−３２は、LED１２−３１と同期して、160 msの周期でデータフレームを発生する。サーチモードのサンプリングは、図２３Ｃに示されるように、320 msの期間にわたって４kfpsのサンプリングが行われる。320 msの期間が経過した後、３３msの期間、画像取得処理が行われる。この画像取得処理とサンプリング処理が、交互に繰り返し実行されることになる。データ読取モードのサンプリングにおいても、図２３Ｄに示されるように、320 msの期間サンプリングが行われた後、３３msの期間、画像取得処理が実行される。このサンプリング処理と画像取得処理が交互に行われる。   The above processing will be further described with reference to FIG. That is, the LED 12-31 generates an address frame with a frame period of 160 ms, as shown in FIG. 23A. Similarly, as shown in FIG. 23B, the LED 12-32 generates a data frame in a cycle of 160 ms in synchronization with the LED 12-31. As shown in FIG. 23C, the search mode is sampled at 4 kfps over a period of 320 ms. After the 320 ms period has elapsed, image acquisition processing is performed for a 33 ms period. This image acquisition process and sampling process are repeatedly performed alternately. Also in the sampling in the data reading mode, as shown in FIG. 23D, after sampling is performed for a period of 320 ms, an image acquisition process is performed for a period of 33 ms. This sampling process and image acquisition process are performed alternately.

この実施形態の場合、アドレスフレームとデータフレームが同時に送信されるので、サンプリング期間は２フレーム分の期間（320 ms）とされる。送信側と受信側が非同期でも、その期間に少なくとも１回は、アドレスフレームまたはデータフレームが存在することになるからである。   In this embodiment, since the address frame and the data frame are transmitted at the same time, the sampling period is a period of two frames (320 ms). This is because even if the transmitting side and the receiving side are asynchronous, an address frame or a data frame exists at least once during the period.

なお、図２３においても、図２３Ｃのサーチモードのサンプリングと、図２３Ｄのデータ読取モードのサンプリングが同時に行われるように図示されているが、実際には、サーチモードのサンプリングとデータ読取モードのサンプリングは、その一方が行われているとき他方は行われない。   In FIG. 23, the search mode sampling of FIG. 23C and the data reading mode sampling of FIG. 23D are shown to be performed at the same time, but in reality, the search mode sampling and the data reading mode sampling are performed. Is not done when one is done.

LED１２−３１の信号とLED１２−３２の信号が同時に受信されるのであるが、上述したように、サーチモード時のサンプリングの周波数はデータフレームの周波数より低いため、データフレームの周波数は読み取ることができないので、妨害にはならない。また、データ読取モード時のサンプリング時には、LED１２−３２の信号のエッジだけでなく、LED１２−３１の信号のエッジも検出される結果となるが、FCSによるエラー訂正により訂正が可能である。   The signal of the LED 12-31 and the signal of the LED 12-32 are received at the same time. However, as described above, since the sampling frequency in the search mode is lower than the frequency of the data frame, the frequency of the data frame cannot be read. So it will not interfere. Further, at the time of sampling in the data reading mode, not only the edge of the signal of the LED 12-32 but also the edge of the signal of the LED 12-31 is detected, but it can be corrected by error correction by FCS.

図１７の実施形態においては、LED１２−３１，１２−３２を同じ色の光を発生させるようにしたが、異なる色の光を発生させるようにすることもできる。この場合の実施形態が図２４に示されている。   In the embodiment of FIG. 17, the LEDs 12-31 and 12-32 generate light of the same color. However, it is also possible to generate light of different colors. An embodiment in this case is shown in FIG.

すなわち、図２４の実施形態においては、LED１２−４１が赤の光を発生し、LED１２−４２が緑の光を発生するように構成されている。この場合、LED１２−４１，１２−４２はそれぞれ赤または緑の色を発生するLEDで構成するようにしてもよいが、広い帯域の波調の光を発生するLEDの前に、赤または緑の成分のみの波長成分を通過させるフィルタを配置することで構成するようにしてもよい。その他の構成は、図１８における実施形態と同様である。   That is, in the embodiment of FIG. 24, the LED 12-41 is configured to generate red light, and the LED 12-42 is configured to generate green light. In this case, the LEDs 12-41 and 12-42 may be configured by LEDs that generate red or green colors, respectively, but before the LEDs that generate a wide band of light, red or green You may make it comprise by arrange | positioning the filter which lets the wavelength component of only a component pass. Other configurations are the same as those of the embodiment in FIG.

図２４の実施形態における送信処理は、図１９のフローチャートに示される場合と同様となり、その説明は繰り返しとなるので省略する。   The transmission processing in the embodiment of FIG. 24 is the same as that shown in the flowchart of FIG.

オブジェクト１１が、図２４に示されるように構成された場合における携帯端末２１の受信処理は、基本的には、図１０のフローチャートに示される場合と同様となる。但し、そのステップＳ２４における４kfpsによるサンプリング処理と、ステップＳ２５における400 kfpsによるサンプリング処理は、それぞれ図２５または図２６のフローチャートに示されるようになる。   The reception process of the portable terminal 21 when the object 11 is configured as shown in FIG. 24 is basically the same as the case shown in the flowchart of FIG. However, the sampling process by 4 kfps in step S24 and the sampling process by 400 kfps in step S25 are as shown in the flowchart of FIG. 25 or 26, respectively.

図２５の４kfpsによるサンプリング処理のステップＳ１８１乃至ステップＳ１８８の処理は、図２１のステップＳ１２１乃至ステップＳ１２８の処理と基本的に同様となる。但し、ステップＳ１２２に対応するステップＳ１８２の処理においては、ピクセルの赤の成分を４kfpsによりサンプリングする処理が行われる。すなわち、図７のピクセルアレイ１５１に保持されたピクセルデータのうち、赤の成分のみがアナログメモリアレイ１５２に転送され、コンパレータ１５６により比較される。その他の処理は、図２１における場合と同様である。   The processing from step S181 to step S188 of the sampling processing by 4 kfps in FIG. 25 is basically the same as the processing from step S121 to step S128 in FIG. However, in the process of step S182 corresponding to step S122, a process of sampling the red component of the pixel at 4 kfps is performed. That is, only the red component of the pixel data held in the pixel array 151 of FIG. 7 is transferred to the analog memory array 152 and compared by the comparator 156. Other processes are the same as those in FIG.

また、図２６に示される400 kfpsによるサンプリング処理のステップＳ２０１乃至ステップＳ２０６の処理は、図２２のステップＳ１５１乃至ステップＳ１５６の処理と基本的に同様の処理である。但し、図２２のステップＳ１５２の400 kfpsによるサンプリング処理に代わって図２６のステップＳ２０２においては、ピクセルの緑の成分を400 kfpsによりサンプリングする処理が行われる。すなわち、図１３の領域Ｒ２におけるピクセルデータのうち、緑の成分のみがピクセルアレイ１５１からアナログメモリアレイ１５２に転送され、コンパレータ１５６で比較されることでサンプリングが行われる。その他の処理は、図２２における場合と同様である。   In addition, the processing from step S201 to step S206 in the sampling processing at 400 kfps shown in FIG. 26 is basically the same processing as the processing from step S151 to step S156 in FIG. However, in place of the sampling process by 400 kfps in step S152 of FIG. 22, in step S202 of FIG. 26, a process of sampling the green component of the pixel by 400 kfps is performed. That is, of the pixel data in the region R2 in FIG. 13, only the green component is transferred from the pixel array 151 to the analog memory array 152 and compared by the comparator 156 to perform sampling. Other processes are the same as those in FIG.

なお、LED１２−４１，１２−４２が発生する光の色は、赤または緑に限らず、その他の色の光であっても良い。   Note that the color of light generated by the LEDs 12-41 and 12-42 is not limited to red or green, but may be light of other colors.

このように、オブジェクト１１により異なる色の光を発生させるようにすれば、携帯端末２１においてアドレスフレームとデータフレームとをより容易に識別することが可能となる。   In this way, if different colors of light are generated by the object 11, it becomes possible to more easily identify the address frame and the data frame in the portable terminal 21.

以上においては、アドレスフレームとデータフレームを交互に送信するか、または同時に送信するようにしたが、アドレスフレームだけを連続的に送信し、携帯端末２１から要求を受けた後、データフレームを送信させるようにすることも可能である。図２７は、この場合のオブジェクト１１の実施形態を表している。   In the above, the address frame and the data frame are transmitted alternately or simultaneously, but only the address frame is continuously transmitted, and after receiving a request from the portable terminal 21, the data frame is transmitted. It is also possible to do so. FIG. 27 shows an embodiment of the object 11 in this case.

オブジェクト１１は受信部２６１を有する。受信部２６１は携帯端末２１が送信する赤外線その他の光信号、あるいは無線電波による信号を受信し、その受信した結果を制御部１０６に出力する。その他の構成は、図４における場合と同様である。   The object 11 has a receiving unit 261. The receiving unit 261 receives an infrared or other optical signal transmitted by the mobile terminal 21 or a signal using a radio wave, and outputs the received result to the control unit 106. Other configurations are the same as those in FIG.

次に、図２８のフローチャートを参照して、図２７のオブジェクト１１の送信処理について説明する。ステップＳ２２１において、アドレスフレーム生成部１０２はアドレスフレームを生成する。ステップＳ２２２において、送信部１０５は、アドレスフレーム生成部１０２により生成されたアドレスフレームをLED１２を制御することで送信する。すなわち、アドレスフレーム生成部１０２により生成されたアドレスフレームは、合成部１０４を介して送信部１０５に供給される。送信部１０５は、入力されたアドレスフレームに対応してLED１２を駆動することで、アドレスフレームを送信する。   Next, the transmission processing of the object 11 in FIG. 27 will be described with reference to the flowchart in FIG. In step S221, the address frame generation unit 102 generates an address frame. In step S <b> 222, the transmission unit 105 transmits the address frame generated by the address frame generation unit 102 by controlling the LED 12. That is, the address frame generated by the address frame generation unit 102 is supplied to the transmission unit 105 via the synthesis unit 104. The transmission unit 105 transmits the address frame by driving the LED 12 corresponding to the input address frame.

ステップＳ２２３において、制御部１０６は、自分自身が指定されたかを判定する。すなわち、図３０のフローチャートを参照して後述するように、ステップＳ２５７において、ユーザが携帯端末２１を操作してオブジェクトを指定した場合、そのオブジェクト指定情報が送信されてくる。制御部１０６は、この指定情報が受信されたかを判定する。指定情報が受信されていない場合には、処理はステップＳ２２２に戻り、アドレスフレームを送信する処理が繰り返し実行される。   In step S223, the control unit 106 determines whether or not itself is designated. That is, as will be described later with reference to the flowchart of FIG. 30, when the user designates an object by operating the mobile terminal 21 in step S257, the object designation information is transmitted. The control unit 106 determines whether this designation information has been received. If the designation information has not been received, the process returns to step S222, and the process of transmitting the address frame is repeatedly executed.

ステップＳ２２３において、自分自身が指定されたと判定された場合、ステップＳ２２４において、データフレーム生成部１０３はデータフレームを生成する。ステップＳ２２５において、送信部１０５はデータフレームを送信する。すなわち、データフレーム生成部１０３により生成されたデータフレームは、合成部１０４を介して送信部１０５に供給される。送信部１０５は、供給されたデータフレームに基づいてLED１２を駆動し、データフレームを送信する。   If it is determined in step S223 that the device itself has been designated, in step S224, the data frame generation unit 103 generates a data frame. In step S225, the transmission unit 105 transmits a data frame. That is, the data frame generated by the data frame generation unit 103 is supplied to the transmission unit 105 via the synthesis unit 104. The transmission unit 105 drives the LED 12 based on the supplied data frame and transmits the data frame.

ステップＳ２２６において、制御部１０６は終了が指示されたかを判定し、終了がまだ指示されていない場合には、処理はステップＳ２２１に戻り、それ以降の処理が繰り返し実行される。ステップＳ２２６において、終了が指示されたと判定された場合、処理は終了される。   In step S226, the control unit 106 determines whether termination is instructed. If termination has not been instructed yet, the process returns to step S221, and the subsequent processing is repeatedly executed. If it is determined in step S226 that termination has been instructed, the process is terminated.

以上のようにして、オブジェクト１１は、ユーザよりオブジェクト１１が指定された場合データフレームを送信し、指定されるまでの間は常にアドレスフレームを送信している。   As described above, the object 11 transmits a data frame when the object 11 is specified by the user, and always transmits an address frame until it is specified.

オブジェクト１１が、図２７に示されるように構成される場合、携帯端末２１のDSP１２２（制御部１２１）は、図２９に示されるように構成される。このDSP１２２は、赤外線または電波（電磁誘導を含む）でオブジェクト１１を指定する情報を送信する送信部２８１を有する。その他の構成は、図９における場合と同様である。   When the object 11 is configured as shown in FIG. 27, the DSP 122 (control unit 121) of the mobile terminal 21 is configured as shown in FIG. The DSP 122 includes a transmission unit 281 that transmits information specifying the object 11 by infrared rays or radio waves (including electromagnetic induction). Other configurations are the same as those in FIG.

次に、図２９のDSP１２２の受信処理について説明する。この受信処理は、図１０に示される場合と基本的に同様であるが、ステップＳ２４の４kfpsによるサンプリング処理と、ステップＳ２５の400 kfpsによるサンプリング処理が、上述した場合と異なっている。すなわち、この図２９のDSP１２２の４kfpsによるサンプリング処理と400 kfpsによるサンプリング処理は、それぞれ図３０または図３２に示されるように行われる。   Next, the reception process of the DSP 122 in FIG. 29 will be described. This reception process is basically the same as the case shown in FIG. 10, but the sampling process by 4 kfps in step S24 and the sampling process by 400 kfps in step S25 are different from those described above. That is, the sampling process by 4 kfps and the sampling process by 400 kfps of the DSP 122 in FIG. 29 are performed as shown in FIG. 30 or 32, respectively.

図３０のステップＳ２５１乃至ステップＳ２５９の処理は、図１２のステップＳ５１乃至ステップＳ５８の処理と基本的に同様である。但し、図１２のステップＳ５６に対応する図３０のステップＳ２５６と、図１２のステップＳ５７に対応する図３０のステップＳ２５８の間に、ステップＳ２５７のオブジェクト指定情報を送信する処理が挿入されている。その他の処理は、図１２における場合と同様である。   The processing from step S251 to step S259 in FIG. 30 is basically the same as the processing from step S51 to step S58 in FIG. However, a process for transmitting the object designation information in step S257 is inserted between step S256 in FIG. 30 corresponding to step S56 in FIG. 12 and step S258 in FIG. 30 corresponding to step S57 in FIG. Other processes are the same as those in FIG.

すなわち、図３０の処理においては、ステップＳ２５１において、領域設定部２０４は、走査領域として図１３Ａに示される領域Ｒ１を設定する。ステップＳ２５２でサンプリング部２０５は、４kfpsでサンプリングする処理を実行する。これにより、図２に示されるように、モニタ４１にオブジェクト１１の画像が表示される。   That is, in the process of FIG. 30, in step S251, the region setting unit 204 sets the region R1 shown in FIG. 13A as the scanning region. In step S252, the sampling unit 205 executes a process of sampling at 4 kfps. As a result, the image of the object 11 is displayed on the monitor 41 as shown in FIG.

ステップＳ２５３において、判定部２０３はアドレスフレームを検出したかを判定し、まだ検出していない場合には処理はステップＳ２５９に進み、判定部２０３は、４kfpsによるサンプリング処理を開始してから480 msが経過したかを判定する。480 msがまだ経過していない場合には、処理はステップＳ２５２に戻り、それ以降の処理が繰り返し実行される。ステップＳ２５３において、アドレスフレームを検出したと判定された場合、ステップＳ２５４において、読取部２０８はアドレスを読み取る。ステップＳ２５５において、表示部２０２は、ステップＳ２５４で読み取られたアドレスを表すアイコンを表示する。ステップＳ２５６において、判定部２０３はアイコンが指定されたかを判定する。アイコンが指定されていない場合には、処理はステップＳ２５９に進み、480 msが経過したかが判定される。まだ480 msが経過していない場合には、上述したように処理はステップＳ２５２に戻り、それ以降の処理が繰り返し実行される。   In step S253, the determination unit 203 determines whether an address frame has been detected. If the address frame has not been detected, the process proceeds to step S259, and the determination unit 203 starts 480 ms after starting sampling processing using 4 kfps. Determine if it has passed. If 480 ms has not yet elapsed, the process returns to step S252, and the subsequent processes are repeatedly executed. If it is determined in step S253 that an address frame has been detected, the reading unit 208 reads the address in step S254. In step S255, the display unit 202 displays an icon representing the address read in step S254. In step S256, the determination unit 203 determines whether an icon is specified. If no icon is designated, the process proceeds to step S259, and it is determined whether 480 ms has elapsed. If 480 ms has not yet elapsed, the processing returns to step S252 as described above, and the subsequent processing is repeatedly executed.

ステップＳ２５６において、アイコンが指定されたと判定された場合、ステップＳ２５７において、送信部２８１はオブジェクト指定情報を送信する。すなわち、送信部２８１は、例えば、アドレスフレームから読み取ったアドレスをオブジェクトを指定する情報として、オブジェクト１１に送信する。上述したように、この指定情報がオブジェクト１１により受信されると、図２８のステップＳ２２５において、オブジェクト１１からデータフレームが送信されてくる。そこで、ステップＳ２５８において、モード設定部２０６はモードをデータ読取モードに変更する。その結果、図１０のステップＳ２３において、モードがサーチモードではない（データ読取モードである）と判定され、ステップＳ２５において、400 kfpsによるサンプリング処理が実行される。この400 kfpsによるサンプリング処理は、図１５のフローチャートに示される場合と同様である。   If it is determined in step S256 that an icon has been designated, in step S257, the transmission unit 281 transmits object designation information. That is, the transmission unit 281 transmits, for example, the address read from the address frame to the object 11 as information specifying the object. As described above, when this designation information is received by the object 11, a data frame is transmitted from the object 11 in step S225 of FIG. Therefore, in step S258, the mode setting unit 206 changes the mode to the data reading mode. As a result, in step S23 of FIG. 10, it is determined that the mode is not the search mode (data reading mode), and in step S25, sampling processing at 400 kfps is executed. The sampling process at 400 kfps is the same as that shown in the flowchart of FIG.

このように、指定された場合においてのみデータフレームを送信するようにすれば、データをより効率的に送信することが可能となる。   As described above, if the data frame is transmitted only in the designated case, the data can be transmitted more efficiently.

ユーザは、データフレームを受信している間、カメラ４２を、対象とするLED１２に指向させる必要がある。しかしながら、その時間が長くなると、ユーザは所望するLED１２に対してカメラ４２を指向させることが困難となる。そこで、例えば、図３１に示されるように、対象とされるLEDの画像（図３１の実施形態の場合、LEDの画像１２−１Ａ）を囲むようにマーク３０１を表示させるようにすることができる。これにより、ユーザは、携帯端末２１のカメラ４２をLED１２−１がマーク３０１の内部に位置するように指向させることで、容易にカメラ４２を所望とするLED１２に指向させることが可能となる。   The user needs to point the camera 42 at the target LED 12 while receiving the data frame. However, if the time becomes longer, it becomes difficult for the user to point the camera 42 toward the desired LED 12. Therefore, for example, as shown in FIG. 31, the mark 301 can be displayed so as to surround the target LED image (in the case of the embodiment of FIG. 31, the LED image 12-1A). . Thus, the user can easily point the camera 42 toward the desired LED 12 by directing the camera 42 of the mobile terminal 21 so that the LED 12-1 is positioned inside the mark 301.

この場合における携帯端末２１のDSP１２２（制御部１２１）の構成は図９に示される場合と同様となり、またその受信処理は、図１０のフローチャートに示される場合と同様となる。ただし、そのステップＳ２５の400 kfpsによるサンプリング処理は、図３２に示されるように行われる。そのステップＳ２８１乃至ステップＳ２８７の処理は、図１５のステップＳ８１乃至ステップＳ８６の処理と基本的に同様であるが、図１５のステップＳ８１に対応する図３２のステップＳ２８１と、図１５のステップＳ８２に対応する図３２のステップＳ２８３の間には、マークを表示するステップＳ２８２の処理が挿入されている。   In this case, the configuration of the DSP 122 (control unit 121) of the portable terminal 21 is the same as that shown in FIG. 9, and the reception process is the same as that shown in the flowchart of FIG. However, the sampling process at 400 kfps in step S25 is performed as shown in FIG. The processing from step S281 to step S287 is basically the same as the processing from step S81 to step S86 in FIG. 15, but the processing in step S281 in FIG. 32 corresponding to step S81 in FIG. 15 and step S82 in FIG. Between the corresponding step S283 of FIG. 32, the process of step S282 for displaying a mark is inserted.

すなわち、図３２の400 kfpsによるサンプリング処理においては、ステップＳ２８１で領域設定部２０４により図１３Ｂに示される領域Ｒ２が指定されたとき、ステップＳ２８２において、表示部２０２がマークを表示する。これにより、例えば、図３１に示されるようなマーク３０１が、ユーザが指定したアドレスに対応するLEDの画像１２−１Ａを中に含むように表示される。したがって、ユーザは携帯端末２１のカメラ４２を、LED１２−１Ａがマーク３０１の内部に位置するように指向させることで、確実にデータフレームを受信することが可能となる。以下、ステップＳ２８３乃至ステップＳ２８７の処理は、図１５のステップＳ８２乃至ステップＳ８６の処理と同様であるので、その説明は省略する。   That is, in the sampling process at 400 kfps in FIG. 32, when the region R2 shown in FIG. 13B is designated by the region setting unit 204 in step S281, the display unit 202 displays a mark in step S282. Thereby, for example, a mark 301 as shown in FIG. 31 is displayed so as to include an LED image 12-1A corresponding to the address designated by the user. Therefore, the user can reliably receive the data frame by pointing the camera 42 of the mobile terminal 21 so that the LED 12-1A is positioned inside the mark 301. Hereinafter, the processing from step S283 to step S287 is the same as the processing from step S82 to step S86 in FIG.

なお、マーク３０１を円形とする場合、図３３Ａに示されるように、領域Ｒ２がそのマーク３０１に内接するような大きさにマーク３０１を表示することができる。あるいはまた、図３３Ｂに示されるように、マーク３０１は領域Ｒ２より若干大きい径の円とすることができる。もちろん、マーク３０１の形状は円に限らず、例えば、図３３Ｃに示されるように、領域Ｒ２を含む四角形のマークとすることも可能である。   When the mark 301 is circular, the mark 301 can be displayed in a size such that the region R2 is inscribed in the mark 301 as shown in FIG. 33A. Alternatively, as shown in FIG. 33B, the mark 301 can be a circle having a slightly larger diameter than the region R2. Of course, the shape of the mark 301 is not limited to a circle, and for example, as shown in FIG. 33C, a square mark including a region R2 may be used.

なお、図１０のステップＳ２４の４kfpsによるサンプリング処理は、図１２に示される場合と同様の処理となる。   In addition, the sampling process by 4 kfps of step S24 of FIG. 10 is the same as that shown in FIG.

以上においては、領域Ｒ２を固定した位置に設定するようにしたが、領域Ｒ２の位置を移動させるようにすることも可能である。図３４は、この場合におけるDSP１２２（制御部１２１）の実施形態を表している。このDSP１２２においては演算部３２１が設けられている。演算部３２１は、指定されたLEDの位置を演算する。DSP１２２のその他の構成は、図９における場合と同様である。   In the above, the region R2 is set to a fixed position, but the position of the region R2 can be moved. FIG. 34 shows an embodiment of the DSP 122 (control unit 121) in this case. The DSP 122 is provided with a calculation unit 321. The calculation unit 321 calculates the position of the designated LED. Other configurations of the DSP 122 are the same as those in FIG.

このDSP１２２が実行する受信処理は、図１０のフローチャートに示される場合と同様となる。そのステップＳ２４の４kfpsによるサンプリング処理は、図１２における場合と同様となるが、ステップＳ２５の400 kfpsによるサンプリング処理は、図３５のフローチャートに示されるようになる。   The reception process executed by the DSP 122 is the same as that shown in the flowchart of FIG. The sampling process at 4 kfps in step S24 is the same as in FIG. 12, but the sampling process at 400 kfps in step S25 is as shown in the flowchart of FIG.

すなわち、ステップＳ３０１において、演算部３２１はユーザにより指定されたLEDの画像１２Ａの位置を演算する。LED１２の像が複数のピクセルにより表示されている場合には、その重心位置が演算され、重心位置がそのLEDの画像の位置とされる。ステップＳ３０２において、領域設定部２０４は、ステップＳ３０１の処理により演算された位置に走査領域として小領域を設定する。このステップＳ３０１とステップＳ３０２の処理は、以後継続的に行われ、ユーザが携帯端末２１のカメラ４２の位置を移動（方向を変化）させた場合、その移動位置に応じて、すなわち、モニタ４１内のLEDの画像の位置に応じて、領域Ｒ２の位置がそれを追従するように変更される。したがって、ユーザはLEDの画像をモニタ４１内に表示させておきさえすれば、フレームデータを確実に受信することが可能となる。   That is, in step S301, the calculation unit 321 calculates the position of the LED image 12A designated by the user. When the image of the LED 12 is displayed by a plurality of pixels, the position of the center of gravity is calculated, and the position of the center of gravity is set as the position of the image of the LED. In step S302, the area setting unit 204 sets a small area as a scanning area at the position calculated by the process in step S301. The processing of step S301 and step S302 is continuously performed thereafter, and when the user moves the position of the camera 42 of the mobile terminal 21 (changes the direction), depending on the moving position, that is, in the monitor 41 The position of the region R2 is changed so as to follow the position of the image of the LED. Therefore, as long as the user displays the LED image on the monitor 41, the frame data can be reliably received.

次に、他の実施形態ついて説明する。以上においては、ユーザが指定したオブジェクトのアドレスを取得するようにしたが、ユーザが指定するアドレスを検索するようにすることも可能である。この場合、DSP１２２（制御部１２１）は、図９に示される場合と同様の構成となる。そして、送信処理は図８に示される場合と同様である。   Next, another embodiment will be described. In the above description, the address of the object specified by the user is acquired, but it is also possible to search for the address specified by the user. In this case, the DSP 122 (control unit 121) has the same configuration as that shown in FIG. The transmission process is the same as that shown in FIG.

受信処理は図３６のフローチャートに示されるように実行される。   The reception process is executed as shown in the flowchart of FIG.

すなわち、ステップＳ３３１で取得部２０１は、検索するアドレスを取得する。具体的にはユーザが入力部３１を操作して、検索するアドレスを入力する。取得部２０１はこのアドレスを取得する。取得されたアドレスは記憶部２０７に記憶される。   That is, in step S331, the acquisition unit 201 acquires a search address. Specifically, the user operates the input unit 31 to input an address to be searched. The acquisition unit 201 acquires this address. The acquired address is stored in the storage unit 207.

その後のステップＳ３３２乃至Ｓ３３７の処理は、図１０のステップＳ２１乃至Ｓ２６の処理と同様であるのでその説明は省略する。   The subsequent processing in steps S332 to S337 is the same as the processing in steps S21 to S26 in FIG.

ただし、図３６のステップＳ３３５の４kfpsによるサンプリング処理は、図３７に示されるように実行され、ステップＳ３３６の400 kfpsによるサンプリング処理は、図１５のフローチャートに示されるように実行される。   However, the sampling process at 4 kfps in step S335 in FIG. 36 is executed as shown in FIG. 37, and the sampling process at 400 kfps in step S336 is executed as shown in the flowchart in FIG.

図３７のフローチャートにおける４kfpsによるサンプリング処理について説明する。ステップＳ３５１において、領域設定部２０４は、走査領域として大領域を設定する。すなわち、図１３の領域Ｒ１が走査領域として設定される。ステップＳ３５２において、サンプリング部２０５は、４kfpsでサンプリングする処理を実行する。そして、ステップＳ３５３において、判定部２０３はアドレスフレームを検出したかを判定する。アドレスフレームが検出されていない場合、ステップＳ３５９において、判定部２０３は４kfpsでサンプリングを開始してから480 msが経過したかを判定する。480 msの時間がまだ経過していない場合には処理はステップＳ３５２に戻り、それ以降の処理が繰り返し実行される。   A sampling process using 4 kfps in the flowchart of FIG. 37 will be described. In step S351, the area setting unit 204 sets a large area as the scanning area. That is, the region R1 in FIG. 13 is set as the scanning region. In step S352, the sampling unit 205 executes a process of sampling at 4 kfps. In step S353, the determination unit 203 determines whether an address frame has been detected. When the address frame is not detected, in step S359, the determination unit 203 determines whether 480 ms has elapsed since starting sampling at 4 kfps. If the time of 480 ms has not yet elapsed, the process returns to step S352, and the subsequent processes are repeatedly executed.

ステップＳ３５３において、アドレスフレームが検出されたと判定された場合、ステップＳ３５４において、読取部２０８はアドレスを読み取る。そして、ステップＳ３５５において、判定部２０３は、ステップＳ３５４で読み取られたアドレスが、図３６のステップＳ３３１において取得されたアドレス（ユーザにより指定されたアドレス）と一致したかを判定する。両者が一致しない場合には、処理はステップＳ３５９に進み、480 msが経過したかが判定される。480 msが経過していなければ、再び処理はステップＳ３５２に戻り、それ以降の処理が繰り返し実行される。   If it is determined in step S353 that an address frame has been detected, the reading unit 208 reads the address in step S354. In step S355, the determination unit 203 determines whether the address read in step S354 matches the address (address specified by the user) acquired in step S331 in FIG. If the two do not match, the process proceeds to step S359 to determine whether 480 ms has elapsed. If 480 ms has not elapsed, the process returns to step S352 again, and the subsequent processes are repeatedly executed.

ステップＳ３５５において、アドレスが一致したと判定された場合、ステップＳ３５６において、表示部２０２は、そのアドレスに対応するアイコンを表示する。そして、ステップＳ３５７において、判定部２０３はステップＳ３５６で表示したアイコンが指定されたかを判定し、指定されていない場合には、ステップＳ３５９において、480 msが経過したかを判定し、経過していなければ、処理は再びステップＳ３５２に戻り、それ以降の処理が繰り返し実行される。   If it is determined in step S355 that the addresses match, in step S356, the display unit 202 displays an icon corresponding to the address. In step S357, the determination unit 203 determines whether the icon displayed in step S356 is specified. If not, in step S359, the determination unit 203 determines whether 480 ms has elapsed. If so, the process returns to step S352, and the subsequent processes are repeatedly executed.

ステップＳ３５７において、アイコンが指定されたと判定された場合には、ステップＳ３５８において、モード設定部２０６はモードをデータ読取モードに設定する。   If it is determined in step S357 that the icon has been designated, in step S358, the mode setting unit 206 sets the mode to the data reading mode.

ステップＳ３５９において、480 msが経過したと判定された場合、並びにステップＳ３５８でデータ読取モードを設定された場合、サンプリング処理は終了される。   If it is determined in step S359 that 480 ms has elapsed, and if the data reading mode is set in step S358, the sampling process ends.

以上のようにして、この実施形態においては、ユーザが指定したアドレスが検索され、その検索されたアイコンが表示されるので、ユーザはアドレスを入力した後、携帯端末２１のカメラ４２を様々な方向に指向させ、アイコンが表示されたときそのアイコンを指定することで指定したアドレスのオブジェクトが発生するデータを取得することが可能となる。   As described above, in this embodiment, the address designated by the user is searched, and the searched icon is displayed. Therefore, after the user inputs the address, the camera 42 of the portable terminal 21 is moved in various directions. When the icon is displayed when the icon is displayed, it is possible to acquire data generated by the object at the specified address.

この実施形態は、例えば、宝探しやオリエンテーリングのようなゲームに利用できる。ゲームプレイヤーは場所のわからないオブジェクトのアドレスのみを先に知らされ、そのアドレス値を手持ちの携帯端末２１に入力する。そして、ゲームプレイヤーは携帯端末２１をサーチモードに設定し、ゲーム施設内のあらゆる場所（LED１２）にカメラ４２を向けてそのオブジェクトを探す。カメラ４２が視野角内にそのアドレスを発するLED１２を捕えると、携帯端末２１のモニタ４１にそのことを知らせるアイコンが表示される。ゲームプレイヤーがそのアイコンをクリックすると、カメラ４２はデータ転送モードに入り、LED１２の光から、オブジェクトを見つけたことを証明するデータが携帯端末２１に取り込まれる。このデータを証明書として、見つけたオブジェクトの個数、時間などを競うことができる。   This embodiment can be used for games such as treasure hunt and orienteering, for example. The game player is informed first of only the address of the object whose location is unknown, and inputs the address value to the portable terminal 21 on hand. Then, the game player sets the mobile terminal 21 to the search mode and directs the camera 42 to any place (LED 12) in the game facility to search for the object. When the camera 42 captures the LED 12 that emits the address within the viewing angle, an icon informing that is displayed on the monitor 41 of the portable terminal 21. When the game player clicks on the icon, the camera 42 enters the data transfer mode, and data proving that the object has been found is taken into the portable terminal 21 from the light of the LED 12. This data can be used as a certificate to compete for the number of objects found, time, etc.

次に、携帯端末２１がズーム機能を有する場合における400 kfpsによるサンプリング処理について説明する。この場合、DSP１２２（制御部１２１）は図３８に示されるように、ズーム部３４１と算出部３４２を有する。ズーム部３４１はカメラ４２を制御して、ズーム機能を実行させる。算出部３４２は、誤り率を算出する。その他の取得部２０１乃至読取部２０８を有する構成は、図９における場合と同様である。   Next, a sampling process using 400 kfps when the mobile terminal 21 has a zoom function will be described. In this case, the DSP 122 (control unit 121) includes a zoom unit 341 and a calculation unit 342 as shown in FIG. The zoom unit 341 controls the camera 42 to execute a zoom function. The calculation unit 342 calculates an error rate. Other configurations including the acquisition unit 201 to the reading unit 208 are the same as those in FIG.

次に、図３９のフローチャートを参照して、400 kfpsによるサンプリング処理について説明する。ステップＳ３７１において、領域設定部２０４は、走査領域として小領域を設定する。すなわち、領域Ｒ２が走査領域として設定される。ステップＳ３７２において、サンプリング部２０５は、400 kfpsでサンプリングする処理を実行する。ステップＳ３７３において、判定部２０３はデータフレームを検出したかを判定し、まだ検出されていない場合にはステップＳ３７４において、さらに480 msが経過したかを判定する。480 msがまだ経過していないと判定された場合には、処理はステップＳ３７２に戻り、それ以降の処理が繰り返し実行される。480 msが経過したと判定された場合処理は終了される。   Next, a sampling process using 400 kfps will be described with reference to the flowchart of FIG. In step S371, the region setting unit 204 sets a small region as the scanning region. That is, the region R2 is set as the scanning region. In step S372, the sampling unit 205 performs a process of sampling at 400 kfps. In step S373, the determination unit 203 determines whether a data frame has been detected. If not yet detected, the determination unit 203 determines in step S374 whether 480 ms has elapsed. If it is determined that 480 ms has not yet elapsed, the process returns to step S372, and the subsequent processes are repeatedly executed. If it is determined that 480 ms has elapsed, the process is terminated.

ステップＳ３７３において、データフレームを検出したと判定された場合、ステップＳ３７５において、記憶部２０７は、データフレームを検出した場合における誤り訂正率を記憶する。この場合、算出部３４２が誤り訂正率を算出する。次に、ステップＳ３７６において、ズーム部３４１は画像をズームする。すなわち、今、領域Ｒ２に表示されているLEDの画像をズームする処理が実行される。ステップＳ３７７において、判定部２０３はスタートビットが検出できたかを判定する。スタートビットが検出できていない場合には、処理はステップＳ３７６に戻り、再びズームする処理が実行される。   If it is determined in step S373 that a data frame has been detected, in step S375, the storage unit 207 stores the error correction rate when the data frame is detected. In this case, the calculation unit 342 calculates an error correction rate. Next, in step S376, the zoom unit 341 zooms the image. That is, a process of zooming the LED image currently displayed in the region R2 is executed. In step S377, the determination unit 203 determines whether a start bit has been detected. If the start bit has not been detected, the process returns to step S376, and the zoom process is performed again.

ステップＳ３７７において、スタートビットが検出できたと判定された場合、ステップＳ３７８において、算出部３４２は、その時点における誤り訂正率を算出する。ステップＳ３７９において、判定部２０３は、ステップＳ３７８で算出された誤り訂正率が記憶値より小さいかを判定する。すなわち、ステップＳ３７５の処理で記憶された誤り訂正率と、ステップＳ３７８の処理で今回算出された誤り訂正率とが比較される。ステップＳ３７９において、ステップＳ３７８で今回算出された誤り訂正率が記憶値より小さいと判定されなかった場合（すなわち、記憶値の方が大きい場合）、処理はステップＳ３７６に戻り、再び画像をズームする処理が実行され、それ以降の処理が繰り返し実行される。   If it is determined in step S377 that the start bit has been detected, in step S378, the calculation unit 342 calculates the error correction rate at that time. In step S379, the determination unit 203 determines whether the error correction rate calculated in step S378 is smaller than the stored value. That is, the error correction rate stored in step S375 is compared with the error correction rate calculated this time in step S378. If it is determined in step S379 that the error correction rate calculated this time in step S378 is not smaller than the stored value (that is, if the stored value is larger), the process returns to step S376, and the image is zoomed again. Is executed, and the subsequent processing is repeatedly executed.

ステップＳ３７９において、記憶値が小さいと判定された場合、ステップＳ３８０において、記憶部２０７は今回ステップＳ３７８で算出された誤り訂正率をいままでの記憶値に代えて記憶する。ステップＳ３８１において、判定部２０３は、最小の誤り訂正率が得られたかを判定する。まだ最小の誤り訂正率が得られていない場合には、処理はステップＳ３７６に戻り、画像が再び異なるズーム率に変更され、それ以降の処理が繰り返し実行される。以上のようにして、ズーム率を変化させることで、各ズーム率の中で最小の誤り訂正率のズーム率が求められる。   If it is determined in step S379 that the stored value is small, in step S380, the storage unit 207 stores the error correction rate calculated in step S378 this time instead of the stored value so far. In step S381, the determination unit 203 determines whether the minimum error correction rate has been obtained. If the minimum error correction rate has not yet been obtained, the process returns to step S376, the image is changed again to a different zoom rate, and the subsequent processing is repeatedly executed. By changing the zoom rate as described above, the zoom rate with the lowest error correction rate among the zoom rates can be obtained.

ステップＳ３８１において、最小の誤り訂正率が得られたと判定された場合、ステップＳ３８２において、ズーム部３４１は最小の誤り訂正率が得られるように画像をズームする。ステップＳ３８３において、読取部２０８は、データを読み取る。そして、ステップＳ３８４において、モード設定部２０６はサーチモードを設定する。   If it is determined in step S381 that the minimum error correction rate is obtained, the zoom unit 341 zooms the image so that the minimum error correction rate is obtained in step S382. In step S383, the reading unit 208 reads data. In step S384, the mode setting unit 206 sets the search mode.

以上のようにして、画像が自動的にズームされ、最小の誤り訂正率となるズーム率が検出され、そのズーム率でデータが読み取られる。したがって、より正確にデータを読み取ることが可能となる。   As described above, the image is automatically zoomed, the zoom rate that provides the minimum error correction rate is detected, and data is read at that zoom rate. Therefore, data can be read more accurately.

以上においては、１つのLEDが１つのピクセルに表示されるものとして説明を簡略化したが、実際には、１つのLEDの画像が複数のピクセルの画像として表示されることが多い。このような場合、複数のピクセルの値が加算され、その加算値からデータが読み取られる。   In the above description, the description is simplified on the assumption that one LED is displayed on one pixel. However, in practice, an image of one LED is often displayed as an image of a plurality of pixels. In such a case, the values of a plurality of pixels are added, and data is read from the added value.

複数のピクセルを加算することでデータを読み取る場合には、加算する対象となるピクセルを変更し、最適なピクセルを選択するようにすることができる。このようにする場合の400 kfpsによるサンプリング処理を実行する場合、DSP１２２（制御部１２１）は、例えば図４０に示されるように構成される。このDSP１２２は、図３８のズーム部３４１に代えて変更部３６１を有する。変更部３６１は、加算するピクセルを含むピクセル群を変更する処理を実行する。DSP１２２のその他の構成は、図３８における場合と同様である。   When data is read by adding a plurality of pixels, the pixel to be added can be changed to select an optimal pixel. When executing the sampling process at 400 kfps in this way, the DSP 122 (control unit 121) is configured as shown in FIG. 40, for example. The DSP 122 includes a changing unit 361 instead of the zoom unit 341 in FIG. The changing unit 361 executes processing for changing a pixel group including pixels to be added. Other configurations of the DSP 122 are the same as those in FIG.

次に、図４１のフローチャートを参照して、図４０の制御部１２１による400 kfpsによるサンプリング処理について説明する。そのステップＳ４０１乃至４１４の処理は、基本的に図３９のステップＳ３７１乃至ステップＳ３８４の処理と同様である。図３９のステップＳ３７６の画像をズームする処理に対応する図４１のステップＳ４０６においては、変更部３６１が加算するピクセルを変更する処理を実行する。また、図３９のステップＳ３８２の最小の誤り訂正率が得られるように画像をズームする処理に対応する図４１のステップＳ４１２においては、変更部３６１が最小の誤り訂正率が得られるように加算するピクセルを変更する処理を実行する。図４１のその他の処理は、図３９における場合と同様である。   Next, a sampling process at 400 kfps by the control unit 121 in FIG. 40 will be described with reference to the flowchart in FIG. The processes in steps S401 to S414 are basically the same as the processes in steps S371 to S384 in FIG. In step S406 in FIG. 41 corresponding to the process of zooming the image in step S376 in FIG. 39, a process for changing the pixel to be added by the changing unit 361 is executed. Further, in step S412 of FIG. 41 corresponding to the process of zooming the image so that the minimum error correction rate of step S382 of FIG. 39 is obtained, the changing unit 361 performs addition so that the minimum error correction rate is obtained. Performs processing to change the pixel. The other processes in FIG. 41 are the same as those in FIG.

すなわち、ステップＳ４０６乃至ステップＳ４１１の処理により、ピクセル値を加算するピクセルからなるピクセル群のそのピクセルが適宜変更され、変更された組み合わせ（ピクセル群）の中から最小の誤り訂正率が得られる組み合わせ（ピクセル群）が算出される。そして、ステップＳ４１２において、その最小の誤り訂正率が得られるピクセルの組み合わせ（ピクセル群）が設定される。そして、その最小の誤り訂正率が得られる組み合わせ（ピクセル群）のピクセルの加算値から、ステップＳ４１３においてデータが読み取られる。その他の処理は、図３９における場合と同様である。   That is, the combination of the pixel group consisting of pixels to which the pixel value is added is appropriately changed by the processing of Step S406 to Step S411, and the minimum error correction rate is obtained from the changed combination (pixel group) ( Pixel group) is calculated. In step S412, a combination (pixel group) of pixels that can obtain the minimum error correction rate is set. Then, in step S413, data is read from the addition value of the pixels of the combination (pixel group) that can obtain the minimum error correction rate. Other processes are the same as those in FIG.

以上のようにして、誤り訂正率が最小のピクセルの組み合わせが得られるので、その組み合わせからデータを正確に読み取ることが可能となる。   As described above, since a combination of pixels with the lowest error correction rate is obtained, data can be read accurately from the combination.

なお、以上の各実施形態は必要に応じて他の実施形態と組み合わせることができる。また、以上においては、授受する信号を発光部を点滅させることで生成した点滅信号としたが、例えば１次元バーコードや２次元バーコードなどを読み取る場合にも本発明は適用することが出来る。   Each of the above embodiments can be combined with other embodiments as necessary. In the above description, the signal to be transmitted / received is the blinking signal generated by blinking the light emitting unit. However, the present invention can be applied to, for example, reading a one-dimensional barcode or a two-dimensional barcode.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、画像情報処理装置は、図４２に示されるようなパーソナルコンピュータにより構成される。   The series of processes described above can be executed by hardware or can be executed by software. In this case, for example, the image information processing apparatus includes a personal computer as shown in FIG.

図４２において、CPU（Central Processing Unit）４２１は、ROM（Read Only Memory）４２２に記憶されているプログラム、または記憶部４２８からRAM（Random Access Memory）４２３にロードされたプログラムに従って各種の処理を実行する。RAM４２３にはまた、CPU４２１が各種の処理を実行する上において必要なデータなども適宜記憶される。   42, a CPU (Central Processing Unit) 421 executes various processes according to a program stored in a ROM (Read Only Memory) 422 or a program loaded from a storage unit 428 to a RAM (Random Access Memory) 423. To do. The RAM 423 also appropriately stores data necessary for the CPU 421 to execute various processes.

CPU４２１、ROM４２２、およびRAM４２３は、バス４２４を介して相互に接続されている。このバス４２４にはまた、入出力インタフェース４２５も接続されている。   The CPU 421, ROM 422, and RAM 423 are connected to each other via a bus 424. An input / output interface 425 is also connected to the bus 424.

入出力インタフェース４２５には、キーボード、マウスなどよりなる入力部４２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４２７、ハードディスクなどより構成される記憶部４２８、モデムなどより構成される通信部４２９が接続されている。通信部４２９は、インターネットを含むネットワークを介しての通信処理を行う。   The input / output interface 425 includes an input unit 426 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal display), an output unit 427 including a speaker, and a hard disk. A communication unit 429 including a storage unit 428 and a modem is connected. The communication unit 429 performs communication processing via a network including the Internet.

入出力インタフェース４２５にはまた、必要に応じてドライブ４３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４２８にインストールされる。   A drive 430 is connected to the input / output interface 425 as necessary, and a removable medium 431 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is It is installed in the storage unit 428 as necessary.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。   When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.

この記録媒体は、図４２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４２２や、記憶部４２８に含まれるハードディスクなどで構成される。   As shown in FIG. 42, this recording medium is distributed to provide a program to the user separately from the apparatus main body, and includes a magnetic disk (including a floppy disk) on which the program is recorded, an optical disk (CD- It is not only composed of removable media 431 consisting of ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk), magneto-optical disk (including MD (Mini-Disk)), or semiconductor memory. The program is provided with a ROM 422 in which a program is recorded, a hard disk included in the storage unit 428, and the like provided to the user in a state of being incorporated in the apparatus main body in advance.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

また、本明細書において、システムとは、複数の装置（または特定の機能を実現する機能モジュール）が論理的に集合した物を意味し、各装置や機能モジュールが単一の筐体内にあるか否かは問わない。   Further, in this specification, the system means a logical collection of a plurality of devices (or functional modules that realize a specific function), and whether each device or functional module is in a single casing. It doesn't matter whether or not.

本発明を適用した画像処理システムの実施形態の構成を示す図である。It is a figure which shows the structure of embodiment of the image processing system to which this invention is applied. モニタの表示例を示す図である。It is a figure which shows the example of a display of a monitor. LEDの撮像を説明する図である。It is a figure explaining imaging of LED. オブジェクトの構成を示すブロック図である。It is a block diagram which shows the structure of an object. フレームのフォーマットを示す図である。It is a figure which shows the format of a frame. 携帯端末の構成を示すブロック図である。It is a block diagram which shows the structure of a portable terminal. センサーチップの構成を示す図である。It is a figure which shows the structure of a sensor chip. 送信処理を説明するフローチャートである。It is a flowchart explaining a transmission process. DSPの構成を示すブロック図である。It is a block diagram which shows the structure of DSP. 受信処理を説明するフローチャートである。It is a flowchart explaining a reception process. サンプリングを説明するタイムチャートである。It is a time chart explaining sampling. ４kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 4 kfps. 領域を説明する図である。It is a figure explaining an area | region. マンチェスタ符号を説明する図である。It is a figure explaining a Manchester code | symbol. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. サンプリングのタイムチャートである。It is a time chart of sampling. LEDの撮像を説明する図である。It is a figure explaining imaging of LED. オブジェクトの他の構成を示すブロック図である。It is a block diagram which shows the other structure of an object. 送信処理を説明するフローチャートである。It is a flowchart explaining a transmission process. LEDの受信信号を説明する波形図である。It is a wave form diagram explaining the received signal of LED. ４kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 4 kfps. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. サンプリングを説明するタイムチャートである。It is a time chart explaining sampling. オブジェクトの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of an object. ４kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 4 kfps. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. オブジェクトの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of an object. 送信処理を説明するフローチャートである。It is a flowchart explaining a transmission process. DSPの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of DSP. ４kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 4 kfps. 携帯端末の表示例を示す図である。It is a figure which shows the example of a display of a portable terminal. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. マークの表示を示す図である。It is a figure which shows the display of a mark. DSPの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of DSP. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. 受信処理を説明するフローチャートである。It is a flowchart explaining a reception process. ４kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 4 kfps. DSPの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of DSP. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. DSPの他の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of DSP. 400 kfpsによるサンプリング処理を説明するフローチャートである。It is a flowchart explaining the sampling process by 400 kfps. パーソナルコンピュータの構成例を示すブロック図である。And FIG. 16 is a block diagram illustrating a configuration example of a personal computer.

符号の説明Explanation of symbols

１ 画像情報処理システム， １１ オブジェクト， １２ LED， ２１ 携帯端末， ４１ モニタ， ４２ カメラ， ４３ アイコン， １２２ DSP， ２０１ 取得部， ２０２ 表示部， ２０３ 判定部， ２０４ 領域設定部， ２０５ サンプリング部， ２０６ モード設定部， ２０７ 記憶部， ２０８ 読取部   DESCRIPTION OF SYMBOLS 1 Image information processing system, 11 Object, 12 LED, 21 Portable terminal, 41 Monitor, 42 Camera, 43 Icon, 122 DSP, 201 Acquisition part, 202 Display part, 203 Judgment part, 204 Area setting part, 205 Sampling part, 206 Mode setting unit, 207 storage unit, 208 reading unit

Claims (19)

提示画像を提示する提示装置と、前記提示装置により提示された提示画像から情報を読み取る読取装置とからなる画像情報処理システムにおいて、
前記提示装置は、
前記提示画像を提示し、
前記読取装置は、
前記提示装置により提示された前記提示画像を含む画像を処理対象画像として保持し、
前記処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ前記提示装置により提示された前記提示画像を含む第２の領域を設定し、
前記処理対象画像の設定された前記第２の領域についてサンプリングし、
サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る
画像情報処理システム。 In an image information processing system including a presentation device that presents a presentation image and a reading device that reads information from the presentation image presented by the presentation device,
The presenting device
Presenting the presented image;
The reader is
Holding an image including the presentation image presented by the presentation device as a processing target image;
As a scanning area of the processing target image, a second area that is smaller than the entire first area and that includes the presentation image presented by the presentation device is set.
Sampling for the set second region of the processing target image,
An image information processing system that reads information included in the presented image from the sampled processing target image. 提示画像に含まれる情報を読み取る画像情報処理装置において、
前記提示画像を含む画像を処理対象画像として保持する保持手段と、
前記処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ前記提示画像を含む第２の領域を設定する領域設定手段と、
前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリング手段と、
サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取手段と
を備える画像情報処理装置。 In an image information processing apparatus that reads information included in a presentation image,
Holding means for holding an image including the presented image as a processing target image;
An area setting unit that sets a second area that is smaller than the entire first area as the scanning area of the processing target image and includes the presented image;
Sampling means for sampling the set second region of the processing target image;
An image information processing apparatus comprising: reading means for reading information included in the presented image from the sampled processing target image. 前記提示画像を撮像する撮像手段をさらに備え、
前記保持手段は、前記撮像手段により撮像された画像を前記処理対象画像として保持する
請求項２に記載の画像情報処理装置。 It further comprises imaging means for imaging the presented image,
The image information processing apparatus according to claim 2, wherein the holding unit holds an image captured by the imaging unit as the processing target image. 前記領域設定手段は、前記処理対象画像の走査領域として、前記第２の領域を設定する前に前記第１の領域を設定し、
前記サンプリング手段は、前記第１の領域をサンプリングした後、前記第２の領域をサンプリングする
請求項２に記載の画像情報処理装置。 The region setting means sets the first region before setting the second region as a scanning region of the processing target image,
The image information processing apparatus according to claim 2, wherein the sampling unit samples the second area after sampling the first area. 前記サンプリング手段は、前記第１の領域を第１の速度でサンプリングし、前記第２の領域を、前記第１の速度より速い第２の速度でサンプリングする
請求項４に記載の画像情報処理装置。 The image information processing apparatus according to claim 4, wherein the sampling unit samples the first area at a first speed, and samples the second area at a second speed higher than the first speed. . 前記領域設定手段は、光が第１の周波数で点滅する前記提示画像から情報を読み取る場合に前記第１の領域を設定し、前記第１の周波数より高い第２の周波数で点滅する前記提示画像から情報を読み取る場合に前記第２の領域を設定する
請求項４に記載の画像情報処理装置。 The area setting means sets the first area when light is read from the presentation image blinking at a first frequency, and the presentation image blinks at a second frequency higher than the first frequency. The image information processing apparatus according to claim 4, wherein the second area is set when information is read from the image information. 前記読取手段は、前記第１の領域から前記提示画像の提示元を識別する識別情報を読み取り、前記第２の領域から主情報を読み取る
請求項４に記載の画像情報処理装置。 The image information processing apparatus according to claim 4, wherein the reading unit reads identification information for identifying a presentation source of the presentation image from the first area, and reads main information from the second area. 前記第１の領域の前記処理対象画像から読み取られた前記提示画像の提示元の識別情報に基づいて、前記提示元に通知を出力する通知手段をさらに備え、
前記領域設定手段は、前記通知手段による通知に伴って、前記走査領域の設定を前記第１の領域から前記第２の領域に切り替える
請求項４に記載の画像情報処理装置。 Further comprising notification means for outputting a notification to the presentation source based on the identification information of the presentation source of the presentation image read from the processing target image of the first region,
The image information processing apparatus according to claim 4, wherein the region setting unit switches the setting of the scanning region from the first region to the second region in accordance with the notification by the notification unit. 前記保持手段により保持されている前記処理対象画像を表示する表示手段をさらに備え、
前記領域設定手段は、表示されている前記処理対象画像から前記提示画像が選択された場合、選択された前記提示画像を含む領域を前記第２の領域として設定する
請求項４に記載の画像情報処理装置。 A display unit for displaying the processing target image held by the holding unit;
The image information according to claim 4, wherein the region setting unit sets a region including the selected presentation image as the second region when the presentation image is selected from the displayed processing target images. Processing equipment. 前記表示手段は、前記第１の領域の前記処理対象画像のサンプリングにより得られた情報に基づいて、ユーザが前記提示画像を選択するためのマークをさらに表示する
請求項９に記載の画像情報処理装置。 The image information processing according to claim 9, wherein the display unit further displays a mark for a user to select the presentation image based on information obtained by sampling the processing target image in the first region. apparatus. 前記表示手段は、前記保持手段により保持されている前記処理対象画像上の前記提示画像の位置をガイドするマークをさらに表示する
請求項９に記載の画像情報処理装置。 The image information processing apparatus according to claim 9, wherein the display unit further displays a mark that guides a position of the presentation image on the processing target image held by the holding unit. 前記サンプリング手段は、前記第１の領域と前記第２の領域とで、前記処理対象画像の異なる光の波長帯域成分の画像についてサンプリングする
請求項４に記載の画像情報処理装置。 The image information processing apparatus according to claim 4, wherein the sampling unit samples an image of a wavelength band component of different light of the processing target image in the first region and the second region. 前記領域設定手段は、前記保持手段により保持されている前記処理対象画像上の前記提示画像の位置が変化した場合、その変化した位置に追従するように前記第２の領域を設定する
請求項４に記載の画像情報処理装置。 The area setting means sets the second area so as to follow the changed position when the position of the presentation image on the processing target image held by the holding means changes. The image information processing apparatus described in 1. 探索する前記提示画像の提示元の識別情報を取得する取得手段と、
取得した前記識別情報に一致する前記識別情報を提示する前記提示元を、前記処理対象画像の前記第１の領域から検索する検索手段と
をさらに備える請求項４に記載の画像情報処理装置。 Obtaining means for obtaining identification information of a presentation source of the presented image to be searched;
The image information processing apparatus according to claim 4, further comprising: a search unit that searches the presentation source that presents the identification information that matches the acquired identification information from the first region of the processing target image. 前記処理対象画像をズームするズーム手段と、
ズームされた前記処理対象画像の中から、情報の誤りが最小のものを選択する選択手段とをさらに備える
請求項２に記載の画像情報処理装置。 Zoom means for zooming the processing target image;
The image information processing apparatus according to claim 2, further comprising: a selecting unit that selects an image with a minimum information error from the zoomed processing target image. 前記第２の領域の前記処理対象画像のうち、前記情報を読み取るための演算の対象となるピクセル群を変更する変更手段と、
演算の対象となる前記ピクセル群の中から、情報の誤りが最小のものを選択する選択手段とをさらに備える
請求項２に記載の画像情報処理装置。 Changing means for changing a pixel group to be subjected to a calculation for reading the information among the processing target images in the second region;
The image information processing apparatus according to claim 2, further comprising: a selecting unit that selects a pixel having a minimum information error from the pixel group to be calculated. 提示画像に含まれる情報を読み取る画像情報処理装置の画像情報処理方法において、
前記提示画像を含む画像を処理対象画像として保持する保持ステップと、
前記処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ前記提示画像を含む第２の領域を設定する領域設定ステップと、
前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリングステップと、
サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取ステップと
を含む画像情報処理方法。 In an image information processing method of an image information processing apparatus that reads information included in a presented image,
A holding step of holding an image including the presented image as a processing target image;
An area setting step for setting a second area that is smaller than the entire first area as the scanning area of the processing target image and includes the presented image;
A sampling step for sampling the set second region of the processing target image;
A reading step of reading information included in the presented image from the sampled processing target image. 提示画像に含まれる情報を読み取る画像情報処理装置のプログラムにおいて、
前記提示画像を含む画像を処理対象画像として保持する保持ステップと、
前記処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ前記提示画像を含む第２の領域を設定する領域設定ステップと、
前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリングステップと、
サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取ステップと
を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。 In a program of an image information processing apparatus that reads information included in a presentation image,
A holding step of holding an image including the presented image as a processing target image;
An area setting step for setting a second area that is smaller than the entire first area as the scanning area of the processing target image and includes the presented image;
A sampling step for sampling the set second region of the processing target image;
A recording medium on which a computer-readable program is recorded, including: a reading step of reading information included in the presented image from the sampled processing target image. 提示画像に含まれる情報を読み取る画像情報処理装置のプログラムにおいて、
前記提示画像を含む画像を処理対象画像として保持する保持ステップと、
前記処理対象画像の走査領域として、その全体である第１の領域より小さく、かつ前記提示画像を含む第２の領域を設定する領域設定ステップと、
前記処理対象画像の設定された前記第２の領域についてサンプリングするサンプリングステップと、
サンプリングされた前記処理対象画像から前記提示画像に含まれる情報を読み取る読取ステップと
をコンピュータに実行させるプログラム。 In a program of an image information processing apparatus that reads information included in a presentation image,
A holding step of holding an image including the presented image as a processing target image;
An area setting step for setting a second area that is smaller than the entire first area as the scanning area of the processing target image and includes the presented image;
A sampling step for sampling the set second region of the processing target image;
A program that causes a computer to execute a reading step of reading information included in the presented image from the sampled processing target image.

Images