JP5158057B2 - Image display device, image display method, and program - Google Patents
Image display device, image display method, and program Download PDFInfo
- Publication number
- JP5158057B2 JP5158057B2 JP2009264687A JP2009264687A JP5158057B2 JP 5158057 B2 JP5158057 B2 JP 5158057B2 JP 2009264687 A JP2009264687 A JP 2009264687A JP 2009264687 A JP2009264687 A JP 2009264687A JP 5158057 B2 JP5158057 B2 JP 5158057B2
- Authority
- JP
- Japan
- Prior art keywords
- spot
- unit
- value
- variable
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この発明は、操作者等の操作に従った画像を表示画面上に描画する画像表示装置、画像表示方法、および、プログラムに関する。 The present invention relates to an image display device, an image display method, and a program for drawing an image in accordance with an operation of an operator or the like on a display screen.
スクリーンに映像を投影するとともに、このスクリーンに補助光が投影されたとき、レーザポインタ等が発する補助光の位置を検出して、映像のうち補助光が投射された位置にあたる部分を変更する技術として特許２６２２６２０号が知られている。 As a technique for projecting an image on the screen and detecting the position of the auxiliary light emitted by a laser pointer or the like when the auxiliary light is projected on the screen and changing the portion of the image corresponding to the position where the auxiliary light is projected Japanese Patent No. 2622620 is known.
しかし、特許２６２２６２０号の技術はスクリーンに投影された補助光（スポット）の位置を検出するため、スクリーンに投影された補助光を撮像する場合、撮像を行う撮像装置の受光面がスクリーン正面に正確に対向していないと、補助光の位置を正しく検出できなかった。 However, since the technology of Japanese Patent No. 2622620 detects the position of the auxiliary light (spot) projected on the screen, when the auxiliary light projected on the screen is imaged, the light-receiving surface of the imaging device that performs imaging is accurately positioned on the front of the screen. If not, the position of the auxiliary light could not be detected correctly.
従って、撮像装置を設置する位置が制約され、更には、レーザポインタ等の操作者の位置も制約される結果、操作性が悪くなっていた。また、撮像装置を設置する作業を正しく行うことも困難になり、特に撮像装置の光学系に収差等がある場合、正しい設置位置の決定は極めて困難であった。また、撮像装置とスクリーンの位置関係を、撮像装置が正確に設置された状態で固定してしまうと、撮像装置の位置が変更できないので、撮像装置を他の用途に用いることができなくなっていた。 Therefore, the position where the image pickup apparatus is installed is restricted, and further, the position of the operator such as a laser pointer is restricted, resulting in poor operability. In addition, it is difficult to correctly perform the operation of installing the imaging device, and in particular when the optical system of the imaging device has aberration or the like, it is extremely difficult to determine the correct installation position. In addition, if the positional relationship between the imaging device and the screen is fixed in a state where the imaging device is correctly installed, the position of the imaging device cannot be changed, so the imaging device cannot be used for other purposes. .
この発明は、上記実状に鑑みてなされたもので、撮像装置を任意の位置に置いても適正な表示画面を提供するとともに、撮像されたスポット（補助光）の位置を表示画面に正しく反映することができる、操作性が良好な画像表示装置、画像表示方法、および、プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an appropriate display screen even when the imaging device is placed at an arbitrary position, and correctly reflects the position of the imaged spot (auxiliary light) on the display screen. An object of the present invention is to provide an image display device, an image display method, and a program that can be operated with good operability.
本願の請求項１記載の発明は、スポットと、このスポットを含む領域を複数の任意の位置から撮像する撮像手段と、この撮像手段によって撮像された空間内の面の画像データを生成する生成手段と、この生成手段によって生成された画像データに基づく画像を表示する表示手段とを備えた画像表示装置において、前記生成手段は、前記表示手段の表示画面に適正に表示されるように前記画像データを加工する加工手段と、前記空間内における前記スポットの位置座標を計測する計測手段と、この計測手段によって計測された前記スポットの位置座標に基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定手段と、この計測手段によって計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換手段と、この座標変換手段によって変換された位置座標に、前記スポット形状決定手段によって決定された形状のスポットを表示するよう制御する表示制御手段と、を備えることを特徴とする。
The invention according to
本願の請求項２記載の発明は、上記請求項１記載の発明において、前記スポットの光源が発光していることを示す信号を外部より受信する受信手段を更に備え、前記計測手段は、前記受信手段が前記信号を受信したことに応答して前記スポットの位置座標を計測することを特徴とする。
本願の請求項３記載の発明は、上記請求項１記載の発明において、前記撮像手段は前記スポットを含む領域を複数の任意の位置から連続的に撮像し、前記計測手段はこの連続的に撮像された空間における前記スポットの位置座標を連続的に計測し、前記表示制御手段は、前記計測手段によって連続的に計測された結果により決定された形状のスポットからなる軌跡を表示するよう制御することを特徴とする。
本願の請求項４記載の発明は、上記請求項１又は３記載の発明において、前記計測手段は少なくとも２つのスポットの位置座標を計測するとともにこれらのスポット間の直線距離も計測し、前記スポット形状決定手段は、前記計測手段によって計測された前記スポットの位置座標と長剣距離とに基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定することを特徴とする。
The invention according to
The invention according to
The invention according to
本願の請求項５記載の発明は、スポットと、このスポットを含む領域を複数の任意の位置から撮像する撮像ステップと、この撮像ステップにて撮像された空間内の面の画像データを生成する生成ステップと、この生成ステップにて生成された画像データに基づく画像を表示する表示ステップとからなる画像表示方法であって、前記生成ステップは、前記表示ステップにて表示画面に適正に表示されるように前記画像データを加工する加工ステップと、前記空間内における前記スポットの位置座標を計測する計測ステップと、この計測ステップにて計測された前記スポットの位置座標に基づいて、前記加工ステップでの加工の結果得られる加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定ステップと、この計測ステップにて計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換ステップと、この座標変換ステップにて変換された位置座標に、前記スポット形状決定ステップにて決定された形状のスポットを表示するよう制御する表示制御ステップと、を含むことを特徴とする。
The invention according to
本願の請求項６記載の発明は、表示装置と複数の撮像装置とに接続されるコンピュータを、前記複数の撮像装置に対し、スポットと、このスポットを含む領域を複数の任意の位置から撮像させる撮像制御手段、この撮像制御手段によって撮像された空間内の面の画像データを生成する生成手段、この生成手段によって生成された画像データに基づく画像を前記表示装置に表示させる表示制御手段として機能させ、更に、前記生成手段によって生成された画像データを、前記表示手段の表示画面に適正に表示されるように加工する加工手段、前記空間内における前記スポットの位置座標を計測する計測手段、この計測手段によって計測された前記スポットの位置座標に基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定手段、この計測手段によって計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換手段、この座標変換手段によって変換された位置座標に、前記スポット形状決定手段によって決定された形状のスポットを表示するよう制御する表示制御手段、として機能させる。 According to a sixth aspect of the present invention, a computer connected to a display device and a plurality of imaging devices causes the plurality of imaging devices to image a spot and a region including the spot from a plurality of arbitrary positions. imaging control means, generating means for generating image data of the surface in the space captured by the imaging control means, to function an image based on image data generated by the generating means as a display control means for displaying on said display device further processing means, measuring means for measuring the position coordinates of the spot in the space of the image data generated by said generating means, processed to be properly displayed on the display screen of the display unit, the measured Based on the position coordinates of the spot measured by the means, the image data after processing by the processing means should be displayed. Spot shape determination means for determining a Jo, the position coordinates of the spot measured by the measuring means, the coordinate conversion means for converting the position coordinates that are reflected in the image data after processing, it converted position by the coordinate transformation means The coordinates function as display control means for controlling to display the spot having the shape determined by the spot shape determination means .
以上説明したように、この発明によれば、撮像装置を任意の位置に置いても適正な表示画面を提供するとともに、撮像されたスポット（補助光）の位置を表示画面に正しく反映することができる、操作性が良好な画像表示装置及び画像表示方法が実現される。 As described above, according to the present invention, an appropriate display screen can be provided even when the imaging device is placed at an arbitrary position, and the position of the captured spot (auxiliary light) can be correctly reflected on the display screen. An image display apparatus and an image display method with good operability are realized.
以下、この発明の実施の形態に係る画像表示装置及び画像表示方法を、描画システムを例とし、図面を参照して説明する。 Hereinafter, an image display apparatus and an image display method according to embodiments of the present invention will be described with reference to the drawings, taking a drawing system as an example.
（第１の実施の形態）
図１は、この発明の第１の実施の形態にかかる描画システムの構成を示す図である。
図示するように、この描画システムは、データ処理装置１と、画像入力部２と、表示部３と、発光部４とより構成されている。データ処理装置１は、画像入力部２及び表示部３に接続されている。
(First embodiment)
FIG. 1 is a diagram showing the configuration of a drawing system according to the first embodiment of the present invention.
As shown in the figure, this drawing system includes a
データ処理装置１は、図２に示すように、中央制御部１１と、画像解析部１２と、ＲＡＭ（Random Access Memory）１３と、外部記憶部１４と、ユーザ操作入力部１５とより構成されている。
中央制御部１１は、バスＢを介し、画像解析部１２、ＲＡＭ１３及び外部記憶部１４に接続されており、ユーザ操作入力部１５は中央制御部１１に接続されている。また、画像入力部２及び表示部３は、バスＢに接続されている。
As shown in FIG. 2, the
The
中央制御部１１は、ＣＰＵ（Central Processing Unit）等より構成されている。中央制御部１１は、ユーザがユーザ操作入力部１５を操作して入力した指示に応答して、外部記憶部１４が記憶しているプログラムを読み込み、このプログラムに従って、後述する処理を実行する。
ＲＡＭ１３は、中央制御部１１及び画像解析部１２の作業用メモリとして機能する。
The
The
画像解析部１２は、ＣＰＵやＤＳＰ（Digital Signal Processor）等より構成されており、スポット光抽出部１２ａと、座標変換部１２ｂとより構成されていて、後述する画像解析処理を実行する。なお、同一のＣＰＵ等が中央制御部１１及び画像解析部１２の機能を行っていてもよい。
The
スポット光抽出部１２ａは、画像入力部２が撮像した画像（つまり、画像入力部２が作成して中央制御部１１がＲＡＭ１３に格納した画像データが示す画像）のうち、発光部４が照射したスポット光に相当する部分を特定する処理（スポット光抽出処理）を、図５のフローチャートに基づいた手順で行う。
The spot
座標変換部１２ｂは、スポット光抽出部１２ａが特定した部分が、表示部３の後述する表示画面上のどの位置にあるかを、画像入力部２が作成した画像データに基づいて特定する処理（座標変換処理）を図６のフローチャートに基づいた手順で行う。
The coordinate
外部記憶部１４は、ハードディスク装置等より構成されており、中央制御部１１が実行するプログラムを予め記憶する。
ユーザ操作入力部１５は、キーボードやマウス等より構成されており、ユーザ等の操作に従った情報（例えば、外部記憶部１４が記憶しているプログラムの実行の指示）を入力し、中央制御部１１に供給する。
The
The user
画像入力部２は、ビデオカメラ等より構成されており、表示部３が備える表示画面を撮像し、撮像した画像を表す上述の画像データを作成して、この画像データを中央制御部１１に供給する。
表示部３は、フラットスクリーンのＣＲＴ（Cathode Ray Tube）及び制御回路等より構成されており、中央制御部１１が供給する指示に従い、自己に供給された画像データが表す画像を、自己の表示画面上に表示する。
The
The
発光部４はライトペン等より構成されており、ユーザの操作に従った明るさの単色のスポット光を発する。具体的には、例えば発光部４は、自己の発光部分に加えられた圧力の大きさを表す信号を生成する圧力センサを備え、この発光部分が表示部３の表示画面上に押しつけられる強さにより決まる明るさで発光するものとする。そして、この発光部分が発するスポット光の明るさは、この発光部分が表示部３の表示画面上に押しつけられる強さに従って単調増加するものとする。尚、本実施の形態では発光部４は赤色発光するものとする。
The
（第１の実施の形態：動作）
次に、この描画システムの動作を、図３〜図６を参照して説明する。
図３は、描画処理を示すフローチャートである。
図４は、画像解析処理を示すフローチャートである。
図５は、スポット光抽出処理を示すフローチャートである。
図６は、座標変換処理を示すフローチャートである。
(First Embodiment: Operation)
Next, the operation of this drawing system will be described with reference to FIGS.
FIG. 3 is a flowchart showing the drawing process.
FIG. 4 is a flowchart showing image analysis processing.
FIG. 5 is a flowchart showing spot light extraction processing.
FIG. 6 is a flowchart showing the coordinate conversion process.
この描画システムが描画処理を開始すると、まず、画像入力部２が、表示部３の表示画面を撮像して、撮像した画像を表す画像データを作成し、この画像データを、データ処理装置１の中央制御部１１に供給する（図３、ステップＳ１）。この処理により表示部３の表示画面の画像が入力される。
When the drawing system starts drawing processing, first, the
画像入力部２が作成する画像データは、表示部３の表示画面をマトリクス状に配列された画素の集合としてみた場合における各画素の位置及び画素値を表す画素データより構成されている。なお、画素値は、画素の色を、赤、緑及び青の各原色成分の輝度の組み合わせとして表す変数である。また、画素の位置は、画像入力部２が撮像した画像をｘ軸及びｙ軸を含む直交座標平面上においた場合における、この画素の位置のｘ軸方向成分及びｙ軸方向成分の値の組として表されているものとする。
The image data created by the
ステップＳ１で画像が入力された時点で、ユーザが発光部４を操作し、表示部３の表示画面上にスポット光を照射していれば、ステップＳ１で画像入力部２が作成する画像データは、このスポット光が表示部３の表示画面上に作る輝点（スポット）の画像も表すものとなる。
If the user operates the
なお以下では、理解を容易にするため、表示部３の表示画面上に表示される画像が占め得る領域は、図７（ｂ）に示すように、点Ａ’〜点Ｄ’を頂点とし、辺Ａ’Ｂ’、辺Ｂ’Ｃ’、辺Ｃ’Ｄ’及び辺Ｄ’Ａ’を有する長方形Ａ’Ｂ’Ｃ’Ｄ’からなるものとする。
そして、画像入力部２は、必ずしも表示部３の表示画面を正面から撮像するものではない。このため、画像入力部２がステップＳ１で作成する画像データが表す画像のうち上述の領域に相当する領域は、必ずしも長方形Ａ’Ｂ’Ｃ’Ｄ’に相似な形状とはならない。
In the following, in order to facilitate understanding, the area that can be occupied by the image displayed on the display screen of the
And the
以下では、理解を容易にするため、画像入力部２がステップＳ１で作成する画像データが表す画像のうち長方形Ａ’Ｂ’Ｃ’Ｄ’が占める領域に相当する領域は、図７（ａ）に示すように、点Ａ、点Ｂ、点Ｃ及び点Ｄを頂点とし、辺ＡＢ、辺ＢＣ、辺ＣＤ及び辺ＤＡを有する四角形ＡＢＣＤからなるものとする。なお、作成された入力画像データに基づく画像において、点Ａの位置座標（ｘａ，ｙａ）、点Ｂの位置座標（ｘｂ，ｙｂ）、点Ｃの位置座標（ｘｃ，ｙｃ）、及び点Ｄの位置座標（ｘｄ，ｙｄ）は、画像解析処理以前の初期設定時においてユーザーが所定の操作、例えば、発光部４を用いて表示部３の表示画面上の４点をポイントし、その４点の位置座標を示すデータをインプットする、等の操作を行うことにより設定されるものとする。そして、四角形ＡＢＣＤの辺ＡＢ、辺ＢＣ、辺ＣＤ及び辺ＤＡは、順に、長方形Ａ’Ｂ’Ｃ’Ｄ’の辺Ａ’Ｂ’、辺Ｂ’Ｃ’、辺Ｃ’Ｄ’及び辺Ｄ’Ａ’に相当するようになっているものとする。
In the following, for easy understanding, the area corresponding to the area occupied by the rectangle A′B′C′D ′ in the image represented by the image data created by the
（画像解析処理：スポット光抽出処理）
中央制御部１１は、画像入力部２より画像データを供給されるとこの画像データをＲＡＭ１３に格納し、画像解析部１２に、画像解析処理の開始を指示する。画像解析部２は、この指示に従って、画像解析処理を開始する（ステップＳ２）。
(Image analysis processing: spot light extraction processing)
When the image data is supplied from the
画像解析部１２は、ステップＳ２で、具体的にはまず、スポット光抽出処理を実行する（図４、ステップＳ２１）。
スポット光抽出処理を開始すると、画像解析部１２のスポット光抽出部１２ａは、入力された画像データにおける各画素値の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）のうち赤成分（Ｒ）の輝度が最大である輝点（スポット）の赤成分の輝度を表す変数Ｒｍａｘと、このスポットの位置座標を示す変数（ｘ，ｙ）の使用を宣言し（つまり、ＲＡＭ１３の記憶領域内に、変数Ｒｍａｘ、変数ｘ及び変数ｙの値を格納するための記憶領域を確保し）、変数Ｒｍａｘ及び変数（ｘ，ｙ）を初期化する（図５、ステップＳ２１１）。
Specifically, in step S2, the
When the spot light extraction process is started, the spot
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を特定し、特定した画素データの画素値が示す赤色成分の輝度の値を取得する（ステップＳ２１２）。ただし、ステップＳ２１２では、既にステップＳ２１２の処理で特定された画素データは、特定の対象から除外するものとする。
Next, the spot
次に、スポット光抽出部１２ａは、ステップＳ２１２で最も新しく取得した赤色成分の輝度の値が、Ｒｍａｘより大きいか否かを判別する（ステップＳ２１３）。そして、赤色成分の輝度の値がＲｍａｘ以下であると判別すると、処理をステップＳ２１５へと移す。
Next, the spot
一方、赤色成分の輝度の値がＲｍａｘより大きいと判別したとき、スポット光抽出部１２ａは、ステップＳ２１２で新しく取得した赤色成分の輝度の値にＲｍａｘを更新する（ステップＳ２１４）。また、ステップＳ２１４でスポット光抽出部１２ａは、（ｘ，ｙ）を、ステップＳ２１２で最も新しく特定した画素データが示す位置のｘ軸方向成分の値及びｙ軸方向成分の値へと更新する。ステップＳ２１４の処理が終わると、スポット光抽出部１２ａは処理をステップＳ２１５へと移す。
On the other hand, when it is determined that the luminance value of the red component is greater than R max , the spot
ステップＳ２１５で、スポット光抽出部１２ａは、ステップＳ２１２の処理で特定されていない画素データがまだ残っているか否かを判別する。そして、残っていると判別すると、スポット光抽出部１２ａは処理をステップＳ２１２に戻す。一方、残っていないと判別すると、画像解析部１２はスポット光抽出処理を終了し、処理を画像解析処理のステップＳ２２へと移す。
In step S215, the spot
スポット光抽出処理が終了した時点での（ｘ，ｙ）は、ステップＳ１で画像入力部２が撮像した画像におけるスポットの位置のｘ軸方向成分及びｙ軸方向成分の値を表す。また、スポット光抽出処理が終了した時点でのＲｍａｘは、このスポットの位置の赤成分の輝度を表す。
なお、以下では、スポット光抽出処理が終了した時点での（ｘ，ｙ）の値を、（ｘｓｐｏｔ，ｙｓｐｏｔ）とする。
(X, y) at the time when the spot light extraction process is completed represents the values of the x-axis direction component and the y-axis direction component of the spot position in the image captured by the
In the following, the value of (x, y) at the time when the spot light extraction process is completed is assumed to be (x spot , y spot ).
画像解析部１２は、スポット光抽出処理を終えると、座標変換処理を開始する（ステップＳ２２）。座標変換処理が始まると、画像解析部１２の座標変換部１２ｂは、まず、図６に示すように、ステップＳ２２１の処理を実行する。
When finishing the spot light extraction process, the
ステップＳ２２１で、座標変換部１２ｂは、初期設定により定められた点Ａ、Ｂ、Ｃ、Ｄの座標と、スポット光抽出処理によって分かったスポット（図７（ａ）に示す点Ｐ）の座標とに基づいて、以下説明する内分比ｓ及びｔ（ただし、ｓ及びｔはいずれも０以上１以下の値）を求める。
In step S221, the coordinate
以下、ｓ及びｔを求める手順を詳細に示す。まず、図７（ａ）に示すように、点Ａ、点Ｓ及び点Ｐの位置には、数式１に示す関係がある。
任意に設定された基準点を図７（ａ）に示す点Ｏとすると、図７（ａ）に示すように、点Ａ、点Ｄ、点Ｏ、点Ｑ及び点Ｓの位置には、数式２に示す関係がある。
従って、図７（ａ）に示すように、点Ａ、点Ｂ、点Ｃ、点Ｄ及び点Ｐの位置には、数式３に示す関係がある。
そして、座標変換部１２ｂは、数式３に対し点Ａ、Ｂ、Ｃ、Ｄ、Ｐの各Ｘ座標値、Ｙ座標値を代入し、Ｘ、Ｙの連立方程式を解くことにより内分比ｓ，ｔを導出する。
Then, the coordinate
次に、座標変換部１２ｂは、上記ステップＳ２２２で導出された内分比ｓ、ｔに基づいて、表示画面、すなわち図７（ｂ）に示す平面における点Ｐ’の座標（ｘｄｉｓｐ，ｙｄｉｓｐ）を求め、求めた各座標値ｘｄｉｓｐ及びｙｄｉｓｐと、スポット光抽出処理を終了した時点でのＲｍａｘとを、互いに対応付けてＲＡＭ１３に格納し（ステップＳ２２２）、座標変換処理を終える。つまり、点Ｐ’は、長方形Ａ’Ｂ’Ｃ’Ｄ’の辺Ａ’Ｄ’、及び辺Ｂ’Ｃ’をｔ：（１−ｔ）に内分し、更に辺Ａ’Ｄ’、及び辺Ｂ’Ｃ’をｔ：（１−ｔ）に内分する線Ｓ’Ｑ’をｓ：（１−ｓ）に内分する点である。
Next, the coordinate
具体的には、座標変換部１２ｂは、例えば、数式４及び数式５の各右辺の値を計算することにより、ｘｄｉｓｐ及びｙｄｉｓｐを求める。尚、ｗ及びｈは、長方形（表示画面）Ａ’Ｂ’Ｃ’Ｄ’の幅及び高さであり、ｘｄｉｓｐ０、ｙｄｉｓｐ０は表示画面における基準位置（原点Ｏ’）を表す。
Specifically, the coordinate
（数４）
ｘｄｉｓｐ＝（ｗ×ｓ）＋ｘｄｉｓｐ０
（数５）
ｙｄｉｓｐ＝（ｈ×ｔ）＋ｙｄｉｓｐ０
(Equation 4)
x disp = (w × s) + x disp0
(Equation 5)
y disp = (h × t) + y disp0
画像解析部１２は、座標変換処理を終えると、画像解析処理を終え、描画処理のステップＳ３へと処理を移す。
ステップＳ３で、中央制御部１１は、ステップＳ２２２でＲＡＭ１３に格納されたｘｄｉｓｐ、ｙｄｉｓｐ及びＲｍａｘをＲＡＭ１３より読み出す。そして、中央制御部１１は、表示部３の表示画面上、座標（ｘｄｉｓｐ，ｙｄｉｓｐ）に相当する位置に、Ｒｍａｘに相当する輝度を有するスポットを表示するよう、表示部３に指示する。表示部３は、この指示に従ったスポットを表示画面上に表示する。従って、座標（ｘｄｉｓｐ，ｙｄｉｓｐ）が、ステップＳ３で表示される輝点（スポット）の表示位置となる。
When the
In step S <b > 3 , the
ステップＳ３でスポットが表示される位置は、表示画面上、発光部４が発する光が当たった位置となる。
なお、ステップＳ３において、この描画システムは、従前から表示されていたスポットを表示画面上から消去してもよいし、消去しなくてもよい。また、消去するか否かを、ユーザ等がユーザ操作入力部１５を操作して入力する指示に基づいて決定するようにしてもよい。
従前から表示されていたスポットを表示画面上から消去しない場合、表示画面上には、発光部４が発する光が表示画面上で当たった位置の軌跡が表示されるので、発光部４の操作者は、発光部４を用いて表示画面上に文字や図形を描画することができる。
The position where the spot is displayed in step S3 is the position on the display screen where the light emitted from the
In step S3, the drawing system may or may not erase the previously displayed spot from the display screen. Further, whether or not to delete may be determined based on an instruction input by the user or the like by operating the user
When the spot that has been displayed before is not erased from the display screen, the locus of the position where the light emitted from the
次に、中央制御部１１は、ユーザ等がユーザ操作入力部１５を操作して画像の表示の終了を指示したか否かを判別する（ステップＳ４）。そして、指示していないと判別すると、処理をステップＳ１に戻す。一方、画像の表示の終了を指示したと判別すると、描画処理を終了する。
Next, the
なお、この描画システムの構成は上述のものに限定されることなく、種々の変形及び応用が可能である。
例えば、表示部３は液晶ディスプレイ等から構成されていてもよく、また、ステップＳ３で表示部３の表示画面上に表示されるスポットは必ずしも輝点である必要はなく、任意の色、若しくは図形であってもよい。また、発光部４による発光強度は必ずしも可変である必要はなく、また、発光部４が発する光は単色光である必要はない。
Note that the configuration of the drawing system is not limited to that described above, and various modifications and applications are possible.
For example, the
また、スポット光抽出部１２ａは、互いに異なる色の複数のスポットを抽出し、座標変換部１２ｂは、スポット光抽出部１２ａが抽出した各々のスポットについて、表示画面上での表示位置を決定するようにしてもよい。この場合、この描画システムは、ステップＳ３で、座標変換部１２ｂが表示位置を決定した各スポットを互いに異なる色あるいは互いに異なる形状で表示するようにすればよい。
またこの場合、この描画システムは互いに異なる色の光を発する複数の発光部４を備えていてもよい。これらの発光部４は、互いに異なる操作者により操作され得る。
The spot
In this case, the drawing system may include a plurality of light emitting
また、図８に示すように、表示部３は、自ら表示画面を備える代わりに、壁面等の投影面に画像を投影するプロジェクタ等を備えていてもよい。この場合、画像入力部２は、表示部３が画像を投影している投影面の画像を撮像するものとし、この描画システムは、この投影面を表示部３の表示画面として扱い、上述の処理を実行するようにすればよい。
As shown in FIG. 8, the
また、この描画システムにおいては、画像入力部２が、単位格子をなす長方形が格子状に配列されたパターンの画像を撮像し、撮像した画像（歪みを有する格子パターン）を表す画像データを、表示部３が表示するようにしてもよい。
この場合、ユーザ等がユーザ操作入力部１５のマウスを操作する等して、表示部３の表示画面上に表示された歪みを有する格子パターンの単位格子の頂点をなす４点の組を指定したとき、座標変換部１２ｂが、この４点の表示画面上での位置を互いに対応付けて記憶するものとする。
In this drawing system, the
In this case, the user or the like operates the mouse of the user
そして、座標変換部１２ｂが視野領域の頂点の位置を記憶している場合、座標変換部１２ｂは、座標変換処理として、上述のステップＳ２２１及びＳ２２２の処理に代えて、図９に示すステップＳ２３１〜Ｓ２３４の処理を行う。
Then, when the coordinate
すなわち、まず、座標変換部１２ｂは、スポット光抽出部１２ａが抽出したスポットの位置（すなわち、値ｘｓｐｏｔ及びｙｓｐｏｔの組が表すスポットの位置）が、いずれの視野領域に含まれるものかを、自らが記憶する視野領域の頂点の位置に基づいて判別する（図９、ステップＳ２３１）。
That is, first, the coordinate
次に、座標変換部１２ｂは、スポット光抽出部１２ａが抽出したスポットの位置を含むと判別された視野領域を上述の四角形ＡＢＣＤであるものとして扱い、また、表示部３の表示画面の一部を占める、各辺が所定の長さの長方形の領域（変換後の視野領域）を、上述の長方形Ａ’Ｂ’Ｃ’Ｄ’であるものとして扱うものとして、上述のステップＳ２２１の処理と実質的に同一の処理を行う（ステップＳ２３２）。
Next, the coordinate
次に、座標変換部１２ｂは、ステップＳ２２２の処理と実質的に同一の処理を行う（ステップＳ２３３）。ただし、求める対象の座標（線分ＰＲ及び線分ＱＳの交点の座標）は、表示部３の表示画面上の特定の点を原点とした座標である必要はない。
Next, the coordinate
次に、座標変換部１２ｂは、ステップＳ２３３で求めた座標と、スポット光抽出部１２ａが抽出したスポットの位置を含むとステップＳ２３１で判別された視野領域の頂点の位置とに基づいて、表示部３の表示画面上で当該スポットを表示する表示位置の座標（ｘｄｉｓｐ，ｙｄｉｓｐ）を決定する。そして、求めた値ｘｄｉｓｐ及びｙｄｉｓｐと、スポット光抽出処理を終了した時点での変数Ｒｍａｘの値とを、互いに対応付けてＲＡＭ１３に格納し（ステップＳ２３４）、座標変換処理を終える。
Next, the coordinate
ただし、変換前の視野領域が複数ある場合、ステップＳ２３４で座標変換部１２ｂは、図１０に示すように、２個の変換前の視野領域により共有されている辺上にスポットが位置する場合、ステップＳ２３１でこれら変換前の視野領域のいずれが特定されても、表示画面上の同一の位置にスポットが表示されるよう、スポットの表示位置を決定するものとする。
However, when there are a plurality of field areas before conversion, in step S234, the coordinate
座標変換処理として上述のステップＳ２３１〜Ｓ２３４の処理を行うことにより、例えば画像入力部２が備える光学系が収差を有していても、スポットが表示部３の表示画面上の正しい位置（すなわち、表示画面上、発光部４が発する光が当たった位置）に表示される。
By performing the above-described steps S231 to S234 as the coordinate conversion processing, for example, even if the optical system included in the
また、表示部３が歪みを有する格子パターンを表示するものである場合、画像入力部２は、表示部３が表示する対象である歪みを有する格子パターンの画像データを作成するとき、歪みを有する格子パターンが完全に表示される程度に、撮像の感度を調整してもよい。
この場合、例えばユーザ等がユーザ操作入力部１５を操作して歪みを有する格子パターンの表示を指示すると、データ処理装置１の中央制御部１１がこの指示を画像入力部２に伝達し、画像入力部２は、伝達された指示に応答して、撮像の感度を、歪みを有する格子パターンが完全に表示されるような値に変化させるものとすればよい。
In addition, when the
In this case, for example, when a user or the like operates the user
（第１の実施の形態の変形例）
上記第１の実施の形態では、画像入力部２により撮像された画像と表示部３に表示された画像とが線型の座標変換で対応付け可能な場合について述べた。しかし実際は、画像入力部２が備えるカメラレンズのゆがみ、及び表示部３の歪み（ＣＲＴ等、表示画面が多少湾曲しているような場合に生じる歪み）によって、入力画像に樽型歪み等の非線型歪みが生じるような場合がある。
このような場合、上記第１の実施の形態では、正確な座標変換処理が不可能であるため、描画処理以前にキャリブレーション（較正）処理を行うようにする。以下、キャリブレーション処理を行う、この描画システムの変形例を、図１１〜図１４を参照して詳述する。
尚、この変形例にかかるデータ処理装置１の回路構成は図２と同様であるので、説明を省略する。また、キャリブレーション処理を制御するプログラムは、外部記憶部１４若しくは中央制御部１１に記憶されているものとし、このプログラムの実行のため、作業用メモリとしてＲＡＭ１３の所定のメモリエリアが使用されるものとする。
(Modification of the first embodiment)
In the first embodiment, the case where the image captured by the
In such a case, in the first embodiment, since accurate coordinate conversion processing is impossible, calibration (calibration) processing is performed before drawing processing. Hereinafter, a modification of the drawing system that performs the calibration process will be described in detail with reference to FIGS.
The circuit configuration of the
（第１の実施の形態の変形例：動作）
キャリブレーション処理を含む、この変形例にかかる描画システムが行う処理全体のフローチャートを、図１１に示す。すなわち、この描画システムは、図３に示す描画処理をステップＡ２で実行するものとし、その前段階としてキャリブレーション処理（ステップＡ１）を行う。
(Modification of the first embodiment: Operation)
FIG. 11 shows a flowchart of the entire processing performed by the drawing system according to this modification including calibration processing. That is, this drawing system executes the drawing process shown in FIG. 3 in step A2, and performs a calibration process (step A1) as a previous stage.
図１２は、キャリブレーション処理のフローチャートである。
キャリブレーション処理では、この描画システムは、まず、領域の設定を行う。入力画像のどの領域を座標変換するかを予め設定する。例えば対象となる領域の四隅の座標Ａ、Ｂ、Ｃ、Ｄをユーザ操作入力部１５が備えるマウス等を用いて設定したり、上記第１の実施の形態で詳述したように、発光部４を用いて表示部３の表示画面上の４点をポイントすることにより、領域を設定する（ステップＡ１１）。
FIG. 12 is a flowchart of the calibration process.
In the calibration process, the drawing system first sets a region. It is set in advance which area of the input image is subjected to coordinate conversion. For example, the coordinates A, B, C, and D of the four corners of the target region are set using a mouse or the like provided in the user
ステップＡ１１において、マウスを用いて領域を設定する手法をとった場合は、画像入力部２の視野と操作者の視野との視差や、表示部３の表示画面を覆う透明材質の表面での光の屈折などのため、操作者から見て、発光部４が発するスポット光が表示部３の表示画面上に当たって見える位置と、ステップＳ３で表示される輝点の位置とが、実質的に一致しなくなる、という問題が起こり得る。しかし、発光部４を用いて表示部３の表示画面上の４点をポイントする手法をとった場合、発光部４が発するスポット光は表示部３の表示画面の表面に当たって反射し、反射したスポット光が画像入力部２により撮像される。従って、スポット光が見える位置と表示される輝点の位置とが一致しなくなるという問題を回避することが可能となる。
In step A11, when a method of setting an area using a mouse is taken, parallax between the visual field of the
次に、この描画システムは、非線型歪みに関する情報の取得を行う（ステップＡ１２）。具体的には、例えば、表示部３の表示画面上に格子を表示させ、ユーザが、この格子の各格子点の座標をユーザ操作入力部１５のマウス等を用いて指定する。そして、中央制御部１１が、指定の結果に基づき、非線型歪みに関する情報として格子点の座標を取得する。
Next, this drawing system acquires information about nonlinear distortion (step A12). Specifically, for example, a grid is displayed on the display screen of the
キャリブレーション処理の最後に、この描画システムは、画像入力部２の撮像に関する情報の設定、特に画像入力部２が備える図示しない撮像カメラ等（撮像カメラ部）のゲインの設定を行う（ステップＡ１３）。ステップＡ１３の処理は、投影像とスポットとを区別するため、スポットの輝度に対する投影像の輝度を絞る必要があるために行うものである。ステップＡ１１の処理時（領域設定時）は、投影像の輝度を絞った状態では投影像は黒くつぶれるかスポットの輝度に対する輝度の差が極めて小さい場合もあり得る。そのため、領域設定時では、投影像が完全に表示されるように撮像カメラのゲイン設定を行い、領域設定を行い、非線型歪みに関する情報（補正情報）を取得した後、投影像とスポットとが区別される程度に、スポットの輝度に対する投影像の輝度を絞るのが望ましい。
At the end of the calibration process, the drawing system sets information relating to imaging of the
また、この変形例にかかる描画システムは、座標変換処理として、図１３に示す処理を行う。
まず、ステップＡ１２で取得した非線型歪みに関する情報、（即ち、格子点の座標）を利用して、スポットが含まれる格子領域を選択する（ステップＳ２４１）。次に、このスポットが含まれる格子領域に対し、図６のステップＳ２２１、Ｓ２２２の処理を行う（ステップＳ２４２）。そして座標変換処理の結果と、選択された格子領域の位置とに基づいて、領域全体におけるスポットの位置を取得する（ステップＳ２４３）。
Further, the drawing system according to this modification performs the process shown in FIG. 13 as the coordinate conversion process.
First, a lattice region including a spot is selected using the information on the nonlinear distortion acquired in step A12 (that is, the coordinates of the lattice point) (step S241). Next, the processing of steps S221 and S222 in FIG. 6 is performed on the lattice region including this spot (step S242). Based on the result of the coordinate conversion process and the position of the selected lattice area, the position of the spot in the entire area is acquired (step S243).
なお、画像入力部２は、描画処理が開始されたとき、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないように、撮像の感度（ゲイン）を調整するが、変形例として、描画処理が開始されると、中央制御部１１が感度調整の指示を画像入力部２に伝達し、画像入力部２がこの指示に応答して、撮像の感度を、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないような値に変化させるものとしてもよい。
Note that when the drawing process is started, the
また、画像入力部２は、この描画システムが描画処理を行っている間も、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないように、撮像の感度を調整するようにしてもよい。
この場合は、例えば、描画処理が開始されると、中央制御部１１又は画像解析部１２が、画像入力部２から供給された画像データに基づいて画像入力部２の撮像の感度の値を決定し、決定した値へと感度を調整する指示を画像入力部２に伝達すればよい。そして、画像入力部２はこの指示に応答し、撮像の感度を、この指示に従った値に変化させるものとすればよい。
Further, the
In this case, for example, when the drawing process is started, the
さらに、第１の実施の形態およびその変形例では、スポット光の抽出、及び座標変換について述べているが、画像入力部２がデータ処理装置１の制御により連続的に撮像して、スポット光の時系列的な軌跡を逐次抽出して座標変換を行うようにすれば、スポットによって描画される軌跡を表示画面に反映させることができる。
Furthermore, in the first embodiment and its modifications, spot light extraction and coordinate conversion are described. However, the
また、画像解析部１２の座標変換部１２ｂは、ステップＳ２２の座標変換処理を、図１５に示す手順で行ってもよい。
Further, the coordinate
すなわち、座標変換部１２ｂは、スポット光抽出処理を終え、座標変換処理を開始すると、まず、変数ｄの使用を宣言する。また、上述の点Ｐ’の座標のｘ軸方向成分の値を示す変数ｘｄｉｓｐ及びｙ軸方向成分の値を示す変数ｙｄｉｓｐ）の使用も宣言する（図１５、ステップＳＡ１）。
That is, when the coordinate
そして、座標変換部１２ｂは、点Ｐ’の座標（ｘｄｉｓｐ，ｙｄｉｓｐ）及び変数ｄの値を初期化し、上述の点Ａ〜点Ｄの座標を規格化する（ステップＳＡ２）。具体的には、変数ｘｄｉｓｐに値「０．５」を代入し、変数ｙｄｉｓｐに値「０．５」を代入し、変数ｄに値「０．２５」を代入し、また、ステップＳＡ２の処理以降、点Ａの座標を（０，０）、点Ｃの座標を（１，１）として扱うことと決定する。
Then, the coordinate
次に、座標変換部１２ｂは、図１６（ａ）に示すような、消失点Ｖ１（すなわち、直線ＡＢと直線ＤＣとの交点）の座標及び消失点Ｖ２（すなわち、直線ＢＣと直線ＡＤとの交点）の座標を求める（ステップＳＡ３）。次に、座標変換部１２ｂは、線分ＡＣと線分ＢＤとの交点Ｇの座標を求める（ステップＳＡ４）。
Next, the coordinate
次に、座標変換部１２ｂは、交点Ｇと上述の点Ｐとの距離が所定量α１より小さいか否かを判別し（ステップＳＡ５）、小さいと判別すると、処理を後述のステップＳＡ１７に移す。
Next, the coordinate
一方、交点Ｇと上述の点Ｐとの距離が所定量α１以上であると判別すると、座標変換部１２ｂは、直線Ｖ１Ｇと線分ＢＣとの交点Ｍの座標と、直線Ｖ１Ｇと線分ＤＡとの交点Ｎの座標とを求める（ステップＳＡ６）。また、座標変換部１２ｂは、直線Ｖ２Ｇと線分ＣＤとの交点Ｒの座標と、直線Ｖ２Ｇと線分ＡＢとの交点Ｓの座標とを求める（ステップＳＡ７）。
On the other hand, if the distance between the intersection G and P of the above points is determined to be the predetermined amount alpha 1 or more, the coordinate
次に、座標変換部１２ｂは、変数ｘｄｉｓｐ及び変数ｙｄｉｓｐの現在の値により表される点Ｐ’が、直線ＲＳより右側にあるか否か（換言すれば、線分ＡＰ’が直線ＲＳと交わるか否か）を判別する（ステップＳＡ８）。そして、右側にあると判別すると、変数ｘｄｉｓｐの値を変数ｄの値に相当する分増加させ（ステップＳＡ９）、一方、右側にないと判別すると、変数ｘｄｉｓｐの値を変数ｄの値に相当する分減少させる（ステップＳＡ１０）。
Next, the coordinate
ステップＳＡ９又はＳＡ１０の処理を終えると、座標変換部１２ｂは、変数ｘｄｉｓｐ及び変数ｙｄｉｓｐの現在の値により表される点Ｐ’が、直線ＭＮより上側にあるか否か（換言すれば、線分ＡＰ’が直線ＭＮと交わるか否か）を判別する（ステップＳＡ１１）。
そして、上側にあると判別すると、変数ｙｄｉｓｐの値を変数ｄの値に相当する分増加させ（ステップＳＡ１２）、一方、上側にないと判別すると、変数ｙｄｉｓｐの値を変数ｄの値に相当する分減少させる（ステップＳＡ１３）。
When the process of step SA9 or SA10 is completed, the coordinate
If it is determined that the value is on the upper side, the value of the variable y disp is increased by an amount corresponding to the value of the variable d (step SA12). If it is determined that the value is not on the upper side, the value of the variable y disp is changed to the value of the variable d. Decrease by a corresponding amount (step SA13).
ステップＳＡ１２又はＳＡ１３の処理を終えると、座標変換部１２ｂは、変数ｄの値を、変数ｄの現在の２分の１に変更し（ステップＳＡ１４）、変更後の変数ｄの値が所定量α２より小さいか否かを判別する（ステップＳＡ１５）。そして、小さいと判別すると、処理をステップＳＡ１７に移す。
When the process of step SA12 or SA13 is completed, the coordinate
一方、変数ｄの値が所定量α２以上であると判別すると、座標変換部１２ｂは、四角形ＡＳＧＮ、四角形ＳＢＭＧ、四角形ＧＭＣＲ及び四角形ＮＧＲＤのうちから、変数ｘｄｉｓｐ及び変数ｙｄｉｓｐの現在の値により表される点Ｐ’を内部に含む四角形を特定し、特定した四角形を新たに四角形ＡＢＣＤとして扱うことと決定して（ステップＳＡ１６）、処理をステップＳＡ４に移す。
On the other hand, when the value of the variable d is determined to be the predetermined amount alpha 2 or more, the coordinate
ただし、座標変換部１２ｂは、四角形ＡＳＧＮを新たに四角形ＡＢＣＤとして扱う場合は、点Ａをそのまま新たな点Ａとして扱い、点Ｓを新たな点Ｂとして扱い、点Ｇを新たな点Ｃとして扱い、点Ｎを新たな点Ｄとして扱うものとする。
また、四角形ＳＢＭＧを新たに四角形ＡＢＣＤとして扱う場合は、点Ｓを新たな点Ａとして扱い、点Ｂをそのまま新たな点Ｂとして扱い、点Ｍを新たな点Ｃとして扱い、点Ｇを新たな点Ｄとして扱うものとする。
また、四角形ＧＭＣＲを新たに四角形ＡＢＣＤとして扱う場合は、点Ｇを新たな点Ａとして扱い、点Ｍを新たな点Ｂとして扱い、点Ｃをそのまま新たな点Ｃとして扱い、点Ｒを新たな点Ｄとして扱うものとする。
また、四角形ＮＧＲＤを新たに四角形ＡＢＣＤとして扱う場合は、点Ｎを新たな点Ａとして扱い、点Ｇを新たな点Ｂとして扱い、点Ｒを新たな点Ｃとして扱い、点Ｄをそのまま新たな点Ｄとして扱うものとする。
However, the coordinate
Also, when the quadrilateral SBMG is newly treated as a quadrilateral ABCD, the point S is treated as a new point A, the point B is treated as a new point B, the point M is treated as a new point C, and the point G is treated as a new point. It shall be handled as point D.
Further, when the rectangle GMCR is newly treated as the rectangle ABCD, the point G is treated as a new point A, the point M is treated as a new point B, the point C is treated as a new point C, and the point R is treated as a new point A. It shall be handled as point D.
Further, when the rectangle NGRD is newly treated as a rectangle ABCD, the point N is treated as a new point A, the point G is treated as a new point B, the point R is treated as a new point C, and the point D is treated as a new point. It shall be handled as point D.
ステップＳＡ５又はＳＡ１５から処理がステップＳＡ１７へと移ると、座標変換部１２ｂは、変数ｘｄｉｓｐ及び変数ｙｄｉｓｐの現在の値により表される座標を、規格化されていない状態へと戻す。すなわち、変数ｘｄｉｓｐの現在の値をＸとして、変数ｘｄｉｓｐの値を｛Ｘ・（ｘｃ−ｘａ）＋ｘａ｝へと変更し、変数ｙｄｉｓｐの現在の値をＹとして、変数ｙｄｉｓｐの値を｛Ｙ・（ｙｃ−ｙａ）＋ｙａ｝へと変更する。
When the process proceeds from step SA5 or SA15 to step SA17, the coordinate
そして、座標変換部１２ｂは、規格化されていない状態へと戻された変数ｘｄｉｓｐ及び変数ｙｄｉｓｐの値により表される座標を点Ｐ’の座標と決定し、規格化されていない状態へと戻されたこれらの変数ｘｄｉｓｐ及びｙｄｉｓｐと、スポット光抽出処理を終了した時点でのＲｍａｘとを、互いに対応付けてＲＡＭ１３に格納し、座標変換処理を終了して処理をステップＳ３に移す。
Then, the coordinate
以上説明したステップＳＡ１〜２３６の処理の結果、図１６（ａ）に示す四角形Ａ’Ｂ’Ｃ’Ｄ’点Ｐに対応する、長方形Ａ’Ｂ’Ｃ’Ｄ’内の点Ｐ’が、例えば図１６（ｂ）に示すように決定される。 As a result of the processing of steps SA1 to 236 described above, the point P ′ in the rectangle A′B′C′D ′ corresponding to the quadrangle A′B′C′D ′ point P shown in FIG. For example, it is determined as shown in FIG.
また、この描画システムは、座標変換の対象となる領域を設定するための情報として、この領域の四隅を表す情報に限らず任意の情報を取得するようにしてよく、従って、例えば、この領域を複数の格子に分割した場合の各格子の頂点を表す情報を取得してもよい。一方、中央処理部１１は、例えばステップＡ１１の処理において、表示部３に、座標変換の対象となる領域の設定を容易にするための格子模様（あるいは市松模様等）を表示させるようにしてもよい。
In addition, the drawing system may acquire arbitrary information as information for setting an area to be coordinate-transformed, not limited to information representing the four corners of the area. You may acquire the information showing the vertex of each grating | lattice at the time of dividing | segmenting into a some grating | lattice. On the other hand, the
この描画システムが、座標変換の対象となる領域の設定を容易にするための格子模様を表示部３の表示画面上に表示し、一方、座標変換の対象となる領域を格子に分割した場合の各格子の頂点を表す情報をステップＡ１１の処理等により取得するとする。
この場合、例えば、画像解析部１２の座標変換部１２ｂが、各格子の頂点を表す情報と、スポット光抽出処理により得られたスポットの位置の座標（ｘｓｐｏｔ，ｙｓｐｏｔ）とに基づき、スポットが存在する格子を特定するものとする。そして、座標変換部１２ｂは、画像入力部２がステップＳ１で作成した画像データが表す画像のうち、自己が特定した格子に相当する領域を上述の長方形ＡＢＣＤであるとみなして上述の座標変換処理（例えば、ステップＳ２２１〜Ｓ２２２の処理や、あるいはステップＳＡ１〜ＳＡ１７の処理）を行うものとする。
When this drawing system displays a lattice pattern on the display screen of the
In this case, for example, the coordinate
次いで、座標変換部１２ｂは、ステップＳ３に処理を移す前に、座標変換処理により得られた座標（ｘｄｉｓｐ，ｙｄｉｓｐ）と、特定した格子が座標変換の対象となる領域内で占める位置とに基づき、この領域全体のうちでのスポットの表示位置の座標を特定するものとする。こうすることにより、座標変換部１２ｂは座標変換の対象となる領域の全体について座標変換領域を行うことを要せずに、この領域全体のうちでのスポットの表示位置の座標を特定する。このため、スポットの表示位置の座標を特定する処理の高速化が図られる。
Next, the coordinate
具体的には、例えば、座標変換の対象となる領域が行数Ｊ、列数Ｋのマトリクス状に配列された複数の長方形の格子が全体として形成する長方形を表示部３の表示画面上に表示して画像入力部２が撮像したものに相当する場合、座標変換部１２ｂは、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）が、座標変換の対象となる領域のうち、何行何列目の格子に相当する部分に含まれるかを特定すればよい。そして、特定した格子に相当する領域を上述の長方形ＡＢＣＤであるとみなして座標変換処理を行い、得られた座標（ｘｄｉｓｐ，ｙｄｉｓｐ）を用い、数式６及び数式７の各右辺の値ｘｄｉｓｐ１及びｙｄｉｓｐ１を表すデータを生成することにより、座標変換の対象となる領域全体のうちでのスポットの表示位置の座標（ｘｄｉｓｐ１，ｙｄｉｓｐ１）を特定すればよい。
Specifically, for example, a rectangle formed as a whole by a plurality of rectangular grids in which a region to be coordinate-transformed is arranged in a matrix of J rows and K columns is displayed on the display screen of the
（数６）
ｘｄｉｓｐ１＝ｘｄｉｓｐ＋ｗ・｛（ｋ−１）／Ｋ｝
（ただし、ｗは、長方形Ａ’Ｂ’Ｃ’Ｄ’の幅）
(Equation 6)
x disp1 = x disp + w · {(k−1) / K}
(W is the width of rectangle A'B'C'D ')
（数７）
ｙｄｉｓｐ１＝ｙｄｉｓｐ＋ｈ・｛（ｊ−１）／Ｊ｝
（ただし、ｈは、長方形Ａ’Ｂ’Ｃ’Ｄ’の高さ）
(Equation 7)
y disp1 = y disp + h · {(j−1) / J}
(Where h is the height of the rectangle A'B'C'D ')
次に、ステップＳ３で、中央制御部１１は、座標（ｘｄｉｓｐ，ｙｄｉｓｐ）に代えて、この領域全体のうちでのスポットの表示位置の座標として特定した座標に相当する位置に、Ｒｍａｘに相当する輝度を有するスポットを表示するよう、表示部３に指示するものとする。
Next, in step S3, the
（第２の実施の形態）
上述のステップＡ１１で、この描画システムは、ユーザ等が表示部３の表示画面上の点をポイントする手順を経ず自動的に領域の設定を行うようにしてもよい。以下、領域の設定を自動的に行う、この発明の第２の実施の形態を説明する。
(Second Embodiment)
In step A <b> 11 described above, the drawing system may automatically set the region without going through a procedure in which the user or the like points to a point on the display screen of the
この描画システムの物理的構成は、図２に示す構成と実質的に同一である。
一方、機能的には、この描画システムのデータ処理装置１は、ステップＡ１１の処理として、図１７に示す処理を行うことにより、四角形ＡＢＣＤの頂点をなす点Ａ、点Ｂ、点Ｃ及び点Ｄの位置を取得する。
The physical configuration of this drawing system is substantially the same as the configuration shown in FIG.
On the other hand, functionally, the
すなわち、まず、中央制御部１１は、表示部３に指示して、表示部３の表示画面上に、上述の長方形Ａ’Ｂ’Ｃ’Ｄ’を表す長方形の枠を表示させる（図１７、ステップＳＢ１）。次いで、中央制御部１１は、２次元配列変数の使用を宣言し、この２次元配列変数を構成する各要素に初期値「０」を代入することにより、この２次元配列変数を初期化する（ステップＳＢ２）。
That is, first, the
ステップＳＢ２で初期化された２次元配列変数を構成する要素は、後述する変数ρ及び変数θの各値を表すためのρθ直交座標平面内にある格子に、１対１に対応付けられているものとする。この格子は、四辺がρ軸又はθ軸に平行な長方形をマトリクス状に分割して得られるものであるとする。 The elements constituting the two-dimensional array variable initialized in step SB2 are associated one-to-one with a grid in the ρθ orthogonal coordinate plane for representing each value of a variable ρ and a variable θ described later. Shall. This lattice is obtained by dividing a rectangle whose four sides are parallel to the ρ axis or the θ axis into a matrix.
画像入力部２は、ステップＳＢ１で表示された長方形の枠を撮像して画像データを作成して中央制御部１１に供給し、中央制御部１１はこの画像データをＲＡＭ１３に格納する。
The
次に、中央制御部１１は、画像入力部２がＲＡＭ１３に格納した画像データのが表す画像に含まれる画素（ただし、過去にステップＳＢ３の処理の対象になっていない画素）１個につき、この画素が、表示部３の表示画面上に表示された枠上の点を表すか否かを判別する（ステップＳＢ３）。そして、枠上の点を表すと判別すると処理をステップＳＢ４に移し、表さないと判別すると処理をステップＳＢ５に移す。
Next, the
なお、ステップＳＢ１で表示された枠の色が赤色であるとした場合、ステップＳＢ３での判別は、例えば、「この画素の画素値の赤成分（Ｒ）が所定値以上で、且つ、緑成分（Ｇ）及び青成分（Ｂ）がいずれも所定値以下である」か否かを判別することにより行えばよい。 When the color of the frame displayed in step SB1 is red, the determination in step SB3 is, for example, “the red component (R) of the pixel value of this pixel is equal to or greater than a predetermined value and the green component What is necessary is just to discriminate | determine whether (G) and a blue component (B) are below a predetermined value.
ステップＳＢ４で、中央制御部１１は、枠上の点を表すとステップＳＢ３でもっとも新しく判別された画素のｘｙ直交座標平面内の位置（ｕ，ｖ）を特定する。そして、数式８により示される関係を満たすρ及びθの値の組を表すρθ直交座標平面内の曲線が通過する各格子を特定し、ステップＳＢ２で使用を宣言した２次元配列変数に含まれる各要素のうち、特定した各格子に対応付けられたものの値をインクリメントする（すなわち、１だけ増加させる）。そして、処理をステップＳＢ５へと移す。
In step SB4, the
なお、数式８を満たすθは、ｘｙ直交座標平面の原点からこのｘｙ直交座標平面内の直線［｛ｘ・（ｓｉｎθ）｝＋｛ｙ・（ｃｏｓθ）｝＝ρ］におろした垂線とｘ軸とがなす角を表し、ρは、この直線と原点との距離を表す。
Note that θ
（数８）
｛ｕ・（ｓｉｎθ）｝＋｛ｖ・（ｃｏｓθ）｝＝ρ
(Equation 8)
{U · (sin θ)} + {v · (cos θ)} = ρ
ステップＳＢ５で、中央制御部１１は、画像入力部２がＲＡＭ１３に格納した画像データが表す画像に含まれる画素のうち、未だステップＳＢ３の処理の対象になっていない画素が残っているか否かを判別する。そして、残っていると判別すると処理をステップＳＢ３に戻し、残っていないと判別すると、処理をステップＳＢ６に進める。
In step SB5, the
ステップＳＢ６で、中央制御部１１は、２次元配列変数に含まれる各要素のうち、値がもっとも大きいもの４個を特定する。次に、中央制御部１１は、特定した４個の要素が表す４個の格子の位置を表すρ及びθの値の組４組を特定する。
この結果、特定した各々の組を数式８に代入して得られる、ｘｙ直交座標平面内の４本の直線が特定される。そして、中央制御部１１は、特定された４本の直線がｘｙ直交座標平面を切り取ることで形成される四角形を、上述の四角形ＡＢＣＤとして特定する。
In step SB6, the
As a result, four straight lines in the xy orthogonal coordinate plane obtained by substituting each identified pair into
なお、ρθ直交座標平面内の格子の位置は、この格子内の任意の点の位置で代表させてよく、例えば、この格子をなす四角形の対角線の交点の位置で代表させるものとすればよい。 Note that the position of the grid in the ρθ orthogonal coordinate plane may be represented by the position of an arbitrary point in the grid. For example, it may be represented by the position of the intersection of the diagonal lines of the quadrangle forming the grid.
また、表示部３の表示画面上に表示させる枠の色は赤色である必要はなく、緑色でもよいし、青色でもよいし、その他、赤色、緑色及び青色の加色混合により得られる任意の色であってよい。そして、ステップＳＢ３では、画素が、表示させた枠の色に合致する色を表すか否かを判定することにより、この画素が枠上の点を表すか否かを判別するようにすればよい。
The color of the frame displayed on the display screen of the
また、ステップＡ１１でこの描画システムが表示部３の表示画面上に表示させる図形は、必ずしも枠状の図形である必要はなく、例えば、座標変換の対象となる領域の四隅を示す点状の図形より構成されていてもよい。
In addition, the graphic displayed by the drawing system on the display screen of the
ステップＡ１１でこの描画システムが表示部３の表示画面上に表示させる図形が、座標変換の対象となる領域の四隅を示す点状の図形より構成されている場合、中央制御部１１はステップＳＢ６で、２次元配列変数に含まれる各要素のうち、値がもっとも大きい要素６個が表す６個の格子の位置を表す、ρ及びθの値の組６組を特定するものとする。そして、特定した６組を各々数式８に代入して得られる６本の直線を特定し、特定した６本の直線のうち３本が実質的に交わる点を４点特定するものとする。特定したこれら４点が、上述の四角形ＡＢＣＤの頂点である点Ａ、点Ｂ、点Ｃ及び点Ｄに相当する。
If the graphic displayed by the drawing system on the display screen of the
（第２の実施の形態の変形例）
なお、ステップＡ１１の処理として上述のステップＳＢ１〜ＳＢ６の処理を行う場合、この描画システムは、描画処理において、キャリブレーション処理（ステップＡ１の処理）を、ステップＳ１の直前に行う代わりに、図１８に示すタイミングで行うようにしてもよい。
(Modification of the second embodiment)
In the case where the processing of steps SB1 to SB6 described above is performed as the processing of step A11, the drawing system replaces the calibration processing (step A1 processing) immediately before step S1 in the drawing processing with reference to FIG. It may be performed at the timing shown in FIG.
ただし、この描画システムが図１８に示す処理を行う場合、画像入力部２が生成する画像データが表す画像は、行数Ｈｄ、列数Ｗｄのマトリクス状に配列された、（Ｈｄ・Ｗｄ）個の画素より構成されているものとする。また、中央制御部１１は、ＲＡＭ１３に、画像入力部２が生成した画像データを、少なくとも、最も新しく撮像した画像２枚分、記憶させておくものとする。
However, when this drawing system performs the processing shown in FIG. 18, the image represented by the image data generated by the
この描画システムが図１８に示す処理を行う場合、中央処理部１は、ステップＳ３で表示部３にスポットを新たに表示させた後、ステップＳ１で入力されＲＡＭ１３に格納された画像データのうち、最も新しく格納された画像２枚分の画像データに基づいて、キャリブレーションを行うか否かを決定する（図１８、ステップＳ３Ａ）。
When the drawing system performs the process shown in FIG. 18, the
ステップＳ３Ａで中央制御部１１は、具体的には、例えば、もっとも新しく格納された画像データが表すｉ行ｊ列目（ｉはＨｄ以下の自然数、ｊはＷｄ以下の自然数）の画素の輝度ともっとも新しい方から２番目に格納された画像データが表すｉ行ｊ列目の画素の輝度との差を２乗した値（又は、差の絶対値）を、取り得るすべてのｉ及びｊの値について求め、求めた計（Ｈｄ・Ｗｄ）個の値の和を求める。そして、求めた和が所定の環境変化検出用の閾値を超えているか否かを判別し、超えていると判別したときはキャリブレーションを行うと決定し、超えていないと判別したときはキャリブレーションを行わないと決定する。
In step S3A, the
なお、画像データを構成する画素の輝度が０以上２５５までの整数により２５６段階に表されるものである場合、中央制御部１１が、もっとも新しく格納された画像２枚分の画像データが表すｉ行ｊ列目の画素の輝度の差を２乗した値を求めるものならば、環境変化検出用の閾値は、例えば｛（１２８）２・Ｈｄ・Ｗｄ｝であればよい。また、もっとも新しく格納された画像２枚分の画像データが表すｉ行ｊ列目の画素の輝度の差の絶対値を求めるものならば、環境変化検出用の閾値は、例えば（１２８・Ｈｄ・Ｗｄ）であればよい。
When the luminance of the pixels constituting the image data is represented in 256 levels by integers ranging from 0 to 255, the
そして、中央制御部１１は、キャリブレーションを行わないと決定したときは処理をステップＳ４に移し、行うと決定したときは、上述のステップＡ１の処理と実質的に同一の処理を行うことによりキャリブレーションを実行し（ステップＳ３Ｂ）、キャリブレーションが終了すると、処理をステップＳ４に移す。
When the
（第３の実施の形態）
表示部３に表示される輝点は、発光部４が発するスポット光の明るさの段階に相当する所定の輝度を有するようにしてもよい。以下、表示部３に表示される輝点が、撮像されたスポット光の明るさの段階に相当する所定の輝度を有するような、この発明の第３の実施の形態にかかる描画システムを説明する。
(Third embodiment)
The bright spot displayed on the
この描画システムの物理的構成は、図２に示す構成と実質的に同一である。ただし、発光部４が発するスポット光の明るさは、ユーザの操作に従って、Ｎ段階（Ｎは２以上の任意の整数）のいずれかに設定されるようになっているものとする。（なお、以下では、スポット光を発していない状態を、「暗い方から０段階目の明るさ」であるものとして扱う。また、理解を容易にするため、スポット光は赤色であるものとする。）
The physical configuration of this drawing system is substantially the same as the configuration shown in FIG. However, the brightness of the spot light emitted from the
この描画システムは、表示部３に表示されるスポットの輝度と発光部４が発するスポット光の明るさの範囲との対応関係を指定する値である「レベル閾値」を示すデータを、予め、又は操作者の操作に従って記憶する。そして、レベル閾値を示すデータと、撮像されたスポット光の明るさとに基づいて、表示部３に表示されるスポットの輝度を決定する。
In this drawing system, data indicating a “level threshold value” that is a value for designating a correspondence relationship between the brightness of the spot displayed on the
具体的には、操作者の操作に従ってレベル閾値を記憶するため、この描画システムは、例えば、上述のステップＳ１の処理を行う前に、図１９に示す手順に従ってレベル閾値を決定するものとする。なお、表示部３に表示されるスポットの輝度は、Ｌ０〜ＬＮ−１のＮ段階に変わるものとし、暗い方からｋ段階目（ｋは０以上（Ｎ−１）以下の整数）の輝度はＬｋであり、輝度Ｌｋは、ｋ番目のレベル閾値θＲｋに対応付けられているものとする。そして、外部記憶部１４は、輝度Ｌ０〜ＬＮ−１を表すＮ個のデータを予め記憶するものとする。
Specifically, in order to store the level threshold according to the operation of the operator, the drawing system determines the level threshold according to the procedure shown in FIG. 19, for example, before performing the process of step S1 described above. Incidentally, the brightness of the spot displayed on the
以下、手順を具体的に説明すると、まず、この描画システムの中央制御部１１は、四角形ＡＢＣＤの設定が終わったとき等のタイミングで変数Ｉの使用を宣言し、変数Ｉに値０を代入することにより、変数Ｉを初期化する（図１９、ステップＳＣ１）。
Hereinafter, the procedure will be described in detail. First, the
次に、中央処理部１１は、変数Ｉの現在の値ｉが値Ｎより小さいか否かを判別する（ステップＳＣ２）。そして、Ｎ以上であると判別すると、レベル閾値設定の処理を終了し、例えばステップＳ１へと処理を移す。一方、変数Ｉの値がＮより小さいと判別すると、中央処理部１１は、後述のステップＳＣ５の処理を行うため、画像入力部２がステップＳＣ４の処理を行うのを待機する。
Next, the
一方、操作者は、発光部４を操作して、発光部４に、暗い方からｉ段階目の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（ステップＳＣ３）。（ただし、ｉ＝０であるとき、操作者は、例えば発光部４を消灯させればよい。）
On the other hand, the operator operates the
一方、画像入力部２は、表示部３の表示画面を撮像して、撮像した画像を表す画像データを中央制御部１１に供給する（ステップＳＣ４）。中央制御部１１は、この画像データが表す画像を表示部３に表示させる（ステップＳＣ５）。
ステップＳＣ５で表示部３が画像を表示すると、操作者は、ユーザ操作入力部１５のマウスを操作する等して、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＣ６）。（ただし、ｉ＝０であるとき、操作者は、表示部３の表示画面上、スポット光が当たっていない部分を指定すればよい。）
On the other hand, the
When the
すると、中央処理部１１は、画像入力部２が供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表すものを読み出して、この画素データが表す赤色成分の画素値を取得する（ステップＳＣ７）。
Then, the
そして、中央処理部１１は、取得した画素値に基づいて、ｉ番目のレベル閾値θＲｉの値を表すデータを生成し、外部記憶部１４に記憶させる（ステップＳＣ８）。具体的には、中央処理部１１は、数式９の右辺の値を求めることによりｉ番目のレベル閾値θＲｉの値を求め、θＲｉの値を表すデータを生成して、輝度Ｌｉに対応付けた形で外部記憶部１４に記憶させるものとする。
Then, the
（数９）
θＲｉ＝（Ｒｉ−１＋Ｒｉ）／２
（ただし、Ｒｉは、Ｉの値がｉであるときにステップＳＣ７で取得した赤色成分の画素値。また、Ｒ−１＝０であるものとする。）
(Equation 9)
θ Ri = (R i-1 + R i ) / 2
(However, R i is the pixel value of the red component acquired in step SC7 when the value of I is i. It is also assumed that R −1 = 0.)
そして、中央処理部１１は、変数Ｉをインクリメントして（ステップＳＣ９）、処理をステップＳＣ２に戻す。
Then,
この描画システムがレベル閾値を記憶する場合、この描画システムの画像解析部１２のスポット光抽出部１２ａは、スポット光抽出処理を終えると、例えば、図２０に示すレベル検出処理を行う。
When the drawing system stores the level threshold value, the spot
すなわち、スポット光抽出部１２ａは、スポット光抽出処理を終えると、まず、変数Ｖ及び変数Ｉの使用を宣言し、変数Ｖ及び変数Ｉに、それぞれ値０を代入することにより、変数Ｖ及びＩの初期化を行う（図２０、ステップＳＤ１）
That is, when the spot
次に、スポット光抽出部１２ａは、変数Ｉの現在の値ｉが上述の値Ｎより小さいか否かを判別し（ステップＳＤ２）、値ｉが値Ｎ以上であると判別すると、レベル検出の処理を終了し、表示部３が表示すべきスポットの輝度を、暗い方からｖ番目（ただし、ｖは変数Ｖの現在の値）の輝度Ｌｖと決定する。
Next, the spot
一方、値ｉが値Ｎより小さいと判別すると、スポット光抽出部１２ａは、スポット光抽出処理の結果得られた上述の値Ｒｍａｘが、値θＲｉより大きいか否かを判別する（ステップＳＤ３）。そして、値Ｒｍａｘが値θＲｉ以下であると判別すると、レベル検出の処理を終了し、表示部３が表示すべきスポットの輝度を、暗い方からｖ番目の輝度Ｌｖと決定する。
On the other hand, when determining that the value i is smaller than the value N, the spot
一方、値Ｒｍａｘが、値θＲｉより大きいと判別すると、スポット光抽出部１２ａは変数Ｉの値（すなわち、値ｉ）を変数Ｖに代入し（ステップＳＤ４）、変数Ｉをインクリメントして（ステップＳＤ５）、処理をステップＳＤ２に戻す。
On the other hand, if it is determined that the value R max is larger than the value θ Ri , the spot
一方、ステップＳ３で、中央制御部１１は、値Ｒｍａｘに相当する輝度を有するスポットを表示部３に表示させる代わりに、レベル検出処理により決定された値Ｌｖに相当する輝度を有するスポットを表示部３に表示させるものとする。
なお、この描画システムは、レベル検出処理で決定したスポットの輝度に対応付けられた所定の処理を更に実行するようにしてもよい。換言すれば、ユーザは、発光部４を操作してスポットの輝度を変えることにより、データ処理装置１にＮ通りの情報を供給することができる。
On the other hand, in step S3, the
The drawing system may further execute a predetermined process associated with the brightness of the spot determined by the level detection process. In other words, the user can supply N types of information to the
なお、この描画システムは、図１９に示す手順に代えて、図２１に示す手順でレベル閾値を示すデータを取得して記憶するようにしてもよい。 Note that this drawing system may acquire and store data indicating the level threshold by the procedure shown in FIG. 21 instead of the procedure shown in FIG.
すなわち、まず、四角形ＡＢＣＤの設定が終わると、中央処理部１１は、後述のステップＳＥ４の処理を行うため、画像入力部２がステップＳＥ３の処理を行うのを待機する。
That is, first, when the setting of the rectangle ABCD is completed, the
一方、操作者は、発光部４を操作して、発光部４に、Ｎ段階のうちもっとも暗い段階の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（図２１、ステップＳＥ１）。または、ステップＳＥ１においては、表示部３にスポット光を当てないようにしてもよい。
On the other hand, the operator operates the
画像入力部２は、表示部３の表示画面を撮像して、撮像した画像を表す画像データを中央制御部１１に供給する（ステップＳＥ２）。中央制御部１１は、この画像データが表す画像を表示部３に表示させる（ステップＳＥ３）。
The
ステップＳＥ３で表示部３が画像を表示すると、操作者は、上述のステップＳＣ６と実質的に同一の操作を行って、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＥ４）。
すると、中央処理部１１は、画像入力部２が供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表すものを読み出して、この画素データが表す赤色成分の画素値を取得する（ステップＳＥ５）。
When the
Then, the
次に、操作者は、発光部４に、Ｎ段階のうちもっとも明るい段階の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（ステップＳＥ６）。画像入力部２は、表示部３の表示画面を撮像した画像の画像データを中央制御部１１に供給し（ステップＳＥ７）。中央制御部１１は、この画像を表示部３に表示させる（ステップＳＥ８）。
Next, the operator causes the
ステップＳＥ８で表示部３が画像を表示すると、操作者は、上述のステップＳＥ４と同様に、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＥ９）。中央処理部１１は、画像入力部２がステップＳＥ７で供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表す画素データが表す赤色成分の画素値を取得する（ステップＳＥ１０）。
When the
そして、中央処理部１１は、ステップＳＥ５及びＳＥ１０で取得した２個の画素値に基づき、Ｎ個のレベル閾値θＲ０〜θＲ（Ｎ−１）の値を表すＮ個のデータを生成して、外部記憶部１４に記憶させる（ステップＳＥ１１）。
具体的には、中央処理部１１は、例えば、数式１０の右辺の値を求めることによりレベル閾値θＲ０の値を求め、また、数式１１の右辺の値を、ｉの値を１から（Ｎ−１）までの各整数とした場合についてそれぞれ求めることにより、レベル閾値θＲ１〜θＲ（Ｎ−１）の値を求めるものとする。そして、θＲ０〜θＲ（Ｎ−１）の値を表す合計Ｎ個のデータを生成し、外部記憶部１４に記憶させるものとする。
Then, the
Specifically, the
（数１０）
θＲ０＝ＲＭＩＮ／２
（ただし、ＲＭＩＮは、ステップＳＥ５で取得した画素値）
(Equation 10)
θ R0 = R MIN / 2
(Where R MIN is the pixel value acquired in step SE5)
（数１１）
θＲｉ＝ＲＭＩＮ＋ｉ・（ＲＭＡＸ−ＲＭＡＸ）／（Ｎ−１）
−（ＲＭＡＸ−ＲＭＩＮ）／｛２・（Ｎ−１）｝
（ただし、ＲＭＡＸは、ステップＳＥ１０で取得した画素値）
(Equation 11)
θ Ri = R MIN + i · (R MAX −R MAX ) / (N−1)
− (R MAX −R MIN ) / {2 · (N−1)}
(However, R MAX is the pixel value acquired in step SE10)
（第３の実施の形態の変形例）
発光部４は、互いに異なる単色のスポット光を複数発する構成を有していてもよい（具体的には、例えば、発光部４は、互いに異なる単色のスポット光を発する複数の発光ダイオードを備えていてもよい）。
この場合、この描画システムは、当該発光部４が発するスポット光が表示部３の表示画面上に当たったときに表示画面上に形成される、当該発光部４に固有の配置を有するスポット光のパターンを抽出するようにしてもよい。スポットのパターンとしては、例えば図２２（ａ）〜（ｄ）に示すように、赤色、緑色及び青色のスポットが１個ずつ合計３個、ほぼ等間隔で直線上に並ぶようなパターンであればよい。スポット光のパターンを抽出するようにすれば、スポット１個を抽出する場合に比べ、スポットでない点を誤ってスポットとして検出する危険が減少する。
(Modification of the third embodiment)
The
In this case, in this drawing system, spot light having an arrangement specific to the
なお、この描画システムが発光部４を複数備える場合、スポット光のパターンが当該発光部４に固有のものとなるようにするためには、例えば、当該発光部４のスポット光のパターンを回転させることで他の発光部４のスポット光のパターンと重なることがないように、スポット光を配置することが望ましい。従って、図２２（ａ）及び（ｄ）のパターンは、重複して用いないことが望ましい。
When the drawing system includes a plurality of light emitting
発光部４が発するスポット光は、例えば、第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された第２、第３のスポット光とからなるパターンを形成していればよい。この場合、この描画システムは、例えば、スポット光抽出処理（ステップＳ２１の処理）として図２３に示す処理を行うことにより、スポット光のパターンを抽出すればよい。なお、以下では、理解を容易にするため、第１のスポット光が赤色、第２のスポット光が緑色、第３のスポット光が青色であるものとする。（すなわち、図２２（ｃ）に示すようなパターンを形成するものとする。）
The spot light emitted from the
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖの使用を宣言し、これら５個の変数にそれぞれ値０を代入することにより、これら５個の変数を初期化する（図２３、ステップＳＦ１）。
That is, when the spot light extraction process is started, first, the spot
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を、第１のスポット光の候補を表す画素データとして特定する（ステップＳＦ２）。ただし、ステップＳＦ２では、既にステップＳＦ２の処理で第１のスポット光の候補として特定された画素は、第１のスポット光として再び特定しないようにするものとする。
Next, the spot
次に、スポット光抽出部１２ａは、ステップＳＦ２でもっとも新しく特定された第１のスポット光の候補と所定の位置関係にある画素を表す画素データを、第２のスポット光の候補を表す画素データとして特定する。さらに、第１のスポット光の候補を中心として第２のスポット光の候補と実質的に点対称の位置にある画素を表す画素データを、第３のスポット光の候補を表す画素データとして特定する（ステップＳＦ３）。
ただし、ステップＳＦ３は、ステップＳＦ２でもっとも新しく特定された第１のスポット光の候補との関係で既にステップＳＦ３の処理で第２（又は第３）のスポットの候補として特定された画素は、この第１のスポット光の候補との関係では、第２（又は第３）のスポットとして再び特定しないようにするものとする。
Next, the spot
However, in step SF3, the pixel already specified as the second (or third) spot candidate in the process of step SF3 in relation to the first spot light candidate specified most recently in step SF2 In the relationship with the first spot light candidate, the second (or third) spot is not specified again.
そして、スポット光抽出部１２ａは、特定した３個の画素データが示す、第１、第２及び第３のスポット光の候補の特定の色成分の評価値を取得する（ステップＳＦ４）。具体的には、第１のスポット光の候補の赤評価値ＥＲ、第２のスポット光の候補の緑評価値ＥＧ、及び、第３のスポット光の候補の青評価値ＥＢを取得するものとする。なお、赤評価値ＥＲは、数式１２の右辺の値に実質的に等しい値であり、緑評価値ＥＧは、数式１３の右辺の値に実質的に等しい値であり、青評価値ＥＢは、数式１４の右辺の値に実質的に等しい値である。
Then, the spot
（数１２）
ＥＲ＝Ｒ−｛（Ｇ＋Ｂ）／２｝
（ただし、Ｒは、赤色成分の輝度値、Ｇは緑色成分の輝度値、Ｂは青色成分の輝度値）
（数１３）
ＥＧ＝Ｇ−｛（Ｒ＋Ｂ）／２｝
（数１４）
ＥＢ＝Ｂ−｛（Ｒ＋Ｇ）／２｝
(Equation 12)
ER = R-{(G + B) / 2}
(Where R is the luminance value of the red component, G is the luminance value of the green component, and B is the luminance value of the blue component)
(Equation 13)
EG = G-{(R + B) / 2}
(Equation 14)
EB = B-{(R + G) / 2}
次に、スポット光抽出部１２ａは、取得した第１〜第３のスポット光の候補の各評価値のうちの最小値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＦ５）。そして、当該最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＦ７へと進める。
Next, the spot
一方、最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、変数ｍａｘの値を、ステップＳＦ４で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＦ６）。
また、ステップＳＦ６でスポット光抽出部１２ａは、変数ｓｓの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値とステップＳＦ３で最も新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値とステップＳＦ３で最も新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
On the other hand, when determining that the minimum value is larger than the value of the variable max, the spot
In step SF6, the spot
Further, the value of the variable uu is the value of the x-axis direction component of the pixel position specified most recently as the first spot light candidate in step SF2, and the pixel specified most recently as the second spot light candidate in step SF3. To the difference from the value of the x-axis direction component of the position of.
Further, the value of the variable vv is set to the value of the y-axis direction component of the pixel position newly specified as the first spot light candidate in step SF2, and the pixel specified as the second spot light candidate most recently in step SF3. To the difference from the value of the y-axis direction component at the position of.
次に、スポット光抽出部１２ａは、ステップＳＦ２でもっとも新しく特定した第１のスポット光の候補と上述の所定の関係にある画素のうちに、未だ第２のスポット光の候補として特定されていない画素があるか否かを判別する（ステップＳＦ７）。そして、あると判別するとステップＳＦ３へと処理を戻し、ないと判別すると、処理をステップＳＦ８へと進める。
Next, the spot
ステップＳＦ８で、スポット光抽出部１２ａは、ステップＳＦ２で未だ第１のスポット光の候補として特定されていない画素があるか否かを判別する。そして、あると判別するとステップＳＦ２へと処理を戻し、ないと判別すると、処理を終了する。
In step SF8, the spot
処理を終了した時点での変数ｓｓの値が、第１のスポット光の位置のｘ軸方向成分を表し、変数ｔｔの値が、第１のスポット光のｙ軸方向成分の値を表す。また、処理を終了した時点での変数ｓｓの値と変数ｕｕの値との和が、第２のスポット光の位置のｘ軸方向成分を表し、変数ｔｔの値と変数ｖｖの値との和が、第２のスポット光のｙ軸方向成分の値を表す。また、処理を終了した時点での変数ｍａｘの値が、第１〜第３のスポット光のうちもっとも暗いものの輝度を表す。 The value of the variable ss at the time when the processing is completed represents the x-axis direction component of the position of the first spot light, and the value of the variable tt represents the value of the y-axis direction component of the first spot light. Further, the sum of the value of the variable ss and the value of the variable uu at the time when the processing is completed represents the x-axis direction component of the position of the second spot light, and the sum of the value of the variable tt and the value of the variable vv Represents the value of the y-axis direction component of the second spot light. Further, the value of the variable max at the time when the processing is completed represents the luminance of the darkest of the first to third spot lights.
また、発光部４が発するスポット光が、赤色の第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された緑色の第２のスポット光及び青色の第３のスポット光とからなるパターンを形成している場合、この描画システムは、スポット光抽出処理として図２４〜図２７に示す処理を行うようにしてもよい。
Further, the spot light emitted from the
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数Ｒｍ、変数Ｇｍ、変数Ｂｍ、変数Ｒｘ、変数Ｒｙ、変数Ｇｘ、変数Ｇｙ、変数Ｂｘ、変数Ｂｙ及び変数ｍａｘの使用を宣言し、これら１０個の変数にそれぞれ値０を代入することにより初期化する（図２４、ステップＳＧ１）。
That is, when the spot light extraction process is started, the spot
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を特定する（ステップＳＧ２）。ただし、ステップＳＧ２では、既にステップＳＧ２の処理で特定されたことのある画素は、再び特定しないようにするものとする。
Next, the spot
そして、スポット光抽出部１２ａは、特定した画素の赤評価値ＥＲを取得し（ステップＳＧ３）、取得した赤評価値が、変数Ｒｍの値より大きいか否かを判別する（ステップＳＧ４）。そして、赤評価値がＲｍ以下であると判別すると、処理をステップＳＧ６へと進める。
And the spot
一方、赤評価値がＲｍより大きいと判別すると、スポット光抽出部１２ａは、変数Ｒｍの値を、ステップＳＧ３で新しく取得した赤評価値へと更新し、変数Ｒｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｒｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ５）。
On the other hand, if it is determined that the red evaluation value is larger than Rm, the spot
また、スポット光抽出部１２ａは、特定した画素の緑評価値ＥＧを取得し（ステップＳＧ６）、この緑評価値が変数Ｇｍの値より大きいか否かを判別する（ステップＳＧ７）。そして、緑評価値が変数Ｇｍ以下であると判別すると処理をステップＳＧ９へと進める。一方、変数Ｇｍより大きいと判別すると、変数Ｇｍの値を、ステップＳＧ６で新しく取得した緑評価値へと更新し、変数Ｇｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｇｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ８）。
Further, the spot
また、スポット光抽出部１２ａは、特定した画素の青評価値ＥＢを取得し（ステップＳＧ９）、この青評価値が変数Ｂｍの値より大きいか否かを判別する（ステップＳＧ１０）。そして、青評価値が変数Ｂｍ以下であると判別すると処理をステップＳＧ１２へと進める。一方、変数Ｂｍより大きいと判別すると、変数Ｂｍの値を、ステップＳＧ９で新しく取得した青評価値へと更新し、変数Ｂｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｂｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ１１）。
Further, the spot
ステップＳＧ１２で、スポット光抽出部１２ａは、ステップＳＧ２で未だ特定されていない画素があるか否かを判別し、あると判別するとステップＳＧ２へと処理を戻し、ないと判別すると、処理を、図２５に示すステップＳＧ１３へと進める。
In step SG12, the spot
ステップＳＧ１２までの処理を終了した時点での変数Ｒｘの値が、赤色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｒｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｒｍの値が、この画素の赤評価値を表す。
同様に、変数Ｇｘの値は、緑色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｒｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｇｍの値が、この画素の緑評価値を表す。
また、変数Ｂｘの値は、青色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｂｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｂｍの値が、この画素の青評価値を表す。
The value of the variable Rx at the time when the processing up to step SG12 is finished represents the x-axis direction component of the pixel where red is the strongest, and the value of the variable Ry represents the value of the y-axis direction component of this pixel. The value of the variable Rm represents the red evaluation value of this pixel.
Similarly, the value of the variable Gx represents the x-axis direction component at the position of the pixel having the strongest green color, the value of the variable Ry represents the value of the y-axis direction component of this pixel, and the value of the variable Gm represents this pixel. Represents the green evaluation value.
The value of the variable Bx represents the x-axis direction component at the position of the pixel having the strongest blue color, the value of the variable By represents the value of the y-axis direction component of this pixel, and the value of the variable Bm represents the value of this pixel. Represents the blue evaluation value.
ステップＳＧ１３で、スポット光抽出部１２ａは、赤色がもっと強いとして特定された画素を第１のスポット光とした場合に第２及び第３のスポット光となる位置関係にある２個の画素を、第２及び第３のスポット光の候補として特定する。
In step SG13, the spot
ただし、ステップＳＧ１３では、既にステップＳＧ１３の処理で第２のスポット光の候補として特定された画素は、第２のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ１３の処理で第３のスポット光の候補として特定された画素は、第３のスポット光の候補として再び特定しないようにするものとする。 However, in step SG13, pixels that have already been identified as candidates for the second spot light in the process of step SG13 are not identified again as candidates for the second spot light. In addition, pixels that have already been identified as candidates for the third spot light in the process of step SG13 are not identified again as candidates for the third spot light.
そして、スポット光抽出部１２ａは、赤色がもっと強いとして特定された画素、の赤評価値、もっとも新しく特定された第２のスポット光の候補の緑評価値、及び、もっとも新しく特定された第３のスポット光の候補の青評価値を取得し、取得したこれら３個の評価値のうちの最小値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＧ１４）。そして、評価値の最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＧ１６へと進める。
The spot
一方、評価値の最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ１４で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ１５）。
また、変数ｓｓの値を、赤色がもっとも強いとして特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、赤色がもっとも強いとして特定した画素の位置のｘ軸方向成分の値とステップＳＧ１３で最も新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、赤色がもっとも強いとして特定した画素の位置のｙ軸方向成分の値とステップＳＧ１３で最も新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
On the other hand, when it is determined that the minimum value of the evaluation value is larger than the value of the variable max, the spot
Further, the value of the variable ss is updated to the value of the x-axis direction component at the pixel position identified as having the strongest red color, and the value of the variable tt is updated to the value of the y-axis direction component of this pixel.
Further, the value of the variable uu is the value of the x-axis direction component at the pixel position specified as having the strongest red color, and the x-axis direction component at the pixel position specified as the newest second spot light candidate in step SG13. Update to the difference from the value.
Further, the value of the variable vv is the value of the y-axis direction component of the pixel position specified as having the strongest red color, and the y-axis direction component of the pixel position specified as the newest second spot light candidate in step SG13. Update to the difference from the value.
次に、スポット光抽出部１２ａは、もっとも赤色が強いとして特定した画素を第１のスポット光としたとき第２のスポット光となり得る画素が、ステップＳＧ１３で既に特定したものの他に存在するか否かを判別する（ステップＳＧ１６）。そして、存在すると判別するとステップＳＧ１３へと処理を戻す。
Next, the spot
一方、存在しないと判別すると、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ１を作成してＲＡＭ１３に一時記憶させる（ステップＳＧ１７）。 On the other hand, if it is determined that it does not exist, data representing the current value MAX of the variable max, the current value SS of the variable ss, the current value TT of the variable tt, the current value UU of the variable uu, and the current value VV of the variable vv. tmp1 is created and temporarily stored in the RAM 13 (step SG17).
次に、スポット光抽出部１２ａは、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖを初期化し（図２６、ステップＳＧ１８）、処理をステップＳＧ１９へと進める。
ステップＳＧ１９でスポット光抽出部１２ａは、緑色がもっと強いとして特定された画素を第２のスポット光とした場合に第１及び第３のスポット光となる位置関係にある２個の画素を、第１及び第３のスポット光の候補として特定する。
Next, the spot
In step SG19, the spot
ただし、ステップＳＧ１９では、既にステップＳＧ１９の処理で第１のスポット光の候補として特定された画素は、第１のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ１９の処理で第３のスポット光の候補として特定された画素は、第３のスポット光の候補として再び特定しないようにするものとする。 However, in step SG19, pixels that have already been identified as candidates for the first spot light in the process of step SG19 are not identified again as candidates for the first spot light. In addition, pixels that have already been identified as candidates for the third spot light in the process of step SG19 are not identified again as candidates for the third spot light.
そして、スポット光抽出部１２ａは、緑色がもっと強いとして特定された画素、の緑評価値、もっとも新しく特定された第１のスポット光の候補の赤評価値、及び、もっとも新しく特定された第３のスポット光の候補の青評価値を取得し、取得したこれら３個の評価値のうちの最小値が、変数ｍａｘの値より大きいか否かを判別する（ステップＳＧ２０）。そして、変数ｍａｘの値以下であると判別すると、処理をステップＳＧ２２へと進める。
Then, the spot
一方、評価値の最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ２０で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ２１）。
また、変数ｓｓの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値ともっとも緑色が強いとして特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値ともっとも緑色が強いとして特定した画素の位置のｙ軸方向成分の値との差へと更新する。
On the other hand, if it is determined that the minimum value of the evaluation value is greater than the value of the variable max, the spot
In addition, the value of the variable ss is updated to the value of the x-axis direction component at the position of the pixel specified as the newest first spot light candidate in step SG19, and the value of the variable tt is changed to the y-axis direction of this pixel. Update to component value.
Further, the value of the variable uu is the value of the x-axis direction component of the pixel position specified as the first candidate of the first spot light in step SG19 and the x-axis direction component of the pixel position specified as having the strongest green color. Update to the difference from the value.
Further, the value of the variable vv is set to the value of the y-axis direction component of the pixel position specified most recently as the first spot light candidate in step SG19 and the value of the y-axis direction component of the pixel position specified as having the strongest green color. Update to the difference from the value.
次に、スポット光抽出部１２ａは、もっとも緑色が強いとして特定した画素を第２のスポット光としたとき第１のスポット光となり得る画素が、ステップＳＧ１９で既に特定したものの他に存在するか否かを判別する（ステップＳＧ２２）。そして、存在すると判別するとステップＳＧ１９へと処理を戻す。
一方、存在しないと判別すると、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ２を作成してＲＡＭ１３に一時記憶させ（ステップＳＧ２３）、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖを初期化して（図２７、ステップＳＧ２４）、処理をステップＳＧ２５へと進める。
Next, the spot
On the other hand, if it is determined that it does not exist, data representing the current value MAX of the variable max, the current value SS of the variable ss, the current value TT of the variable tt, the current value UU of the variable uu, and the current value VV of the variable vv. tmp2 is created and temporarily stored in the RAM 13 (step SG23), the variable max, the variable ss, the variable tt, the variable uu, and the variable vv are initialized (FIG. 27, step SG24), and the process proceeds to step SG25.
ステップＳＧ２５で、スポット光抽出部１２ａは、青色がもっと強いとして特定された画素を第３のスポット光とした場合に第１及び第２のスポット光となる位置関係にある２個の画素を、第１及び第２のスポット光の候補として特定する。
ただし、ステップＳＧ２５では、既にステップＳＧ２５の処理で第１のスポット光の候補として特定された画素は、第１のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ２５の処理で第２のスポット光の候補として特定された画素は、第２のスポット光の候補として再び特定しないようにするものとする。
In step SG25, the spot
However, in step SG25, pixels that have already been specified as candidates for the first spot light in the process of step SG25 are not specified again as candidates for the first spot light. In addition, pixels that have already been identified as candidates for the second spot light in the process of step SG25 are not identified again as candidates for the second spot light.
そして、スポット光抽出部１２ａは、青色がもっと強いとして特定された画素、の緑評価値、もっとも新しく特定された第１のスポット光の候補の赤評価値、及び、もっとも新しく特定された第２のスポット光の候補の緑評価値を取得し、取得したこれら３個の評価値のうちの最小値が変数ｍａｘの現在より大きいか否かを判別する（ステップＳＧ２６）。そして、評価値の最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＧ２８へと進める。
The spot
一方、評価値がｍａｘより大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ２６で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ２７）。
また、変数ｓｓの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値ともっとも新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｕｕの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値ともっとも新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
On the other hand, if it is determined that the evaluation value is greater than max, the spot
Further, the value of the variable ss is updated to the value of the x-axis direction component at the position of the pixel specified as the first candidate for the first spot light in step SG25, and the value of the variable tt is changed to the y-axis direction of this pixel. Update to component value.
Further, the value of the variable uu is set to the value of the x-axis direction component of the pixel position newly specified as the first spot light candidate in step SG25 and the position of the pixel newly specified as the second spot light candidate. Update to the difference from the x-axis direction component value.
Further, the value of the variable uu is set to the value of the y-axis direction component of the position of the pixel newly specified as the first spot light candidate in step SG25 and the position of the pixel specified as the newest candidate of the second spot light. Update to the difference from the y-axis direction component value.
次に、スポット光抽出部１２ａは、もっとも青色が強いとして特定した画素を第３のスポット光としたとき第１のスポット光となり得る画素が、ステップＳＧ２５で既に特定したものの他に存在するか否かを判別する（ステップＳＧ２８）。そして、存在すると判別するとステップＳＧ２５へと処理を戻す。
Next, the spot
一方、存在しないと判別すると、スポット光抽出部１２ａは、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ３を作成する。そして、データｔｍｐ１、ｔｍｐ２及びｔｍｐ３のうち、表す値ＭＡＸが最大の値をとっているデータを特定し、特定したデータにより表される値ＳＳ及び値ＴＴの組により示される座標（ＳＳ，ＴＴ）にある画素を、第１のスポット光と決定する（ステップＳＧ２９）。
On the other hand, if the spot
また、ステップＳＧ２９でスポット光抽出部１２ａは、特定したデータにより表される値ＳＳ及び値ＵＵの和と値ＴＴ及び値ＶＶの和との組により示される座標（（ＳＳ＋ＵＵ），（ＴＴ＋ＶＶ））にある画素を、第２のスポット光と決定する。また、特定したデータにより表される値ＳＳ及び値ＵＵの差と値ＴＴ及び値ＶＶの差との組により示される座標（（ＳＳ−ＵＵ），（ＴＴ−ＶＶ））にある画素を、第３のスポット光と決定する。
In step SG29, the spot
スポット光抽出処理として上述のステップＳＧ１〜ＳＧ２９の処理を行うことにより、発光部４が発するスポット光以外の光が表示部３の表示画面上に当たることによる誤動作が回避される。
By performing the above-described steps SG1 to SG29 as the spot light extraction process, malfunction due to light other than the spot light emitted from the
具体的に説明すると、例えば図２８に示すように、発光部４が発するスポット光以外の光が作る青色で輝度２００の点ＰＡ及び緑色で輝度２１０の点ＰＢと、発光部４が発するスポット光が作る青色で輝度１６０の点ＰＣ、赤色で輝度１８０の点ＰＤ、及び緑色で輝度２００の点ＰＥとが表示部３の表示画面上に形成されたとする。この場合に、この描画システムがスポット光抽出処理としてステップＳＦ１〜ＳＦ８の処理を行った場合は、点ＰＡ、点ＰＢ及び点ＰＤの組が発光部４のスポット光であると誤って決定されることがあり得る。一方、スポット光抽出処理としてステップＳＧ１〜ＳＧ２９の処理を行った場合は、点ＰＣ、点ＰＤ及び点ＰＥの組が発光部４のスポット光として正しく決定される。
More specifically, for example, as shown in FIG. 28, a point PA having a blue luminance 200 and a point PB having a green luminance 210 generated by light other than the spot light emitted by the
発光部４が複数発するスポット光の色は、互いに同一の色であってもよい。具体的には、例えば、図２９（ａ）に示すような、同一色、同一輝度（なお、図２９においては、円の面積が輝度の大きさを表すものとする）のスポット３個が直線上にほぼ等間隔に並ぶようなパターンであってもよい。また、図２９（ｂ）に示すように、同一色で互いに異なる輝度のスポット３個が直線上にほぼ等間隔に並ぶようなパターンであってもよい。また、図２９（ｃ）に示すような、図２９（ａ）のパターンに加え更に、３個のスポットが並ぶ直線に垂直で、３個のスポットのうち中央のスポットを通るような直線上に並ぶ４個目のスポットを含むパターンであってもよい。
The colors of the spot lights emitted by the
発光部４が発するスポット光が、図２９（ａ）に示すように、第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された第２、第３のスポット光とからなるパターンを形成する場合、この描画システムは、例えば、スポット光抽出処理として図３０に示す処理を行うことにより、スポット光のパターンを抽出してもよい。（なお、以下では、理解を容易にするため、第１〜第３のスポット光はいずれも赤色であるものとする。）
As shown in FIG. 29A, the spot light emitted from the
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数Ｒｍａｘ、変数ｘ及び変数ｙの使用を宣言し、これら３個の変数をそれぞれ初期化する（図３０、ステップＳＨ１）。そして、上述のステップＳ２１１〜Ｓ２１４の処理と実質的に同一の処理を行うことにより、赤色がもっとも強い画素の座標及び赤評価値を取得する（ステップＳＨ２）。なお、ステップＳＨ２では、赤色成分の強さに代えて、上述の赤評価値を用いるものとする。もっとも、赤色成分の強さの値を用いることも差し支えない。
That is, when the spot light extraction process is started, first, the spot
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素のうち、ステップＳＨ２で座標が取得された画素を除く画素について、ステップＳＨ２の処理と実質的に同一の処理を行うことにより、赤色が２番目に強い画素の座標及び赤評価値を取得する（ステップＳＨ３）。
Next, the spot
ただし、ステップＳＨ３では、ステップＳＨ３の処理の対象となる画素の元来の画素値に重み関数を乗じた値を、画素値であるものとして扱う。この重み関数は、例えば図３１に示すような関数であるものとする。すなわち、ステップＳＨ２で取得された座標からの距離が一定値以下である画素の画素値を元来の値より小さくし、また、ステップＳＨ２で取得された座標からの距離が一定値以下である画素については、ステップＳＨ２で取得された座標に近いものほど、乗じた後の画素値の元来の画素値に対する比率を小さくするような関数であるものとする。 However, in step SH3, a value obtained by multiplying the original pixel value of the pixel to be processed in step SH3 by the weight function is treated as a pixel value. This weight function is assumed to be a function as shown in FIG. 31, for example. That is, the pixel value of the pixel whose distance from the coordinate acquired in step SH2 is less than a certain value is made smaller than the original value, and the pixel whose distance from the coordinate acquired in step SH2 is less than a certain value Is a function that reduces the ratio of the pixel value after multiplication to the original pixel value as the coordinates closer to the coordinates acquired in step SH2.
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素のうち、ステップＳＨ２又はＳＨ３で座標が取得された２個の画素を除く画素について、ステップＳＨ３の処理と実質的に同一の処理を行うことにより、赤色が３番目に強い画素の座標及び赤評価値を取得する（ステップＳＨ４）。
Next, the spot
ただし、ステップＳＨ４で処理の対象となる画素の元来の画素値に乗じる重み関数は、ステップＳＨ３で取得された座標からの距離が一定値以下である画素の画素値を元来の値より小さくし、また、ステップＳＨ３で取得された座標からの距離が一定値以下である画素については、ステップＳＨ３で取得された座標に近いものほど、乗じた後の画素値の元来の画素値に対する比率を小さくするような関数であるものとする。 However, the weight function that multiplies the original pixel value of the pixel to be processed in step SH4 is such that the pixel value of the pixel whose distance from the coordinates acquired in step SH3 is equal to or smaller than the original value is smaller than the original value. For pixels whose distance from the coordinates acquired in step SH3 is less than or equal to a certain value, the closer to the coordinates acquired in step SH3, the higher the ratio of the pixel value after multiplication to the original pixel value It is assumed that the function is such that
次に、スポット光抽出部１２ａは、ステップＳＨ２〜ＳＨ４で赤評価値及び座標を取得した３個の画素を用いて、上述したステップＳＧ１３〜ＳＧ２９の処理と実質的に同一の処理を行うことにより、第１〜第３のスポット光の位置を決定する（ステップＳＨ５）。
Next, the spot
ただし、ステップＳＨ５でスポット光抽出部１２ａは、もっとも緑色が強いとされた画素を用いる代わりに、２番目に赤色が強いとされた画素を用いる。また、もっとも青色が強いとされた画素を用いる代わりに、３番目に赤色が強いされた画素を用いる。また、緑評価値及び青評価値の代わりに、赤評価値（または、赤色成分の強さ）を用いる。
However, in step SH5, the spot
（第４の実施の形態）
ステップＳ３の処理により表示部３の表示画面上で繰り返し輝点が表示される結果、この表示画面上に当たったスポット光の位置が移動すれば、上述の各実施の形態にかかる描画システムが表示する輝点も移動する。
しかし、スポット光の移動が高速である場合、これらの描画システムが表示する輝点の移動が視覚的にも不連続になって、輝点の移動を視認するユーザにとり不自然に感じられる場合があり得る。
このような場合、輝点の移動量について補間処理を行うことにより視覚上輝点が滑らかに移動するようにすることができる。以下では、補間処理を行うことにより輝点の移動を滑らかにする、この発明の第４の実施の形態を説明する。
(Fourth embodiment)
As a result of repeatedly displaying bright spots on the display screen of the
However, when the spot light moves at high speed, the movement of the bright spots displayed by these drawing systems may be visually discontinuous, which may seem unnatural to the user who visually recognizes the movement of the bright spots. possible.
In such a case, it is possible to smoothly move the bright spot visually by performing interpolation processing on the movement amount of the bright spot. In the following, a fourth embodiment of the present invention will be described in which the bright spot is moved smoothly by performing an interpolation process.
この描画システムは、図３２に示す構成を有している。すなわち、この描画システムは、図２に示す構成と実質的に同一の物理的構成を有し、更に、画像解析部１２が、ＣＰＵ等からなり後述する処理を行う補間処理部１２ｃと、水晶発振器等からなるタイマＴを備える。タイマＴは、現在時刻を表す時刻情報を生成し、補間処理部１２ｃへと連続的に供給する。
This drawing system has a configuration shown in FIG. That is, this drawing system has a physical configuration substantially the same as the configuration shown in FIG. 2, and further, the
一方、この描画システムのＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方から２個分記憶するものとする。そして、この描画システムは、座標変換処理（ステップＳ２２の処理）を終えると、ステップＳ３に処理を移す前に、図３３に示す補間処理を行う。
On the other hand, the
すなわち、この描画システムがステップＳ２２で座標（ｘｄｉｓｐ，ｙｄｉｓｐ）を求めると、ステップＳ３に処理を移す前に、補間処理部１２ｃが、タイマＴから供給される時刻情報を取得する（図３３、ステップＳＩ１）。そして、最も新しく求めた座標（ｘｄｉｓｐ，ｙｄｉｓｐ）と、最も新しく取得した時刻情報とを、互いに対応付けてＲＡＭ１３に記憶させる。
That is, when the drawing system obtains the coordinates (x disp , y disp ) in step S22, the
次に、補間処理部１２ｃは、もっとも新しく取得した方から２点分のスポット（以下では、ｎを自然数として、ｎ個目のスポットと（ｎ＋１）個目のスポットであるものとして説明する）の座標と、これら２点の座標に対応付けられているｎ番目及び（ｎ＋１）番目の時刻情報とを読み出し、読み出した座標及び時刻情報に基づいて数式１５及び数式１６の各右辺の値を求めることによって、（ｎ＋１）番目に時刻情報を取得した時刻におけるスポットの移動速度のｘ軸方向成分ｖｘｎ＋１及びｙ軸方向成分ｖｙｎ＋１を求め、求めた移動速度ｖｘｎ＋１及びｖｙｎ＋１の値を、最も新しく取得した時刻情報に対応付けて、ＲＡＭ１３に記憶させる（ステップＳＩ２）。
Next, the
（数１５）
ｖｘｎ＋１＝（ｘｎ＋１−ｘｎ）／（ｔｎ＋１−ｔｎ）
（ただし、ｘｎ＋１は（ｎ＋１）番目に取得したスポットの座標のｘ軸方向成分、ｘｎはｎ番目に取得したスポットの座標のｘ軸方向成分、ｔｎ＋１は（ｎ＋１）番目に取得した現在時刻、ｔｎはｎ番目に取得した現在時刻）
(Equation 15)
vx n + 1 = (x n + 1 -x n) / (t n + 1 -t n)
(Where x n + 1 is the x-axis direction component of the coordinates of the (n + 1) -th acquired spot, x n is the x-axis direction component of the coordinates of the n-th acquired spot, and t n + 1 is the (n + 1) -th acquired current position Time, t n is the nth current time acquired)
（数１６）
ｖｙｎ＋１＝（ｙｎ＋１−ｙｎ）／（ｔｎ＋１−ｔｎ）
（ただし、ｙｎ＋１は（ｎ＋１）番目に取得したスポットの座標のｙ軸方向成分、ｙｎはｎ番目に取得したスポットの座標のｙ軸方向成分）
(Equation 16)
vy n + 1 = (y n + 1 −y n ) / (t n + 1 −t n )
(Where y n + 1 is the y-axis direction component of the coordinates of the (n + 1) th acquired spot, and y n is the y axis direction component of the coordinates of the nth acquired spot)
次に、補間処理部１２ｃは、数式１７により示される補間用の関数Ｘ（ｔ；ｔｎ＜ｔ≦ｔｎ＋１）及び数式１８により示される補間用の関数Ｙ（ｔ；ｔｎ＜ｔ≦ｔｎ＋１）を特定する（ステップＳＩ３）。
関数Ｘ（ｔ）は、時刻ｔｎからｔｎ＋１までの間にスポットの座標のｘ軸方向成分の推測値、関数Ｙ（ｔ）は、時刻ｔｎからｔｎ＋１までの間にスポットの座標のｙ軸方向成分の推測値である。そして、座標（Ｘ（ｔｎ），Ｙ（ｔｎ））は時刻ｔｎにおけるスポットの位置を表し、座標（Ｘ（ｔｎ＋１），Ｙ（ｔｎ＋１））は時刻ｔｎ＋１におけるスポットの位置を表す。
Then, the
Function X (t) is an estimated value of the x-axis direction component of the spot coordinates during the period from the time t n to t n + 1, the function Y (t) is the period from the time t n to t n + 1 spot coordinates This is an estimated value of the y-axis direction component. The coordinates (X (t n ), Y (t n )) represent the spot position at time t n , and the coordinates (X (t n + 1 ), Y (t n + 1 )) represent the spot position at time t n + 1 . Represent.
（数１７）
Ｘ（ｔ；ｔｎ＜ｔ≦ｔｎ＋１）＝｛−（ｔｎ＋１−ｔ）２・ｖｘｎ｝／｛２・（ｔｎ＋１−ｔｎ）｝
＋｛（ｔｎ−ｔ）２・ｖｘｎ＋１｝／｛２・（ｔｎ＋１−ｔｎ）｝
＋ｘｎ＋１−｛ｖｘｎ＋１・（ｔｎ＋１−ｔｎ）／２｝
（ただし、ｖｘ０＝０）
(Equation 17)
X (t; t n <t ≦ t n + 1 ) = {− (t n + 1 −t) 2 · vx n } / {2 · (t n + 1 −t n )}
+ {(T n −t) 2 · vx n + 1 } / {2 · (t n + 1 −t n )}
+ X n + 1 − {vx n + 1 · (t n + 1 −t n ) / 2}
(However, vx 0 = 0)
（数１８）
Ｙ（ｔ；ｔｎ＜ｔ≦ｔｎ＋１）＝｛−（ｔｎ＋１−ｔ）２・ｖｙｎ｝／｛２・（ｔｎ＋１−ｔｎ）｝
＋｛（ｔｎ−ｔ）２・ｖｙｎ＋１｝／｛２・（ｔｎ＋１−ｔｎ）｝
＋ｙｎ＋１−｛ｖｙｎ＋１・（ｔｎ＋１−ｔｎ）／２｝
（ただし、ｖｙ０＝０）
(Equation 18)
Y (t; t n <t ≦ t n + 1 ) = {− (t n + 1 −t) 2 · by n } / {2 · (t n + 1 −t n )}
+ {(T n −t) 2 · by n + 1 } / {2 · (t n + 1 −t n )}
+ Y n + 1 − {vy n + 1 · (t n + 1 −t n ) / 2}
(However, vy 0 = 0)
次に、補間処理部１２ｃは、座標（Ｘ（ｔ），Ｙ（ｔ））に位置する点の時刻ｔｎからｔｎ＋１までの移動の軌跡を表す曲線を特定し、この曲線を表すデータを作成してＲＡＭ１３に格納し（ステップＳＩ４）、補間処理を終えてステップＳ３に処理を移す。
Then, the
補間処理が終わりステップＳ３に処理が移ると、中央制御部１１は、座標（ｘｄｉｓｐ，ｙｄｉｓｐ）を読み出す代わりに、ステップＳＩ４でＲＡＭ１３に格納された、曲線を表すデータをＲＡＭ１３より読み出す。そして、表示部３の表示画面上に、このデータが表す曲線を表示するよう、表示部３に指示する。表示部３は、この指示に従った曲線を表示画面上に表示する。
なお、関数Ｘ（ｔ）及びＹ（ｔ）は上述のものに限られず、軌跡が連続する曲線となるような関数であればよい。
When the interpolation process ends and the process moves to step S3, the
It should be noted that the functions X (t) and Y (t) are not limited to those described above, and any function may be used as long as the locus becomes a continuous curve.
（第４の実施の形態の変形例）
なお、ＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方から３個分以上記憶してもよい。
また、この描画システムは、スポットの位置の異なるタイミングで複数回抽出した結果に基づいて、これら複数の抽出結果により代表されるスポットの位置を決定し、決定された位置の座標を、座標変換処理以降の処理において、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）に代えて用いるようにしてもよい。こうすることにより、ユーザが発光部４を操作してスポット光の位置を定める際の手ぶれを軽減することが可能となる。
(Modification of the fourth embodiment)
The
Further, the drawing system determines the position of the spot represented by the plurality of extraction results based on the result extracted a plurality of times at different timings of the spot position, and converts the coordinates of the determined position to the coordinate conversion process. In the subsequent processing, the coordinates (x spot , y spot ) may be used instead of the coordinates (x spot , y spot ). By doing so, it is possible to reduce camera shake when the user operates the
具体的には、スポット光抽出部１２ａは、例えば図３４に示す処理を行うようにすればよい。（なお、この描画システムのＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方からｐ個分（ｐは十分大きな正の整数）記憶するものとする。）
Specifically, the spot
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍの使用を宣言し、変数ｍに値０を代入する（図３４、ステップＳＪ１）。
That is, when the spot
次に、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＪ２）、座標変換処理で最も新しく取得した方からＭ番目（Ｍは変数ｍの現在の値）のスポットと（Ｍ−１）番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＪ３）。
Next, the spot
そして、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは、処理をステップＳＪ２に戻す。一方、静止判別用の閾値を超えていると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットの座標のｘ軸方向成分の平均値ｘａｖｅ及びｙ軸方向成分の平均値ｙａｖｅを求める（ステップＳＪ４）。
When it is determined that the threshold value for determining stillness is not exceeded, the spot
スポット光抽出部１２ａが平均値ｘａｖｅ及びｙａｖｅを求めると、座標変換部１２ｂは、座標（ｘａｖｅ，ｙａｖｅ）を、スポット光抽出処理によって分かったスポットの座標であるものとして扱い、座標変換処理を行う。
When the spot
なお、スポット光抽出部１２ａは、ステップＳ２１で最も新しくＲＡＭ１３に格納した座標（ｘｓｐｏｔ，ｙｓｐｏｔ）の値を、ステップＳＪ４で最も新しく求めた平均値ｘａｖｅ及びｙａｖｅにより表される座標（ｘａｖｅ，ｙａｖｅ）の値へと書き換えるようにしてもよい。
The spot
あるいは、スポット光抽出部１２ａは、例えば図３５に示す処理を行うようにしてもよい。
Or you may make it the spot
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍの使用を宣言し、変数ｍに値１を代入する（図３５、ステップＳＫ１）。
That is, when the spot
次に、スポット光抽出部１２ａは、変数ｍの値が所定値Ｎより小さいか否かを判別し（ステップＳＫ２）、Ｎ以上であると判別すると、処理をステップＳＫ６に移す。
Next, the spot
一方、Ｎより小さいと判別すると、スポット光抽出部１２ａは、座標変換部１２ｂが最も新しく取得したＭ個（Ｍは変数ｍの現在の値）のスポットの座標のｘ軸方向成分の平均値ｘａｖｅ（Ｍ）及びｙ軸方向成分の平均値ｙａｖｅ（Ｍ）を求める（ステップＳＫ３）。そして、求めた平均値の組が示す座標（ｘａｖｅ（Ｍ），ｙａｖｅ（Ｍ））と１番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＫ４）。
On the other hand, if it is determined that the value is smaller than N, the spot
ステップＳＫ４で、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＫ５）、処理をステップＳＫ２に戻す。一方、静止判別用の閾値を超えていると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットの座標のｘ軸方向成分の平均値ｘａｖｅ（Ｍ−１）及びｙ軸方向成分の平均値ｙａｖｅ（Ｍ−１）により表される座標（ｘａｖｅ（Ｍ−１），ｙａｖｅ（Ｍ−１））を、スポット光抽出処理によって分かったスポットの座標として決定し（ステップＳＫ６）、座標変換処理を行う。
If it is determined in step SK4 that the threshold for stillness determination has not been exceeded, the spot
あるいは、スポット光抽出部１２ａは、ステップＳＪ１〜ＳＪ４の処理やステップＳＫ１〜ＳＫ６の処理に代えて、図３６に示す処理を行うようにしてもよい。
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍ及び変数ｆの使用を宣言し、変数ｍ及び変数ｆに値０を代入する（図３６、ステップＳＬ１）。
Alternatively, the spot
That is, when the spot
次に、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＬ２）、座標変換処理で最も新しく取得した方からＭ番目（Ｍは変数ｍの現在の値）のスポットと（Ｍ−１）番目のスポットとの間の距離が所定の静止判別用の閾値以上であるか否かを判別する（ステップＳＬ３）。
Next, the spot
そして、閾値を超えていないと判別すると、スポット光抽出部１２ａは、処理をステップＳＬ２に戻す。一方、閾値を超えていると判別すると、現在の変数ｍの値ＭをＲＡＭ１３に一時記憶させ（ステップＳＬ４）、変数ｆをインクリメントして（ステップＳＬ５）、変数ｆの値が所定値に達したか否かを判別する（ステップＳＬ６）。
And if it discriminate | determines that it does not exceed the threshold value, the spot
変数ｆが所定値に達していないと判別すると、スポット光抽出部１２ａは処理をステップＳＬ２に戻し、達していると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットのうち、ステップＳＬ４で一時記憶した変数ｍの値により示されるスポット（すなわち、例えば、一時記憶した値が「３」及び「７」であれば、最も新しく取得した方から３番目及び７番目のスポット）を除いたスポットについて、これらのスポット座標のｘ軸方向成分の平均値ｘａｖｅ及びｙ軸方向成分の平均値ｙａｖｅを求める（ステップＳＬ７）。
When it is determined that the variable f has not reached the predetermined value, the spot
スポット光抽出部１２ａが平均値ｘａｖｅ及びｙａｖｅを求めると、座標変換部１２ｂは、座標（ｘａｖｅ，ｙａｖｅ）を、スポット光抽出処理によって分かったスポットの座標であるものとして扱い、座標変換処理を行う。
When the spot
あるいは、スポット光抽出部１２ａは、ステップＳＬ１〜ＳＬ７の処理に代えて、図３７に示す処理を行うようにしてもよい。
Alternatively, the spot
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍ及び変数ｆの使用を宣言し、変数ｍに値１を代入し、変数ｆに値０を代入する（図３７、ステップＳＭ１）。また、スポット光抽出部１２ａは、ｐ個のフラグの使用も宣言する。
That is, when the spot
次に、スポット光抽出部１２ａは、変数ｍの値が所定値Ｎより小さいか否かを判別し（ステップＳＭ２）、Ｎ以上であると判別すると、処理をステップＳＭ１０に移す。
Next, the spot
一方、Ｎより小さいと判別すると、スポット光抽出部１２ａは、Ｍ番目（Ｍは変数ｍの現在の値）のフラグをセットし（ステップＳＭ３）、座標変換部１２ｂが最も新しく取得したＭ個のスポットの座標のｘ軸方向成分の平均値ｘａｖｅ（Ｍ）及びｙ軸方向成分の平均値ｙａｖｅ（Ｍ）を求める（ステップＳＭ４）。
On the other hand, if it is determined that the value is smaller than N, the spot
そして、スポット光抽出部１２ａは、ステップＳＭ４で求めた平均値の組が示す座標（ｘａｖｅ（Ｍ），ｙａｖｅ（Ｍ））と１番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＭ５）。
Then, the spot
ステップＳＭ５で、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは変数ｆに値０を代入し（ステップＳＭ６）、変数ｍをインクリメントして（ステップＳＭ７）、処理をステップＳＭ２に戻す。
一方、静止判別用の閾値を超えていると判別すると、スポット光抽出部１２ａは、Ｍ番目のフラグをリセットし、変数ｆをインクリメントする（ステップＳＭ８）。そして、変数ｆの値が所定値Ｎ以上であるか否かを判別し（ステップＳＭ９）、Ｎより小さいと判別すると、処理をステップＳＭ７に移す。
If it is determined in step SM5 that the threshold for stillness determination has not been exceeded, the spot
On the other hand, if it is determined that the threshold value for determining the stillness is exceeded, the spot
一方、ステップＳＭ９で、変数ｆの値がＮ以上であると判別すると、座標変換部１２ｂが最も新しく取得したＭ個のスポットのうち、セットされているフラグに対応するスポット（すなわち、例えば、Ｍ番目までのフラグのうち３番目及び７番目のフラグがリセットされていて他のフラグがセットされていれば、最も新しく取得した方から３番目及び７番目のスポット以外のスポット）の座標のｘ軸方向成分の平均値ｘａｖｅ及びｙ軸方向成分の平均値ｙａｖｅを求める。そして、求めた平均値により表される座標（ｘａｖｅ，ｙａｖｅ）を、スポット光抽出処理によって分かったスポットの座標として決定し（ステップＳＭ１０）、座標変換処理を行う。
On the other hand, if it is determined in step SM9 that the value of the variable f is greater than or equal to N, the spot corresponding to the set flag (ie, M, for example, among the M spots acquired most recently by the coordinate
また、発光部４は、操作者の操作に従い、複数種類の色のうち操作者が選択した色のスポット光１個を発する構成を有していてもよい。そして、この描画システムは、発光部４が発する各々の色を識別したり、識別結果に基づいて自己が行う処理の内容を決定したりしてよい。
たとえば、発光部４が、赤色、緑色及び青色の３色のうちユーザが選択した１色を発するよう構成されている場合、この描画システムは、発光部４をマウスとして機能させるために、赤色のスポットを抽出したときはマウスカーソルの移動が指示されたと判別し、緑色のスポットを抽出したときはマウスの左ボタンがクリックされたと判別し、青色のスポットを抽出したときはマウスの右ボタンがクリックされたと判別し、判別結果に基づいて、判別以後の処理の内容を決定してもよい。
Moreover, the
For example, when the
発光部４が複数種類の色のうち選択された色のスポット光を発する場合において、各色のスポット光を互いに異なる発光体（発光ダイオード等）から発する場合は、表示部３の表示画面に対する発光体４の位置を固定しても、スポット光が表示画面に当たる位置が、選択された色毎に異なり得る。この場合、ユーザが発光部４を用いて小さな点をポイントすることが難しくなるという不都合が生じ得る。
In the case where the
発光部４が発するスポット光が表示部３の表示画面に当たる位置が、選択された色毎に異なる場合、スポット光抽出部１２ａは、色毎のスポットの位置のずれを補正するため、スポット光抽出処理として図３８に示す処理を行ってもよい。こうすることにより、スポットの位置の色毎のずれに原因する上述の不都合が避けられる。
When the position where the spot light emitted from the
なお、理解を容易にするため、図３８の処理を行う構成においては、発光部４が、赤色、緑色及び青色の３色のうちユーザが選択した１色を発するよう構成されているものとする。また、発光部４は、緑色に発光している状態から、赤色に発光する状態を経ることなく青色に発光している状態に移ることはなく、また、青色に発光している状態から、赤色に発光する状態を経ることなく緑色に発光している状態に移ることもないものとする。
In order to facilitate understanding, in the configuration for performing the processing of FIG. 38, the
図３８に示すスポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、２次元変数（ｓｓ，ｔｔ）を構成する変数ｓｓ及び変数ｔｔと、変数ｘｏｆｆと、変数ｙｏｆｆと、変数ｍａｘとの使用を宣言し、それぞれ値０を代入することにより初期化する（図３８、ステップＳＮ１）。
When the spot light extraction process shown in FIG. 38 is started, first, the spot
また、この描画システムが動作を開始して最初のスポット光抽出処理においては、ステップＳＮ１でスポット光抽出部１２ａは更に、２次元変数（ｘｓｐｏｔ，ｙｓｐｏｔ）を構成する変数ｘｓｐｏｔ及び変数ｙｓｐｏｔと、変数ｃｏｌｏｒと、変数ｅｘｃｏｌｏｒとの使用を宣言して初期化する。なお、変数ｃｏｌｏｒ及び変数ｅｘｃｏｌｏｒは、黒色、赤色、緑色または青色の４色を示す４値をとる変数である。そして、スポット光抽出部１２ａは、変数ｃｏｌｏｒ及び変数ｅｘｃｏｌｏｒに、それぞれ黒色を表す値を代入することにより変数ｃｏｌｏｒ及び変数ｅｘｃｏｌｏｒを初期化する。
In the first spot light extraction process after the drawing system starts operating, the spot
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を、スポットの候補を表す画素データとして特定する（ステップＳＮ２）。ただし、ステップＳＮ２では、既にステップＳＮ２の処理でスポットの候補として特定された画素は再び特定しないようにするものとする。
Next, the spot
次に、スポット光抽出部１２ａは、特定した画素データが示すスポットの候補の赤評価値、緑評価値及び青評価値を取得する。そして、取得した赤評価値、緑評価値及び青評価値のうちの最大値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＮ３）。そして、評価値が変数ｍａｘの値以下であると判別すると、処理をステップＳＮ５へと進める。
Next, the spot
一方、赤評価値、緑評価値及び青評価値のうちの最大値がｍａｘより大きいと判別すると、スポット光抽出部１２ａは、変数ｍａｘの値を、ステップＳＮ３で新しく取得した赤評価値、緑評価値及び青評価値のうちの最大値へと更新する（ステップＳＮ４）。
また、ステップＳＮ４でスポット光抽出部１２ａは、変数ｃｏｌｏｒの値を、赤評価値、緑評価値及び青評価値のうち赤評価値が最大値をとっていれば赤色を、緑評価値が最大値をとっていれば緑色を、青評価値が最大値をとっていれば青色を表すように更新する。
更に、ステップＳＮ４でスポット光抽出部１２ａは、変数ｓｓの値を、ステップＳＮ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
On the other hand, if it is determined that the maximum value among the red evaluation value, the green evaluation value, and the blue evaluation value is greater than max, the spot
In step SN4, the spot
Further, in step SN4, the spot
次に、スポット光抽出部１２ａは、ステップＳＮ２で未だスポットの候補として特定されていない画素があるか否かを判別する（ステップＳＮ５）。そして、あると判別するとステップＳＮ２へと処理を戻し、ないと判別すると、処理をステップＳＮ６に移す。
Next, the spot
ステップＳＮ６で、スポット光抽出部１２ａは、データｃｏｌｏｒとデータｅｘｃｏｌｏｒとが、互いに同じ色を表しているか否かを判別する。そして、異なる色を表していると判別すると、スポット光抽出部１２ａは、変数ｃｏｌｏｒの値が赤色を示すか否かを判別し（ステップＳＮ７）、赤色を示すと判別すると、変数ｘｏｆｆ及び変数ｙｏｆｆに０を代入して（ステップＳＮ８）、処理をステップＳ２２に移す。一方、赤色を示さないと判別すると、変数ｓｓの値から変数ｘｓｐｏｔの値を差し引いた値を変数ｘｏｆｆに代入し、変数ｔｔの値から変数ｙｓｐｏｔの値差し引いた値を変数ｙｏｆｆに代入して（ステップＳＮ９）、処理をステップＳ２２に移す。
In step SN6, the spot
一方、ステップＳＮ６で、データｃｏｌｏｒとデータｅｘｃｏｌｏｒとが同じ色を表していると判別すると、変数ｘｓｐｏｔに変数ｘｏｆｆの値と変数ｓｓの値の和を代入し、変数ｙｓｐｏｔに変数ｙｏｆｆの値と変数ｔｔの値との和を代入して（ステップＳＮ１０）、処理をステップＳ２２に移す。
なお、データｃｏｌｏｒ及びデータｅｘｃｏｌｏｒがいずれも赤色を表している状態では、変数ｘｏｆｆ及び変数ｙｏｆｆの値はいずれも０であるので、ステップＳＮ１０の処理では、変数ｘｓｐｏｔの値は変数ｓｓの値に等しくなり、変数ｙｓｐｏｔの値は変数ｔｔの値に等しくなる。
On the other hand, in step SN6, the data color and data excolor is determined to represent the same color, substituting the sum of the values of the variable ss variables xoff the variable x spot, a variable y spot of variable yoff value And the sum of the value of the variable tt are substituted (step SN10), and the process proceeds to step S22.
In the state where both the data color and the data color are red, the values of the variable xoff and the variable yoff are both 0. Therefore, in the process of step SN10, the value of the variable x spot is changed to the value of the variable ss. And the value of the variable y spot is equal to the value of the variable tt.
ステップＳ２２の処理が開始される時点での変数ｘｓｐｏｔ及び変数ｙｓｐｏｔが示す座標（ｘｓｐｏｔ，ｙｓｐｏｔ）の値は、スポット光抽出処理で抽出されたスポットの色が赤色である場合は、最も赤評価値が高かった画素の位置の座標を示す。一方、緑色（又は青色）である場合は、最も緑評価値（又は青評価値）が高かった画素の位置の座標のｘ軸方向成分（又はｙ軸方向成分）に、スポットの色が赤色から緑色（又は青色）に切り替わった時点に生じたスポットの位置の座標のｘ軸方向成分（又はｙ軸方向成分）のずれにあたる量が加算された値を示す。 The values of the coordinates (x spot , y spot ) indicated by the variable x spot and the variable y spot at the time when the process of step S22 is started are as follows. When the spot color extracted by the spot light extraction process is red: The coordinates of the position of the pixel having the highest red evaluation value are shown. On the other hand, in the case of green (or blue), the spot color is changed from red to the x-axis direction component (or y-axis direction component) of the coordinates of the pixel position having the highest green evaluation value (or blue evaluation value). This is a value obtained by adding an amount corresponding to a deviation of the x-axis direction component (or y-axis direction component) of the coordinates of the spot position generated at the time of switching to green (or blue).
（第５の実施の形態）
表示部３の表示画面上に表示される輝点の位置は、抽出されたスポット光の絶対的な位置に基づいて決定される必要はない。以下では、表示される輝点の位置が、輝点が表示された最新の位置と、スポット光が当たった点の移動速度とに基づいて決定される、この発明の第５の実施の形態にかかる描画システムを説明する。
(Fifth embodiment)
The position of the bright spot displayed on the display screen of the
この描画システムは、図３９に示す構成を有している。すなわち、この描画システムは、座標変換部１２ｂを備えず、水晶発振器等からなるタイマＴを備える点を除き、図２に示す構成と実質的に同一の物理的構成を有する。図３９の構成のタイマＴは、現在時刻を表す時刻情報を生成し、スポット光抽出部１２ａへと連続的に供給する。
This drawing system has the configuration shown in FIG. That is, this drawing system has a physical configuration substantially the same as the configuration shown in FIG. 2 except that the coordinate
一方、この描画システムのＲＡＭ１３は、変数ｌｏｃｘ、変数ｌｏｃｙ、２次元変数（ｘｂ，ｙｂ）を構成する変数ｘｂ及び変数ｙｂを記憶し、中央制御部１１は、この描画システムが動作を開始したとき、これら４個の変数にそれぞれ値０を代入することにより、これら４個の変数を初期化する。
そして、スポット光抽出部１２ａは、スポット光抽出処理を終え、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を終えると、ステップＳ３に処理を移す前に、図４０に示す補間処理を行う。なお、この描画システムは、ステップＳ２２の処理は行わなず、スポット光抽出処理を終えると、直ちにステップＳ３へと処理を移す。
On the other hand, the
Then, when the spot
すなわち、スポット光抽出部１２ａは、ステップＳ２１で座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を求めた後、ステップＳ３に処理を移す前に、タイマＴから供給される時刻情報を取得する（ステップＳＯ１）。そして、最も新しく求めた座標（ｘｓｐｏｔ，ｙｓｐｏｔ）と、最も新しく取得した時刻情報とを、互いに対応付けてＲＡＭ１３に記憶させる。
That is, after obtaining the coordinates (x spot , y spot ) in step S21, the spot
次に、スポット光抽出部１２ａは、変数ｘｓｐｏｔ、変数ｙｓｐｏｔ、変数ｘｂ及び変数ｙｂを読み出し、読み出したこれらの変数の値に基づき、数式１９の右辺の値ｖｘ１及び数式２０の右辺の値ｖｙ１を求め、ＲＡＭ１３に記憶させる（ステップＳＯ２）。値ｖｘ１及び値ｖｙ１は、最も新しくスポットを求めた時刻におけるスポットの移動速度のｘ軸方向成分及びｙ軸方向成分である。
Next, the spot
（数１９）
ｖｘ１＝Ｎ・｛（ｘｓｐｏｔ−ｘｂ）／（ｔ１−ｔ０）｝
（ただし、Ｎは所定の定数、ｔ１は最も新しく取得した現在時刻、ｔ０は最も新しい方から２番目に取得した現在時刻）
（数２０）
ｖｙ１＝Ｎ・｛（ｙｓｐｏｔ−ｙｂ）／（ｔ１−ｔ０）｝
(Equation 19)
vx 1 = N · {(x spot −xb) / (t 1 −t 0 )}
(Where N is a predetermined constant, t 1 is the most recently acquired current time, and t 0 is the second most recently acquired current time)
(Equation 20)
vy 1 = N · {(y spot −yb) / (t 1 −t 0 )}
次に、スポット光抽出部１２ａは、変数ｌｏｃｘの値を、変数ｖｘ１の値の分増加させ、変数ｌｏｃｙの値を、変数ｖｙ１の値の分増加させる（ステップＳＯ３。ただし、値ｖｘ１や値ｖｙ１が負の値であれば、変数ｌｏｃｘの値や変数ｌｏｃｙの値は減少する）。
また、ステップＳＯ３でスポット光抽出部１２ａは、２次元変数（ｘｂ，ｙｂ）にステップＳ２１で最も新しく求めた座標（ｘｓｐｏｔ，ｙｓｐｏｔ）を代入し、２次元変数（ｘｂ，ｙｂ）に対応付けられている時刻情報があれば、この時刻情報を、新たに代入した座標（ｘｓｐｏｔ，ｙｓｐｏｔ）に対応付けられている時刻情報へと更新する。２次元変数（ｘｂ，ｙｂ）に対応付けられている時刻情報がないときは、新たに代入した座標（ｘｓｐｏｔ，ｙｓｐｏｔ）に対応付けられている時刻情報を２次元変数（ｘｂ，ｙｂ）に新たに対応付ければよい。
Next, the spot
In step SO3, the spot
そして、スポット光抽出部１２ａは、値を変更した変数ｌｏｃｘ及び変数ｌｏｃｙにより表される座標（ｌｏｃｘ，ｌｏｃｙ）を、表示部３の表示画面上でスポットを表示する表示位置の座標と決定する。このようにしてスポットを表示する表示位置の座標を決定することにより、スポットの絶対的な位置のキャリブレーションを行う必要がなくなる。
Then, the spot
なお、上述の値Ｎは、必ずしも定数である必要はなく、例えば、変数ｘｓｐｏｔ及び変数ｙｓｐｏｔのうち少なくともいずれかの関数であってもよい。従って、例えば図４１に示すように、値Ｎが変数ｘｓｐｏｔ及び変数ｙｓｐｏｔの関数Ｎ（ｘｓｐｏｔ，ｙｓｐｏｔ）であるものとして、関数Ｎ（ｘｓｐｏｔ，ｙｓｐｏｔ）の値は、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）が示す位置が、画像入力部２が撮像する視野領域の中央に近い位置であるほど大きくなるものとしてもよい。
Note that the above-described value N is not necessarily a constant, and may be a function of at least one of a variable x spot and a variable y spot , for example. Therefore, for example, as shown in FIG. 41, assuming that the value N is a function N (x spot , y spot ) of a variable x spot and a variable y spot , the value of the function N (x spot , y spot ) is expressed by coordinates ( The position indicated by (x spot , y spot ) may be larger as the position is closer to the center of the field of view imaged by the
（第５の実施の形態の変形例）
表示部３の表示画面上に表示される輝点の位置や形状は、発光部４の発光部分の空間内での位置に基づいて決定されてもよい。こうすることにより、たとえば、表示部３の表示画面上に、毛筆（あるいはその他筆圧の変化に従って筆先の形状が変わる筆記具）のタッチを擬似的に再現した輝点の軌跡を表示させることができる。
(Modification of the fifth embodiment)
The position and shape of the bright spot displayed on the display screen of the
表示部３の表示画面上に、毛筆のタッチを擬似的に再現した輝点の軌跡を表示させるためには、この描画システムは、たとえば図４２に示す構成を有し、スポット光抽出処理として図４３に示す処理を行うものとすればよい。
In order to display on the display screen of the
図４２に示するように、この描画システムは、画像入力部２に代えて、互いに実質的に同一の構成を有する画像入力部２Ａ及び画像入力部２Ｂを備える。画像入力部２Ａ及び２Ｂは、いずれも画像入力部２と実質的に同一の構成を有するものとし、図４４に示すように、互いに視野が重なるように配置されているものとする。
As shown in FIG. 42, this drawing system includes an
そして、ステップＳ１の処理において、画像入力部２Ａ及び２Ｂは、それぞれ互いに重なる視野を撮像して、撮像した画像を表す画像データを作成し、データ処理装置１の中央制御部１１に供給する。中央制御部１１は、画像入力部２Ａ及び２Ｂより１個ずつ、合計２個の画像データを供給されると、これらの画像データをＲＡＭ１３に格納するものとする。
Then, in the process of step S1, the
また、発光部４は、赤色発光ダイオード等からなり赤色に発光する赤発光部と、青色発光ダイオード等からなり青色に発光する青発光部とを備えているものとする。赤発光部及び青発光部を結ぶ直線は、仮想の筆記具の軸を表すものであるとする。
In addition, the
また、外部記憶部１４は、筆先形状データを予め記憶している。筆先形状データは、表示部３の表示画面上に表示されるべき輝点の形状を表すデータである。
図４５は、筆先形状データのデータ構造の例を示す図である。図示するように、筆先形状データは、発光部４の赤発光部と空間内の仮想の平面との距離と、赤発光部及び青発光部を結ぶ直線とこの仮想の平面とがなす角の角度とに対応付けられていて、この距離及び角度を特定することにより、輝点の形状が一意に特定されるようになっているものとする。
The
FIG. 45 is a diagram illustrating an example of the data structure of the brush tip shape data. As shown in the figure, the brush tip shape data includes the distance between the red light emitting part of the
そして、図４２の描画システムのスポット光抽出部１２ａは、スポット光抽出処理を開始すると、上述したステップＳＧ１〜ＳＧ１２の処理と実質的に同一の処理を、画像入力部２Ａから供給された画像データ及び画像入力部２Ｂから供給された画像データの各々について行う（図４３、ステップＳＰ１）。
Then, when the spot
ただし、ステップＳＰ１で、スポット光抽出部１２ａは、変数Ｇｍや変数Ｇｘを使用する必要はなく、また、ステップＳＧ６〜ステップＳＧ８の処理に相当する処理を行う必要はない。
また、スポット光抽出部１２ａは、画像入力部２Ａが供給した画像データを用いてステップＳＧ１〜ＳＧ１２にあたる処理を行うときには、変数Ｒｘ、変数Ｒｙ及び変数Ｒｍに代えて変数ＲｘＡ、変数ＲｙＡ及び変数ＲｍＡを用い、また、変数Ｂｘ、変数Ｂｙ及び変数Ｂｍに代えて変数ＢｘＡ、変数ＢｙＡ及び変数ＢｍＡを用いる。
また、画像入力部２Ｂが供給した画像データを用いてステップＳＧ１〜ＳＧ１２にあたる処理を行うときには、変数Ｒｘ、変数Ｒｙ、変数Ｒｍ、変数Ｂｘ、変数Ｂｙ及び変数Ｂｍに代えて、変数ＲｘＢ、変数ＲｙＢ、変数ＲｍＢ、ＢｘＢ、変数ＢｙＢ及び変数ＢｍＢを用いる。
However, in step SP1, the spot
In addition, when performing the processing corresponding to steps SG1 to SG12 using the image data supplied from the
When processing corresponding to steps SG1 to SG12 is performed using the image data supplied from the
ステップＳＰ１の処理を終了した時点での変数ＲｘＡ及びＲｙＡの値は、画像入力部２Ａが供給した画像データが表す画素のうち赤色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＲｍＡの値が、この画素の赤評価値を表す。また、変数ＢｘＡ及びＢｙＡの値は、画像入力部２Ａが供給した画像データが表す画素のうち青色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＢｍＡの値が、この画素の青評価値を表す。
The values of the variables RxA and RyA at the time when the processing of step SP1 is completed are the x-axis direction component and the y-axis direction component at the position of the pixel with the strongest red color among the pixels represented by the image data supplied by the
また、ステップＳＰ１の処理を終了した時点での変数ＲｘＢ及びＲｙＢの値は、画像入力部２Ｂが供給した画像データが表す画素のうち赤色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＲｍＢの値が、この画素の赤評価値を表す。また、変数ＢｘＢ及びＢｙＢの値は、画像入力部２Ｂが供給した画像データが表す画素のうち青色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＢｍＢの値が、この画素の青評価値を表す。
Further, the values of the variables RxB and RyB at the time when the processing of step SP1 is completed are the x-axis direction component and the y-axis direction of the position of the pixel having the strongest red color among the pixels represented by the image data supplied by the
次に、スポット光抽出部１２ａは、変数ＲｘＡ、変数ＲｙＡ、変数ＲｘＢ及び変数ＲｙＢの値に基づいて、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の赤発光部の空間内の位置を特定する（ステップＳＰ２）。また、ステップＳＰ２でスポット光抽出部１２ａは、変数ＢｘＡ、変数ＢｙＡ、変数ＢｘＢ及び変数ＢｙＢの値に基づいて、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の青発光部の空間内の位置も特定する。
Next, the spot
次に、スポット光抽出部１２ａは、ステップＳＰ２で特定した、赤発光部及び青発光部の位置に基づき、空間内の仮想の平面と赤発光部との距離、及び、赤発光部及び青発光部を結ぶ直線とこの仮想の平面とがなす角の角度を求める（ステップＳＰ３）。
Next, the spot
そして、スポット光抽出部１２ａは、外部記憶部１４に記憶されている筆先形状データのうち、ステップＳＰ３で特定された距離及び角度に対応付けられているものを特定する（ステップＳＰ４）。
ステップＳＰ４で特定した筆先形状データが、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の仮想の筆先の形状を示す。ステップＳ３で、中央制御部１１は、スポットの表示位置に、ステップＳＰ４で特定した筆先形状データが示す形状のスポットを表示する。この結果、表示部３の表示画面上には、例えば図４６に示すような、毛筆のタッチが再現された形の軌跡が表示される。
And the spot
The brush tip shape data specified in step SP4 indicates the shape of the virtual brush tip of the
（第６の実施の形態）
この発明の実施の形態にかかる描画システムでは、発光部４が、自己が発光しているか否かを示すデータをデータ処理装置１に送信し、データ処理装置１がこのデータを受信して、受信したデータに基づき、スポットが形成されているか否かを検知するようにしてもよい。このような動作を行う描画システムでは、発光部４が発光していないときに誤ってスポットの抽出や輝点の表示が行われることが防止される。以下、このような動作を行う、この発明の第６の実施の形態の描画システムを説明する。
(Sixth embodiment)
In the drawing system according to the embodiment of the present invention, the
この描画システムは、図４７に示す構成を有している。すなわち、この描画システムは、図２に示す構成と実質的に同一の物理的構成を有し、更に、発光部４が送信部４０１を備え、データ処理装置１が受信部１６を備えている。また、発光部４の発光部分は、ユーザの操作に従って点灯又は消灯するものとする。
This drawing system has the configuration shown in FIG. That is, this drawing system has a physical configuration substantially the same as the configuration shown in FIG. 2, the
発光部４の送信部４０１は、たとえば、図示するように、無線送信機４０１Ａと、発光部４の発光部分をオン／オフするためのスイッチ４０１Ｂとより構成されており、ユーザがスイッチ４０１Ｂを操作して発光部分を点灯状態（又は消灯状態）にすると、無線送信機４０１Ａがこの操作に応答して、発光部分が点灯状態（又は消灯状態）にあることを示すデータを無線送信する。ただし無線送信機４０１Ａは、発光部分が点灯状態にあることを示すデータ又は消灯状態にあることを示すデータのうちいずれかは送信しないようにしてもよい。
The
一方、データ処理装置１の受信部１６は、例えば、無線受信機より構成されており、発光部４の送信部４０１より供給された、発光部分が点灯状態（又は消灯状態）にあることを示すデータを受信して中央制御部１１に供給する。
ただし、受信部１６は、発光部分が点灯状態（又は消灯状態）にあることを示すデータを受信していない間は、発光部分が消灯状態（又は点灯状態）にあることを示すデータを中央制御部１１に供給するものとしてもよい。また、中央制御部１１は、発光部分が点灯状態（又は消灯状態）にあることを示すデータが受信部１６より供給されていない間は、発光部分が消灯状態（又は点灯状態）にあると判別するようにしてもよい。
On the other hand, the receiving
However, the
図４７の描画システムの動作は、第１の実施の形態の描画システムの動作と実質的に同一である。ただし、中央制御部１１は、受信部１６から供給されるデータに基づいて、発光部４が発光しているか否かを示す情報をスポット光抽出部１２ａに供給する。スポット光抽出部１２ａは、中央制御部１１より供給された情報が、発光部４が発光していることを示すか否かを判別して、示していないと判別したときは、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）の抽出を行わないものとする。
そして、座標変換部１２ｂは、座標（ｘｓｐｏｔ，ｙｓｐｏｔ）が抽出されていない間は座標（ｘｄｉｓｐ，ｙｄｉｓｐ）の決定を行わず、中央制御部１１は、座標（ｘｄｉｓｐ，ｙｄｉｓｐ）が決定されない場合は、表示部３に輝点を表示させないものとする。
The operation of the drawing system of FIG. 47 is substantially the same as the operation of the drawing system of the first embodiment. However, the
The coordinate
（第７の実施の形態）
次に、この発明の第７の実施の形態にかかる描画システムを説明する。
この描画システムは、図４８に示すように、発光部４を除いて図２に示す構成と実質的に同一の物理的構成を有している。
(Seventh embodiment)
Next, a rendering system according to a seventh embodiment of the present invention is described.
As shown in FIG. 48, this drawing system has a physical configuration substantially the same as the configuration shown in FIG.
図４８の描画システムの発光部４は、発光ダイオード等からなる発光体４１と、点灯用スイッチ４２と、輝度増加用スイッチ４３と、本体部４４と、発光部駆動回路４５とより構成されている。
本体部４４は両端を有する棒状に形成されており、本体部４４の一端には発光体４１が固定されている。点灯用スイッチ４２及び輝度増加用スイッチ４３は、本体部４４の側部に固定されている。発光部駆動回路４５は、本体部４４の内部に埋め込まれており、発光体４１、点灯用スイッチ４２及び輝度増加用スイッチ４３は、発光部駆動回路４５に接続されている。
The
The
発光体４１は、ユーザによる点灯用スイッチ４２及び輝度増加用スイッチ４３の操作に従い、「点灯していない」「高輝度で点灯している」「低輝度で点灯している」の３種類の点灯状態のうちいずれかをとる。
The light-emitting
具体的には、たとえば、ユーザが点灯用スイッチ４２を操作し、発光体４１の点灯を指示すると、発光部駆動回路４５はこの指示に応答して発光体４１を駆動し、発光体４１を発光させる。また、ユーザが輝度増加用スイッチ４３を操作し、発光体４１を高輝度で点灯させるよう指示すると、発光部駆動回路４５はこの指示に応答して発光体４１を駆動し、発光体４１を、高輝度での点灯が指示されていないときに比べて高輝度で発光させる。なお、ユーザが点灯用スイッチ４２及び輝度増加用スイッチ４３を同時に操作した場合、発光部駆動回路４５は、たとえば、これら両者の同時の操作が開始された時点の点灯状態を維持する。
Specifically, for example, when the user operates the
あるいは、発光部駆動回路４５は、たとえばユーザの操作に従って発光体４１が発光している状態で、ユーザが更に輝度増加用スイッチ４３を操作し、発光体４１を高輝度で点灯させるよう指示したとき、発光体４１を、高輝度での点灯が指示されていないときに比べて高輝度で発光させるようにしてもよい。
Alternatively, for example, when the light emitting
図４８の描画システム（または、発光部４以外の部分が図４８に示す構成を有していて発光部４が２段階の輝度で発光する構成を有しているような描画システム）は、ステップＳ２１の処理を終えた後、ステップＳ３の処理を行う前に、図４９に示す処理を行うようにしてもよい。
The drawing system of FIG. 48 (or a drawing system in which parts other than the
すなわち、ステップＳ２１でスポットの輝度Ｒｍａｘを求めた後、スポット抽出部１２ａは、輝度Ｒｍａｘの値が、発光部４の点灯／非点灯を判別するための所定の低輝度側の閾値に達しているか否かを判別する（図４９、ステップＳＱ１）。
That is, after obtaining the brightness R max of the spot at the step S21, the
また、この描画システムが動作を開始して最初のスポット光抽出処理においては、ステップＳＱ１でスポット光抽出部１２ａは更に、変数ＳＴＡＴの使用を宣言して初期化する。変数ＳＴＡＴは、３種類の点灯状態（つまり「点灯していない」、「高輝度で点灯している」及び「低輝度で点灯している」の３種類の状態）示す３値をとる変数である。そして、スポット光抽出部１２ａは、変数ＳＴＡＴに、発光部４が点灯していないことを示す値を代入することにより変数ＳＴＡＴを初期化する。
In the first spot light extraction process after the drawing system starts operating, in step SQ1, the spot
そして、ステップＳＱ１で、輝度Ｒｍａｘの値が低輝度側の閾値に達していないと判別すると、スポット光抽出部１２ａは、発光部４が点灯していないと判断し、処理をステップＳＱ３に移す。
Then, at step SQ1, the value of the luminance R max is determined to not reach the threshold of the low-intensity side, the
一方、低輝度側の閾値に達していると判別すると、スポット光抽出部１２ａは、輝度Ｒｍａｘの値が、発光部４の輝度の高低を判別するための高輝度側の閾値に達しているか否かを判別する（ステップＳＱ２）。そして、達していないと判別すると、発光部４が低輝度で点灯していると判断して処理をステップＳＱ３に移し、達していると判別すると発光部４が高輝度で点灯していると判断して、処理をステップＳＱ３に移す。
On the other hand, when determining that the threshold has been met in the low luminance side, or the spot
ステップＳＱ３で、スポット光抽出部１２ａは、ステップＳＱ１又はＳＱ２で判断された発光部４の最新の点灯状態（すなわち、点灯していないか、低輝度で点灯しているか、又は高輝度で点灯しているか）と、変数ＳＴＡＴが示す、直近の前回の発光部４の点灯状態とに基づき、中央制御部１１に供給すべきデータの内容を決定し、決定結果に従ったデータを中央制御部１１に供給する。
In step SQ3, the spot
具体的には、例えば、スポット光抽出部１２ａは、変数ＳＴＡＴが示す前回の点灯状態が「点灯していない」である場合、最新の点灯状態が「点灯していない」又は「低輝度で点灯している」であれば、中央制御部１１にはデータを供給しないことを決定する。一方、前回の点灯状態が「点灯していない」であって最新の点灯状態が「高輝度で点灯している」であれば、発光部４が高輝度での点灯を開始したことを示すデータを中央制御部１１に供給する。
Specifically, for example, when the previous lighting state indicated by the variable STAT is “not lit”, the spot
また、前回の点灯状態が「低輝度で点灯している」である場合、最新の点灯状態が「点灯していない」であれば、中央制御部１１にはデータを供給しないことを決定する。一方、前回及び最新の点灯状態がいずれも「低輝度で点灯している」であれば、スポット光抽出部１２ａは上述のステップＳＯ１〜ＳＯ３の処理を行い、これらの処理の結果決定される上述の座標（ｌｏｃｘ，ｌｏｃｙ）を、表示部３の表示画面上でスポットを表示する表示位置の座標であるものとして中央制御部１１に供給する。
Further, when the previous lighting state is “lighted with low brightness”, if the latest lighting state is “not lighted”, it is determined not to supply data to the
また、前回の点灯状態が「高輝度で点灯している」である場合、最新の点灯状態が「点灯していない」又は「低輝度で点灯している」であれば、発光部４が高輝度での点灯を終了したことを示すデータを中央制御部１１に供給する。一方、前回及び最新の点灯状態がいずれも「高輝度で点灯している」であれば、ステップＳＯ１〜ＳＯ３の処理を行い、決定された座標（ｌｏｃｘ，ｌｏｃｙ）を中央制御部１１に供給する。
In addition, when the previous lighting state is “lighting with high luminance”, if the latest lighting state is “not lighting” or “lighting with low luminance”, the
座標（ｌｏｃｘ，ｌｏｃｙ）を供給された中央処理部１１は、ステップＳ３で、表示部３に、座標（ｌｏｃｘ，ｌｏｃｙ）により表される位置にスポットを表示させる。
The
また、発光部４が高輝度での点灯を開始したこと（又は終了したこと）を示すデータを供給された中央制御部１１は、供給されたデータが示す点灯状態に基づいて自己が行う処理の内容を決定したりしてよい。
たとえば、中央制御部１１は、発光部４をマウスとして機能させるために、発光部４が高輝度での点灯を開始した旨のデータを供給されたときはマウスのボタンが押下されたと判別し、高輝度での点灯を終了した旨のデータを供給されたときはマウスのボタンの押下が終了したと判別し、これらの判別の結果に基づいて、判別以後の処理の内容を決定してもよい。
In addition, the
For example, the
なお、ステップＳＱ３の処理が終わると、スポット光抽出部１２ａは、変数ＳＴＡＴの値を、最新の点灯状態を表すよう更新する（ステップＳＱ４）。
When the process of step SQ3 is completed, the spot
なお、発光部４の形状は任意であり、従って、たとえば図５０に示すようなピストル型であってもよい。この場合たとえば、図示するように、発光体４１は、ピストルの銃口にあたる位置に配置されればよい。また、点灯用スイッチ４２は、ピストルの引き金にあたる位置に配置されればよい。また、輝度増加用スイッチ４３は、ピストルの撃鉄にあたる位置に配置されればよい。なお、発光部駆動回路４５は、図示するようにピストルの銃身の内部にあたる位置に配置されていてもよいし、ピストルのグリップの内部に当たる位置に配置されていてもよい。
そして、たとえば操作者がピストルのグリップにあたる部分を握り、人差し指あるいは中指を用いて点灯用スイッチ４２を操作し、親指を用いて輝度増加用スイッチ４３を操作するようにすれば、図５０の発光部４は快適に操作される。
In addition, the shape of the
Then, for example, if the operator holds the part corresponding to the grip of the pistol, operates the
あるいは、発光部４の形状は、たとえば図５１に示すような形状であってもよい。すなわち、図示するように、発光体４１は、棒状に形成された本体部４４の一端に配置され、点灯用スイッチ４２及び輝度増加用スイッチ４３は、本体部４４の側部に、本体部４４を挟むように配置されていてもよい。
Or the shape as shown in FIG. 51 may be sufficient as the shape of the
また、図４８の描画システムは、テレビ電話の機能を行うため、例えば図５２に示すように、更に、ネットワークインターフェース部１７、通信用画像入力部１８、通信用音声入力部１９及び通信用音声再生部２０を更に備えていてもよい。
48 performs the function of a videophone. For example, as shown in FIG. 52, the
ネットワークインターフェース部１７、通信用画像入力部１８、通信用音声入力部１９及び通信用音声再生部２０は、後述する処理を行うものであり、ネットワークインターフェース部１７は、外部の電話回線等の通信回線を介して外部の通話先に接続されるモデムやターミナルアダプタ等より構成されている。通信用画像入力部１８は、ＣＣＤ（Charge Coupled Device）カメラ等より構成されている。通信用音声入力部１９は、マイクロフォン及びＡＦ（オーディオ周波数）増幅器等より構成されている。通信用音声再生部２０は、スピーカ及びＡＦ増幅器等より構成されている。
The
図５２の描画システムは、テレビ電話の機能を行うため、図５３（ａ）〜（ｄ）に示す処理を行う。
すなわち、中央制御部１１は、通信用画像入力部１８より供給された画像データを取得し（図５３（ａ）、ステップＳＲ１）、取得した画像データにデータ圧縮を施して、ネットワークインターフェース部１７を介し、通話先へと送信する（ステップＳＲ２）。そして、中央制御部１１は、送信した画像データに基づいて、図５４に示すように、この画像データが表す画像を縮小したものを表す縮小画像（ユーザ側の画像）を、表示部３に表示させる（ステップＳＲ３）。
The drawing system of FIG. 52 performs the processing shown in FIGS. 53A to 53D in order to perform the videophone function.
That is, the
また、圧縮されている画像データが通話先からネットワークインターフェース部１７を介して中央制御部１１に供給されたとき、中央制御部１１はこの画像データを取得し（図５３（ｂ）、ステップＳＲ４）、取得した画像データを解凍して、解凍された画像データが表す画像（相手側の画像）を、図５４に示すように表示部３に表示させる（ステップＳＲ５）。
When the compressed image data is supplied from the call destination to the
また、中央制御部１１は、通信用音声入力部１９より供給された音声データを取得し（図５３（ｃ）、ステップＳＲ６）、取得した音声データにデータ圧縮を施して、ネットワークインターフェース部１７を介し、通話先へと送信する（ステップＳＲ２）。
Further, the
また、圧縮されている音声データが通話先からネットワークインターフェース部１７を介して中央制御部１１に供給されたとき、中央制御部１１はこの音声データを取得し（図５３（ｄ）、ステップＳＲ８）、取得した音声データを解凍して、解凍された音声データが表す音声を、通信用音声再生部２０に再生させる（ステップＳＲ９）。
When the compressed voice data is supplied from the call destination to the
また、中央制御部１１は、図５４に示すように、表示部３に、更に、マイク音量アップボタンと、マイク音量ダウンボタンと、相手音量アップボタンと、相手音量ダウンボタンと、画像記録ボタンと、通話終了ボタンとを表示させる。
そして、ユーザが発光部４を用いてマイク音量アップボタンをポイントして高輝度で点灯させると、中央制御部１１は、通信用音声入力部１９のＡＦ増幅器を制御してこのＡＦ増幅器の利得を上げる。また、マイク音量ダウンボタンをポイントして高輝度で点灯させると、このＡＦ増幅器の利得を下げる。
また、ユーザが発光部４を用いて相手音量アップボタンをポイントして高輝度で点灯させると、中央制御部１１は、通信用音声再生部２０のＡＦ増幅器を制御してこのＡＦ増幅器の利得を上げる。また、相手音量ダウンボタンをポイントして高輝度で点灯させると、このＡＦ増幅器の利得を下げる。
また、ユーザが発光部４を用いて画像記録ボタンをポイントして高輝度で点灯させると、中央制御部１１は、ステップＳＲ４で取得して解凍した画像データを外部記憶部１４に記憶させる。
また、ユーザが発光部４を用いて通話終了ボタンをポイントして高輝度で点灯させると、中央制御部１１は、ネットワークインターフェース部１７を制御して、通話先とのデータ交換を終了させる。
Further, as shown in FIG. 54, the
When the user points to the microphone volume up button using the
When the user points to the other party volume up button using the
Further, when the user points to the image recording button using the
When the user points to the call end button using the
（第８の実施の形態）
この発明は、スポット光を用いた文字の入力にも応用可能である。携帯電話やＰＨＳ（Personal Handyphone System）などの携帯端末において、テンキーを複数回押下することにより、押下したボタンの組み合わせに対応付けられた文字を入力する手法が用いられている。しかし、このようにテンキーを複数回押下する手法は非常に煩雑で入力の効率が悪い。この点、この発明に係る文字入力装置によれば、簡単で効率の良い文字入力を携帯端末等を用いて行うことが可能となる。以下では、そのような簡単で効率の良い文字入力が可能な、この発明の第８の実施の形態にかかる文字入力装置を説明する。
(Eighth embodiment)
The present invention can also be applied to character input using spot light. In a portable terminal such as a cellular phone or PHS (Personal Handyphone System), a technique is used in which a character associated with a combination of pressed buttons is input by pressing a numeric keypad a plurality of times. However, such a method of pressing the numeric keypad a plurality of times is very complicated and the input efficiency is poor. In this regard, according to the character input device of the present invention, simple and efficient character input can be performed using a portable terminal or the like. Hereinafter, a character input device according to an eighth embodiment of the present invention capable of such simple and efficient character input will be described.
この文字入力装置は、図５６に示す構成を有する。すなわち、この文字入力装置は、図２の描画システムを構成するものと機能的には実質的に同一のデータ処理装置１、画像入力部２、表示部３及び発光部４を備え、更に、中央制御部１１に接続された入力ボタン５を備えている。
入力ボタン５は、押しボタンスイッチ等より構成されており、操作者の操作に従った情報を、データ処理装置１の中央制御部１１に供給する。
This character input device has the configuration shown in FIG. That is, this character input device includes a
The
なお、図５７に示すように、この文字入力装置のデータ処理装置１、画像入力部２、表示部３及び入力ボタン５は、一体に形成されて本体部をなしている。本体部は、例えば、移動体電話（携帯電話やＰＨＳ等）の機能を行ってもよい。また、発光部４は、例えばストラップ等を介して本体部に装着される。
As shown in FIG. 57, the
また、この文字入力装置のデータ処理装置１の外部記憶部１４は、仮想のキーボードを構成する各々の仮想のキーのキートップが表示部３の表示画面上で占める領域（キー領域）を示すキー領域データを、各々のキーが示す文字と対応付けて記憶するものとする。
In addition, the
この文字入力装置の動作は、画像入力処理（ステップＳ１）、スポット光抽出処理（ステップＳ２１）及び補間処理（ステップＳＯ１〜ＳＯ３）については、図３９に示す第５の実施の形態の描画システムの動作と実質的に同一である。一方で、この文字入力装置は、図５８に示す処理も行う。 The operation of this character input device is as follows. The image input process (step S1), the spot light extraction process (step S21), and the interpolation process (steps SO1 to SO3) are the same as those of the drawing system of the fifth embodiment shown in FIG. It is substantially the same as the operation. On the other hand, this character input device also performs the processing shown in FIG.
すなわち、この文字入力装置の画像解析部１２がステップＳＯ３の処理を終えると、ステップＳ３で中央制御部１１は、スポットを表示部３の表示画面上に表示させると共に、外部記憶部１４よりキー領域データを読み出してＲＡＭ１３に一時記憶させ、表示部３の表示画面上、このキー領域データが示す各領域に、図５９に示すような、上述の仮想のキーのキートップを表示させる（図５８、ステップＳＳ１）。ただし、既にＲＡＭ１３がキー領域データを一時記憶している場合は、改めて外部記憶部１４からキー領域データを読み出す必要はない。
In other words, when the
ステップＳＳ１の処理が行われる結果、ユーザは、スポットがどのキートップに重ねられたかを視認することができる。なお、仮想のキーのキートップの表示は、たとえば、キートップの形状を表すキートップ画像データを予めユーザ等が外部記憶部１４に記憶させ、中央制御部１１がこのキートップ画像データを外部記憶部１４から読み出し、読み出したキートップ画像データが表す形状を表示部３に表示させることにより行えばよい。
As a result of the processing in step SS1, the user can visually recognize which key top the spot is superimposed on. Note that the keytop display of the virtual key is performed by, for example, the user or the like storing keytop image data representing the shape of the keytop in the
そして、ステップＳＳ１でスポット及び仮想のキートップを表示させると、中央制御部１１は、画像入力部２が新たな画像データを供給するまでの間、ユーザが入力ボタン５を操作して文字の決定を指示するのを待機する。そして、新たな画像データが供給されるまでにユーザによる文字の決定の指示があったか否かを判別し（ステップＳＳ２）、指示がなかったと判別すると、ステップＳ２１へと処理を戻す。
When the spot and the virtual key top are displayed in step SS1, the
一方、ユーザが文字の決定を指示したと判別すると、中央制御部１１は、現にスポットが表示されている位置がいずれの文字を表すキーのキートップが示す領域に属するかを、ステップＳＯ３でもっとも新しく取得したスポットの座標（ｌｏｃｘ，ｌｏｃｙ）に基づいて判別する（ステップＳＳ３）。そして、画像解析部１２は、ステップＳＳ１で判別された文字（すなわち、ユーザが入力した文字）を表すデータを生成し、このデータをＲＡＭ１３に格納する（ステップＳＳ４）。
On the other hand, if it is determined that the user has instructed the character determination, the
ステップＳＳ４の処理が終わると、中央制御部１１は、画像入力部２が新たな画像データを供給するのを待機し、供給されると処理をステップＳ２１に戻す。
When the process of step SS4 is completed, the
ステップＳＳ４の処理が行われるたびに文字を表すデータがＲＡＭ１３に順次格納される一方、中央処理部１１は、例えば、ＲＡＭ１３に順次格納されたこれらのデータを解析することにより、例えばこれらのデータが全体として表す文字列がどのようなコマンドを表しているかを特定する。そして、特定したコマンドに従った処理を実行する。
Each time the process of step SS4 is performed, data representing characters is sequentially stored in the
なお、文字の入力に際しては、ユーザが発光部４の位置の見当をつけやすくするため、予めキー領域データが示す領域に一致するようにキートップが印刷されたシートを、画像入力部２の視野内に掲げるようにしてもよい。また、キートップが印刷されたシートを掲げる代わりに、キートップの画像を投影するようにしてもよい。
In order to make it easier for the user to determine the position of the
以上、この発明の実施の形態を説明したが、この発明の画像表示装置及び画像表示方法は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、画像を表示する表示装置及び画像を撮像してその画像を表す画像データを作成する撮像装置に接続されたコンピュータに、上述のデータ処理装置の動作を実行するためのプログラムを格納した媒体（磁気テープ、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行する描画システムや文字入力装置を構成することができる。 Although the embodiment of the present invention has been described above, the image display apparatus and the image display method of the present invention can be realized using a normal computer system, not a dedicated system. For example, a medium (a medium storing a program for executing the operation of the above-described data processing device in a computer connected to a display device that displays an image and an imaging device that captures an image and creates image data representing the image) By installing the program from a magnetic tape, CD-ROM, or the like, a drawing system or a character input device that executes the above-described processing can be configured.
また、例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。また、プログラムにより搬送波を変調して得られる変調波を配信することにより、プログラムを供給するようにしても良い。そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。 Further, for example, the program may be posted on a bulletin board (BBS) of a communication network and distributed via the network. Further, the program may be supplied by distributing a modulated wave obtained by modulating a carrier wave by the program. The above-described processing can be executed by starting this program and executing it under the control of the OS in the same manner as other application programs.
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。 When the OS shares a part of processing, or when the OS constitutes a part of one component of the present invention, a program excluding the part is stored in the recording medium. May be. Also in this case, in the present invention, it is assumed that the recording medium stores a program for executing each function or step executed by the computer.
１…データ処理装置、１１…中央制御部（撮像制御手段、表示制御手段）、１２…画像解析部（加工手段）、１２ａ…スポット光抽出部（計測手段）、１２ｂ…座標変換部（座標変換手段）、１２ｃ…補間処理部、１３…ＲＡＭ、１４…外部記憶部、１５…ユーザ操作入力部、１６…受信部、１７…ネットワークインターフェース部、１８…通信用画像入力部、１９…通信用音声入力部、２０…通信用音声再生部、２、２Ａ、２Ｂ…画像入力部（撮像手段）、３…表示部（表示手段）、４…発光部、４０１…送信部、４０１Ａ…無線送信機、４０１Ｂ…スイッチ、４１…発光体、４２…点灯用スイッチ、４３…輝度増加用スイッチ、４４…本体部、４５…発光部駆動回路、５…入力ボタン、Ｔ…タイマ
DESCRIPTION OF
Claims (6)
前記生成手段は、
前記表示手段の表示画面に適正に表示されるように前記画像データを加工する加工手段と、
前記空間内における前記スポットの位置座標を計測する計測手段と、
この計測手段によって計測された前記スポットの位置座標に基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定手段と、
この計測手段によって計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換手段と、
この座標変換手段によって変換された位置座標に、前記スポット形状決定手段によって決定された形状のスポットを表示するよう制御する表示制御手段と、
を備えることを特徴とする画像表示装置。 An imaging unit that images a spot and an area including the spot from a plurality of arbitrary positions, a generation unit that generates image data of a surface in the space captured by the imaging unit, and an image generated by the generation unit In an image display device comprising display means for displaying an image based on data,
The generating means includes
Processing means for processing the image data so as to be properly displayed on the display screen of the display means;
Measuring means for measuring the position coordinates of the spot in the space;
Based on the position coordinates of the spot measured by the measuring means, spot shape determining means for determining the shape of the spot to be displayed by the image data processed by the processing means;
Coordinate conversion means for converting the position coordinates of the spot measured by the measurement means into position coordinates reflected in the processed image data;
Display control means for controlling to display the spot of the shape determined by the spot shape determination means on the position coordinates converted by the coordinate conversion means;
The image display apparatus comprising: a.
前記計測手段は、前記受信手段が前記信号を受信したことに応答して前記スポットの位置座標を計測することを特徴とする請求項１に記載の画像表示装置。 Receiving means for receiving a signal indicating that the light source of the spot emits light from the outside ;
The image display apparatus according to claim 1, wherein the measurement unit measures the position coordinates of the spot in response to the reception unit receiving the signal .
前記計測手段はこの連続的に撮像された空間における前記スポットの位置座標を連続的に計測し、The measuring means continuously measures the position coordinates of the spot in the continuously imaged space,
前記表示制御手段は、前記計測手段によって連続的に計測された結果により決定された形状のスポットからなる軌跡を表示するよう制御することを特徴とする、請求項１に記載の画像表示装置。The image display apparatus according to claim 1, wherein the display control unit performs control so as to display a trajectory including spots having a shape determined based on a result continuously measured by the measurement unit.
前記スポット形状決定手段は、前記計測手段によって計測された前記スポットの位置座標と長剣距離とに基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定することを特徴とする請求項１又は３に記載の画像表示装置。The spot shape determining means determines the shape of the spot to be displayed by the image data processed by the processing means based on the position coordinates of the spot and the long sword distance measured by the measuring means. The image display device according to claim 1 or 3.
前記生成ステップは、The generating step includes
前記表示ステップにて表示画面に適正に表示されるように前記画像データを加工する加工ステップと、A processing step of processing the image data so as to be properly displayed on the display screen in the display step;
前記空間内における前記スポットの位置座標を計測する計測ステップと、A measurement step of measuring the position coordinates of the spot in the space;
この計測ステップにて計測された前記スポットの位置座標に基づいて、前記加工ステップでの加工の結果得られる加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定ステップと、Based on the position coordinates of the spot measured in this measurement step, a spot shape determination step for determining the shape of the spot to be displayed by the processed image data obtained as a result of the processing in the processing step;
この計測ステップにて計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換ステップと、A coordinate conversion step for converting the position coordinates of the spot measured in this measurement step into position coordinates reflected in the processed image data;
この座標変換ステップにて変換された位置座標に、前記スポット形状決定ステップにて決定された形状のスポットを表示するよう制御する表示制御ステップと、A display control step for controlling to display the spot of the shape determined in the spot shape determination step on the position coordinate converted in the coordinate conversion step;
を含むことを特徴とする画像表示方法。An image display method comprising:
前記複数の撮像装置に対し、スポットと、このスポットを含む領域を複数の任意の位置から撮像させる撮像制御手段、この撮像制御手段によって撮像された空間内の面の画像データを生成する生成手段、この生成手段によって生成された画像データに基づく画像を前記表示装置に表示させる表示制御手段として機能させ、更に、An imaging control unit that images a spot and an area including the spot from a plurality of arbitrary positions with respect to the plurality of imaging devices, a generation unit that generates image data of a surface in a space captured by the imaging control unit, Function as display control means for causing the display device to display an image based on the image data generated by the generation means;
前記生成手段によって生成された画像データを、前記表示手段の表示画面に適正に表示されるように加工する加工手段、Processing means for processing the image data generated by the generating means so as to be properly displayed on the display screen of the display means;
前記空間内における前記スポットの位置座標を計測する計測手段、Measuring means for measuring position coordinates of the spot in the space;
この計測手段によって計測された前記スポットの位置座標に基づいて、前記加工手段による加工後の画像データが表示すべきスポットの形状を決定するスポット形状決定手段、Spot shape determining means for determining the shape of the spot to be displayed by the image data after processing by the processing means based on the position coordinates of the spot measured by the measuring means;
この計測手段によって計測された前記スポットの位置座標を、加工後の画像データに反映される位置座標に変換する座標変換手段、Coordinate conversion means for converting the position coordinates of the spot measured by the measurement means into position coordinates reflected in the processed image data;
この座標変換手段によって変換された位置座標に、前記スポット形状決定手段によって決定された形状のスポットを表示するよう制御する表示制御手段、Display control means for controlling to display the spot of the shape determined by the spot shape determination means on the position coordinate converted by the coordinate conversion means;
として機能させるためのプログラム。Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009264687A JP5158057B2 (en) | 2000-07-25 | 2009-11-20 | Image display device, image display method, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000223991 | 2000-07-25 | ||
| JP2000223991 | 2000-07-25 | ||
| JP2009264687A JP5158057B2 (en) | 2000-07-25 | 2009-11-20 | Image display device, image display method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001222377A Division JP4613456B2 (en) | 2000-07-25 | 2001-07-24 | Image display device, image display method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010044425A JP2010044425A (en) | 2010-02-25 |
| JP5158057B2 true JP5158057B2 (en) | 2013-03-06 |
Family
ID=42015784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009264687A Expired - Fee Related JP5158057B2 (en) | 2000-07-25 | 2009-11-20 | Image display device, image display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5158057B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2916753B2 (en) * | 1996-04-30 | 1999-07-05 | 株式会社ナナオ | Video monitor adjustment system |
| JPH1185395A (en) * | 1997-09-08 | 1999-03-30 | Sharp Corp | Liquid crystal projector device with pointing function |
| JP2001356875A (en) * | 2000-06-13 | 2001-12-26 | Toshiba Corp | Pointer display system |
-
2009
- 2009-11-20 JP JP2009264687A patent/JP5158057B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010044425A (en) | 2010-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7039253B2 (en) | Image display device, image display method, program, and projection system | |
| JP4613456B2 (en) | Image display device, image display method, and program | |
| KR100298240B1 (en) | Information input device, information input method and solid state imaging device | |
| CA2378154C (en) | Computer presentation system and method with optical tracking of wireless pointer | |
| JP3521187B2 (en) | Solid-state imaging device | |
| US5422987A (en) | Method and apparatus for changing the perspective view of a three-dimensional object image displayed on a display screen | |
| US6598978B2 (en) | Image display system, image display method, storage medium, and computer program | |
| US20060267927A1 (en) | User interface controller method and apparatus for a handheld electronic device | |
| EP1037163A2 (en) | Coordinate input apparatus and method | |
| US20020186351A1 (en) | Untethered laser pointer for use with computer display | |
| US20080222571A1 (en) | Information selecting apparatus, storage medium storing information selecting program, game apparatus, and storage medium storing game program | |
| KR100743798B1 (en) | Projection device, projection system, and image obtainment method | |
| US20080222318A1 (en) | Information selecting apparatus and storage medium storing information selecting program | |
| TW201108751A (en) | Device and method for displaying an image | |
| JP2012133808A (en) | Cursor control method and device | |
| WO2006020496A2 (en) | User interface controller method and apparatus for a handheld electronic device | |
| JP2008225556A (en) | Projector system | |
| KR20170129947A (en) | Interactive projector and interative projector system | |
| JP3792907B2 (en) | Hand pointing device | |
| JP5158057B2 (en) | Image display device, image display method, and program | |
| KR20090111913A (en) | Motion detecting method and apparatus | |
| JP5261287B2 (en) | Illumination system, space production system, and projection image generation method | |
| WO2005013115A1 (en) | Position-detecting system | |
| JPH07319616A (en) | Position input method and conference support system using the same | |
| WO2014041938A1 (en) | Information input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091217 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5158057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |