JP4552685B2 - 座標検出装置および座標検出方法 - Google Patents

Description

本発明は、各種電子端末装置の表示画面上で指示された位置の座標を検出するための座標検出装置および座標検出方法に関する。

従来、各種電子端末装置の表示画面上の操作位置を検出するために様々なタッチパネルが実用されており、一般的には抵抗膜方式や静電誘導方式を用いたタッチパネルが数多く使用されている（例えば、特許文献１、特許文献２参照。）。

また、タッチパネルを用いないで座標を検出する一手法として、カメラ付きペンを利用するシステムが知られている。このシステムとは、一定平面領域内の各点において各々の座標を示すパターンが記された座標パターン用紙とペン先を撮影するカメラを備えた座標指定用ペンを有し、座標パターン用紙上にて座標指定用ペンによる記入操作を行うと、当該ペン先を含む周囲の用紙画像がカメラにより撮影され、その撮影画像にある座標パターンから指定の座標位置が検出されるものである（例えば、特許文献３参照。）。
特開２００３−２２３２８３号公報 特開２００２−２５９０５３号公報 特表２００３−５０８８３１号公報

しかしながら、タッチパネルの場合、表示画面上に抵抗膜や電圧誘起のための透明のタッチパネルを重ねて構成する必要があるため、表示部そのものが厚くなってしまう問題がある。

一方、カメラ付きペン方式の場合は、座標指定用ペンによって指定した位置の座標を正確に検出することができるが、専用の用紙を用いる必要があり、電子機器の表示画面上の操作位置の座標を検出することはできない。

本発明は、前記のような問題に鑑みなされたもので、表示画面上に透明タッチパネルなどの座標検出用部材を重ねる必要なく、表示画面を直接指定した位置の座標を正確に検出することが可能になる座標検出装置および座標検出方法を提供することを目的とする。

本発明にかかる座標検出装置は、表示画面の指定された位置の画像を読み取る画像読み取り手段と、前記表示画面を所定の小領域に区分し、各小領域を特定する符号を３分割し、３分割されたそれぞれの値に基づいて表示データのＲＧＢ値を生成し、各小領域を生成されたＲＧＢ値により表示させる座標情報表示制御手段と、この座標情報表示制御手段により前記表示画面に表示された小領域の画像を前記画像読み取り手段により読み取らせる座標情報読み取り制御手段と、この座標情報読み取り制御手段の制御により前記画像読み取り装置が読み取った小領域の画像からＲＧＢ値を抽出し、当該ＲＧＢ値に基づいて小領域を特定する符号を算出することで表示画面上の指定された位置を計算する座標計算手段と、を備えたことを特徴とする。

本発明によれば、表示画面を所定の小領域に区分し、各小領域を特定する符号を３分割し、３分割されたそれぞれの値に基づいて表示データのＲＧＢ値を生成し、各小領域を生成されたＲＧＢ値により表示させ、画像読み取り装置が読み取った小領域の画像からＲＧＢ値を抽出し、当該ＲＧＢ値に基づいて小領域を特定する符号を算出することで表示画面上の指定された位置を計算するので、、表示画面上に透明タッチパネルなどの座標検出用部材を重ねる必要なく、表示画面を直接指定した位置の座標を検出することが可能になる。

以下図面により本発明の実施の形態について説明する。

（第１実施形態）
図１は、本発明の実施形態に係る座標検出装置の外観構成を示す斜視図である。

この座標検出装置は、パーソナルコンピュータ（ＰＣ）を使用した表示装置１０と、この表示装置１０の表示部（画面）１１を直接指定してその指定位置の座標を検出し表示装置１０に出力するためのペン型読み取り装置２０を備えて構成される。ペン型読み取り装置２０は通信用ケーブル２１により表示装置１０と接続される。

図２は、前記座標検出装置におけるペン型読み取り装置２０の概要構成を示す斜視図である。

このペン型読み取り装置２０は、ペン操作に伴うペン先Ｐの接触圧力を検出するための圧力検出部２２、ペン先Ｐを中心にして当該ペン先Ｐにより接触指定した表示部（画面）１１上の一定領域の画像を撮影するためのカメラ部２３を内蔵する。

この座標検出装置では、ペン型読み取り装置２０により表示部（画面）１１上の任意の位置を接触指定した際に、当該表示部（画面）１１に対しその表示位置（例えば８×８ドットの表示セル単位）毎に異なる所定の表示色にした座標情報（符号化画像）を表示させ（図３参照）、ペン先Ｐの指定点を含む表示部（画面）１１の一定領域の座標情報の画像（符号化画像）をカメラ部２３により撮影する。そして、カメラ部２３により撮影された座標情報の画像（符号化画像）に基づき、ペン先Ｐの位置する表示セルの表示色に応じた座標（セル位置）を検出し、さらに当該ペン先Ｐの位置する表示セルの所定位置からのペン先Ｐまでの距離を画像解析により計算して指定点の座標を求め、表示装置１０へ出力する。

なお、ペン型読み取り装置２０による表示部（画面）１１の指定操作に伴い当該表示画面に表示される座標情報（符号化画像）は、カメラ部２３が撮影動作する一瞬の時間表示されるだけなので、ユーザの視覚により認識されることはない。

図３は、前記座標検出装置のペン型読み取り装置２０による表示部（画面）１１の指定操作に伴い当該表示画面に表示される座標情報（符号化画像）を説明するための図である。

本実施形態では表示部（画面）１１は１２８０×１０２４ドット（１ドットはＲ、Ｇ、Ｂの３画素で構成される）の大きさとし、この画面を８×８ドットの小領域に区分し（この区分をセルと称する）、各セルに対応して座標情報（符号化画像）を表示する。各セルに表示される座標情報（符号化画像）は、その４角の各２×２ドットが黒色、その間が白色とされて個々に画像認識可能な構成とされ、さらに左下角のみ２×４ドットの黒色とされて方向認識可能な構成とされる。そして、各セル中央の４×４ドットがセルの画面上の位置によりそれぞれ異なるＲ，Ｇ，Ｂ値からなる所定の表示色とされる。そして、カメラ部２３により撮影された座標情報の画像（符号化画像）におけるペン先Ｐの位置するセルの表示色から、当該ペン先Ｐにより指定された表示画面（１１）上での座標（セル位置）が検出可能となっている。

図４は、前記座標検出装置における表示装置（ＰＣ）１０およびペン型読み取り装置２０の電子回路の構成を示すブロック図である。

表示装置（ＰＣ）１０は、ＣＰＵ１２を備え、このＣＰＵ１２は記憶装置１３により予め記憶される制御プログラムに従って回路各部の動作を制御する。

ＣＰＵ１２には、前記記憶装置１３の他、ＲＡＭ１４、表示部（画面）１１、そしてペン型読み取り装置２０との通信ＩＦ（インターフェイス）部１５が接続される。

記憶装置１３には、この表示装置（ＰＣ）１０の全体の動作を制御するためのＰＣ制御プログラムが記憶される他に、ペン型読み取り装置２０による表示部（画面）１１上での指定点の座標を検出するための座標検出処理プログラム（本体側）、これにより検出された指定点の座標に対応した軌跡表示などを行うための表示制御プログラムなどが記憶される。また、記憶装置１３には、表示画面（１１）に対するペン入力操作時の座標検出処理に伴い、当該表示画面（１１）に表示させるべき座標情報（符号化画像）（図３参照）を生成するために、各セル毎に異なるＲ，Ｇ，Ｂ値データと当該各セル位置の座標データ（Ｃｘ，Ｃｙ）とを対応付けたセル色／セル位置対応テーブルＣＴが記憶される。

ＲＡＭ１４には、表示部（画面）１１に表示させるべき表示データを記憶するための表示データメモリ１４ａ、ペン型読み取り装置２０により検出され算出されたペン入力操作に伴う指定点の座標データを記憶するための座標データメモリ１４ｂなど、各種のＰＣ制御処理に応じて必要になる作業用メモリが設定確保される。

ペン型読み取り装置２０は、ＣＰＵ２４を備え、このＣＰＵ２４はＲＯＭ２５により予め記憶される制御プログラムに従って回路各部の動作を制御する。

ＣＰＵ２４には、前記ＲＯＭ２５の他、ＲＡＭ２６、圧力検出部２２、カメラ部２３、そして表示装置（ＰＣ）１０との通信ＩＦ（インターフェイス）部２７が接続される。

ＲＯＭ２５には、このペン型読み取り装置２０の全体の動作を制御するための読み取り装置制御プログラムが記憶される他に、前記表示装置（ＰＣ）１０に対する表示部（画面）１１上での指定点の座標を検出するための座標検出処理プログラム（ペン側）、この座標検出処理プログラム（ペン側）のサブルーチンとなるセル位置計算処理プログラム、ペン位置計算処理プログラムなどが記憶される。また、ＲＯＭ２５には、ペン入力操作時の座標検出処理に伴い、表示装置（ＰＣ）１０の表示画面（１１）に表示されてカメラ部２３により撮影される座標情報（符号化画像）（図３参照）からペン先Ｐの位置するセル位置Ｐ（Ｃｘ，Ｃｙ）を特定（計算）するために、各セル毎に異なるＲ，Ｇ，Ｂ値データと当該各セル位置の座標データ（Ｃｘ，Ｃｙ）とを対応付けたセル色／セル位置対応テーブルＣＴが記憶される。

ＲＡＭ２６には、カメラ部２３により撮影されたペン先Ｐを含む表示部（画面）１１上の一定領域の画像データＧを記憶するためのペン先画像データメモリ２６ａ、ペン先Ｐの位置するセル位置Ｐ（Ｃｘ，Ｃｙ）の計算作業データとペン位置Ｐ（Ｘ，Ｙ）の計算作業データとを記憶するための座標計算データメモリ２６ｂ、計算されたペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）を記憶するための指定点座標データメモリ２６ｃなど、座標検出処理に応じて必要になる作業用メモリが設定確保される。

次に、前記構成の座標検出装置による第１実施形態の座標検出機能について説明する。

図５は、前記座標検出装置による手書き入力処理を示すフローチャートである。

ペン型読み取り装置２０のペン先Ｐにより表示装置（ＰＣ）１０の表示部（画面）１１上の任意の位置が指定されると、当該ペン先Ｐによる指定点の座標が検出され（ステップＡＢ）、ペン先Ｐの表示画面上での移動に伴う軌跡の表示が実行される（ステップＣ）。この処理が繰り返されることで、ペン操作の軌跡を表示画面にイメージ表示する手書き入力が行われることになる。

図６は、前記座標検出装置による手書き入力処理に伴う座標検出処理（ＡＢ）を示すフローチャートであり、同図（Ａ）は表示装置（ＰＣ）１１側での座標検出処理を示すフローチャート、同図（Ｂ）はペン型読み取り装置２０側での座標検出処理を示すフローチャートである。

図７は、前記座標検出装置による手書き入力処理に伴い表示装置（ＰＣ）１１とペン型読み取り装置２０との間で実行される座標検出処理（ＡＢ）の流れ（その１）を示すシーケンス図である。

図８は、前記座標検出装置による手書き入力処理に伴い表示装置（ＰＣ）１１とペン型読み取り装置２０との間で実行される座標検出処理（ＡＢ）の流れ（その２）を示すシーケンス図である。

すなわち、この座標検出装置による手書き入力処理に伴う座標検出処理では、まず、表示装置（ＰＣ）１０の通信ＩＦ部１５を介してペン型読み取り装置２０に対し、表示部（画面）１１に対する手書き入力に応じてペン先Ｐの接触の有無が問い合わせられる（ステップＡ１）。

ペン型読み取り装置２０において、前記表示装置（ＰＣ）１０からの問い合わせ信号が通信ＩＦ部２７を介して受信されると（ステップＢ１）、圧力検出部２２によりペン先Ｐの接触圧力が検出され（ステップＢ２）、この検出圧力に基づき表示部（画面）１１に対するペン先Ｐの接触の有無が判断される（ステップＢ３）。

このステップＢ３において、表示部（画面）１１に対するペン先Ｐの接触有りと判断されると、表示装置（ＰＣ）１０に対して“接触有り”の通知信号が送信される（ステップＢ４）。

表示装置（ＰＣ）１０において、前記ペン型読み取り装置２０からそのペン先Ｐが表示部（画面）１１に接触したことによる“接触有り”の通知信号が受信されると（ステップＡ２）、記憶装置１３に予め記憶されているセル色／セル位置対応テーブルＣＴに従い表示部（画面）１１における各セル（８×８ドット）毎の中央部（４×４ドット）をそれぞれ異なる表示色に設定するための各Ｒ，Ｇ，Ｂ値データが読み出され当該表示部（画面）１１の座標情報（符号化画像）が生成されて表示される（ステップＡ３）。

すると、表示装置（ＰＣ）１０において座標情報の表示が実行されたことの“表示通知”の信号がペン型読み取り装置２０へ送信される（ステップＡ４）。

ペン型読み取り装置２０において、前記表示装置（ＰＣ）１０から送信された座標情報の“表示通知”の信号が受信されると（ステップＢ５）、カメラ部２３によりペン先Ｐを中心とする当該ペン先Ｐが接触しているところの一定領域の座標情報が撮影され、その撮影画像データＧがＲＡＭ２６内のペン先画像データメモリ２６ａに記憶される（ステップＢ６）。

すると、ペン先Ｐの表示画面（１１）に対する接触座標情報画像（Ｇ）の“撮影完了”の通知信号が表示装置（ＰＣ）１０に対して送信される（ステップＢ７）。

表示装置（ＰＣ）１０において、前記ペン型読み取り装置２０から送信された“撮影完了”の通知信号が受信されると（ステップＡ５）、ステップＡ３において表示部（画面）１１に表示させた座標情報が消去され（ステップＡ６）、前記ペン型読み取り装置２０により検出計算されて出力されるペン先Ｐの接触した座標データＰ（Ｘ，Ｙ）の受信待機状態となる（ステップＡ７）。

ペン型読み取り装置２０において、そのペン先Ｐが接触しているところの一定領域の座標情報が撮影され、その撮影画像データＧがＲＡＭ２６内のペン先画像データメモリ２６ａに記憶されると（ステップＢ６，Ｂ７）、この撮影されたペン先Ｐを中心位置とする座標情報の画像データから、まず表示画面（１１）上でのセル位置Ｐ（Ｃｘ，Ｃｙ）が検出され、次に当該セル位置Ｐ（Ｃｘ，Ｃｙ）内でのペン先Ｐの座標Ｐ（Ｘ，Ｙ）が画像解析により計算され、指定点座標データメモリ２６ｃに記憶される（ステップＤ）。そして、このペン型読み取り装置２０のペン先Ｐによる表示画面（１１）上での指定点座標Ｐ（Ｘ，Ｙ）のデータは、表示装置（ＰＣ）１０へ出力される（ステップＢ８）。

表示装置（ＰＣ）１０において、前記ペン型読み取り装置２０から送信されたペン先Ｐによる指定点座標Ｐ（Ｘ，Ｙ）のデータが受信されると（ステップＡ７）、この受信されたペン先指定点座標Ｐ（Ｘ，Ｙ）はＲＡＭ１４内の座標データメモリ１４ｂに取り込まれて記憶され、この指定点座標Ｐ（Ｘ，Ｙ）に対応する表示部（画面）１１上の表示点ドットがペン入力軌跡として点灯表示される（ステップＡ８）。

この際、今回のペン入力座標の検出に伴う軌跡表示が行われことの確認情報がＲＡＭ１４内に記憶保持される（ステップＡ８′）。

一方、前記ペン型読み取り装置２０でのステップＢ３において、表示部（画面）１１に対するペン先Ｐの接触無しと判断されると、表示装置（ＰＣ）１０に対して“接触無し”の通知信号が送信される（ステップＢ９）。

表示装置（ＰＣ）１０において、前記ペン型読み取り装置２０からそのペン先Ｐの表示部（画面）１１に対する“接触無し”の通知信号が受信されると（ステップＡ２→Ａ９）、今回の座標検出処理による軌跡表示は行われないことの確認情報がＲＡＭ１４内に記憶保持される。

これにより、表示装置（ＰＣ）１０の表示部（画面）１１上には、タッチパネルなど、指定点座標検出のための何らの部材を重ねる必要もなく、当該表示部（画面）１１上をペン型読み取り装置２０により直接指定操作してそのペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）を正確に検出・計算し、ペン入力軌跡を表示させることができる。

次に、前記座標検出処理に伴い、表示装置（ＰＣ）１０の表示部（画面）１１に一時表示させる座標情報において、表示部（画面）１１の各セル（８×８ドット）毎の中央部（４×４ドット）をそれぞれ異なる表示色に設定するための各Ｒ，Ｇ，Ｂ値データの設定手法につき説明する。

図９は、前記座標検出装置の表示装置（ＰＣ）１０において座標検出処理に伴い表示させるべき座標情報（符号化画像）のセル設定区分と各セル毎に異ならせるＲ，Ｇ，Ｂ値データの設定手法を説明するための図である。

図１０は、前記座標情報（符号化画像）の各セル（Ｃｘ，Ｃｙ）位置に応じて算出される１５ビットデータからのＲ，Ｇ，Ｂ値データの設定規則を説明するための図である。

図９に示すように、表示部（画面）１１の表示ドット数が１２８０×１０２４ドットである場合に、この表示画面を８×８ドットずつの１６０個×１２８個のセルに区分し、各セルを（Ｃｘ，Ｃｙ）で表す。例えばＸ方向の４個目、Ｙ方向に３個目のセルは（Ｃｘ(4)，Ｃｙ(3)）となる。

あるセル（Ｃｘ，Ｃｙ）に割り当てる色は、Ｃｘ×１２８＋Ｃｙを計算し、その結果の下位１５ビットを利用し、この１５ビットの上位、中位、下位５ビットを８倍したものをそれぞれＲ、Ｇ、Ｂの値とする。

ここで、具体的にセル（Ｃｘ(4)，Ｃｙ(3)）の表示色を定める場合を説明する。

まず、セル（Ｃｘ(4)，Ｃｙ(3)）に応じた固有の値を、所定の式「Ｃｘ×１２８＋Ｃｙ」により、
４×１２８＋３＝５１５＝００００ ００１０ ００００ ００１１（２進）
として算出し、下位から１５ビットのデータを用いる。ここで
下位７ビット（０００ ００１１（＝３（１０進）））でＣｙ(3)、
上位８ビット（０００ ００１０ ０（＝４（１０進））でＣｘ(4)、
を表していることが分かる。

そして、図１０に示すように、セル（Ｃｘ(4)，Ｃｙ(3)）に応じた１５ビットのデータ
（０００ ００１０ ００００ ００１１）
を、５ビットずつの３つのデータ
（０００ ００）（１０ ０００）（０ ００１１）
に分け、それぞれの５ビットデータの下位に“０００”を付けた（８倍にした）各８ビットデータ
（００００００００）（１０００００００）（０００１１０００）
を、Ｒ値（００００００００）、Ｇ値（１０００００００）、Ｂ値（０００１１０００）
として設定する。

このような設定手法により、表示装置（ＰＣ）１０において座標検出処理に伴い表示させるべき座標情報（符号化画像）の各セル毎に異なるＲ，Ｇ，Ｂ値データを設定することができる。

そして、表示装置（ＰＣ）１０の記憶装置１３に記憶されるセル色／セル位置対応テーブルＣＴ、およびペン型読み取り装置２０のＲＯＭ２５に記憶されるセル色／セル位置対応テーブルＣＴには、前記設定手法に従い求められた各セル毎に異なるＲ，Ｇ，Ｂ値データに当該各セル位置の座標データ（Ｃｘ，Ｃｙ）が対応付けられて記憶される。

すなわち、座標計算処理（ステップＤ）において、ペン先Ｐを中心にした座標情報（符号化画像）の撮影画像データＧから当該ペン先Ｐのセル位置Ｐ（Ｃｘ，Ｃｙ）を算出するには、まず撮影画像Ｇの中央に有るセルを、図３で示したように、各セルの４角を黒色その間を白色としたセル境界の画像解析により特定すると共に、特定されたペン先Ｐの位置するセル画像の表示色からＲ，Ｇ，Ｂ値（各８ビット）を抽出し、さらにその各々の上位５ビットから前記１５ビットデータを復元生成して下位７ビットをＣｙ、上位８ビットをＣｘとしたセル位置Ｐ（Ｃｘ，Ｃｙ）を算出できる。

なお、前記座標情報（符号化画像）における各セルを異なる表示色で表示させるためのＲ，Ｇ，Ｂ値データの設定手法は、これに限定されるものではなく、例えば左下端のセルから右上端のセルまで連番となる１５ビットのセル位置データ（セル番号）を設定すると共に、このセル番号を５ビットデータずつ３つに分割することで、該当セルのＲ，Ｇ，Ｂ値データ（上位５ビット）として設定してもよい。

図１１は、ディスプレイの一般的なガンマ特性を示す図である。

表示装置（ＰＣ）１０における表示部（画面）１１のガンマ特性は、図１１に示すようになっているので、リニアな中間調のみを各セルの表示色として設定する構成とすれば、さらに安定してセル位置を特定することができる。この場合、各セルの境界部分における“黒”と“白”の表示は、セルの表示色における最大・最小の値とする。こうすることでペン先Ｐのカメラ部２３で座標情報の画像を撮影する場合のダイナミックレンジを適当に設定でき、安定してセル位置を特定することができる。

図１２は、前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴う座標計算処理（ステップＤ）でのセル位置計算処理を示すフローチャートである。

ペン先Ｐを中心にした座標情報（符号化画像）の撮影画像データＧが、ＲＡＭ２６内のペン先画像データメモリ２６ａに記憶されると、この画像データＧが読み出され（ステップＤ１１）、当該撮影画像Ｇの中央に有るセルが、各セルの４角を黒色その間を白色としたセル境界の画像解析処理により特定される（ステップＤ１２）。

すると、ステップＤ１２において特定されたペン先Ｐの位置するセル画像の表示色から各８ビットのＲ，Ｇ，Ｂ値が抽出され（ステップＤ１３）（図１０参照）、さらにそのＲ，Ｇ，Ｂ値各々の上位５ビットを連続してなる１５ビットデータが復元生成され、下位７ビットをＣｙ、上位８ビットをＣｘとしたペン先Ｐの位置するセル位置Ｐ（Ｃｘ，Ｃｙ）が算出される（ステップＤ１４）。

次ぎに、セル位置が判別された後に実行される、セルの中のペン先位置の算出処理について説明する。

図１３は、前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴いカメラ部１３により撮影されたペン先Ｐの位置を中心とする撮影画像Ｇの例である。ここではカメラの撮影画像は６４×６４ドットとし、画像の中央に、ペン先が位置するセル位置Ｐ（Ｃｘ，Ｃｙ）が少し傾いた形で撮影されているものとする。

図１３において、前記座標計算処理（ステップＤ）でのセル位置計算処理に従い求められたセル位置Ｐ（Ｃｘ，Ｃｙ）における左下角の座標（Ｃx0，Ｃy0）は、その他の３角の各２×２ドットが黒色表示、当該左下角のみ２×４ドットの黒色表示とされていることで画像認識される。

図１４は、前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴う座標計算処理（ステップＤ）でのセル位置計算処理（Ｄ１１〜Ｄ１４）に続いて実行されるペン位置計算処理（補間計算）を示すフローチャートである。

この補間計算によるペン位置計算処理では、図１３で示すようなペン先Ｐの位置を中心とする撮影画像Ｇとセル位置Ｐ（Ｃｘ，Ｃｙ）とのベクトル位置関係に基づき、まず特定されたセルＰ（Ｃｘ，Ｃｙ）の左下角（Ｃx0，Ｃy0）を基準にしたペン先Ｐの位置までのベクトルｂ_T（＝a_T−ａ₂）、右下角までのベクトルｂx（＝ａ₁−ａ₂）、左上までのベクトルｂy（＝ａ₃−ａ₂）が計算される（ステップＤ２１）。

すると、このペン先Ｐのあるセル位置Ｐ（Ｃｘ，Ｃｙ）の左下角（Ｃx0，Ｃy0）を基準にしたベクトルｂ_T、ｂx、ｂyに基づき、当該セル位置Ｐ（Ｃｘ，Ｃｙ）内でのペン先Ｐの位置（Ｘ′，Ｙ′）が計算される（ステップＤ２２）。

Ｘ′＝（ｂ_T，ｂ_x）／（ｂ_x，ｂ_x）
Ｙ′＝（ｂ_T，ｂ_y）／（ｂ_y，ｂ_y） （ｂ，ｂ）はベクトルの内積を示す
このステップＤ２２で計算された（Ｘ’，Ｙ’）はベクトルｂ_xとｂ_yとで構成されるセル内での座標になるが、この座標軸の長さはカメラの撮影画像の画素数で表現されるので、実際の表示画像での座標値と異なる。表示画面上ではセル（ｂ_x，ｂ_y）の大きさは８×８ドットであるので、ステップＤ２３では、Ｘ’、Ｙ’をｂ_x，ｂ_yの長さで正規化し、８（ドット）倍して表示画面上の座標値に変換する。

Ｘ＝（８Ｘ′）／√（ｂ_x，ｂ_x）
Ｙ＝（８Ｙ′）／√（ｂ_y，ｂ_y）
そして、このセル位置Ｐ（Ｃｘ，Ｃｙ）内でのペン先Ｐの位置を示すＸ，Ｙの値を、当該セル位置ＰＣｘ，Ｃｙの値を８倍したものと加え合わせることで、表示部（画面）１１上でのペン先Ｐの位置する座標値Ｐ（Ｘ，Ｙ）が算出されることになる。座標値Ｐ（Ｘ，Ｙ）は、ＲＡＭ２６内の指定点座標データメモリ２６ｃに記憶されて表示装置（ＰＣ）１０へ出力される（ステップＤ２３→Ｂ８）。

これにより、表示装置（ＰＣ）１１において受信されたペン先指定点座標Ｐ（Ｘ，Ｙ）はＲＡＭ１４内の座標データメモリ１４ｂに取り込まれて記憶され、この指定点座標Ｐ（Ｘ，Ｙ）に対応する表示部（画面）１１上の表示点ドットがペン入力軌跡として点灯表示される（ステップＡ８）。

したがって、前記構成の座標検出装置による第１実施形態の座標検出機能によれば、ペン型読み取り装置２０のペン先Ｐにより表示装置（ＰＣ）１０の表示部（画面）１１上が接触指定されると、当該ペン接触に合わせて表示部（画面）１１を８×８ドット毎のセルに区分して各セル毎に異なるＲ，Ｇ，Ｂデータを設定して色分けした座標情報（符号化画像）が表示され、ペン型読み取り装置２０に備えられたカメラ部２３によってペン先Ｐの指定位置を中心とする表示部（画面）１１上の座標情報（符号化画像）の一定領域が撮影される。すると、このペン先Ｐの有るセルを含む一定領域の撮影画像データＧから、当該セルの表示色が抽出されると共にそのＲ，Ｇ，Ｂ値データが解析されて同ペン先Ｐの有るセル位置Ｐ（Ｃｘ，Ｃｙ）が計算された後、このセルＰ（Ｃｘ，Ｃｙ）内でのペン先Ｐの座標が補間計算により算出され表示部（画面）１１上でのペン先Ｐによる指定の座標位置Ｐ（Ｘ，Ｙ）が計算されるので、表示装置（ＰＣ）１０の表示部（画面）１１上には、タッチパネルなど、指定点座標検出のための何らの部材を重ねる必要もなく、当該表示部（画面）１１上をペン型読み取り装置２０により直接指定操作してそのペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）を正確に検出・計算し、ペン入力軌跡を表示させることができる。

なお、前記第１実施形態の座標検出装置におけるペン型読み取り装置２０では、ペン先Ｐに隣接する一方の側面に沿って設けた１つのカメラ部２３によって、当該ペン先Ｐの指定位置を中心とする表示部（画面）１１に表示された一定領域の座標情報（符号化画像）の画像Ｇを撮影する構成としたが、この第１実施形態の構成では、ペン先Ｐによる表示部（画面）１１上での指定点がカメラ部２３のある方向に移動した場合、座標計算処理（ステップＤ）により得られた指定点座標Ｐ（Ｘ，Ｙ）に従い表示されたペン先Ｐの移動軌跡はカメラ部２３から見てペン先Ｐの陰となり撮影することができない。このため、次の第２実施形態（図１５・図１６参照）で説明するように、ペン先Ｐを挟んだ両側に２つのカメラ部２３ａ，２３ｂを内蔵して設けると共に、当該各カメラ部２３の撮影方向に対応する装置筐体を透明な窓Ｈにより構成し、この２つのカメラ部２３ａ，２３ｂによる撮影画像の合成画像によって前記座標計算処理→指定点表示処理後のペン先Ｐの移動軌跡をも撮影し、実際のペン先Ｐと軌跡表示位置とにずれがあった場合にはその誤差を計算し、座標計算処理により得られる指定点座標Ｐ（Ｘ，Ｙ）を補正することで正確な移動軌跡表示を行う構成としてもよい。

（第２実施形態）
図１５は、本発明の第２実施形態に係る座標検出装置におけるペン型読み取り装置２０Ａの外観構成を示す斜視図である。

この第２実施形態のペン型読み取り装置２０Ａは、ペン先Ｐを挟んだ両側に２つのカメラ部２３ａ，２３ｂを内蔵して設けると共に、当該各カメラ部２３の撮影方向に対応する装置筐体を透明な窓Ｈにより構成する。

図１６は、前記第２実施形態に係る座標検出装置での表示装置（ＰＣ）１１とペン型読み取り装置２０Ａとの間で実行される座標検出処理（ＡＢ）の流れを示すシーケンス図である。

この図１６における座標検出処理（ＡＢ）の流れにおいて、前記第１実施形態で説明した図７における座標検出処理（ＡＢ）の流れと同様の処理ステップについては、同一のステップ記号を付してその説明を省略する。

すなわち、表示装置（ＰＣ）１０では、ペン型読み取り装置２０Ａから送信されたペン先Ｐの周辺画像Ｇの撮影完了信号を受信することで（ステップＡ５）、表示部（画面）１１に表示されている座標情報（符号化画像）を消去すると（ステップＡ６）、この座標情報（符号化画像）の消去完了信号をペン型読み取り装置２０Ａに対して送信する（ステップＡ６ａ）。

ペン型読み取り装置２０Ａでは、ペン先Ｐを中心として撮影した座標情報（符号化画像）の周辺画像Ｇに基づき、当該ペン先Ｐによる指定点座標Ｐ（Ｘ，Ｙ）の計算処理（ステップＤ）を実行すると共に、前記表示装置（ＰＣ）１１から送信された座標情報（符号化画像）の消去完了信号を受信することに応じて（ステップＢ７ａ）、今回の指定点座標の軌跡表示が行われる直前のペン先Ｐの周辺画像ＧＡを撮影してＲＡＭ２６に保存する（ステップＢ７ｂ）。

そして、前記ペン先Ｐによる指定点座標Ｐ（Ｘ，Ｙ）の計算処理（ステップＤ）により算出された今回の指定点座標Ｐ（Ｘ，Ｙ）のデータを表示装置（ＰＣ）１０へ送信することで（ステップＢ８）、当該表示装置（ＰＣ）１０において、受信された指定点座標Ｐ（Ｘ，Ｙ）の位置にペン先Ｐの移動軌跡が表示されると共に（ステップＡ７，Ａ８）、この軌跡表示の完了信号がペン型読み取り装置２０Ａへ送信されると（ステップＡ８ａ）、ペン型読み取り装置２０Ａでは、今回の指定点座標の軌跡表示が行われたペン先Ｐの周辺画像ＧＢを撮影してＲＡＭ２６に保存する（ステップＢ８ａ，Ｂ８ｂ）。

すると、前記ステップＢ７ｂにて撮影された今回の指定点座標の軌跡表示が行われる直前のペン先Ｐの周辺画像ＧＡと、ステップＢ８ｂにて撮影された今回の指定点座標の軌跡表示が行われた直後のペン先Ｐの周辺画像ＧＢとの比較による差分の解析に基づいて、ペン先Ｐの指定点座標計算時点での該ペン先Ｐの画像位置と、これに応じた最新の軌跡表示位置とが検出されてその座標値のずれがベクトル演算により計算され（ステップＢ８ｃ）、表示装置（ＰＣ）１０へ送信される（ステップＢ８ｄ）。

この場合、前記ペン先Ｐの各周辺画像ＧＡ，ＧＢにおける座標軸の方向および単位長さについては、ステップＢ６において予め撮影された表示部（画面）１１上での座標情報（符号化画像）に基づいて認識処理する。

これにより、表示装置（ＰＣ）１０では、前記ペン型読み取り装置２０Ａから受信されたペン先Ｐの指定点座標計算時点での該ペン先Ｐの画像位置と、これに応じた最新の軌跡表示位置との座標値のずれ量に応じて、前記ステップＡ８にて表示されたペン先Ｐの最新の軌跡表示が補正再表示され（ステップＡ８ｂ，Ａ８ｃ）、ペン先Ｐによる指定の位置に正確に一致させてその移動軌跡を表示できるようになる。

なお、この第２実施形態の座標検出装置では、今回の指定点座標の軌跡表示が行われる直前のペン先Ｐの周辺画像ＧＡと、今回の指定点座標の軌跡表示が行われた直後のペン先Ｐの周辺画像ＧＢとの比較により、ペン先Ｐの指定点座標計算時点での該ペン先Ｐの画像位置と、これに応じた最新の軌跡表示位置とを検出してその座標値のずれを計算補正する構成としたが、高速な処理を行う場合であれば、今回の指定点座標の軌跡表示が行われた直後のペン先Ｐの周辺画像ＧＢのみに基づいて、当該周辺画像ＧＢから検出されるペン先Ｐの画像位置と軌跡表示位置との座標値のずれを計算補正することも可能である。

また、この第２実施形態の座標検出装置では、ペン先Ｐの各周辺画像ＧＡ，ＧＢにおける座標軸の方向および単位長さについて、予め撮影された表示部（画面）１１上での座標情報（符号化画像）に基づいて認識処理する構成としたが、次の図１７に示すように、今回の指定点座標Ｐ′の軌跡表示が行われたペン先Ｐの周辺画像ＧＢを撮影する際に、その座標軸方向や単位長さの指標となる指標画像Ｑ１，Ｑ２，Ｑ３を表示部（画面）１１上に追加表示させてから該周辺画像ＧＢを撮影し、その座標軸の方向および単位長さについて容易に認識可能な構成としてもよい。

図１７は、前記第２実施形態に係る座標検出装置の表示装置（ＰＣ）１１においてペン先Ｐの座標計算により得られた指定点座標Ｐ′の軌跡表示に伴い追加で表示される実際のペン先Ｐ位置とのずれ補正のための指標画像Ｑ１，Ｑ２，Ｑ３を示す図である。

すなわち、ペン型読み取り装置２０Ａにおいて座標計算（ステップＢ６，Ｄ）された今回の指定点座標Ｐ′に応じて、表示装置（ＰＣ）１０の表示部（画面）１１にて軌跡表示（Ｐ′）を行う際には（ステップＡ８）、当該軌跡表示（Ｐ′）の近傍にその座標軸の方向および単位長さを示す指標画像Ｑ１，Ｑ２，Ｑ３を追加で表示し、これを図１７（Ａ）に示すように、ペン型読み取り装置２０Ａにより実際のペン先Ｐ位置とのずれ補正のためペン先Ｐの周辺画像ＧＢとして撮影する（ステップＢ８ｂ）。

ここでは、ペン先Ｐの周辺画像ＧＢにおける座標軸の方向および単位長さを示す指標として、座標計算された軌跡表示（Ｐ′）の周りに３点の指標画像Ｑ１，Ｑ２，Ｑ３を表示させる。この３点の指標画像Ｑ１，Ｑ２，Ｑ３は、例えば３点間の長さを予め定め、そのうち１点の指標Ｑ１を原点として残り２点の指標Ｑ２，Ｑ３が直交した座標軸を示すように表示させる。また、この指標画像Ｑ１，Ｑ２，Ｑ３からＸ軸方向とＹ軸方向が認識可能なように，原点の指標Ｑ１以外の２点の指標Ｑ２，Ｑ３はその表示濃度や表示色を変化させる。

これにより、図１７（Ｂ）に示すように、当該ペン先Ｐの周辺画像ＧＢにおける座標軸の方向Ｘ，Ｙおよび単位長さを容易に画像認識することができ、今回軌跡表示された指定点座標Ｐ′とペン先Ｐとのずれ量をベクトル計算できるようになる。

そして、前記表示装置（ＰＣ）１１においてペン先Ｐの座標計算により得られた指定点座標Ｐ′の軌跡表示に伴い追加で表示された実際のペン先Ｐ位置とのずれ補正のための指標画像Ｑ１，Ｑ２，Ｑ３は、当該ペン先Ｐ位置とのずれ補正に応じた軌跡の再表示に伴い消去される。

なお、前記各実施形態の座標検出装置では、ペン型読み取り装置２０（２０Ａ）において、ペン先Ｐの周辺画像Ｇの撮影、および当該周辺画像Ｇに基づくペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）の計算処理を行い、これにより算出された指定点座標Ｐ（Ｘ，Ｙ）を表示装置（ＰＣ）１０へ出力し、その表示部（画面）１１に対して指定点座標Ｐ（Ｘ，Ｙ）の軌跡表示を行う構成としたが、ペン型読み取り装置２０（２０Ａ）により撮影したペン先Ｐの周辺画像Ｇを表示装置（ＰＣ）１０へ送信し、この表示装置（ＰＣ）１０において、当該周辺画像Ｇに基づくペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）の計算処理を行う構成としてもよい。

また、前記各実施形態の座標検出装置では、表示部（画面）１１に対するペン先Ｐの指定点座標Ｐ（Ｘ，Ｙ）の算出に応じて、当該指定点座標Ｐ（Ｘ，Ｙ）の軌跡表示を行う場合について説明したが、指定点座標Ｐ（Ｘ，Ｙ）の表示内容に応じてメニュー選択などのアプリケーションの制御を行う場合も勿論含まれる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の実施形態に係る座標検出装置の外観構成を示す斜視図。 前記座標検出装置におけるペン型読み取り装置２０の外観構成を示す斜視図。 前記座標検出装置のペン型読み取り装置２０による表示部（画面）１１の指定操作に伴い当該表示画面に表示される座標情報（符号化画像）を説明するための図。 前記座標検出装置における表示装置（ＰＣ）１０およびペン型読み取り装置２０の電子回路の構成を示すブロック図。 前記座標検出装置による手書き入力処理を示すフローチャート。 前記座標検出装置による手書き入力処理に伴う座標検出処理（ＡＢ）を示すフローチャートであり、同図（Ａ）は表示装置（ＰＣ）１１側での座標検出処理を示すフローチャート、同図（Ｂ）はペン型読み取り装置２０側での座標検出処理を示すフローチャート。 前記座標検出装置による手書き入力処理に伴い表示装置（ＰＣ）１１とペン型読み取り装置２０との間で実行される座標検出処理（ＡＢ）の流れ（その１）を示すシーケンス図。 前記座標検出装置による手書き入力処理に伴い表示装置（ＰＣ）１１とペン型読み取り装置２０との間で実行される座標検出処理（ＡＢ）の流れ（その２）を示すシーケンス図。 前記座標検出装置の表示装置（ＰＣ）１０において座標検出処理に伴い表示させるべき座標情報（符号化画像）のセル設定区分と各セル毎に異ならせるＲ，Ｇ，Ｂ値データの設定手法を説明するための図。 前記座標情報（符号化画像）の各セル（Ｃｘ，Ｃｙ）位置に応じて算出される１５ビットデータからのＲ，Ｇ，Ｂ値データの設定規則を説明するための図。 ディスプレイの一般的なガンマ特性を示す図。 前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴う座標計算処理（ステップＤ）でのセル位置計算処理を示すフローチャート。 前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴いカメラ部１３により撮影されたペン先Ｐの位置を中心とする撮影画像Ｇとセル位置Ｐ（Ｃｘ，Ｃｙ）との位置関係を示す図。 前記座標検出装置のペン型読み取り装置２０での座標検出処理に伴う座標計算処理（ステップＤ）でのセル位置計算処理（Ｄ１１〜Ｄ１４）に続いて実行されるペン位置計算処理（補間計算）を示すフローチャート。 本発明の第２実施形態に係る座標検出装置におけるペン型読み取り装置２０Ａの外観構成を示す斜視図。 前記第２実施形態に係る座標検出装置での表示装置（ＰＣ）１１とペン型読み取り装置２０Ａとの間で実行される座標検出処理（ＡＢ）の流れを示すシーケンス図。 前記第２実施形態に係る座標検出装置の表示装置（ＰＣ）１１においてペン先Ｐの座標計算により得られた指定点座標Ｐ′の軌跡表示に伴い追加で表示される実際のペン先Ｐ位置とのずれ補正のための指標画像Ｑ１，Ｑ２，Ｑ３を示す図。

符号の説明

１０ …表示装置（ＰＣ）
１１ …表示部（画面）
１２ …ＣＰＵ
１３ …記憶装置
１４ …ＲＡＭ
１４ａ…表示データメモリ
１４ｂ…座標データメモリ
１５ …通信ＩＦ部
２０ …ペン型読み取り装置（第１実施形態）
２０Ａ…ペン型読み取り装置（第２実施形態）
２１ …通信用ケーブル
２２ …圧力検出部
２３ …カメラ部（第１実施形態）
２３ａ，２３ｂ…カメラ部（第２実施形態）
２４ …ＣＰＵ
２５ …ＲＯＭ
２６ …ＲＡＭ
２６ａ…ペン先画像データメモリ
２６ｂ…座標計算データメモリ
２６ｃ…指定点座標データメモリ
２７ …通信ＩＦ部
ＣＴ …セル色／セル位置対応テーブル
Ｐ …ペン先
Ｇ …ペン先Ｐの周辺撮影画像Ｇ
Ｐ（Ｃｘ，Ｃｙ）…ペン先Ｐのセル位置
Ｐ（Ｘ，Ｙ）…ペン先Ｐの指定点座標
Ｑ１，Ｑ２，Ｑ３…座標軸方向と単位長の指標画像

Claims (6)

1. 表示画面の指定された位置の画像を読み取る画像読み取り手段と、
   前記表示画面を所定の小領域に区分し、各小領域を特定する符号を３分割し、３分割されたそれぞれの値に基づいて表示データのＲＧＢ値を生成し、各小領域を生成されたＲＧＢ値により表示させる座標情報表示制御手段と、
   この座標情報表示制御手段により前記表示画面に表示された小領域の画像を前記画像読み取り手段により読み取らせる座標情報読み取り制御手段と、
   この座標情報読み取り制御手段の制御により前記画像読み取り装置が読み取った小領域の画像からＲＧＢ値を抽出し、当該ＲＧＢ値に基づいて小領域を特定する符号を算出することで表示画面上の指定された位置を計算する座標計算手段と、
   を備えたことを特徴とする座標検出装置。
2. 前記画像読み取り手段は、ペン型の読み取り装置であって、前記表示画面に対するペン先の接触圧力を検出する圧力検出部を有し、
   前記座標情報表示制御手段は、前記ペン型の読み取り装置の圧力検出部により表示画面に対するペン先の接触圧力が検出された際に、一時的に前記座標情報表示制御手段により所定の小領域に区分された画像を表示させることを特徴とする請求項１に記載の座標検出装置。
3. 前記画像読み取り手段は、ペン型の読み取り装置であって、そのペン先画像を含んで表示画面の画像を読み取り、
   前記座標計算手段は、前記座標情報読み取り制御手段により読み取られたペン先画像を含む前記小領域の画像に基づき、表示画面上でのペン先の指定点座標を計算し、
   この座標計算手段により計算されたペン先の指定点座標に対応して前記表示画面にペン先指定点の軌跡を表示させる軌跡表示制御手段と、
   この軌跡表示制御手段により前記表示画面にペン先指定点の軌跡が表示された後に、前記ペン型読み取り装置によりそのペン先画像を含むペン先周辺の表示画面の画像を読み取らせるペン先周辺画像読み取り制御手段と、
   このペン先周辺画像読み取り制御手段により読み取られたペン先周辺の表示画面の画像に含まれるペン先指定点の表示軌跡とペン先画像との位置関係に応じて、前記座標計算手段により計算されたペン先の指定点座標を補正する座標補正手段と、
   この座標補正手段によりと補正されたペン先の指定点座標に対応して、前記軌跡表示制御手段により表示画面に表示されているペン先指定点の軌跡を補正して表示させる補正軌跡表示制御手段と、
   を備えたことを特徴とする請求項１または請求項２に記載の座標検出装置。
4. 前記軌跡表示制御手段により前記表示画面に対してペン先指定点の軌跡を表示させるのに伴い、当該表示画面の座標軸方向および単位長を示すための補助画像を表示させる補助画像表示制御手段を更に備えたことを特徴とする請求項３に記載の座標検出装置。
5. コンピュータによって制御される電子機器の表示画面の指定された位置の座標を検出するための座標検出方法であって、
   前記表示画面を所定の小領域に区分し、各小領域を特定する符号を３分割し、３分割されたそれぞれの値に基づいて表示データのＲＧＢ値を生成し、各小領域を生成されたＲＧＢ値により表示させる座標情報表示制御ステップと、
   この座標情報表示制御ステップにて前記表示画面に表示された小領域の画像を、表示画面の指定された位置の画像を読み取る画像読み取り装置により読み取らせる座標情報読み取り制御ステップと、
   この座標情報読み取り制御ステップにて読み取られた小領域の画像からＲＧＢ値を抽出し、当該ＲＧＢ値に基づいて小領域を特定する符号を算出することで表示画面上の指定された位置を計算する座標計算ステップと、
   を備えたことを特徴とする座標検出方法。
6. 前記画像読み取り装置は、ペン型の読み取り装置であって、前記表示画面に対するペン先の接触圧力を検出する圧力検出部を有し、
   前記座標情報表示制御ステップでは、前記ペン型の読み取り装置の圧力検出部により表示画面に対するペン先の接触圧力が検出された際に、一時的に前記座標情報表示制御ステップにより所定の小領域に区分された画像を表示させることを特徴とする請求項６に記載の座標検出方法。

Images