JP5216886B2 - データ表示システム - Google Patents

Description

本発明は、電子的なデータを効果的に表示する技術に関する。その中でも特に、利用者の操作に応じて、表示位置を制御する技術に関する。

従来から、プロジェクタなどを利用してデータを表示することがなされている。この際、表示された内容に関する情報を、利用者の指定に応じて表示することがなされている。この例としては、絵画を表示しその解説を表示すること、地図を表示しそれに含まれる店舗情報を表示することがある。例えば、特許文献１では、地図上の店舗を指定してこの店舗の売上げ等を地図情報として合わせて表示することが記載されている。

特開２００３−１６７８８０号公報

しかし、特許文献１では、単に地図情報(関連データ)を表示するのみで、如何に利用者に対して適切に表示するかは考慮されていない。例えば、如何に適切な位置に表示を行うか（表示の位置合わせ）やより感情に訴えるかについては、考慮されていない。

表示に関しては、タッチパネルなどを有しプロジェクタなどで投射するタッチ入力表示システムを検討した場合、黒板のごときものの上に任意サイズの絵画などの２次元物を貼り付けて、２次元物を指などでタッチして投射と入力と２次元物を位置同期して投射内容を操作する場合は、その位置合わせとして主に次のような方法で行うことが考えられる。その１つは、投射内容のそのままで、２次元物の大きさと貼り付け位置を任意でなく投射内容に合わせたサイズで設置し、入力座標と２次元物座標を同期する。２つ目は、プロジェクタなどの投射手段を用いて投射内容を拡大縮小、位置調整して、投射内容と２次元物の大きさと位置を合わせて、投射と入力の座標を再調整し、入力座標と２次元物座標を置同期する。しかし、前者は２次元物の製作や貼り付け位置の精度が高くなり、また２次元物の大きさが固定となり、システムの自由度が小さくなる。後者は黒板上の投射範囲が極端に小さくなったり大きくなったりすることで使い勝手が悪くなるという問題点がある。

本発明では、これらの課題を解決し、投射と入力の座標系に加えて、２次元物の座標系も管理することで、黒板上に様々なサイズの２次元物を、任意位置に貼り付けられた場合でも、システムの使い勝手はそのままで、投射内容を操作することが可能なタッチ入力表示システムの提供を主たる目的とする。

上記の目的を解決するために、本発明は、投影される電子データの座標系と、当該電子データが投影されるタッチパネル上の２次元物（貼り付け、印刷等された電子データと同様のもの）の座標系とを、当該タッチパネルに対する利用者からの位置合わせ指示により対応付けて、当該タッチパネルに対して指定された位置指定に対応する、電子データの位置を特定し、特定された位置に関連付けられた関連データを特定するものである。この関連データを、出力することも本発明の一態様である。また、この出力を、プロジェクタとは別の出力装置へ出力し、当該出力装置が表示等を行うことも本発明の一態様である。またタッチパネルとプロジェクタの機能が一体化したタッチパネル機能付きディスプレイを用いることも本発明の一態様である。

これは、パソコン等のデータをプロジェクタなどで投射する投射内容と、タッチパネルなどのタッチ入力手段上に配置した投射内容を位置同期させて、投射内容を指などでタッチして、投射内容を操作するタッチ入力表示システムに関するものであり、具体的には、投射内容とタッチ入力手段の同期に加えて、絵画などの２次元物も位置同期するシステムにおいて、タッチ入力手段と投射手段と２次元物の３つの座標系を統合的に扱うことができる。

本発明によれば、投射手段とタッチ入力手段の座標系に加えて、２次元物の座標系も管理することで、黒板上に様々なサイズの２次元物を、任意位置に貼り付けられた場合でも、タッチ入力表示システムの使い勝手はそのままで、タッチ位置の関連情報を表示することが可能となる。

本発明の一実施形態におけるシステム構成図。 本発明の一実施形態における座標変換情報を特定、記録するフローチャート。 本発明の一実施形態における絵画部分の拡大縮小・移動・変形の量を記録に関するデータ構成を示す図。 本発明の一実施形態における実物の絵画とタッチパネル座標とのずれ量の座標を記録するに関するデータ構成図。 本発明の一実施形態における座標変換情報を使用して絵画情報（関連データ）を表示するためのフローチャート。 本発明の一実施形態におけるタッチパネル座標から投射した絵画部分の初期の座標に変換に関するデータ内容などを説明する図。 投射した絵画部分の初期の座標から対応する絵画情報のIDに変換に関するデータ構造を示す図。

図1は、本発明の一実施形態のシステム構成を示す。コンピュータ100とコンピュータ内の画像を投射するプロジェクタ110と表示する表示装置140があり、指などのタッチをコンピュータに伝えるタッチパネル120と実物の絵画130で構成される。プロジェクタ110の投射画面111には絵画の画像112があり、それがタッチパネル上に投射される。表示装置140の表示画面141には絵画情報が表示される。また、実物の絵画130はタッチパネル上に設置(固定)される。ここで、実物の絵画としたが、これはいわゆるレプリカや印刷物などであることが現実的である。また、この実物の絵画（等）の設置を如何に行うか（磁石、接着剤、ねじなどの機械的な固定は問わない。

図2は、実物の絵画130にタッチすることで表示装置140に絵画情報を表示するための、座標変換情報の特定、記録をするためのフローチャートである。以下、その内容を説明する。なお、本処理は、コンピュータ100がプログラムに従って、そのＣＰＵの如き演算装置が実行するものである。

まず、F5キー等所定のキーを押すなど特定の操作により調整モードに入る（201）。また、ここで調整のために絵画が投射される。

投射した絵画部分112を↑↓←→キーで移動、Pageup／Pagedownキーなどにより拡大縮小、１０キーで変形される（202）。そして、利用者は投射した絵画部分と実物の絵画が重なるまで移動、拡大縮小、変形を繰り返す（203）。調整は次の手順で行う。まず移動と拡大縮小によって、投射した絵画の外形が実物の絵画と同じになるように調整する。この時に実物の絵画のサイズ精度と設置精度およびプロジェクタの設置精度と調整精度の原因で、投射した絵画と実物の絵画はぴったりとは重ねるのは難しい。そのため変形によって縦横を別々に微調整しぴったり重ね合わせる。

次に、利用者から実物の絵画の特定位置に対するタッチを受け付ける（204）。
204での受付された場合、絵画部分の拡大縮小・移動・変形の量を記録する（205）。また実物の絵画とタッチ座標とのずれ量の座標を記録する（206）。これらは、202での操作の結果を検知しておき、これを記録するものである。

そして、F5キーなど特定のキーを押して調整モードを終了する。ここでは、開始のキー（Ｆ５）と同じとしたが、他の操作でも構わない。また、この際、投射された絵画を消してもよい、つまり、投射を終了してもよい（207）。

図３は、絵画部分の拡大縮小・移動・変形の量を記録 205に関するデータ構成300を示す図である。プログラムは初期値として変形前の位置X=0、Y=0と画素数DX=1024 DY=671を持っている。なお当該位置と画素数は任意の値が可能となる。調整202、203を実施すると、変換後の移動画素数X=200、Y=200、拡大縮小率DX=0.61、DY=0.62がわかり、204を実施したタイミングで記録される。なお変換後の移動画素数は変換前との相対値や、投射範囲などの絶対座標系で記録しても良い。また変換後の拡大縮小率は率ではなく画素数で記録しても良い。

図４は、実物の絵画の特定位置をタッチし、実物の絵画とタッチパネル座標とのずれ量の座標を記録する 204に関するデータ構成 400を示す。調整204を実施すると、実物の絵画の左上隅、右下隅に対応するタッチパネル上の座標、RX=201、RY=301、LX=826、LY=718が記録される。ここで注意が必要なのは、投射範囲の座標とタッチパネルの座標が同じ場合は、絵画部分の位置からタッチパネルの座標が導ける。しかしタッチパネルのデバイスドライバの機能や性能が原因で２者の座標は同じにならない場合もある。このデータ構成400は２者の差分を管理するために必須なものである。

図５は、実物の絵画にタッチした場合に、座標変換情報を使用して、表示装置に絵画情報を表示するためのフローチャートを示す。以下、その内容を示す。

まず、絵画部分の拡大縮小・移動・変形の量300を使って投射した絵画の初期の座標を、座標変換する（500）。この処理をしておき、タッチ入力を待つようにする。タッチパネル上に絵画は投射しなくともよいし、しておいてもよい（500）。なお、座標変換は、図２で示したフローチャートの最後に実行してもよい。

そして、タッチ入力を検知し（501）、タッチ入力があった(検知した)場合は次の動作を行う。まず実物の絵画とタッチ座標とのずれ量および絵画部分の拡大縮小・移動・変形の量を使ってタッチ座標を、投射した絵画部分の初期の座標に変換する 502。次に投射した絵画部分の初期の座標から、対応する絵画情報のIDに変換し絵画情報を表示装置に表示する（503）。

図６は、タッチパネル座標から投射した絵画部分の初期の座標に変換するデータ内容を示す。実物の絵画をタッチすることで、タッチパネル座標 ｘ＝400 Y=500がわかる。まず図４のデータ構成を使用して、タッチパネル座標での絵画範囲におけるタッチ位置の割合を求める。 X=(400-201)/(826-201)＝0.318 Y=(500-301)/(718-301)＝0.477となる。
次に図３のデータ構成を使用して、絵画部分の拡大縮小・移動・変形前の、投射した絵画の初期の座標を求める。X=(1024-0)x0.318=326 Y=(671-0)x0.477=320
となる。

図７は、投射した絵画部分の初期の座標から、対応する絵画情報のIDに変換 503に関するデータ構造を示す。投射した絵画部分の初期の座標が座標１から座標３をつなげた範囲が存在した場合は、絵画情報IDに対応した情報を、絵画情報種別に対応した表示方法で、表示装置140用とプロジェクタ用110に表示する。例では投射した絵画の初期の座標は、X=326、Y=320となっているので、表示装置用の絵画情報ID＝0101がヒットし、絵画情報種別＝画像となり画像が表示される。またプロジェクタ用には絵画情報ID＝0102がヒットし、絵画情報種別＝画像となり画像が表示される。特にプロジェクタへの表示に使用される画像は図３の絵画部分の拡大縮小・移動・変形の量を用いて変換され指定位置に表示される。つまり画素数がDX=1024x0.61=625 DY=671x0.62=417に変換さて、左上をX-200 Y=200の位置に表示される。

100…コンピュータ、110…プロジェクタ、120…タッチパネル、130…実物の絵画

Claims (8)

1. 表示された電子データに対する指定に応じて、関連データを特定するデータ表示システムを利用したデータ表示方法において、
   前記データ表示システムは、
   前記電子データを投影する投影装置と、
   利用者からの位置入力を受け付け、前記電子データに対応する２次元物が設置されたタッチパネルと、
   前記投影装置および前記タッチパネルと接続されたコンピュータを有し、
   前記投影装置により前記タッチパネル上に、前記電子データを投影し、
   前記２次元物に対する前記利用者からの位置合わせ指示を受け付け、当該受け付けに応じて、投影された前記電子データの座標系と前記タッチパネルの座標系と前記２次元物の座標系を対応付けて、
   前記タッチパネルに対する前記利用者からの入力に応じて、前記２次元物の位置を特定し、特定された２次元物の位置に対応付けて、前記コンピュータに記憶された関連データを特定することを特徴とするデータ表示システム。
2. 請求項１に記載のデータ表示システムにおいて、
   当該関連データの一部を前記電子データとして投影する時の位置と縮尺を特定することを特徴とするデータ表示システム。
3. 請求項１に記載のデータ表示システムにおいて、
   前記関連データを出力することを特徴とするデータ表示システム。
4. 請求項３に記載のデータ表示システムにおいて、
   さらに、前記コンピュータに接続された表示画面を有し、
   前記関連データの出力を、前記表示画面に表示することを実行することを特徴とするデータ表示システム。
5. 表示された電子データに対する指定に応じて、関連データを特定するデータ表示システムを利用したデータ表示方法において、
   前記データ表示システムは、
   前記電子データを投影する投影装置と、
   利用者からの位置入力を受け付け、前記電子データに対応する２次元物が設置されたタッチパネルと、
   前記投影装置および前記タッチパネルと接続されたコンピュータを有し、
   前記投影装置により前記タッチパネル上に、前記電子データを投影し、
   前記２次元物に対する前記利用者からの位置合わせ指示を受け付け、当該受け付けに応じて、投影された前記電子データの座標系と前記タッチパネルの座標系と前記２次元物の座標系を対応付けて、
   前記タッチパネルに対する前記利用者からの入力に応じて、前記２次元物の位置を特定し、特定された２次元物の位置に対応付けて、前記コンピュータに記憶された関連データを特定すること特徴とするデータ表示方法。
6. 請求項５に記載のデータ表示システムにおいて、
   当該関連データの一部を前記電子データとして投影する時の位置と縮尺を特定することを特徴とするデータ表示方法。
7. 請求項５に記載のデータ表示方法において、
   前記関連データを出力することを特徴とするデータ表示方法。
8. 請求項７に記載のデータ表示方法において、
   さらに、前記データ表示システムは前記コンピュータに接続された表示画面を有し、
   前記関連データの出力を、前記表示画面に表示することを実行することを特徴とするデータ表示方法。

Images