JP4502896B2

JP4502896B2 - 投写型表示装置

Info

Publication number: JP4502896B2
Application number: JP2005207768A
Authority: JP
Inventors: 光浩嶺
Original assignee: NEC Display Solutions Ltd
Current assignee: Sharp NEC Display Solutions Ltd
Priority date: 2005-07-15
Filing date: 2005-07-15
Publication date: 2010-07-14
Anticipated expiration: 2025-07-15
Also published as: JP2007025295A

Description

本発明は投写型表示装置に関し、特に電子ペンと組み合わせて使用され発信器位置検出部と画面操作信号識別部とを有する投写型表示装置に関する。

近年投写型表示装置がプレゼンテーション用として広く用いられるようになり、指し棒を発信器を有する電子ペンとして、発表者が電子ペンで指した投写映像中のポインティング位置を自動的に検出し、検出した位置を投写型表示装置や投写型表示装置に接続されたパソコンのマウスの変わりとして使用できるシステムが知られている（特許文献１、２参照）。特許文献１には、信号処理器をホワイトボードなどの互いに離れた場所に取り付け、電子ペンの超音波発生部から発信された超音波がそれぞれの超音波受信部で受信されるまでの所要時間に基づいて電子ペンからそれぞれの超音波受信部までの距離を算定することで電子ペンの位置を取得し、パソコンで座標として取り込むポインティング位置検出装置と画像表示装置が開示されている。その仕組みとしては、例えばホワイトボードに投写型表示装置から映像を投影して説明者が電子ペンを用いて説明する場合に、信号処理器をホワイトボードの２箇所以上の隅部に取り付け、パソコンの映像を投写型表示装置でホワイトボードに投射し、投射映像の特定の位置（例えば４隅）を電子ペンで指定することで投射映像の基準位置を前記信号処理器に覚えこませ、その後は電子ペンの位置と先に覚えこませた特定の位置を比較することで座標を算出し、算出された座標をパソコンに渡し映像内のマウスカーソルなどを動かす処理を行う。特許文献２で提案されている座標検出部を搭載したミラー投射型投写型表示装置は、特許文献１のような投写型表示装置やスクリーンとは別体の位置検出部やデジタイザーなどを必要としないためシステム構成が簡単となり移動も容易となる。
特開２００１−１２５７４０号公報特開２００５−１２２５３４号公報

しかし、このような特許文献２で提案されている電子黒板機能をもったミラー投射型プロジェクタを利用したときにも、電子ペンでスクリーンを指そうとすると手とペンとが投射光を遮ってしまうことがあり、スクリーンにその影ができてしまい、電子ペンで何かを描画しようとしているときに、描いた軌跡とこれから描こうとしている部分とが見えないと非常に描画が難しいという課題があった。

本発明の目的は、電子ペンで描画するときに電子ペンや手の影が支障とならない投写型表示装置を提供することにある。

本発明の投写型表示装置は、
電磁波発光部および波動発信部を備える発信器と組み合わせて使用され、電磁波受光部および互いに離れて配置された第１の波動受信部と第２の波動受信部とを有する投写型表示装置であって、発信器の発信する波動および電磁波の受信時刻に基づいて、発信器と第１の波動受信部および発信器と第２の波動受信部のそれぞれの距離を算出して発信器の位置座標を算出し、算出した位置座標を記憶して逐次更新する発信器位置算出部と、入力した画面操作信号から操作内容を識別して対応する画像操作を画像制御部に指示する画面操作信号識別部とを有する。

第１の態様では、画像制御部に指示された画面操作がエリア複写指示信号であるときは、発信器の位置座標に対応して予め設定されている複写範囲、発信器の位置座標に対応して予め設定されている嵌めこみ位置の条件に従って、予め設定されている複写範囲の映像情報を複写して、映像情報における予め設定されている嵌めこみ位置に嵌め込んで投射面に投写する複写映像生成貼り付け部を有する。

第２の態様では、画像制御部に指示された画面操作信号がエリア複写指示信号であるときは、発信器の位置座標と対応して予め設定されている複写範囲、発信器の位置座標と対応して予め設定されている嵌めこみ位置の条件に従って、発信器の位置座標の移動に伴って予め設定されている複写範囲の映像情報を逐次複写して、発信器の位置座標の移動に伴って予め設定されている嵌めこみ位置に嵌め込んで投射面に投写する複写映像生成貼り付け部を有する。

画面操作信号がカーソルを用いた描画信号であるときは、発信器位置をカーソル位置として投射面にカーソルを投射し、その発信器の位置の移動に対応して投射画像に描画が行われる描画部を有してもよい。

発信器は画面操作信号を波動発信部から出力する波動に乗せて発信する操作部を有し、画面操作信号識別部は、波動受信部で受信した波動から画面操作信号を識別して画像制御部に出力してもよく、発信部は電子ペンに設けられていてもよい。また、画面操作信号識別部は、投写型表示装置の操作部から入力した画面操作信号を識別して画像制御部に出力してもよく、投写型表示装置に接続された装置の操作部から入力した画面操作信号を識別して画像制御部に出力してもよい。

時間差解析発信器位置算出部は、電磁波受光部における電磁波受光時刻と第１の波動受信部および第２の波動受信部における波動受信時刻との差を基に、波動発信部から第１の波動受信部および第２の波動受信部までの波動到達時間を算出する波動到達時間算出手段と、算出された波動到達時間から、波動発信部から第１の波動受信部および第２の波動受信部までの距離を算出する距離算出手段と、算出された波動発信部から第１の波動受信部および第２の波動受信部までの距離と、予め記憶されている第１の波動受信部と第２の波動受信部との間隔および位置算出の基準となる波動受信部と投射面との間の垂直距離とから、発信器の波動発生部の投射面上の位置座標を算出して、投写映像内における対応する位置座標を算定する発信器座標算定手段と、算定した位置座標を逐次格納して投写型表示装置の画像制御部に出力する発信器座標格納部とを備えていてもよく、投写型表示装置が、開口構造を有する筐体に画像投射のための投射ミラーを備える投写型表示装置であってもよく、電磁波は赤外線であり、波動は超音波であってもよい。

発表者がスクリーン上の投写映像内を電子ペンで指したときに、出力される赤外線パルスと超音波パルスを投写型表示装置の赤外線受光部と２つ以上の超音波受信部で受信して、投写映像内のポインティング位置に対応する液晶パネル内の座標を算出し、算出された座標の周辺の映像データを入力映像データから抜き出し、あらかじめ設定されたエリアに複写することができ、電子ペンを移動させると複写された画像データは電子ペンの移動位置に対応して移動すると共に新しい位置の映像データに更新されるので、手やペンの影を気にすることなく描画を行うことができる。

本発明の第1の効果は、発表者が投写型表示装置やパソコンの黒板機能でスクリーンの投射映像内に文字や図形を描画しているときに、自分の手やペンの影で見えない部分が陰にならないエリアに複写表示されるため、発表者は既に書いた画像とこれからペンをドラッグさせて書こうとする部分の画像を確認しながら作業をすることができるようになることである。

第２の効果は、発表者が描画しているとき、発表を見ている人々には描いている発表者の陰になった部分は直接見えないが、複写された画像で発表者が描画している画像をリアルタイムに見ることができるようになることである。

本発明の投写型表示装置は、電子ペンを投写画像の中で使用するとき、手やペンの影で見えなくなった部分を他のエリアに表示する手段を備えることを特徴としている。

本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態の投写型表示装置の模式的斜視図であり、図２は本発明の実施の形態の投写型表示装置の模式的ブロック構成図である。

本発明の実施の形態の投写型表示装置１０と電子ペン７０と投射面８０との構成と動作とを図１、図２を参照して説明する。電子ペン７０は電子黒板用としてよく使用され、トリガパルスとして赤外線を発光する赤外線発光部７２および位置検出用として超音波を発信する超音波発生部７１を備える発信器が先端近傍に設けられており、電子ペン７０の手元には超音波発生部７１と赤外線発光部７２のオンオフや、複写信号や描画信号を含む所定の画面操作信号を超音波発生部７１の超音波に乗せて発信できる操作部７６を有し、画面操作信号発信の指示があった場合は超音波発生部７１は画面操作信号を所定の超音波信号として発信する。

ここでは１５ｋＨｚより高い振動数の音波を超音波といい、０．７４μｍより長い波長の光を赤外線という。本実施の形態では電子ペンとして説明するが、発信器付指し棒であっても問題はなく、赤外線発光部と超音波発生部とを有する発信器が備えられていれば各種の形態が考えられる。この発信器は投射面を指示する部分の近傍に設けられていることが望ましい。

発信器の超音波発生部７１と赤外線発光部７２は同期して一周期に一度だけ超音波信号、および赤外線パルスを発生する。ここでは、超音波発生部７１と赤外線発光部７２のオンオフは電子ペン７０の手元の操作部７６の操作で行われることとしているが、先端部を投射面に押し付けることによって行なわれてもよい。

投写型表示装置１０は、投影部２０と、発信器位置算出部３０と、画面操作信号識別部３７と、画像制御部４０と、各部の制御を行う中央制御装置６０とを有する。投影部２０は、光源２１と液晶表示部やＤＭＤ（ＤｉｇｉｔａｌＭｉｌｌｅｒＤｅｖｉｃｅ）などの光束変調部２２と光学系２３とを有し、投写部２４から投射面８０に画像を投写する。ここでは超短焦点のミラー型プロジェクタを例として説明するが、レンズシフト機構を有する短焦点のレンズ投射型プロジェクタに対しても有効に適用できる。

発信器位置算出部３０は、第１の超音波受信部３１と、第２の超音波受信部３２と、赤外線受光部３３と、時間差解析発信器位置算出部３４と、発信器座標算出部３５と、発信器座標格納部３６とを有する。

第１の超音波受信部３１および第２の超音波受信部３２は、投射光軸８５を含む鉛直面と直交する方向にそれぞれが水平方向に離れて配設されていて、電子ペン７０の超音波発生部７１で発生した超音波信号７３、７４をそれぞれが受信する。このような配置が発信器位置の計算上望ましいが、違った配置であっても補正することができる。また、赤外線受光部３３は、第１の超音波受信部３１と第２の超音波受信部３２の近傍、通常は中間に配置されて電子ペン７０の赤外線発光部７２で発生した赤外線パルス７５を受光する。赤外線受光部３３は、離れた場所に設けられていても受光時刻に大きな誤差を生ずることはない。

電子ペン７０の超音波発生部７１と赤外線発光部７２とは同期して一周期に一度だけ超音波信号、および赤外線パルスを発生し、赤外線の発光時刻と受光時刻とは殆ど同一と見なされるので、赤外線受光部３３の受光時刻と第１の超音波受信部３１の受信時刻の受信時刻の差、および赤外線受光部３３の受光時刻と第２の超音波受信部３２の受信時刻の受信時刻の差から、電子ペン７０の超音波発生部７１から第１の超音波受信部３１および超音波発生部７１から第２の超音波受信部３２までのそれぞれの超音波到達時間が算出されて、時間差解析発信器位置算出部３４で音速を用いて換算することによって、超音波発生部７１から第１の超音波受信部３１および超音波発生部７１から第２の超音波受信部３２のそれぞれの距離が算出できる。

発信器座標算出部３５では算出された距離情報に予め入力されている両超音波受信部の間隔、超音波受信部と投射面との距離を参照して投射面上の発信器の座標が算定され、それに基づいて投写映像上の発信器の座標が算出され、発信器座標格納部３６に逐次更新して格納される。座標の算出についての詳細は後述する。

画面操作信号識別部３７は、電子ペン７０の操作部７６から超音波発生部７１を経由して超音波に載せられ発信された画面操作信号を超音波受信部３２から受信し、画面操作信号の内容を識別して画像制御部４０の画像操作部５０に出力する。

画像制御部４０は、入力した映像信号をデジタル信号にＡＤ変換する入力信号処理部４１、デジタル信号に変換された映像信号を液晶パネルの解像度に変換する解像度変換部４２、解像度変換された映像信号を一時的に保存しておく入力映像記憶部４３、画面操作信号識別部３７から入力した画面操作信号と発信器座標格納部３６から入力した発信器座標とに基づいて入力映像記憶部４３に記憶されている入力映像を参照して所定の画像操作を行う画像操作部５０、画像操作部５０で制作された映像データを入力映像記憶部４３に記憶されている入力映像に合成して出力する画像データ合成部４４、合成された映像のＤＡ変換を行うＤＡ変換部４５、およびＤＡ変換された映像に基づいて投影部２０の光束変調部２２を駆動する表示駆動部４６を有する。

画像操作部５０には、複写映像生成貼り付け部５１や、描画部５２や、発生したカーソルに対し制御部でクリック動作を行うことで所望の操作を行わせたりする操作手段などが複数設けられている。複写映像生成貼り付け部５１では、発信器の位置座標と対応する入力映像内の所定のエリア内の映像情報が複写されて入力映像の所定の位置に嵌め込まれ、複写した映像の嵌め込み位置が、発信器位置の移動に対応して移動するとともに、複写した映像が新しい発信器位置の入力映像に対応して更新される。描画部５２では、発信器座標位置にカーソルを生成させ、発信器の移動に対応してカーソルを移動させて描画を行わせる。なお、複写映像生成貼り付け部５１では、嵌めこみ位置の移動や更新は行なわれなくてもよい。

次に、本発明の実施の形態の動作について説明する。まず、発表者が投射面８０に投写されている画像内の一点を電子ペン７０で突いたり、操作部７６のボタンを操作したりすると、電子ペン７０の赤外線発光部７２から赤外線パルス７５が出力され、超音波発生部７１から超音波信号７３、７４が出力される。

投写型表示装置１０の発信器位置算出部３０の赤外線受光部３３で赤外線パルス７５を受光してから、第１および第２の超音波受信部３１、３２で超音波信号７３、７４を受信するまでの時間が時間差解析発信器位置算出部３４のカウンタ部でカウントされる。カウントされた時間から電子ペン７０で指し示した投射面８０上の点に対応する光束変調部２２内の映像での位置が発信器座標算出部３５で算出される。

距離情報の取得原理および電子ペン７０で指し示した投射面８０上の点に対応する入力映像での座標の算出法を説明する。図３は電子ペンの発信器と投写型表示装置との間の赤外線と超音波の発信と受信との関係を示す模式図であり、図４は本発明の実施の形態の投写型表示装置の時間差解析発信器位置算出部と発信器座標算出部と発信器座標格納部の模式的ブロック構成図である。

指し示す位置に発信器を押し当て、あるいはスイッチ７６をＯＮとすると、図３に示すように、電子ペン７０の赤外線発光部７２から赤外線トリガパルス７０１が発光され、同時に超音波発生部７１から超音波信号７０２が発信される。投写型表示装置１０の赤外線受光部３３が赤外線トリガパルス７０１を赤外線トリガパルス３３１として受光し、第１の超音波受信部３１と第２の超音波受信部３２とが超音波信号７０２をそれぞれ超音波信号３１１、３２１として受信する。

赤外線受光部３３において受光される赤外線トリガパルス３３１の受光時刻ｔ₀は電子ペン７０の赤外線発光部７２から発光された赤外線トリガパルス７０１の発光時刻との間に時間遅延は殆どない。しかし、第１の超音波受信部３１にて受信される超音波信号３１１の受信時刻ｔ₁、第２の超音波受信部３２にて受信される超音波信号３２１の受信時刻ｔ₂は、超音波発生部７１から超音波信号７０２が発信された時刻に対して距離を音速（約３４０ｍ／ｓ）で割った時間分の遅れが生じている。この時刻ｔ₁、ｔ₂とｔ₀との差であるＴ₁、Ｔ₂を求めることで、それぞれの所用時間の情報が得られる。実際の受信時刻の測定では第１波の測定では誤差を生ずるおそれがあるので第２波以降の受信時刻を測定してｔ₁、ｔ₂を計算で求めてもよい。

次に、発信器位置算出部３０の時間差解析発信器位置算出部３４と発信器座標算出部３５と発信器座標格納部３６の構成と動作を説明する。上述のように、超音波発生部７１と赤外線発光部７２は一周期に一度だけ超音波信号、および赤外線パルスを発生するので、赤外線パルスの受光時刻が超音波信号の発射時刻とほぼ同一となり、超音波信号の受信時刻と赤外線パルスの受光時刻との差が超音波の到達時間となり、音速を用いて超音波発生部７１と超音波受信部３１、３２との距離が算出できる。

図４に示すように、時間差解析発信器位置算出部３４は、赤外線受光時刻（ｔ0 ）取得部３４１、第１の超音波受信時刻（ｔ1 ）取得部３４２、第２の超音波受信時刻（ｔ2 ）取得部３４３、第１の超音波到達時間（ｔ1 −ｔ0 ＝Ｔ1 ）算出部３４４、第２の超音波到達時間（ｔ2 −ｔ0 ＝Ｔ2 ）算出部３４５、Ｔ1 距離換算部（＝Ｌ1 ）３４６、Ｔ2 距離換算部（＝Ｌ2 ）３４７、および発信器の投射面上のＸ、Ｙ座標算出部３４８を有する。発信器座標算出部３５は発信器の投射面上のＸ、Ｙ座標算出部３４８で算出された投射面上のＸ、Ｙ座標を光学関係の式により入力映像の座標に換算する投射面Ｘ、Ｙ座標の映像内座標換算部３５１を有する。発信器座標格納部３６は第１の超音波受信部−第２の超音波受信部距離Ｌ0 格納部３６１、超音波受信部−投射面間距離Ｌ4 格納部３６２および映像内座標格納部３６３を有する。第１の超音波受信部−第２の超音波受信部距離Ｌ0 格納部３６１には、予め第１の超音波受信部３１と第２の超音波受信部３２との間の距離Ｌ0 が格納され、超音波受信部−投射面間距離格納部３６２には、予め超音波受信部３１、３２−投射面８０の距離が格納され、映像内座標格納部３６３には投射面Ｘ、Ｙ座標の映像内座標換算部３５１で算出された発信器の映像内の座標が格納されている。

赤外線受光時刻（ｔ₀）取得部３４１は、電子ペン７０の赤外線発光部７２から超音波発生部７１と同時に発光された赤外線パルス７５の赤外線受光部３３での受光時刻ｔ₀を取得する。第１の超音波受信時刻（ｔ₁）取得部３４２と第２の超音波受信時刻（ｔ₂）取得部３４３は、それぞれ電子ペン７０の超音波発生部７１から赤外線発光部７２と同時に発信された超音波信号７３、７４の第１の超音波受信部３１、第２の超音波受信部３２における受信時刻ｔ₁、ｔ₂を取得する。第１の超音波到達時間（ｔ₁−ｔ₀＝Ｔ₁）算出部３４４は、第１の超音波受信部３１の受信時刻ｔ₁と赤外線受光部３３の受光時刻ｔ₀との時間差Ｔ₁を算出する。第２の超音波到達時間（ｔ₂−ｔ₀＝Ｔ₂）算出部３４５は、第２の超音波受信部３２の受信時刻ｔ₂と赤外線受光部３３の受光時刻ｔ₀との時間差Ｔ₂を算出する。

Ｔ₁距離換算部（＝Ｌ₁）３４６は、音速のデータを用いて時間差Ｔ₁を電子ペン７０の超音波発生部７１と第１の超音波受信部３１までの距離Ｌ₁に換算する。Ｔ₂距離換算部（＝Ｌ₂）３４７は、音速のデータを用いて時間差Ｔ₂を電子ペン７０の超音波発生部７１と第２の超音波受信部３２までの距離Ｌ₂に換算する。発信器の投射面上のＸ，Ｙ座標算出部３４８は、取得した距離Ｌ₁、Ｌ₂と発信器座標格納部３６に予め格納されている第１の超音波部受信部−第２の超音波部受信部距離Ｌ₀と超音波受信部−投射面距離Ｌ₄とから発信器の投射面上のＸ，Ｙ座標を後述の方法で算出する。

発信器座標算出部３５の投射面Ｘ、Ｙ座標の映像内座標換算部３５１で、投射面上の発信器のＸ、Ｙ座標を入力映像のＸ、Ｙ座標に換算し、発信器座標格納部３６の映像内座標格納部３６３に記憶させる。

ここで、発信器の投射面上のＸ、Ｙ座標算出部３４８における発信器の座標取得の原理について説明する。図５は発信器の投射面上のＸ、Ｙ座標算出部における投射面上の座標算出動作を説明するための模式図である。

図５において、第２の超音波受信部３２の位置をＡとし、第１の超音波受信部３１の位置をＢとし、電子ペン７０の発信器の超音波発生部７１の位置をＣとし、Ｃを通って投射面８０と直交する垂直面とＡ−Ｂを通る線分との交点をＤとし、Ｄより投射面８０に対して垂直な線と投射面８０との交点をＥとし、水平方向の座標をＸ、垂直方向の座標をＹとする。

△ＣＡＢにおいて辺ＣＡと辺ＡＢのなす角度をαとすると、
ｃｏｓα＝（Ｌ₂ ²＋Ｌ₀ ²−Ｌ₁ ²）／（２Ｌ₂ ×Ｌ₀）なので、
α＝ｃｏｓ^-1｛（Ｌ₂ ²＋Ｌ₀ ²−Ｌ₁ ²）／（２Ｌ₂ ×Ｌ₀）｝となる。

一方、△ＣＤＡは直角三角形なので、
ｃｏｓ（１８０°−α）＝Ｘ／Ｌ₂ 従って、Ａを基点とした水平方向の座標Ｘは、
Ｘ＝ｃｏｓ（１８０°−α）×Ｌ₂ となり、先に求めたαを代入するとＸは求められる。

また、△ＣＤＡにおける辺ＣＤの長さＹ’は、
Ｙ’＝ｓｉｎ（１８０°−α）×Ｌ₂ で求められる。
一方、△ＣＥＤも直角三角形なので、
Ｙ²＝Ｙ’²−Ｌ₄ ² なので、垂直方向の座標Ｙは、
Ｙ＝√（Ｙ’²−Ｌ₄ ²）として求められる。
これらは都度計算してもよいし、予めＬ₀、Ｌ₁、Ｌ₂、Ｌ₄を変数とするテーブルを作成して、テーブルから求めてもよい。

画像制御部４０に入力された映像信号は入力信号処理部４１でデジタル信号に変換された後、解像度変換部４２で光束変調部２２の解像度に変換され、例えば図６のような映像データ９１が入力映像記憶部４３に書き込まれる。図６は画像制御部に入力した映像データの１例であり、図７は画像制御部に入力した映像データを投射面に投写し電子ペンを持った腕がその上に影を発生させた状態を示す模式図である。電子ペン７０と電子ペン７０を持つ腕８２が投射面８０上に影８３を発生させている。

電子ペン７０の操作部７６から超音波発生部７１を経由して画面操作信号を発信すると、画面操作信号は超音波に載せられて超音波受信部３２で受信され、画面操作信号識別部３７が画面操作信号の内容を識別して画像制御部４０の画像操作部５０に出力する。

画像操作部５０には、上述のように発信器の位置座標と対応する入力映像内の所定のエリア内の映像情報を複写して入力映像の所定の位置に嵌め込み、複写した映像の嵌め込み位置を、発信器位置の移動に対応して移動させるとともに、複写した映像が新しい発信器の位置に対応して更新される複写映像生成貼り付け部５１や、投射面８０の発信器座標位置にカーソルを生成させ、発信器の移動に対応してカーソルを移動させて描画を行わせる描画部５２や、発生したカーソルに対し制御部でクリック動作を行うことで所望の操作を行わせたりする操作手段などが複数設けられている。

画面操作信号が複写映像生成貼り付けであれば、画面操作信号は複写映像生成貼り付け部５１に送られ、複写映像生成貼り付け部５１は複写映像生成貼り付けを実行する。図８は複写映像生成貼り付け部の模式的ブロック構成図であり、図９は複写映像生成を説明するための映像データの模式図であり、（ａ）はエリア設定を示し、（ｂ）はエリアを複写した複写映像データを示し、図１０は映像データに複写映像データを貼り付けた状態を示す模式図である。

複写映像生成貼り付け部５１は、操作信号受理部５１１、入力映像取得部５１２、発信器座標取得部５１３、複写範囲確定部５１４、映像複写実行部５１５、複写映像加工部５１６、貼り付け位置決定部５１７、貼り付け実行部５１８、継続実行判定部５１９、複写範囲条件格納部５３１、貼り付け位置条件格納部５３２、複写範囲映像加工内容格納部５３３、継続実行可否格納部５３４、複写映像格納部５３５を有する。

複写範囲条件格納部５３１には、予め発信器座標を基点とする複写範囲がいずれかの操作部により設定されており必要の都度変更される。貼り付け位置条件格納部５３２には、予め発信器座標を基点として基点の移動条件によって貼り付け位置が操作部により設定されており必要の都度変更される。複写範囲映像加工内容格納部５３３には、複写範囲映像に、例えば枠をつけたり拡大縮小処理を行なったりするといった加工内容が操作部により設定されており必要の都度変更される。継続実行可否格納部５３４には、複写映像生成を継続して行うか否かが操作部により設定されており必要の都度変更される。継続して行うと発信器の位置移動に対応して複写映像生成貼り付けが繰り返され、貼り付け位置が発信器の移動に対応して移動するとともに複写映像が新しい位置に対応して更新される。複写映像格納部５３５に最も新しい複写映像が格納される。

操作信号受理部５１１が画面操作信号識別部３７から複写映像生成貼り付けの信号を受け取ると、入力映像取得部５１２が入力映像記憶部４３から現在の入力映像を取得し、発信器座標取得部５１３が発信器座標格納部３６から発信器の座標を取得する。複写範囲確定部５１４は、複写範囲条件格納部５３１に予め格納されている発信器座標を基点とする複写範囲を読み出し、現在の入力映像における複写範囲を確定する。映像複写実行部５１５は、確定した入力映像の複写範囲の複写を実行して複写映像を複写映像格納部５３５に格納する。複写映像加工部５１６は、複写範囲映像加工内容格納部５３３から映像加工内容を読み出し、加工の必要があれば複写映像格納部５３５に格納された複写映像を読み出して必要な加工を行って再び複写映像格納部５３５に格納する。貼り付け位置決定部５１７は、貼り付け位置条件格納部５３２に格納されている発信器座標を基点として基点の移動条件として示された貼り付け位置に従って貼り付け位置を入力映像の座標で決定する。貼り付け実行部５１８では、複写映像格納部５３５に格納されている複写映像に入力映像の貼り付け位置の座標を付して画像データ合成部４４に出力し、画像データ合成部４４は入力映像記憶部４３から読み出した入力映像に複写映像を貼り付ける。継続実行判定部５１９では、継続実行可否格納部５３４から継続実行可否格情報を読み出し、可であれば入力映像取得部５１２に戻ってステップを繰り返し、否であれば終了する。

このように、複写映像生成貼り付け部５１は、入力映像記憶部４３から入力映像を呼び出し、発信器座標格納部３６から発信器座標７９を呼び出して、図９（ａ）に示すように入力映像の発信器座標７９の周りの所定の範囲の映像データを、図９（ｂ）に示すように複写して、図１０に示すように画像データ合成部４４で複写した複写映像データ９３を入力した映像データ９１に貼り付けて映像データ９４とし、ＤＡ変換部４５、表示駆動部４６を経由して光束変調部２２に出力し、投射面８０に画像として投写する。

発信器の位置に従って複写エリアと貼り付け位置を移動する継続実行可の条件であれば、発信器の移動位置に対応してこの操作が繰り返されることによって、複写エリアの映像が更新され貼り付け位置が発信器の移動に対応して移動する。このように発表者が投射面８０上で電子ペン７０をドラッグさせると、複写される画像とその貼り付け位置がスクロールする。発表者は自分の手やペンの影で隠れた部分を複写される画像で確認しながら描画を続けることができるため、描きにくさが軽減される。

発表者が投射面８０から電子ペン７０を離して一定時間経過すると、自動的に複写される画像は消えるようにしてもよい。複写された画像が消えるまでの時間も発表者が設定できる。あるいは、複写された画像が表示されている箇所を電子ペン７０で突くか、投写型表示装置本体かリモコンのキーを押したときに消すという方法も取ることができる。

ここでは、これらの設定は電子ペン７０の操作部７６から入力されることとして説明したが、投写型表示装置１０本体の不図示の操作部、投写型表示装置１０に接続する不図示のパソコンの操作部、あるいは、画面の発信器位置に表示されたカーソルの操作によって画面操作信号識別部３７に指示してもよい。

上述の実施の形態では、トリガパルスとして赤外線を、位置検出用として超音波を、それぞれ使用した。人間の目は赤外線に対しては感度が低いため、トリガパルスとしては赤外線を用いることが望ましいが、赤外線以外の電磁波を用いることもできる。例えば、波長０．４０μｍ以上の電磁波であれば、人体への影響も少ない。また、人間の耳は超音波に対しては感度が低いため、位置検出用としては超音波を用いることが望ましいが、超音波以外の波動を用いることもできる。例えば、１５ｋＨｚ以下の振動数の音波であっても、ユーザがうるさいと感じない程度の音量であれば、支障なく用いることができる。

本発明の実施の形態の投写型表示装置の模式的斜視図である。本発明の実施の形態の投写型表示装置の模式的ブロック構成図である。電子ペンの発信器と投写型表示装置との間の赤外線と超音波の発信と受信との関係を示す模式図である。本発明の実施の形態の投写型表示装置の時間差解析発信器位置算出部と発信器座標算出部と発信器座標格納部の模式的ブロック構成図である。発信器の投射面上のＸ、Ｙ座標算出部における投射面上の座標算出動作を説明するための模式図である。画像制御部に入力した映像データの１例である。画像制御部に入力した映像データを投射面に投写し電子ペンを持った腕がその上に影を発生させた状態を示す模式図である。複写映像生成貼り付け部の模式的ブロック構成図である。複写映像生成を説明するための映像データの模式図であり、（ａ）はエリア設定を示し、（ｂ）はエリアを複写した複写映像データを示す。映像データに複写映像データを貼り付けた状態を示す模式図である。

符号の説明

１０投写型表示装置
２０投影部
２１光源
２２光束変調部
２３光学系
２４投写部
３０発信器位置算出部
３１第１の超音波受信部
３２第２の超音波受信部
３３赤外線受光部
３４時間差解析発信器位置算出部
３５発信器座標算出部
３６発信器座標格納部
３７画面操作信号識別部
４０画像制御部
４１入力信号処理部
４２解像度変換部
４３入力映像記憶部
４４画像データ合成部
４５ＤＡ変換部
４６表示駆動部
５０画像操作部
５１複写映像生成貼り付け部
５２描画部
６０中央制御装置
７０電子ペン
７１超音波発生部
７２赤外線発光部
７３、７４超音波信号
７５赤外線パルス
７６操作部
８０投射面
８２腕
８３影
８５投射光軸
９１、９２、９４映像データ
９３複写映像データ
３１１、３２１、７０２超音波信号
３３１、７０１赤外線パルス
３４１赤外線受光時刻（ｔ₀）取得部
３４２第１の超音波受信時刻（ｔ₁）取得部
３４３第２の超音波受信時刻（ｔ₂）取得部
３４４第１の超音波到達時間（ｔ₁−ｔ₀＝Ｔ₁）算出部
３４５第２の超音波到達時間（ｔ₂−ｔ₀＝Ｔ₂）算出部
３４６Ｔ₁距離換算部（＝Ｌ₁）
３４７Ｔ₂距離換算部（＝Ｌ₂）
３４８発信器の投射面上のＸ、Ｙ座標算出部
３５１投射面Ｘ、Ｙ座標の映像内座標変換部
３６１第１の超音波受信部−第２の超音波受信部Ｌ₀格納部
３６２超音波受信部−投射面間距離Ｌ₄格納部
３６３映像内座標格納部
５１１複写信号受理部
５１２入力映像取得部
５１３発信器座標取得部
５１４複写範囲確定部
５１５映像複写実行部
５１６複写映像加工部
５１７貼り付け位置決定部
５１８貼り付け実行部
５１９継続実行判定部
５３１複写範囲条件格納部
５３２貼り付け位置条件格納部
５３３複写範囲映像加工内容格納部
５３４継続実行可否格納部
５３５複写映像格納部

Claims

電磁波発光部および波動発信部を備える発信器と組み合わせて使用され、電磁波受光部および互いに離れて配置された第１の波動受信部と第２の波動受信部とを有する投写型表示装置であって、
前記電磁波受光部における電磁波受光時刻と前記第１の波動受信部および前記第２の波動受信部における波動受信時刻との差を基に、前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの波動到達時間を算出する波動到達時間算出手段と、算出された波動到達時間と音速から、前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの距離を算出する距離算出手段と、算出された前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの距離と、予め記憶されている前記第１の波動受信部と前記第２の波動受信部との間隔および位置算出の基準となる前記波動受信部と前記投射面との間の垂直距離とから、前記発信器の前記波動発生部の前記投射面上の位置座標を算出して、投写映像内における対応する位置座標を算定する発信器座標算定手段と、算定した前記位置座標を逐次格納して前記投写型表示装置の画像制御部に出力する発信器座標格納部と、を備える発信器位置算出部と、
入力した画面操作信号から操作内容を識別して対応する画像操作を画像制御部に指示する画面操作信号識別部と、
前記画像制御部に指示された前記画面操作がエリア複写指示信号であるときは、前記発信器の位置座標に対応して予め設定されている複写範囲、前記発信器の位置座標に対応して予め設定されている嵌めこみ位置の条件に従って、予め設定されている複写範囲の映像情報を複写して、映像情報における予め設定されている嵌めこみ位置に嵌め込んで投射面に投写する複写映像生成貼り付け部と、を有する投写型表示装置。
電磁波発光部および波動発信部を備える発信器と組み合わせて使用され、電磁波受光部および互いに離れて配置された第１の波動受信部と第２の波動受信部とを有する投写型表示装置であって、
前記電磁波受光部における電磁波受光時刻と前記第１の波動受信部および前記第２の波動受信部における波動受信時刻との差を基に、前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの波動到達時間を算出する波動到達時間算出手段と、算出された波動到達時間と音速から、前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの距離を算出する距離算出手段と、算出された前記波動発信部から前記第１の波動受信部および前記第２の波動受信部までの距離と、予め記憶されている前記第１の波動受信部と前記第２の波動受信部との間隔および位置算出の基準となる前記波動受信部と前記投射面との間の垂直距離とから、前記発信器の前記波動発生部の前記投射面上の位置座標を算出して、投写映像内における対応する位置座標を算定する発信器座標算定手段と、算定した前記位置座標を逐次格納して前記投写型表示装置の画像制御部に出力する発信器座標格納部と、を備える発信器位置算出部と、
入力した画面操作信号から操作内容を識別して対応する画像操作を画像制御部に指示する画面操作信号識別部と、
前記画像制御部に指示された前記画面操作信号がエリア複写指示信号であるときは、前記発信器の位置座標と対応して予め設定されている複写範囲、前記発信器の位置座標と対応して予め設定されている嵌めこみ位置の条件に従って、前記発信器の位置座標の移動に伴って予め設定されている複写範囲の映像情報を逐次複写して、前記発信器の位置座標の移動に伴って予め設定されている嵌めこみ位置に嵌め込んで投射面に投写する複写映像生成貼り付け部と、を有する投写型表示装置。
前記画面操作信号がカーソルを用いた描画信号であるときは、前記発信器位置をカーソル位置として前記投射面にカーソルを投射し、該発信器の位置の移動に対応して投射画像に描画が行われる描画部を有する、請求項１または請求項２に記載の投写型表示装置。
前記発信器は前記画面操作信号を前記波動発信部から出力する波動に乗せて発信する操作部を有し、
前記画面操作信号識別部は、前記波動受信部で受信した波動から前記画面操作信号を識別して前記画像制御部に出力する、請求項１から請求項３のいずれか１項に記載の投写型表示装置。
前記発信部は電子ペンに設けられている、請求項４に記載の投写型表示装置。
前記画面操作信号識別部は、前記投写型表示装置の操作部から入力した前記画面操作信号を識別して前記画像制御部に出力する、請求項１から請求項３のいずれか１項に記載の投写型表示装置。
前記画面操作信号認識部は、前記投写型表示装置に接続された装置の操作部から入力した画面操作信号を識別して前記画像制御部に出力する、請求項１から請求項３のいずれか１項に記載の投写型表示装置。
前記投写型表示装置が、開口構造を有する筐体に画像投射のための投射ミラーを備える投写型表示装置である、請求項１から請求項７のいずれか１項に記載の投写型表示装置。
前記電磁波は赤外線であり、前記波動は超音波である、請求項１から請求項８のいずれか１項に記載の投写型表示装置。