JP6565133B2

JP6565133B2 - 双方向表示方法および双方向表示装置

Info

Publication number: JP6565133B2
Application number: JP2014075191A
Authority: JP
Inventors: 俊今井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-04-01
Filing date: 2014-04-01
Publication date: 2019-08-28
Anticipated expiration: 2034-04-01
Also published as: JP2015197781A

Description

本発明は双方向表示方法および双方向表示装置に関する。

近年、タッチパネルディスプレイを設けることにより、画面に対する操作を受け付ける
デバイスが利用されるようになってきた。また、プロジェクターのような投写型の表示装
置においても、赤外線ライトカーテン等を用いて画面に対する操作を受け付ける機能が実
現されている。

画面に対する操作を受け付ける領域（操作領域）を設定するにあたっては、設定された
操作領域が操作領域であることをユーザーが容易に認識できることが好ましい。画面とア
スペクト比が異なる外部画像を表示する場合、特許文献１に記載されているように、画面
には外部画像が配置されない領域が生じる。視認性向上のため、外部画像が配置されない
領域の外側は一般に黒く描画される。

特開２０１３−９７３５４号公報特開２００２−１９６７３６号公報

ところで、プロジェクターにおいて、外部画像が配置されない領域の外側を黒い画素と
して描画すると、プロジェクターが黒い画素として投写する領域と、プロジェクターが画
素を投写する領域の外の領域との境界を投写面において認識することは困難である。した
がって、プロジェクターが画素を投写する領域全体のうち、外部画像が配置されない領域
を操作領域として設定すると、操作領域の境界を投写面において認識することが困難にな
る。また、外部画像が配置されない領域を操作領域として設定すると、複数の外部画像が
投写面に表示される場合に、操作領域を認識することがユーザーにとってさらに困難にな
る。また、外部画像が配置されない領域を操作領域として設定すると、外部画像の入力ソ
ースの切換によって操作領域が変化した場合も、操作領域を認識することがユーザーにと
ってさらに困難になる。

本発明は、このような問題を解決するために創作されたものであって、画面に対する操
作が画面に反映される領域をユーザーが画面で認識することを容易にすることを目的の１
つとする。

（１）上記目的を達成するための双方向表示方法は、外部機器から画像信号を入力する
画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前
記画面の操作領域に対する操作を検出する操作検出ステップと、前記画像信号に基づく外
部画像が収まり前記外部画像と少なくとも一辺が重なる矩形を前記操作領域として前記外
部画像に応じて設定する領域設定ステップと、前記外部画像を表示するための前記表示信
号を出力する描画ステップと、を含む。

本発明によると、操作領域の境界が、外部画像の辺の延長線として辺を想定できる矩形
であるため、操作領域をユーザーが画面で認識することが容易になる。なお、外部画像の
１辺だけに辺が重なる矩形領域を操作領域として設定しても良いし、外部画像の隣り合う
２辺に２辺が重なる（すなわち１つの頂点を共通とする）矩形領域を操作領域として設定
しても良いし、外部画像の３辺に３辺が重なる矩形領域を操作領域として設定しても良い
し、外部画像の領域そのものである矩形領域を操作領域として設定しても良い。

（２）上記目的を達成するための双方向表示方法の前記描画ステップにおいて、前記操
作領域の境界を描画し、前記境界と前記外部画像を表示するための前記表示信号を出力し
てもよい。
例えば、操作領域と操作領域の外側領域とが同じ色で描画される場合、操作領域の境界
線を異なる色で描画することにより、操作領域をユーザーが画面で認識することがさらに
容易になる。また例えば、操作領域の内側と外側とで画素の色を異ならせることによって
境界を描画しても、操作領域をユーザーが画面で認識することがさらに容易になる。

（３）上記目的を達成するための双方向表示方法において、前記描画ステップにおいて
、前記操作領域に対する操作に対応するオブジェクトを描画し、前記オブジェクトと前記
外部画像とを表示するための前記表示信号を出力してもよい。
この構成を採用することにより、例えばユーザーは表示された外部画像に対するコメン
トを画面に対する操作によって外部画像とともに表示させることができる。

（４）上記目的を達成するための双方向表示方法において、前記領域設定ステップにお
いて、前記画像信号を入力する外部機器が切り替わった場合、前記操作領域を再設定して
もよい。
この構成を採用することにより、外部機器が切り替わって外部画像のアスペクト比が変
わったり、画像信号を入力する外部機器の数にともなって複数の外部画像が並べて表示さ
れるように画面構成が変わったとしても、操作領域をユーザーが投写面で認識することが
容易になる。

（５）上記目的を達成するための双方向表示方法において、前記領域設定ステップにお
いて、前記外部画像を矩形のテンプレート領域に配置し、前記テンプレート領域と少なく
とも一辺が重なる矩形を前記操作領域として設定してもよい。
情報処理装置の画面のアスペクト比は年々多様化している。この構成を採用することに
より、画像信号を入力する外部機器のアスペクト比の種類数よりも、外部画像に応じて設
定される操作領域の種類数を低減することができるため、操作領域をユーザーが投写面で
認識することが容易になる。

尚、本発明は、双方向表示装置に適用することも可能である。また請求項に記載された
各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能
が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これ
ら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに
限定されない。

本発明の実施形態にかかる画面構成図。本発明の実施形態にかかるブロック図。本発明の実施形態にかかるフローチャート。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。本発明の実施形態にかかる画面構成図。

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応
する構成要素には同一の符号が付され、重複する説明は省略される。

１．概要
本発明の双方向表示装置の一実施例としてのプロジェクター１は、画面としての壁、机
、専用スクリーン等の投写面に画像を投写して表示する装置である。プロジェクター１は
、ＰＣ、スマートフォン等の外部機器から入力される画像信号に基づく外部画像を投写す
る第一モードと、投写面に対する操作に対応する操作入力画像と外部画像とを投写する第
二モードとで動作する。

図１Ａに示すように、第一モードでは、外部画像Ａ２２を配置したウインドウ画像Ａ２
が投写され、投写領域Ａ１内のウインドウ画像Ａ２の背面領域も、ウインドウ画像Ａ２内
の外部画像Ａ２２の背面領域の色も黒になる。ここでウインドウ画像とは、投写面におい
て矩形になるようにプロジェクターが扱う最大領域の画像である。投写光源から投写面ま
での距離が投写面上の位置によって異なる場合、プロジェクター内で矩形の画像を描画し
ても、投写面に結ばれる画像はその相似形にならない。このために投写面上で矩形になる
ように調整される画像がウインドウ画像である。

図１Ｂに示すように、第二モードでは、外部画像Ａ２２と曲線等の操作入力オブジェク
トＡ２１ｇを含む操作入力画像Ａ２１とを重ねて配置する。第二モードでは、投写領域Ａ
１内のウインドウ画像Ａ２の背面領域の色は第一モードと同じ黒であるが、ウインドウ画
像Ａ２内の外部画像Ａ２２の背面領域の色が第一モードと異なる白になる。

プロジェクター１は、第二モードでは、操作領域に対する操作を検出すると、操作軌跡
に対応する操作入力オブジェクトＡ２１ｇを描画して投写する。操作領域は、外部入力画
像Ａ２２の２辺と２辺が重なり外部入力画像Ａ２が収まる矩形領域（図１Ｂの例ではウイ
ンドウ画像Ａ２の領域全体）に設定される。したがって、操作領域の境界線を外部画像Ａ
２２の辺の延長上に想定できるため、投写面に対する操作が投写画像に反映される領域を
ユーザーが投写面で認識することが容易である。

２．プロジェクターの構成
図２に示すように、プロジェクター１は、第一筐体１ａに、光源駆動部１６、投写光源
１７、液晶ライトバルブ１０、液晶駆動部１１を表示部として備えるほか、画像信号入力
部１４、制御部１５、外部記憶１５１、操作部１８、電源部１９等を備えている。またプ
ロジェクター１は、第一筐体１ａと接続された第二筐体１ｂに、操作検出部として受信部
２１と位置検出部２２とを備えている。さらにプロジェクター１は、送信部として電子ペ
ン２３を備えている。

投写光源１７は、高圧水銀灯、ＬＥＤ（Light emitting diode）、レーザー等によって
構成され、光源駆動部１６によって駆動される。画像信号入力部１４は、ＵＳＢ端子、イ
ーサネット（登録商標）端子、ＲＳ２３２ｃ端子等の複数種類の入力端子を備え、外部機
器から各種の画像信号が入力される。領域設定部および描画部として機能する制御部１５
は、外部記憶１５１に格納されている制御プログラムを実行することにより、プロジェク
ター１の各部を制御する。また制御部１５は、画像信号処理部１３とＯＳＤ処理部１２と
を備え、外部機器から入力された画像信号と位置検出部２２から入力される操作位置信号
とに基づいて描画処理を実行し、表示信号としての投写信号を出力する。画像信号処理部
１３は、外部機器から入力された画像信号と位置検出部２２から入力される操作位置信号
とに基づく描画処理の結果としてウインドウ画像データを出力する。ＯＳＤ処理部１２は
、ウインドウ画像データに基づいて液晶ライトバルブ１０に対応する投写信号を出力する
。液晶駆動部１１は、ＯＳＤ処理部１２から出力される投写信号を、液晶ライトバルブ１
０の各画素を駆動するためのアナログ信号に変換する。液晶ライトバルブ１０は、投写光
源１７から放射され図示しないダイクロイックミラーによって分離された赤、緑、青の波
長の光の透過率をそれぞれが画素毎に制御する３つの液晶パネル１０ａ、１０ｂ、１０ｃ
を備える。操作部１８は、ＯＳＤメニューを投写する指示を入力するためのメニューキー
１８１や、ＯＳＤメニューの項目を選択するための選択キー１８２や決定キー１８３や、
外部電源から電源部１９への電力供給をオンおよびオフするための電源スイッチ１８４を
備える。電源部１９は、プロジェクター１の各部に電力を供給する。

受信部２１は、投写領域Ａ１全体を撮像する赤外線ビデオカメラであって、赤外線波長
の光を受光し、投写領域Ａ１内で電子ペン２３の先端が投写面に接触している期間中、電
子ペン２３から照射される赤外線波長の光に対応する画像データを出力する。位置検出部
２２は、受信部２１から出力される画像データを解析することにより、赤外線波長の光の
発光位置、すなわち電子ペン２３の位置を検出し、電子ペン２３の位置を示す操作位置信
号を出力する。操作位置信号は、制御部１５によって、ウインドウ画像Ａ２の座標に変換
される。

電子ペン２３は、ペン型の筐体に、接触センサー２３１と発光部２３２と電源スイッチ
２３３とを備える。接触センサー２３１は電子ペン２３の先端に設けられ、対象物との接
触状態と非接触状態とを検出する。発光部２３２は、電子ペン２３の先端近くに設けられ
、接触センサー２３１が対象物との接触状態を検出している期間中、操作信号として赤外
線波長の光を照射する。電源スイッチ２３３は、図示しない電池から接触センサー２３１
および発光部２３２への電力供給を制御するためのスイッチである。電源スイッチ２３３
は、ペンホルダー２３４から電子ペン２３が取り外されたときと、ペンホルダー２３４に
電子ペン２３が取り付けられたときに自動的に作動する。電源スイッチ２３３は、ペンホ
ルダー２３４から電子ペン２３が取り外されたときに接触センサー２３１および発光部２
３２への電力供給をオンし、ペンホルダー２３４に電子ペン２３が取り付けられたときに
接触センサー２３１および発光部２３２への電力供給をオフにする。ペンホルダー２３４
は、電子ペン２３が取り外された状態と取り付けられた状態とを検出する図示しないセン
サーを備える。

３．双方向投写方法
３−１．領域設定
まず投写領域内においてウインドウ画像が描画される領域と、ウインドウ画像内におい
て外部画像が描画される領域と、ウインドウ画像内の操作領域との設定について図３を参
照しながら説明する。
制御部１５は、画像信号入力部１４に新たな外部機器から画像信号が入力されると図３
に示す領域設定処理を開始する（Ｓ０）。具体的には、任意の入力端子への画像信号の入
力が開始されたことを画像信号入力部１４が検出すると、制御部１５はステップＳ１以後
の領域設定処理を開始する。したがって、画像信号を入力する外部機器が切り替わった場
合には、描画領域及び操作領域が再設定されることになる。

画像信号入力部１４に新たな外部機器から画像信号が入力されると、制御部１５は、ウ
インドウ画像内に外部画像をどのように配置するかという画面構成を設定する（Ｓ１）。
本実施例では、画面構成として、１つの外部画像をウインドウ画像の中央に配置する一画
面表示、ウインドウ画像の領域を水平方向において２つに等分割し、それぞれの領域に１
つの外部画像を配置する二画面等分割表示、ウインドウ画像を水平方向に２つに不等分割
し、それぞれの領域に１つの外部画像を配置する二画面不等分割表示のいずれかを設定で
きるものとする。具体的には、制御部１５は、設定可能な画面構成の選択肢を含むＯＳＤ
メニューを投写するための投写信号を出力し、操作部１８を用いてユーザーが選択する画
面構成を設定する。

次に制御部１５は、画像信号入力部１４に入力される画像信号の画面解像度等のフォー
マットを判定する（Ｓ２）。

次に制御部１５は、画面構成と画像信号入力部１４に入力される画像信号の解像度と液晶ライトバルブ１０の有効領域の解像度（リアル解像度）と台形歪み補正値とに基づいて外部画像の描画領域を設定する（Ｓ３）。具体的には、液晶ライトバルブ１０の有効領域の解像度と台形歪み補正値とによって、プロジェクター１が投写可能な最大領域である投写領域に対するウインドウ画像の描画領域が決まる。台形歪み補正が実施される場合、ウインドウ画像Ａ２の描画領域は、図４Ｃに破線Ａ２ｓで示すようにプロジェクター１が投写可能な最大領域である投写領域Ａ１よりも小さい非矩形になる。なお、台形歪みの補正値は、投写状態を検出した結果に基づいて自動で設定しても良いし、ＯＳＤメニューを用いてユーザーに設定させても良い。さらに画面構成によって１つの外部画像を描画できるウインドウ画像内の最大領域が決まる。さらに、その最大領域のアスペクト比と外部画像のアスペクト比とに応じてウインドウ画像内で外部画像の描画領域が決まる。このようにして投写領域Ａ１に対するウインドウ画像Ａ２の描画領域Ａ２ｓを設定し、ウインドウ画像Ａ２に対する外部画像Ａ２２の描画領域Ａ２２ｓを設定することにより、液晶ライトバルブ１０の有効領域に対応する投写領域Ａ１に対する外部画像Ａ２２の描画領域が設定されることになる。詳細については後述する。

次に制御部１５は、外部画像の描画領域に基づいて操作領域を設定する（Ｓ４）。具体
的には、外部画像の描画領域の向かい合う２辺と操作領域の向かい合う２辺とが重なり、
外部画像の描画領域の他の向かい合う２辺とウインドウ画像の向かい合う２辺とが重なる
矩形領域が操作領域として設定される。詳細については後述する。

３−２．第一モードの描画処理
制御部１５は、外部機器から入力される画像信号に基づいて、設定した描画領域と解像
度が一致するように外部画像を拡大または縮小して描画する。
第一モードでは、制御部１５は、投写領域Ａ１内のウインドウ画像Ａ２の背面領域も、
ウインドウ画像Ａ２内の外部画像の背面領域も黒色で描画する。制御部１５は、第一モー
ドでは、このように投写領域Ａ１を描画することにより、液晶ライトバルブ１０を構成す
る画素に対応する投写信号を出力する。その結果、第一モードでは、図１Ａに示すように
、投写領域Ａ１の外部画像Ａ２２以外の部分は黒く投写される。なお、破線Ａ２は、ウイ
ンドウ画像Ａ２に対応する領域を示すための仮想的な線であって、実際に投写される線で
はない。

３−３．一画面表示
一画面表示の画面構成が設定され、ウインドウ画像とアスペクト比が一致する画像を表
す画像信号が入力される場合、制御部１５は、ウインドウ画像の描画領域そのものを外部
画像の描画領域として設定する。

一画面表示の画面構成が設定され、図４Ａに示すようにウインドウ画像とアスペクト比
が異なる画像を表す画像信号が入力される場合、制御部１５は、図４Ｂに示すように、外
部画像Ａ２２の描画領域Ａ２２ｓとウインドウ画像の２辺が重なり、ウインドウ画像の描
画領域から外部画像Ａ２２がはみ出さず、外部画像Ａ２２の描画領域Ａ２２ｓとウインド
ウ画像の描画領域の重心が一致するように、外部画像Ａ２２の描画領域Ａ２２ｓを設定す
る。

３−４．二画面等分割表示
二画面等分割表示の画面構成が設定される場合、制御部１５は、図５Ａの一点鎖線で示
すようにウインドウ画像Ａ２の領域を左右に二等分する。そして制御部１５は、左右いず
れか一方の領域を、第一の外部機器から入力された画像信号に基づく第一の外部画像を描
画する最大領域として割り当て、左右いずれか他方の領域を、第二の外部機器から入力さ
れた画像信号に基づく第二の外部画像を描画する最大領域として割り当てる。

画像が縦長になる画像信号が入力される場合、制御部１５は、図５Ｂに破線で示す領域
（テンプレート領域）を定めたテンプレートＡ２２ｓを用いて外部画像の描画領域を設定
する。テンプレートＡ２２ｓは、外部画像を描画する左右いずれか一方の最大領域に対し
て、その中央に配置される縦長の領域を、外部画像を収めるべき描画領域として定める。
テンプレートＡ２２ｓと外部画像のアスペクト比が同じ場合、外部画像のウインドウ画像
Ａ２に対する描画領域はテンプレートＡ２２ｓの領域そのものとなる。図５Ｂに示すよう
にテンプレートＡ２２ｓと外部画像Ａ２２のアスペクト比が異なる場合、テンプレートＡ
２２ｓに収まり、外部画像Ａ２２とアスペクト比が一致し、向かい合う二辺がテンプレー
トＡ２２ｓの向かい合う二辺と重なる領域が外部画像Ａ２２のウインドウ画像Ａ２に対す
る描画領域として設定される。

画像が横長になる画像信号が入力される場合、制御部１５は、図５Ｃに示すように、外
部画像を描画する最大領域の向かい合う２辺に対して外部画像Ａ２２の２辺が重なり、外
部画像を描画する最大領域から外部画像Ａ２２がはみ出さず、外部画像を描画する最大領
域の重心と外部画像Ａ２２の重心が一致するように、外部画像Ａ２２の描画領域を設定す
る。

３−５．二画面不等分割表示
二画面不等分割表示の画面構成が設定される場合、制御部１５は、図６Ａの一点鎖線で
示すようにウインドウ画像Ａ２の領域を左右に異なる割合で分割し、それぞれの領域を、
外部画像を描画する最大領域として割り当てる。分割比率は予め決められていても良いし
、ユーザーが設定できるようにしても良い。

画像が縦長になる画像信号が入力される場合、制御部１５は、外部画像を描画する最大
領域に対してテンプレートＡ２２ｓを用いて外部画像の描画領域を設定する。画像が横長
になる画像信号が入力される場合、制御部１５は、外部画像を描画する最大領域に収まる
矩形領域であって、その最大領域の向かい合う二辺と向かい合う二辺が重なり、かつ、外
部画像とアスペクト比が一致する矩形領域を外部画像の描画領域として設定する。その結
果、横長の外部画像Ａ２２ａと縦長の外部画像Ａ２２ｂは、図６Ｂに示すようにウインド
ウ画像Ａ２に描画される。

３−６．第一モードから第二モードへの遷移
プロジェクター１は、次に述べる複数のトリガーに応じて第一モードから第二モードへ
遷移する。
第一のトリガーは、画像信号入力部１４のＵＳＢ端子への外部機器の接続である。制御
部１５は画像信号入力部１４のＵＳＢ端子への外部機器の接続を検出すると、第一モード
から第二モードに遷移する。

第二のトリガーは、ＯＳＤメニューの操作である。操作部１８のメニューキー１８１等
が操作されると、制御部１５は例えば図７Ａに示すようにモードを選択するためのＯＳＤ
メニューＡ２３を最前面に描画したウインドウ画像Ａ２を生成し、項目の選択を待機する
。ＯＳＤメニューＡ２３には、第一モードを意味する「標準モード」と第二モードを意味
する「インタラクティブモード」が選択項目として配置される。第一モードにおいて操作
部１８の選択キー１８２と決定キー１８３を用いて「インタラクティブモード」が選択さ
れると、制御部１５は第一モードから第二モードに遷移する。すなわち、ＯＳＤメニュー
Ａ２３における「インタラクティブモード」の選択は、第一モードから第二モードに遷移
する遷移指示として検出され、選択キー１８２と決定キー１８３は遷移指示を検出するた
めの操作スイッチとして機能する。

第三のトリガーは、電子ペン２３の操作である。具体的には、ペンホルダー２３４から
電子ペン２３が取り外されると、ペンホルダー２３４はこれを検出し、制御部１５に通知
する。その結果、制御部１５は第一モードから第二モードに遷移する。また、ペンホルダ
ー２３４から電子ペン２３が取り外された後にユーザーがペンホルダー２３４に戻さずに
電源スイッチ２３３をオフ操作し、その後再びオン操作したときに第一モードから第二モ
ードに遷移しても良い。この場合、電源スイッチ２３３のオン操作とオフ操作とを電子ペ
ン２３から制御部１５に通知する手段が必要になるが、例えば電子ペン２３の発光部２３
２をその手段として用いることができる。

第四のトリガーは、投写面の予め決められた領域に対する操作である。投写面の予め決
められた領域に対する操作を第一モードで検出するためには、第一モードでも電子ペン２
３、受信部２１および位置検出部２２を作動させておく必要がある。また、投写面の予め
決められた領域をユーザーが認識できるように、制御部１５は、図７Ｂに示すように、そ
の領域にモード切替アイコンＡ２１ｆを第一モードにおいて描画することが好ましい。な
お、第一モードにおいて投写面の予め決められた領域に対する操作を第二モードへの遷移
指示として受け付けるか否かをユーザーが選択できるようにしても良い。

３−７．第二モードの描画処理
第二モードにおける外部画像の描画処理は、第一モードと同様である。すなわち、外部
画像が同一である場合、外部画像の描画領域は、第一モードから第二モードに遷移しても
変化しない。
第二モードにおいて、制御部１５は、図１Ｂに示すように投写領域Ａ１内のウインドウ
画像Ａ２の背面領域を黒色で描画し、ウインドウ画像Ａ２内の外部画像Ａ２２の背面領域
を白色で描画する。したがって第一モードから第二モードに遷移すると、ウインドウ画像
Ａ２の領域内において外部画像Ａ２２の背面領域の色が黒から白に変化する。

第二モードでは、投写面の操作領域に対する操作に対応する操作入力画像Ａ２１が外部
画像Ａ２２とともにウインドウ画像Ａ２の白い背面領域の前面に配置される。操作入力画
像Ａ２１はプロジェクター１の制御部１５が独自に生成する画像である。このため、投写
面の操作領域Ａ２４に対する操作に対する操作入力画像Ａ２１の応答が速い。なお、操作
入力画像Ａ２１の解像度はウインドウ画像Ａ２の解像度と同じである。操作入力画像Ａ２
１の描画領域には、各種のアイコンＡ２１ａ，Ａ２１ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１ｅ
、Ａ２１ｆ、Ａ２１ｐと、電子ペン２３を用いた操作領域Ａ２４Ａに対する操作に対応す
る操作入力オブジェクトＡ２１ｇ等が制御部１５によって描画される。

アイコンＡ２１ａ，Ａ２１ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１ｅは、投写面の操作領域に
対する電子ペン２３を用いた操作をどのような図形として操作入力画像Ａ２１に反映させ
るかをユーザーに選択させるための領域を示している。すなわち制御部１５は、アイコン
Ａ２１ａ，Ａ２１ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１ｅが描画された領域を示す操作位置信
号が位置検出部２２から入力されると、それぞれの領域に対応する描画処理を準備する。
例えば、アイコンＡ２１ａが投写される領域に電子ペン２３の先端が接触すると、制御部
１５は、その後の操作領域に対する電子ペン２３の先端の接触軌跡を操作入力オブジェク
トＡ２１ｇとして操作領域の最前面に描画する。アイコンＡ２１ｂが投写される領域に電
子ペン２３の先端が接触すると、制御部１５は、操作入力画像Ａ２１に描画する線の太さ
を変更する。アイコンＡ２１ｃが投写される領域に電子ペン２３の先端が接触すると、制
御部１５は、その後の操作領域Ａ２４に対する電子ペン２３の先端の接触軌跡の始点と終
点を対角線の両端とする矩形を操作領域の最前面に描画する。アイコンＡ２１ｄが投写さ
れる領域に電子ペン２３の先端が接触すると、制御部１５は、その後の操作領域Ａ２４に
対する電子ペン２３の先端の接触軌跡の始点と終点を対角線とする矩形に内接する楕円を
操作領域の最前面に描画する。アイコンＡ２１ｅが投写される領域に電子ペン２３の先端
が接触すると、制御部１５は、その後の操作領域Ａ２４に対する電子ペン２３の先端の接
触軌跡上において、それ以前の電子ペン２３を用いた操作領域Ａ２４に対する操作に対応
する操作入力オブジェクトＡ２１ｇを消去する。またこれらのアイコンＡ２１ａ，Ａ２１
ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１ｅに対応する描画処理が準備または実行されている期間
中、制御部１５は、対応するアイコンＡ２１ａ，Ａ２１ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１
ｅを強調するための描画をする。そして、第二モードにおいてモード切替アイコンＡ２１
ｆが投写される領域に電子ペン２３の先端が接触すると、制御部１５は第一モードに遷移
する。

３−８．操作領域
一画面表示の画面構成では、図４Ｂに示すようにウインドウ画像Ａ２よりも外部画像が
縦長の場合、外部画像の描画領域Ａ２２ｓの上下の２辺がウインドウ画像Ａ２の上下の２
辺に重なるため、ウインドウ画像Ａ２の全体が操作領域として設定される。また一画面表
示の画面構成では、図８Ａに示すようにウインドウ画像Ａ２よりも外部画像Ａ２２が横長
の場合、外部画像Ａ２２の描画領域の左右の２辺がウインドウ画像Ａ２の左右の２辺に重
なるため、ウインドウ画像Ａ２の全体が操作領域Ａ２４として設定される。そしてウイン
ドウ画像Ａ２と外部画像のアスペクト比が一致する場合にも、ウインドウ画像Ａ２の全体
が操作領域として設定される。すなわち、画面構成が一画面表示の場合、制御部は、ウイ
ンドウ画像Ａ２の全域を操作領域として設定する。

二画面等分割表示または二画面不等分割表示の画面構成が設定される場合、制御部１５は、図８Ｂおよび図８Ｃに破線で示すように、２つの外部画像Ａ２２ａ、Ａ２２ｂのうち垂直方向に長い方の外部画像の上下の２辺に上下の２辺が重なり、ウインドウ画像Ａ２の左右の２辺に左右の２辺が重なる矩形の領域を操作領域Ａ２４として設定する。したがって二画面等分割表示または二画面不等分割表示の場合、操作領域Ａ２４は、ウインドウ画像Ａ２よりも狭い領域になる。制御部１５は、投写面の操作領域Ａ２４の外側の領域に対して操作がされたとしても、すなわち、操作領域Ａ２４の外側の領域に対応する操作位置信号が入力されたとしても、対応する図形をウインドウ画像Ａ２に描画しない。

既に述べたように制御部１５は、第一モードでも第二モードでも、投写領域Ａ１内のウ
インドウ画像Ａ２の背面領域を黒く描画するが、ウインドウ画像Ａ２内の外部画像の背面
領域については、第一モードでは黒く描画し、第二モードでは白く描画する。したがって
第一モードから第二モードに遷移すると、図１Ｂおよび図９に示すように操作領域の左右
の境界線が、黒色の領域と白色の領域の境界として投写されることになる。

また二画面等分割表示または二画面不等分割表示の画面構成が設定される場合、操作領
域がウインドウ画像Ａ２の描画領域よりも垂直方向に狭くなるため、第二モードにおいて
制御部１５は、図９に示すように操作領域の上の境界線Ａ２４ａと下の境界線Ａ２４ｂを
ウインドウ画像Ａ２に描画する。このため第一モードから第二モードに遷移すると、操作
領域の４辺に境界線が現れることになる。なお、境界線Ａ２４ａ、２４ｂの色は、ウイン
ドウ画像Ａ２の背面領域の色でない色であれば良い。

４．ウインドウ画像の印刷
制御部１５は、第二モードにおいて印刷指示が入力された場合、ウインドウ画像を印刷
するための印刷データを出力することが可能である。図９に示すアイコンＡ２１ｐは、印
刷指示を入力するために投写面に電子ペン２３の先端を接触させるべき領域を示している
。すなわち制御部１５は、アイコンＡ２１ｐが描画された領域を示す操作位置信号が位置
検出部２２から入力されると、その入力を印刷指示として受け付ける。このとき電子ペン
２３は印刷指示入力部として機能することになる。

第二モードにおいて印刷指示が入力されると、制御部１５は、台形補正されていないウ
インドウ画像Ａ２に基づいて印刷データを出力する。具体的には、ウインドウ画像Ａ２を
表すビットマップ形式の画像データを、プロジェクター１に対応するプリンターが処理可
能な形式の印刷データに変換して出力する。印刷データはプロジェクター１に接続された
プリンターに直接出力しても良いし、リムーバブルメモリに出力しても良い。また印刷デ
ータはプリンターに固有のフォーマットでも良いし、ＰＤＦ等の汎用的なフォーマットで
も良い。

第二モードにおいては、ウインドウ画像Ａ２内のアイコンＡ２１ａ，Ａ２１ｂ，Ａ２１
ｃ，Ａ２１ｄ，Ａ２１ｅ，Ａ２１ｆ、Ａ２１ｐ、境界線Ａ２４ａ、Ａ２４ｂ、操作領域に
対する操作に対応する文字や図形Ａ２１ｇおよび外部画像Ａ２２の背面領域は白く描画さ
れる。このため、ウインドウ画像Ａ２を表すビットマップ形式の画像データを変換して出
力される印刷データに基づいて印刷を実行する場合、プリンターは、アイコンＡ２１ａ，
Ａ２１ｂ，Ａ２１ｃ，Ａ２１ｄ，Ａ２１ｅ，Ａ２１ｆ、Ａ２１ｐ、操作領域Ａ２４Ａに対
する操作に対応する文字や図形Ａ２１ｇ、外部画像Ａ２２以外の領域にインクやトナーを
付着させない。例えば、インクジェットプリンターで印刷を実行する場合、その領域に対
する印刷デューティーはゼロになる。なお、アイコンＡ２１ａ，Ａ２１ｂ，Ａ２１ｃ，Ａ
２１ｄ，Ａ２１ｅ，Ａ２１ｆ、Ａ２１ｐ、境界線Ａ２４ａ、Ａ２４ｂを印刷対象から除外
してウインドウ画像Ａ２を表すビットマップ形式の画像データを印刷データに変換しても
良い。

以上説明した実施例によると、操作領域が外部画像の辺の延長線としてその境界を認識
できる矩形であって、操作領域の境界線が画面に表示されるため、操作領域をユーザーが
画面で認識することが容易になる。さらに外部画像と操作入力画像とを投写する第二モー
ドでは、操作領域内の外部画像の背面領域の色が第一モードの黒と異なる色であるため、
投写面に対する操作が投写画像に反映される操作領域をユーザーが投写面で認識すること
が容易になる。特に操作領域内の外部画像の背面領域の色が、第二モードではホワイトボ
ードや白紙を連想する白になるため、投写面に対する操作が投写画像に反映される操作領
域をユーザーが投写面で認識することがさらに容易になる。さらに、ウインドウ画像内に
操作領域の境界線を投写することにより、ウインドウ画像内で投写面に対する操作が投写
画像に反映される操作領域をユーザーが投写面で認識することがさらに容易になる。そし
て、画像信号を入力する外部機器が切り替わった場合には、描画領域及び操作領域が再設
定され、再設定された操作領域に対応する境界線が投写されることになるため、外部機器
が切り替わって外部画像のアスペクト比や画面構成が変わったとしても、操作領域をユー
ザーが投写面で認識することは容易である。

また、第二モードへの遷移に伴って操作領域内の外部画像の背面領域の投写形態が変化
するため、投写面に対する操作が投写画像に反映される領域をユーザーが投写面で認識す
ることがさらに容易になる。そして、ＵＳＢ端子に外部機器が接続されると第二モードに
遷移するため、操作領域内の外部画像が配置される領域外の投写形態を変化させるために
ユーザーに要求する操作回数を減らすことができる。また、投写面のアイコンに対する操
作によって操作領域内の外部画像の背面領域の投写形態を変化させるため、ユーザーは投
写面から離れずに操作領域内の外部画像の背面領域の投写形態を変化させることができ、
使い勝手がよい。また電子ペン２３の電源スイッチのオン操作で操作領域内の外部画像の
背面領域の投写形態を変化させることができるため、ユーザーに要求する操作回数を減ら
すことができる。

５．他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨
を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、第二モードにおいて、操作領域の境界線をウインドウ画像の４辺に描画しても
良い。ウインドウ画像の外側を操作領域と同じ形態で描画する場合には、操作領域の境界
線をウインドウ画像の４辺に描画することは特に有効である。また、第二モードにおいて
、ウインドウ画像の操作領域の外側を黒色に描画しても良い。この場合、操作領域の境界
線は、黒色の領域と白色の領域の境界として描画されることになる。また、第二モードに
おいて、操作領域内の外部画像の背面領域も第一モードと同じ黒色に描画しても良い。こ
の場合でも、操作領域の境界線を黒以外の色で描画することにより、ユーザーは操作領域
を投写面で認識することができる。

また、第二モードにおいて、白以外の淡い色で操作領域を描画しても良いし、モノクロ
ームでない色で操作領域を描画してもよい。例えばプリンターの１種類のカラーインクや
カラートナーを用いて印刷できる色であって、印刷デューティーが第一モードよりも低く
なる色で描画してもよい。さらに、第二モードにおける操作領域の形態と、印刷指示が入
力された場合に出力される印刷データにおける操作領域の形態とが異なっていても良い。
例えば、第二モードにおける操作領域には、図１０に示すように方眼を描画し、印刷デー
タにおける操作領域には方眼を描画しないという方法も採用できる。

また例えば、操作領域内の外部画像の背面領域の投写形態を第一モードから変化させる
にあたり、第一モードから第二モードに遷移するタイミングでは変化させずに、第二モー
ドでプロジェクターが作動している期間中に何らかのトリガーを設けて変化させても良い
。例えば、ＯＳＤメニューの操作やＵＳＢ端子への外部機器の接続によって第一モードか
ら第二モードに遷移したタイミングでは、操作領域内の外部画像の背面領域の投写形態を
第一モードから変化させず、第二モードで電子ペンの電源スイッチが操作されたり、第二
モードで電子ペンがペンホルダーから取り外されたり、第二モードで投写面に対する操作
を検出可能な任意の領域に対して最初の操作がなされたり、第二モードでアイコンによっ
て示された所定の領域に対する操作がなされたタイミングにおいて、操作領域内の外部画
像の背面領域の投写形態を第一モードから変化させてもよい。

また例えば、操作領域の境界線を投写するにあたり、第一モードから第二モードに遷移
するタイミングでは境界線を投写せずに、第二モードでプロジェクターが作動している期
間中に境界線を投写する何らかのトリガーを設けて境界線を投写しても良い。例えば、Ｏ
ＳＤメニューの操作やＵＳＢ端子への外部機器の接続によって第一モードから第二モード
に遷移したタイミングでは、境界線を投写せず、第二モードで電子ペンの電源スイッチが
操作されたり、第二モードで電子ペンがペンホルダーから取り外されたり、第二モードで
投写面に対する操作を検出可能な任意の領域に対して最初の操作がなされたり、第二モー
ドでアイコンによって示された所定の領域に対する操作がなされたタイミングにおいて、
境界線の投写を開始してもよい。

また例えば、操作領域はウインドウ画像に内接していても、内接していなくとも良く、
４辺が全てウインドウ画像の辺に重なる矩形領域を操作領域として設定しても良いし、上
下の２辺がウインドウ画像の上下の２辺に重なる矩形領域を操作領域として設定しても良
いし、垂直方向又は水平方向の１辺を除いた３辺がウインドウ画像の辺に重なる矩形領域
を操作領域として設定しても良いし、４辺が全てウインドウ画像の辺よりも内側になる矩
形領域を操作領域として設定しても良い。

また例えば、投写面に対する操作を検出する手段として、レーザーカーテンを用いても
良いし、赤外線波長以外の波長の光を用いても良い。また、電子ペンのように操作信号を
送信する機能を備えた送信部を用いずに、レーザーカーテンから照射されて指で反射する
赤外線波長の光を検出して投写面に対する操作を検出しても良い。

また例えば、画像を投写するために、１つの液晶パネルを用いて光を変調しても良いし
、反射型の液晶パネルを用いて光を変調しても良いし、ＤＭＤ（Digital Mirror Device
）を用いて光を変調しても良い。また例えば投写画像を拡大投写するために凸面鏡を用い
ても良いし、鏡を用いなくても良い。また例えば、タッチパネルディスプレイ等の表示装
置に本発明を適用しても良い。

１…プロジェクター、１ａ…第一筐体、１ｂ…第二筐体、１０…液晶ライトバルブ、１０
ａ…液晶パネル、１０ｂ…液晶パネル、１０ｃ…液晶パネル、１１…液晶駆動部、１２…
ＯＳＤ処理部、１３…画像信号処理部、１４…画像信号入力部、１５…制御部、１６…光
源駆動部、１７…投写光源、１８…操作部、１９…電源部、２１…受信部、２２…位置検
出部、２３…電子ペン、１５１…外部記憶、１８１…メニューキー、１８２…選択キー、
１８３…決定キー、１８４…電源スイッチ、２３１…接触センサー、２３２…発光部、２
３３…電源スイッチ、２３４…ペンホルダー、Ａ１…投写領域、Ａ２…ウインドウ画像、
Ａ２１…操作入力画像、Ａ２１ａ…アイコン、Ａ２１ｂ…アイコン、Ａ２１ｃ…アイコン
、Ａ２１ｄ…アイコン、Ａ２１ｅ…アイコン、Ａ２１ｆ…モード切替アイコン、Ａ２１ｇ
…操作入力オブジェクトＡ２１ｐ…アイコン、Ａ２２…外部画像、Ａ２２ａ…外部画像、
Ａ２２ｂ…外部画像、Ａ２２ｓ…テンプレート、Ａ２３…メニュー、Ａ２４…操作領域、
Ａ２４ａ…境界線、Ａ２４ｂ…境界線

Claims

外部機器から入力される画像信号に基づく外部画像を表示する第一モードと、操作領域に対する操作に基づくオブジェクトと前記外部画像とを合成して表示する第二モードとで動作する双方向表示装置を用いた双方向表示方法であって、
前記外部機器から前記画像信号を入力する画像信号入力ステップと、
表示信号に基づいて画像を画面に表示する表示ステップと、
前記画面の前記操作領域に対する操作を検出する操作検出ステップと、
前記画像信号に基づく前記外部画像が収まり前記外部画像と少なくとも一辺が重なる矩形を前記操作領域として前記外部画像に応じて設定する領域設定ステップと、
前記外部画像を表示するための前記表示信号を出力する描画ステップと、
を含み、
前記操作検出ステップは、前記操作領域に対する操作がされた位置である操作位置を検出し、前記操作位置を示す操作位置信号を出力する位置検出ステップを備え、
前記描画ステップは、前記双方向表示装置が前記第一モードで動作する場合、前記操作領域以外の領域と前記操作領域の背景を同じ色とし、前記双方向表示装置が前記第二モードで動作する場合、前記操作領域以外の領域と前記操作領域の背景を異なる色とし、
前記描画ステップは、前記操作領域に対する操作が検出された場合、前記操作位置信号に基づいて、前記操作位置へ操作入力オブジェクトを描画する
双方向表示方法。
前記描画ステップにおいて、前記操作領域の境界を描画し、前記境界と前記外部画像と
を表示するための前記表示信号を出力する、
請求項１に記載の双方向表示方法。
前記領域設定ステップにおいて、前記画像信号を入力する外部機器が切り替わった場合、前記操作領域を再設定する、
請求項１または２のいずれかに記載の双方向表示方法。
前記領域設定ステップにおいて、前記外部画像を矩形のテンプレート領域に配置し、前記テンプレート領域と少なくとも一辺が重なる矩形を前記操作領域として前記外部画像に応じて設定する、
請求項１から３のいずれか一項に記載の双方向表示方法。
外部機器から入力される画像信号に基づく外部画像を表示する第一モードと、操作領域に対する操作に基づくオブジェクトと前記外部画像とを合成して表示する第二モードとで動作する双方向表示装置であって、
前記外部機器から前記画像信号を入力する画像信号入力部と、
表示信号に基づいて画像を画面に表示する表示部と、
前記画面の前記操作領域に対する操作を検出する操作検出部と、
前記画像信号に基づく前記外部画像が収まり前記外部画像と少なくとも一辺が重なる矩形を前記操作領域として前記外部画像に応じて設定する領域設定部と、
前記外部画像を表示するための前記表示信号を出力する描画部と、
を含み、
前記操作検出部は、前記操作領域に対する操作がされた位置である操作位置を検出し、前記操作位置を示す操作位置信号を出力する位置検出部を更に備え、
前記描画部は、前記双方向表示装置が前記第一モードで動作する場合、前記操作領域以外の領域と前記操作領域の背景を同じ色とし、前記双方向表示装置が前記第二モードで動作する場合、前記操作領域以外の領域と前記操作領域の背景を異なる色とし、
前記描画部は、前記操作領域に対する操作が検出された場合、前記操作位置信号に基づいて、前記操作位置へ操作入力オブジェクトを描画することを特徴とする、
双方向表示装置。