JP2022111670A - 投影装置 - Google Patents

Abstract

【課題】指示体によるグラフィックを入力画像の変化に応じて好適に更新することのできる技術を提供する。【解決手段】本発明の投影装置は、投影面に入力画像を投影する投影手段と、前記投影面のうち、指示体により指示された位置を検出する検出手段と、前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段とを有し、前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するように制御することを特徴とする。【選択図】図５

Description

本発明は、投影装置に関する。

インタラクティブプロジェクターと呼ばれる投影装置は、ユーザーが電子ペンなどの指示体で投影面内の位置を指示すると、入力画像を投影面に投影すると共に、指示体によって指示された位置にグラフィックを投影する。これにより、ユーザーは、例えば手書きのような感覚で、投影面に情報を追加することができる。しかし、指示体によるグラフィックが表示（投影）された状態で入力画像が変化すると、当該グラフィックはユーザーの意図とは異なる形で表示されてしまう。以後の記載において、「グラフィック」は、指示体によるグラフィックを意味する。

例えば、図１１（Ａ）のように、入力画像における特定のテキストを強調すべく、グラフィックとして特定のテキストの下線を表示したとする。その後に、入力画像内でテキストがスクロールすると、図１１（Ｂ）のように、グラフィックを表示する位置（表示位置；投影位置）は変わらず、グラフィックは特定のテキストの下線ではなくなってしまう。

また、図１２（Ａ）のように、グラフィックとして、ウィンドウ（アプリケーションウィンドウ）内の特定の図形に対する補足説明を表示したとする。その後に、ウィンドウの移動や拡縮が行われると、図１２（Ｂ）のように、グラフィックの表示位置は変わらず、グラフィックは特定の図形に対する補足説明に見えなくなってしまう。

特許文献１には、入力画像の一部の領域である監視領域を監視し、監視領域における画像の変化を検知した場合にグラフィックを消去することが開示されている。

特開２０１７－１６９０８６号公報

しかしながら、特許文献１に開示の技術では、入力画像内でのスクロールや移動、拡縮などがあった場合に、監視領域における画像が変化せず、グラフィックが消去されないことがある。また、入力画像内でのスクロールや移動、拡縮などがあった場合には、入力画像の大部分は（表示位置は変わるものの）表示され続ける。そのため、特許文献１に開示の技術では、グラフィックを関連付けるべき領域が表示されているにもかかわらず、グラフィックが消去されてしまうことがある。

そこで本発明は、指示体によるグラフィックを入力画像の変化に応じて好適に更新することのできる技術を提供することを目的とする。

本発明の投影装置は、投影面に入力画像を投影する投影手段と、前記投影面のうち、指示体により指示された位置を検出する検出手段と、前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段とを有し、前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に
移動するように制御することを特徴とする。

本発明によれば、指示体によるグラフィックを入力画像の変化に応じて好適に更新することができる。

投影装置の構成例を示すブロック図である。 投影装置と画像生成装置の接続を示す模式図である。 投影画像の一例を示す模式図である。 初期設定処理の一例を示すフローチャートである。 グラフィック処理の一例を示すフローチャートである。 投影装置の構成例を示すブロック図である。 投影装置と画像生成装置の接続を示す模式図である。 グラフィック処理の一例を示すフローチャートである。 ウィンドウの移動、拡縮時の表示の様子を示す図 グラフィック処理の一例を示すフローチャートである。 従来の投影画像の一例を示す模式図である。 従来の投影画像の一例を示す模式図である。

＜実施例１＞
以下、本発明の実施例１について説明する。図１は、実施例１に係る投影装置１００（プロジェクター）の構成例を示すブロック図である。図１において、細い矢印は制御に用いる各種データの流れを表し、太い矢印は画像データの流れを表す。図１において、制御部１０１は、マイクロコントローラや、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの演算装置により構成される。同様に、撮像制御部１１１、指示体判別部１１３、位置検出部１１４、座標算出部１１５、グラフィック生成部１１６、及び、グラフィック編集部１１７も、マイクロコントローラやＡＳＩＣ、ＦＰＧＡなどの演算装置により構成される。画像処理部１２２、画像合成部１２３、画像補正部１２４、投影制御部１２５、及び、光源制御部１２６も、マイクロコントローラや、ＡＳＩＣ、ＦＰＧＡなどの演算装置により構成される。これら構成要素は、演算装置においてハードウェアまたはソフトウェアとして構成される。

制御部１０１は、制御バスによって投影装置１００内の各構成要素と接続されており、各構成要素の制御、及び、投影装置１００の動作に必要な各種演算処理を行う。

記憶部１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置である。記憶部１０２は、投影装置１００の動作に必要な各種画像と各種情報を記憶する。

操作部１０３は、投影装置１００に対してユーザーが行う操作（ユーザー操作）を受け付ける。例えば、操作部１０３は、ボタンやマウスなどの操作装置と、その制御回路とを含む。操作部１０３は、ユーザーが行った操作を制御部１０１に伝達し、制御部１０１は伝達された操作に応じて投影装置１００の各構成要素を制御する。操作装置は、投影装置１００に対して着脱可能でもあってもよいし、着脱不可能であってもよい。リモートコントローラなどのように、操作装置は、投影装置１００とは別体の装置であってもよい。

通信部１０４は、投影装置１００の外部の装置（外部装置）と通信（データの送受信）を行う。例えば、通信部１０４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信規格の端子と、その処理回路とを含む。通信部１０４は、無線ＬＡＮなどによる無線通信が可能であってもよい。

撮像制御部１１１は、撮像部１１２を制御する。例えば、撮像制御部１１１は、撮像部１１２のＯＮ／ＯＦＦを切り替えたり、撮像部１１２に対して撮像を開始するよう指示（撮像指示）したりする。

撮像部１１２は、画像センサーや赤外線センサーなどの撮像素子を含み、投影面（スクリーン）を少なくとも含む領域を撮像する。投影装置１００は、ユーザーが電子ペンなどの指示体で投影面内の位置を指示すると、入力画像（投影装置１００に入力された画像）を投影面に投影すると共に、指示体によって指示された位置にグラフィックを投影することができる。投影装置１００は、指示体での指示に応じて、指示された位置のグラフィックを編集することもできる。実施例１では、このような動作のために、撮像によって得られた画像（センサー画像）から指示体が検出および判別（識別）される。以後の記載において、「グラフィック」は、指示体によるグラフィックを意味する。

指示体判別部１１３は、撮像部１１２によって得られたセンサー画像から指示体を検出および判別（識別）する。例えば、複数の指示体の間で指示体の発光パターンや発光波長などが異なる場合には、指示体判別部１１３は、指示体間での発光パターンや発光波長などの違いに基づいて、センサー画像から指示体を検出および判別する。実施例１では、指示体判別部１１３は、センサー画像のうち、指示体の発光パターンや発光波長などを示す領域を、当該指示体の領域として検出する。なお、指示体判別部１１３は指示体の検出を行わず、位置検出部１１４によって検出された位置の指示体を判別してもよい。複数の指示体の間で指示体の形状が異なる場合には、指示体判別部１１３は、指示体の形状を用いたパターンマッチングにより指示体を検出および判別してもよい。

実施例１では、ユーザーは、指示体を用いた操作（指示）を行うときに、当該指示体を発光させる。そして、上述したように、指示体判別部１１３は、センサー画像のうち、指示体の発光パターンや発光波長などを示す領域を、当該指示体の領域として検出する。そのため、実施例１では、指示体によって投影面に対する操作が行われるときに、指示体判別部１１３が指示体を検出および判別する。従って、指示体判別部１１３の処理は、指示体による操作を検出する処理の一部と言える。実施例１では、制御部１０１が、指示体判別部１１３、位置検出部１１４、及び、座標算出部１１５を用いて、指示体による操作を検出する（投影面のうち、指示体により指示された位置は指示体判別部１１３や位置検出部１１４で検出される）。なお、指示体による操作の検出方法は特に限定されない。例えば、指示体による操作中に、指示体が所定の情報を発信し、通信部１０４が指示体から所定の情報を受信してもよい。そして、制御部１０１は、通信部１０４が所定の情報を受信しているか否かに応じて、指示体による操作の有無を判定してもよい。

位置検出部１１４は、撮像部１１２によって得られたセンサー画像から指示体の位置を検出する。例えば、位置検出部１１４は、指示体の発光パターンや発光波長などを示す領域の検出や、指示体の形状を用いたパターンマッチングなどの画像解析により、指示体の位置を検出する。複数の指示体が存在する場合には、複数の指示体のそれぞれの位置が検出される。なお、位置検出部１１４は、画像解析とは異なる方法で指示体の位置を検出してもよい。例えば、圧力センサーや静電センサーなどのセンサーを投影面に設け、当該センサーの出力値を通信部１０４が取得してもよい。そして、位置検出部１１４が、得られた出力値に基づいて指示体の位置を検出してもよい。

座標算出部１１５は、位置検出部１１４によって検出された位置（センサー画像内での指示体の位置）を、投影画像（投影面に投影する画像、例えば入力画像）内での位置に座標変換する。この座標変換を正確に行うために、制御部１０１は、座標変換のキャリブレーションを行う。制御部１０１は、キャリブレーションを行うために、所定位置にパターンを含んだ特定の投影画像を、投影部１２９から投影面に投影する。そして、制御部１０１は、特定の投影画像が投影（表示）された状態でのセンサー画像を、撮像部１１２を用いて取得し、センサー画像内でのパターンの位置を、位置検出部１１４を用いて検出する。その後、制御部１０１は、センサー画像内でのパターンの位置と特定の投影画像内でのパターンの位置とを比較し、座標変換のパラメータ（例えば変換マトリクス）を補正する（キャリブレーション）。

グラフィック生成部１１６は、指示体による操作に応じてグラフィックを生成する。実施例１では、グラフィック生成部１１６は、座標算出部１１５により得られた位置（投影画像内での指示体の位置）を用いて描画プレーンにグラフィックを描画する。また、グラフィック生成部１１６は、メニューなどのＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）の生成も行う。

グラフィック編集部１１７は、指示体による操作に応じてグラフィック（描画プレーンに描画されたグラフィック）を編集する。グラフィックの編集は、例えば、グラフィックの消去、拡大、縮小、及び、移動の少なくともいずれかを含む。グラフィックの拡大と縮小は、グラフィックのサイズの変更とも言える。

画像入力部１２１は、投影装置１００の外部から画像（入力画像；画像データ）を取り込む。画像入力部１２１は、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＵＳＢなどの画像通信規格に対応した画像入力回路を含む。

画像処理部１２２は、入力画像に対して画像処理（拡大／縮小処理、色域変換処理、輝度補正処理など）を行い、画像処理後の画像を出力する。画像処理部１２２から出力される画像（画像処理後の画像）を取得画像とする。なお、画像処理部１２２の画像処理を行わず、入力画像を取得画像としてもよい。

画像合成部１２３は、画像処理部１２２から出力された画像に描画プレーンやＯＳＤを重ねて、合成画像を生成する。

画像補正部１２４は、投影装置１００と投影面の状態に応じて合成画像を補正し、補正後の画像を出力する。画像補正部１２４は、例えば、斜めから投影した際に画像が矩形に見えるように画像形状を補正する台形補正処理、投影位置を補正するピクチャーシフト処理などを行う。

投影制御部１２５は、画像補正部１２４から出力された画像（画像データ）に基づいて光変調部１２８を制御する。例えば、投影制御部１２５は、光変調部１２８が備える光変調素子（例えば液晶素子やミラーなど）の特性に応じて、画像補正部１２４から出力された画像データを変換し、変換後の画像データに応じて光変調部１２８を制御する。

光源制御部１２６は、光源部１２７を制御する。例えば、光源制御部１２６は、光源部１２７のＯＮ／ＯＦＦ（点灯／消灯）を切り替えたり、光源部１２７の発光輝度（発光強度；発光量）を変更したりする。

光源部１２７は、画像を投影するための光を発する。光源部１２７は、ランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、レーザーなどの光源と、レンズやミラーなどの光学素子とを含む。光源部１２７は光変調部１２８に光を照射する。光源部１２７は、発光色の異なる複数の光源（例えば、赤色光源と緑色光源と青色光源の３つの光源）を含んでもよいし、１つの光源（例えば白色光源）を含んでもよい。光源部１２７は、光源から発せられた光の色を変更する（切り替える）ためのカラーホイールを含んでもよい。

光変調部１２８は、画像補正部１２４から出力された画像データに基づく画像が投影面に投影されるように、光源部１２７から投射された光を変調する。光変調部１２８の方式は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）方式、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）方式、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式などのいずれであってもよい。光変調部１２８は、光変調パネル（透過型液晶パネルや反射型液晶パネル、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）など）、レンズ、ミラー（プリズムを含む）などを含む。光変調部１２８は、複数の色（例えば赤色と緑色と青色の３色）にそれぞれ対応する複数の光変調パネルを含んでもよいし、１つの光変調パネルを含んでもよい。

投影部１２９は、投影レンズを含み、光変調部１２８によって変調された後の光を投影装置１００の外部に出力する。これにより、画像が投影面に投影される。指示体によるグラフィックが生成された場合には、当該グラフィックと入力画像（具体的には取得画像）とが一緒に（共に）投影面に投影される。

図２は、投影装置１００と画像生成装置２００の接続を示す模式図である。画像生成装置２００はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などであり、投影に用いる画像（入力画像）の生成や、アプリケーションソフトウェアの制御などに用いられる。

制御部２０１は、画像生成装置２００を構成する各部の制御に用いられ、投影装置１００の入力画像の生成も行う。

操作入力部２０２は、画像生成装置２００に対してユーザーが行う操作を受け付ける。画像生成装置２００に対する操作は、例えば、マウスやキーボードなどの装置を用いて行われる。

通信部２０３は、ＵＳＢやＬＡＮなどの通信規格に従って画像生成装置２００の外部の装置と通信を行う。実施例１では、通信部２０３は、投影装置１００の通信部１０４と通信を行う。この通信により、画像生成装置２００の側から投影装置１００を制御したり、投影装置１００の側から画像生成装置２００を制御したりできる。また、画像生成装置２００と投影装置１００の間で、入力画像のサイズなどのパラメータを送受信することもできる。

画像出力部２０４は、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔなどの画像通信規格に対応した画像を出力する。画像出力部２０４を投影装置１００の画像入力部１２１と接続することにより、投影装置１００は、画像生成装置２００が生成した画像を取得して投影することが可能となる。

図３（Ａ）～３（Ｃ）は、実施例１に係る投影画像の一例を示す模式図である。

図３（Ａ）では、画像生成装置２００が生成した入力画像の上に、投影装置１００が生成したグラフィック（ユーザーが指示体で描画したグラフィック）が重ねられて表示（投
影）されている。例えば、ユーザーが指示体で投影面上の位置を指示し、指示する位置が変わるように指示体を動かす場合に、撮像部１１２は、指示された位置の軌跡（ストローク）を捉える。そして、グラフィック生成部１１６は、指示された位置の軌跡を表すグラフィック（軌跡をなぞった線）を生成し、画像合成部１２３は、入力画像にグラフィックを重ねる。

従来は、ユーザーが画像生成装置２００を操作して、入力画像内をスクロールさせても、指示体によるグラフィックの位置は変わらず、ユーザーの意図とは異なる形でグラフィックが表示されていた。実施例１では、図３（Ｂ）のように、入力画像内でのスクロールに応じた方向にグラフィックの位置を変更する（グラフィックを移動させる）。これにより、ユーザーの意図通りにグラフィックを表示し続けることができる。

また、実施例１では、図３（Ｃ）のように、入力画像内でのスクロールに応じてグラフィックの位置を変更した結果、グラフィックが入力画像の範囲の内から外に出る場合には、グラフィックを投影面から消去する（グラフィックを非表示にする）。これにより、ユーザーの意図通りにグラフィックを非表示にすることができる。

なお、グラフィックが非表示であっても、グラフィックの位置は常に管理し、入力画像内でのスクロールに応じて変更する。グラフィックと、当該グラフィックの位置とは、互いに関連付けて記憶部１０２に格納する。こうすることで、入力画像内でのスクロールに応じてグラフィック（投影面から消去したグラフィック）の位置を変更した結果、グラフィックが入力画像の範囲の外から内に入る場合に、グラフィックの表示を復帰することができる。具体的には、グラフィックを記憶部１０２から読み出して、再び表示（投影）することができる。ひいては、ユーザーの意図通りにグラフィックの表示と非表示を切り替えることができる。

図４は、実施例１に係る初期設定処理の一例を示すフローチャートである。例えば、投影装置１００の通信部１０４と、画像生成装置２００の通信部２０３とが互いに接続されると、図４の処理が開始する。

ステップＳ４０１で、画像生成装置２００の制御部２０１は、画像生成装置２００で生成する入力画像の解像度（解像度情報）を、投影装置１００に通知する。解像度情報は、画像生成装置２００の通信部２０３から投影装置１００の通信部１０４に通知される。なお、制御部２０１が入力画像に解像度情報のメタデータを付加し、画像入力部１２１が入力画像から解像度情報のメタデータを抽出してもよい。画像入力部１２１が入力画像の画素数（解像度）を計測（カウント）してもよい。

ステップＳ４０２で、投影装置１００の制御部１０１は、ステップＳ４０１で通知された解像度情報（入力画像の解像度）に基づいて、画像処理部１２２が行う解像度変換のための倍率を算出する。例えば、解像度変換は、入力画像の解像度を光変調部１２８（光変調パネル）の解像度に合わせる処理である。ここで、入力画像の解像度（水平方向の画素数×垂直方向の画素数）が１９２０×１０８０で、光変調部１２８の解像度が３８４０×２１６０であったとする。この場合には、解像度変換のための倍率として２倍（＝３８４０／１９２０＝２１６０／１０８０）が算出される。その結果、入力画像の１画素は光変調部１２８の２画素と等しくなり、入力画像での１画素分の移動は光変調部１２８での２画素分の移動と等しくなる。このように、ステップＳ４０２では、入力画像の１画素分の移動が光変調部１２８（投影画像）での何画素分の移動と等しくなるかを示す倍率が決定される。

なお、入力画像のアスペクト比が光変調部１２８のアスペクト比と異なる場合などにお
いては、水平方向と垂直方向とで異なる倍率を決定してもよい。また、画像補正部１２４でデジタルズームや台形補正、ワーピングなどの変形を行う場合には、これらの変形を考慮して倍率を決定することが好ましい。

ステップＳ４０３で、画像生成装置２００の制御部２０１は、入力画像の少なくとも一部の範囲を、指示体によるグラフィックを描画する特定範囲として決定する。実施例１では、ユーザーは、画像生成装置２００を操作して、特定のアプリケーション（アプリケーションウィンドウ）を指定する。そして、制御部２０１は、指定されたアプリケーションウィンドウ（ウィンドウ）の範囲を、特定範囲として決定する。つまり、制御部２０１は、入力画像に含まれる特定のウィンドウに対応する範囲を、特定範囲として決定する。制御部２０１は、特定範囲の情報（例えば、特定範囲の４隅の座標）を、投影装置１００に通知する。特定範囲の情報は、画像生成装置２００の通信部２０３から投影装置１００の通信部１０４に通知される。なお、特定範囲の決定方法は特に限定されず、特定範囲はウィンドウの範囲でなくてもよい。

投影装置１００は、指示体によるグラフィックを特定範囲内で描画する。また、投影装置１００は、特定範囲において画像のスクロールがあった場合に、当該スクロールに応じて（スクロールに追従するように）グラフィックの位置を変更する。そして、投影装置１００は、グラフィックが特定範囲外に出る場合にグラフィックを消去し、グラフィックが特定範囲内に入る場合にグラフィックを再び描画する。そのため、指示体によるグラフィックは、投影面のうち、特定範囲外に対応する部分には投影されず、特定範囲内に対応する部分に投影される。

図５は、実施例１に係るグラフィック処理の一例を示すフローチャートである。例えば、図４の初期設定処理が完了し、投影装置１００が入力画像を投影面に投影すると、図５の処理が開始する。

ステップＳ５０１で、投影装置１００の制御部１０１は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ（特定範囲）のスクロール位置とを、互いに関連付けて記憶部１０２に格納する。また、制御部１０１は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウのスクロール位置とを、記憶部１０２に格納する（記憶部１０２に格納された情報の更新）。スクロール位置は、画像生成装置２００の制御部２０１から、画像生成装置２００の通信部２０３と、投影装置１００の通信部１０４とを介して、投影装置１００の制御部１０１に通知される。実施例１では、指定ウィンドウに画像の一部が表示される。スクロール位置とは、画像のうち、指定ウィンドウに表示されている部分の位置を意味する。

ステップＳ５０２で、投影装置１００の制御部１０１は、画像生成装置２００からスクロール情報を受信したか否かを判定する。画像生成装置２００の制御部２０１は、ユーザーが画像生成装置２００を操作して指定ウィンドウ内をスクロールした場合に、当該スクロールに関するスクロール情報を、投影装置１００に通知する。スクロール情報は、画像生成装置２００の制御部２０１から、画像生成装置２００の通信部２０３と、投影装置１００の通信部１０４とを介して、投影装置１００の制御部１０１に通知される。投影装置１００の制御部１０１は、スクロール情報を受信したと判定した場合、つまり指定ウィンドウ内でのスクロールがあった場合に、ステップＳ５０３に処理を進める。また、投影装置１００の制御部１０１は、スクロール情報を受信しなかったと判定した場合、つまり指定ウィンドウ内でのスクロールがなかった場合には、ステップＳ５０６に処理を進める。

スクロール情報は、例えば、スクロールの画素数（スクロール画素数；移動量）と、ス
クロールの方向（スクロール方向）とを含む。具体的には、ユーザーがスクロールバーのノブを下方向に動かし、指定ウィンドウ内が上方向に１０画素分スクロールした場合には、画像生成装置２００の制御部２０１は、１０画素と上方向を示すスクロール情報を、投影装置１００に通知する。スクロールバーのノブは、スクロール位置を示すインジケータである。なお、スクロール情報は、スクロール画素数やスクロール方向を含まなくてもよく、他の情報を含んでもよい。例えば、スクロール情報はスクロール位置を含んでもよい。その場合には、スクロール情報に含まれたスクロール位置（今回通知されたスクロール位置）と、記憶部１０２に格納されたスクロール位置（前回通知されたスクロール位置）とから、スクロール画素数とスクロール方向を得ることができる。

ステップＳ５０３で、投影装置１００の制御部１０１は、通知されたスクロール情報に基づいて、グラフィックの新たな位置を決定する。例えば、制御部１０１は、図４のステップＳ４０２で決定した倍率をスクロール画素数に乗算することにより、グラフィックの移動距離を算出する。そして、制御部１０１は、座標算出部１１５を用いて、記憶部１０２に格納されたグラフィックの位置から、算出した移動距離だけ、スクロール方向に移動した位置を、グラフィックの新たな位置として決定する。具体的には、スクロール画素数が１０画素であり、スクロール方向が上方向であり、倍率が２倍である場合には、制御部１０１は、グラフィックの位置が２０画素だけ上方向に変化するように、グラフィックの新たな位置を決定する。指示体による複数のグラフィックが存在する場合には、制御部１０１は、当該複数のグラフィックの全てについて、新たな位置を決定する。

ステップＳ５０４で、制御部１０１は、ステップＳ５０３で決定した位置に基づいて、描画プレーンを更新する。具体的には、制御部１０１は、グラフィック編集部１１７を用いて、ステップＳ５０３で算出した位置が指定ウィンドウ外であるグラフィックを、描画プレーンから消去する。また、制御部１０１は、グラフィック編集部１１７を用いて、ステップＳ５０３で算出した位置が指定ウィンドウ内であるグラフィックを、描画プレーン上で、ステップＳ５０３で算出した位置に描画し直す。描画プレーンから消去されたグラフィックは記憶部１０２に格納され続け、当該グラフィックの位置も管理され続ける。そのため、指定ウィンドウ外に出て消去されたグラフィックは、指定ウィンドウ内に戻れば、記憶部１０２から読み出されて、描画プレーンに描画される。

ステップＳ５０５で、制御部１０１は、画像合成部１２３を用いて、更新後の描画プレーンを入力画像に合成する（合成画像の更新）。

ステップＳ５０６で、制御部１０１は、グラフィックの表示を終了するか否かを判定する。制御部１０１は、グラフィックの表示を終了すると判定した場合には、指示体による全てのグラフィックを非表示にし、グラフィック処理を終了する。また、制御部１０１は、グラフィックの表示を終了しないと判定した場合には、ステップＳ５０１に処理を戻す。制御部１０１は、例えば、グラフィックの表示を終了する終了操作や、投影装置１００の電源をＯＦＦにする電源ＯＦＦ操作などをユーザーが行った場合に、グラフィックの表示を終了すると判定する。

以上述べたように、実施例１によれば、指示体によるグラフィックを入力画像の変化に応じて（指示体によるグラフィックを入力画像の変化に合わせて）好適に更新することができる。具体的には、入力画像内でのスクロールに応じて、指示体によるグラフィックの移動（位置の変更）、消去、または、復帰を行うことができる。

なお、画像生成装置２００は所定の周期でスクロール情報を通知し、投影装置１００はスクロール情報を受信する度にグラフィックの位置を変更してもよい。この場合には、グラフィックの位置は所定の周期で変化する。所定の周期を短くすれば、入力画像内でのス
クロールにグラフィックがリアルタイムで追従するように見せることができる。

投影装置１００は、入力画像内でのスクロール中にはグラフィックの位置を変更せず、スクロールが終了したタイミングでグラフィックの位置を変更してもよい。例えば、画像生成装置２００は、（操作入力部２０２の）マウスのボタンが押されてから離されるまでのスクロール情報を一度に通知し、投影装置１００は、通知されたスクロール情報に従ってグラフィックの位置を変更してもよい。こうすれば、通信などの処理負荷を低減することができる。

投影装置１００は、指示体による指示（ユーザーによる描画）の継続中には、入力画像内でのスクロールがあってもグラフィックの位置を変更せず、指示体による指示が終了したタイミングでグラフィックの位置を変更してもよい。グラフィックの位置は一度に変更してもよいし、段階的に変更してもよい。また、記憶部１０２にグラフィックを記録するタイミングは特に限定されず、例えば指示体による指示が終了したタイミング、つまりユーザーが指示体で１ストロークを書き終えたタイミングであってもよい。

また。投影装置１００は、指定ウィンドウ（特定範囲）内に表示されるコンテンツが変更された（別のコンテンツに切り替わった）場合や、コンテンツのシーンが切り替わった場合などにおいて、全てのグラフィックを非表示に（投影面から消去）してもよい。例えば、画像生成装置２００は、コンテンツの変更やシーンの切り替わりなどがあった場合に、そのことを通信部２０３から通信部１０４に通知し、投影装置１００は、画像生成装置２００からの通知に基づいて全てのグラフィックを非表示にしてもよい。画像生成装置２００は、コンテンツの変更やシーンの切り替わりなどを通知する代わりに、全てのグラフィックを非表示にするよう投影装置１００に命令してもよい。

投影装置１００は、マウスのカーソルなどが指定ウィンドウ上に配置された場合や、別のウィンドウが指定ウィンドウよりも前面側に配置された場合などにおいて、全てのグラフィックを非表示にしてもよい。例えば、画像生成装置２００は、指定ウィンドウの表示位置が最前面でなくなった場合に、そのことを通信部２０３から通信部１０４に通知し、画像生成装置２００からの通知に基づいて全てのグラフィックを非表示にしてもよい。画像生成装置２００は、指定ウィンドウの表示位置が最前面でなくなったことを通知する代わりに、全てのグラフィックを非表示にするよう投影装置１００に命令してもよい。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成や処理など）について詳しく説明し、実施例１と同様の点についての説明は適宜省略する。

実施例１では、投影装置１００が画像生成装置２００と連携してグラフィックを更新する例を説明した。具体的には、投影装置１００が、画像生成装置２００から受信したスクロール情報に基づいてグラフィックの移動、消去、または、復帰を行う例を説明した。実施例２では、投影装置が独立して入力画像を解析し、その解析結果に基づいてグラフィックを更新する例を説明する。実施例２では、実施例１（図４）の初期設定処理は不要である。

図６は、実施例２に係る投影装置６００の構成例を示すブロック図である。図６において、実施例１（図１）と同じ構成要素には実施例１と同じ符号を付している。

画像解析部６０１は、入力画像を解析することで、入力画像内でのスクロールを検知する。具体的には、画像解析部６０１は、画像の動きベクトルを検出する。動きベクトルの
大きさはスクロールの移動量として用いることができ、動きベクトルの方向はスクロールの方向として用いることができる。動きベクトルの検出方法は特に限定されない。例えば、画像解析部６０１は、入力画像からエッジを検出し、エッジのフレーム間差分に基づいて動きベクトルを算出することができる。入力画像のエッジの代わりに、入力画像の輝度分布などの他の特徴量を用いてもよい。なお、画像解析部６０１が特徴量を取得し（動きベクトルは検出せず）、制御部１０１が特徴量に基づいて動きベクトルを検出してもよい。

図７は、投影装置６００と画像生成装置２００の接続を示す模式図である。実施例１（図２）とは異なり、通信部１０４と通信部２０３の間に接続はない。すなわち、投影装置６００は、スクロール情報を画像生成装置２００から受信することはできない。上述したように、投影装置６００は、画像入力部１２１が取得した入力画像に基づいてスクロールを検知する。

実施例２に係る投影画像は、実施例１（図３（Ａ）～３（Ｃ））と同様である。なお、指定ウィンドウの範囲（特定範囲）は、画像解析部６０１が入力画像を解析することによって自動で検出されてもよいし、ユーザーが投影装置１００を操作することによって指定されてもよい。例えば、画像解析部６０１は、入力画像からウィンドウの枠を検出して、最前面に表示されているウィンドウ、または、一番大きいウィンドウを、指定ウィンドウとして自動で検出する。多数のウィンドウが表示されているなど、指定ウィンドウの自動検出が難しい場合には、ユーザーにどのウィンドウを指定ウィンドウとするかを問い合わせることで、ユーザーにウィンドウを指定させてもよい。ユーザーによるウィンドウの指定方法は特に限定されないが、例えば、ユーザーが２点を指定し、制御部１０１が、指定された２点を対角の頂点とする矩形範囲を指定ウィンドウの範囲とみなす。

図８は、実施例２に係るグラフィック処理の一例を示すフローチャートである。例えば、投影装置６００が入力画像を投影面に投影すると、図８の処理が開始する。

ステップＳ８０１で、投影装置６００の制御部１０１は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ内での画像の特徴量とを、互いに関連付けて記憶部１０２に格納する。また、制御部１０１は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウ内での画像の特徴量とを、記憶部１０２に格納する（記憶部１０２に格納された情報の更新）。指定ウィンドウ内での画像の特徴量は、画像解析部６０１によって入力画像から取得される。

ステップＳ８０２で、制御部１０１は、指定ウィンドウ内でのスクロールがあったか否かを判定する。具体的には、制御部１０１は、画像解析部６０１を用いて、指定ウィンドウ内での画像の特徴量（現在の特徴量）を取得する。また、制御部１０１は、記憶部１０２に格納されている特徴量（過去の特徴量）を、記憶部１０２から読み出す。そして、制御部１０１は、現在の特徴量と過去の特徴量とを比較して、指定ウィンドウ内での画像の動きベクトルを検出する。制御部１０１は、動きベクトルの大きさがゼロより大きい場合に、スクロールがあったと判定し、ステップＳ５０３に処理を進める。また、制御部１０１は、動きベクトルの大きさがゼロであった場合に、スクロールがなかったと判定し、ステップＳ５０６に処理を進める。上述したように、動きベクトルの検出には、画像解析部６０１を用いてもよいし、用いなくてもよい。ゼロよりも大きい閾値を設定し、動きベクトルの大きさが閾値より大きい場合にスクロールがあったと判定し、動きベクトルの大きさが閾値以下である場合に、スクロールがなかったと判定してもよい。

ステップＳ５０３～Ｓ５０６の処理は、実施例１（図５）と同様である。ステップＳ５
０３では、ステップＳ８０２で検出された動きベクトルの大きさ（動きの画素数）がスクロール画素数として使用され、動きベクトルの方向がスクロール方向として使用される。

以上述べてきたように、実施例２によれば、投影装置が独立して入力画像を解析し、その解析結果に基づいてグラフィックを更新することで、実施例１と同様の効果を得ることができる。

なお、画像解析部６０１は、指定ウィンドウのスクロールバーのノブ（スクロール位置を示すインジケータ）を検出して、ノブの位置に基づいて指定ウィンドウ内でのスクロールを検知してもよい。つまり、ノブの位置を上記特徴量の代わりに用いてもよい。また、画像解析部６０１は、閾値よりも大きい移動量のスクロールを検知した場合に、コンテンツの変更やシーンの切り替わりなどがあったと判定して、そのことを制御部１０１に通知してもよい。そして、制御部１０１は、コンテンツの変更やシーンの切り替わりなどがあったことの通知に応じて、全てのグラフィックを非表示にしてもよい。

＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例１と異なる点（構成や処理など）について詳しく説明し、実施例１と同様の点についての説明は適宜省略する。

実施例１では、指定ウィンドウ内でのスクロールに応じてグラフィックの位置を変更する例を説明した。実施例３では、指定ウィンドウの移動や拡縮などの変化に応じてグラフィックを更新する例を説明する。指定ウィンドウの移動や拡縮などの変化では、指定ウィンドウの位置とサイズの少なくとも一方が変化する。そして、指定ウィンドウの拡縮があった場合には、指定ウィンドウの拡縮に応じて、指定ウィンドウ内に表示される画像も拡縮される。指定ウィンドウの移動のみでは、指定ウィンドウ内に表示される画像は変わらない。そのため、実施例３では、指定ウィンドウの移動や拡縮などの変化に応じて、グラフィックの位置とサイズの少なくとも一方を変更する。

実施例３に係る投影装置の構成は実施例１（図１）と同様である。そのため、実施例３に係る投影装置とその構成要素については、実施例１（図１）と同じ符号を用いる。実施例３に係る投影装置１００と、画像生成装置２００との接続も、実施例１（図２）と同様である。実施例３に係る初期設定処理も、実施例１（図４）と同様である。

図９（Ａ），９（Ｂ）は、実施例３に係る投影画像の一例を示す模式図である。図９（Ａ）では、画像生成装置２００が生成した入力画像の上に、投影装置１００が生成したグラフィック（ユーザーが指示体で描画したグラフィック）が重ねられて表示（投影）されている。実施例１でも述べたように、従来は、ユーザーが画像生成装置２００を操作して、入力画像内をスクロールさせても、指示体によるグラフィックの位置は変わらず、ユーザーの意図とは異なる形でグラフィックが表示されていた。実施例３では、図９（Ｂ）のように、指定ウィンドウの移動や拡縮などの変化に応じて、グラフィックの位置とサイズの少なくとも一方を変更する。これにより、ユーザーの意図通りにグラフィックを表示し続けることができる。

図１０は、実施例３に係るグラフィック処理の一例を示すフローチャートである。例えば、図４の初期設定処理が完了し、投影装置１００が入力画像を投影面に投影すると、図１０の処理が開始する。

ステップＳ１００１で、投影装置１００の制御部１０１は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ（
特定範囲）の４頂点座標とを、互いに関連付けて記憶部１０２に格納する。また、制御部１０１は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウの４頂点座標とを、記憶部１０２に格納する（記憶部１０２に格納された情報の更新）。４頂点座標は、例えば、図９（Ａ），９（Ｂ）の第１座標、第２座標、第３座標、及び、第４座標である。４頂点座標は、画像生成装置２００の制御部２０１から、画像生成装置２００の通信部２０３と、投影装置１００の通信部１０４とを介して、投影装置１００の制御部１０１に通知される。

ステップＳ１００２で、投影装置１００の制御部１０１は、指定ウィンドウの新たな４頂点座標を、画像生成装置２００から受信したか否かを判定する。画像生成装置２００の制御部２０１は、ユーザーが画像生成装置２００を操作して指定ウィンドウの移動または拡縮を行った場合に、指定ウィンドウの新たな４頂点座標を、投影装置１００に通知する。投影装置１００の制御部１０１は、新たな４頂点座標を受信したと判定した場合、つまり指定ウィンドウの移動または拡縮があった場合に、ステップＳ１００３に処理を進める。また、投影装置１００の制御部１０１は、新たな４頂点座標を受信しなかったと判定した場合、つまり指定ウィンドウの移動も拡縮もなかった場合には、ステップＳ５０６に処理を進める。ステップＳ５０６の処理は、実施例１（図５）と同様である。

ステップＳ１００３では、投影装置１００の制御部１０１は、ステップＳ１００２で取得した４頂点座標と、記憶部１０２に格納された４頂点座標とに基づいて、グラフィックを更新する。例えば、制御部１０１は、グラフィック編集部１１７を用いて描画プレーンを更新し、画像合成部１２３を用いて、更新後の描画プレーンを入力画像に合成する。

ステップＳ１００３の処理の具体例を説明する。ここでは、入力画像の座標（水平位置，垂直位置）のうち左上隅の座標（０，０）を原点座標とし。右に進むにつれ水平位置の値が増し、下に進むにつれ垂直位置の値が増すとする。

また、指定ウィンドウの移動および拡縮前の４点座標（記憶部１０２に格納された４頂点座標）を以下の座標とする。
第１座標（Ｘ０１，Ｙ０１）
第２座標（Ｘ０２，Ｙ０２）
第３座標（Ｘ０３，Ｙ０３）
第４座標（Ｘ０４，Ｙ０４）

そして、指定ウィンドウの移動または拡縮後の４点座標（ステップＳ１００２で取得された４頂点座標）を以下の座標とする。
第１座標（Ｘ１１，Ｙ１１）
第２座標（Ｘ１２，Ｙ１２）
第３座標（Ｘ１３，Ｙ１３）
第４座標（Ｘ１４，Ｙ１４）

制御部１０１は、以下の式を用いて、水平方向と拡縮の度合いＺｘ（水平方向の倍率）と、垂直方向の拡縮の度合いＺｙ（垂直方向の倍率）とを算出する。
Ｚｘ＝（Ｘ１２－Ｘ１１）／（Ｘ０２－Ｘ０１）
Ｚｙ＝（Ｙ１３－Ｙ１２）／（Ｙ０３－Ｙ０２）

グラフィック編集部１１７は、倍率Ｚｘ，Ｚｙに基づいて、グラフィックの移動または拡縮を行う（描画プレーンの更新）。具体的には、グラフィック編集部１１７は、以下の式を用いて、グラフィックの各画素を移動させる（グラフィックの各画素の座標を変更する）。以下の式において、座標（Ｘ０，Ｙ０）は移動前の座標であり、座標（Ｘ１，Ｙ１
）は移動後の座標である。ここで、移動後の座標が画素座標（画素を生成可能な座標）でないことがあり、移動後の座標間に、グラフィックの画素が移動してこない画素座標が存在することがある。そのような画素座標に対しては、グラフィック編集部１１７は、その周囲に移動してくるグラフィックの画素をもちた補間処理などにより、画素を生成（画素値を決定）する。
Ｘ１＝（Ｘ０－Ｘ０１）×Ｚｘ＋Ｘ１１
Ｙ１＝（Ｙ０－Ｙ０１）×Ｚｙ＋Ｙ１１

そして、画像合成部１２３は、更新後の描画プレーンを入力画像に合成する。このような方法により、指定ウィンドウの移動や拡縮に追従して、グラフィックの移動や拡縮を行うことができる。

以上述べたように、実施例３によれば、指定ウィンドウ（特定範囲）の移動や拡縮に応じて（指定ウィンドウの移動や拡縮に合わせて）、グラフィックの移動や拡縮を行うことができる。

なお、投影装置が実施例１と同様の構成を有し、画像生成装置２００との通信を行う例を説明したが、投影装置は、実施例２と同様の構成を有してもよい。その場合には、投影装置は、画像生成装置２００との通信を行わずに、入力画像を解析することで指定ウィンドウの４頂点座標を検出し、４頂点座標の変化（閾値以上の変化）を指定ウィンドウの移動や拡縮として検知してもよい。つまり、４頂点座標を実施例２の特徴量の代わりに用いてもよい。指定ウィンドウの移動や拡縮が検知された場合には、上記処理と同様に、４頂点座標の変化に基づいてグラフィックの移動や拡縮を行えばよい。

なお、上述した実施例（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、２つの指示体を用いる例を説明したが、３つ以上の指示体が使用されてもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，６００：投影装置 １０１：制御部 １１４：位置検出部 １２９：投影部

Claims (15)

1. 投影面に入力画像を投影する投影手段と、
   前記投影面のうち、指示体により指示された位置を検出する検出手段と、
   前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段と
   を有し、
   前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するように制御する
   ことを特徴とする投影装置。
2. 前記特定範囲は、前記入力画像に含まれる特定のウィンドウに対応する範囲である
   ことを特徴とする請求項１に記載の投影装置。
3. 前記特定範囲における画像のスクロールに関する情報を外部装置から受信する通信手段をさらに有し、
   前記制御手段は、前記情報に基づいて前記グラフィックの位置を制御する
   ことを特徴とする請求項１または２に記載の投影装置。
4. 前記入力画像を解析して前記特定範囲における画像のスクロールを検知する検知手段をさらに有し、
   前記制御手段は、前記検知手段による検知の結果に基づいて前記グラフィックの位置を制御する
   ことを特徴とする請求項１または２に記載の投影装置。
5. 前記検知手段は、前記特定範囲における画像のスクロール位置を示すインジケータを、前記入力画像から検出し、前記インジケータの位置に基づいて前記特定範囲における画像のスクロールを検知する
   ことを特徴とする請求項４に記載の投影装置。
6. 前記制御手段は、前記特定範囲における画像のスクロールに応じて前記グラフィックを移動させた結果、前記グラフィックが前記特定範囲の内から外に出る場合には、前記グラフィックを前記投影面から消去するように制御する
   ことを特徴とする請求項１～５のいずれか１項に記載の投影装置。
7. 前記グラフィックを記憶する記憶手段をさらに有し、
   前記制御手段は、前記特定範囲における画像のスクロールに応じて、前記投影面から消去した前記グラフィックを移動させた結果、前記グラフィックが前記特定範囲の外から内に入る場合には、前記グラフィックが再び投影されるように制御する
   ことを特徴とする請求項６に記載の投影装置。
8. 前記制御手段は、前記特定範囲における画像のスクロール中に所定の周期で前記グラフィックが移動するように制御する
   ことを特徴とする請求項１～７のいずれか１項に記載の投影装置。
9. 前記制御手段は、前記特定範囲における画像のスクロール中には前記グラフィックが移動せず、前記特定範囲における画像のスクロールが終了したタイミングで前記グラフィックが移動するように制御する
   ことを特徴とする請求項１～７のいずれか１項に記載の投影装置。
10. 前記制御手段は、前記指示体による指示の継続中には前記グラフィックが移動せず、前記指示が終了したタイミングで前記グラフィックが移動するように制御する
    ことを特徴とする請求項１～９のいずれか１項に記載の投影装置。
11. 投影面に入力画像を投影する投影手段と、
    前記投影面のうち、指示体により指示された位置を検出する検出手段と、
    前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段と
    を有し、
    前記制御手段は、前記入力画像の特定範囲の位置とサイズの少なくとも一方の変化があった場合に、前記特定範囲の前記変化に応じて前記グラフィックの位置とサイズの少なくとも一方が変化するように制御する
    ことを特徴とする投影装置。
12. 投影面に入力画像を投影するように制御するステップと、
    前記投影面のうち、指示体により指示された位置を検出するステップと、
    前記入力画像を投影すると共に、前記指示された位置にグラフィックを投影するように制御するステップと、
    前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するするように制御するステップと
    を有することを特徴とする投影装置の制御方法。
13. 投影面に入力画像を投影するように制御するステップと、
    前記投影面のうち、指示体により指示された位置を検出するステップと、
    前記入力画像を投影すると共に、前記指示された位置にグラフィックを投影するように制御するステップと、
    前記入力画像の特定範囲の位置とサイズの少なくとも一方の変化があった場合に、前記特定範囲の前記変化に応じて前記グラフィックの位置とサイズの少なくとも一方が変化するように制御するステップと
    を有することを特徴とする投影装置の制御方法。
14. コンピュータを、請求項１～１１のいずれか１項に記載の投影装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１～１１のいずれか１項に記載の投影装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images