JP2022111670A - 投影装置 - Google Patents
投影装置 Download PDFInfo
- Publication number
- JP2022111670A JP2022111670A JP2021007252A JP2021007252A JP2022111670A JP 2022111670 A JP2022111670 A JP 2022111670A JP 2021007252 A JP2021007252 A JP 2021007252A JP 2021007252 A JP2021007252 A JP 2021007252A JP 2022111670 A JP2022111670 A JP 2022111670A
- Authority
- JP
- Japan
- Prior art keywords
- graphic
- image
- projection
- input image
- specific range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
- G06F3/04855—Interaction with scrollbars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】指示体によるグラフィックを入力画像の変化に応じて好適に更新することのできる技術を提供する。【解決手段】本発明の投影装置は、投影面に入力画像を投影する投影手段と、前記投影面のうち、指示体により指示された位置を検出する検出手段と、前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段とを有し、前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するように制御することを特徴とする。【選択図】図5
Description
本発明は、投影装置に関する。
インタラクティブプロジェクターと呼ばれる投影装置は、ユーザーが電子ペンなどの指示体で投影面内の位置を指示すると、入力画像を投影面に投影すると共に、指示体によって指示された位置にグラフィックを投影する。これにより、ユーザーは、例えば手書きのような感覚で、投影面に情報を追加することができる。しかし、指示体によるグラフィックが表示(投影)された状態で入力画像が変化すると、当該グラフィックはユーザーの意図とは異なる形で表示されてしまう。以後の記載において、「グラフィック」は、指示体によるグラフィックを意味する。
例えば、図11(A)のように、入力画像における特定のテキストを強調すべく、グラフィックとして特定のテキストの下線を表示したとする。その後に、入力画像内でテキストがスクロールすると、図11(B)のように、グラフィックを表示する位置(表示位置;投影位置)は変わらず、グラフィックは特定のテキストの下線ではなくなってしまう。
また、図12(A)のように、グラフィックとして、ウィンドウ(アプリケーションウィンドウ)内の特定の図形に対する補足説明を表示したとする。その後に、ウィンドウの移動や拡縮が行われると、図12(B)のように、グラフィックの表示位置は変わらず、グラフィックは特定の図形に対する補足説明に見えなくなってしまう。
特許文献1には、入力画像の一部の領域である監視領域を監視し、監視領域における画像の変化を検知した場合にグラフィックを消去することが開示されている。
しかしながら、特許文献1に開示の技術では、入力画像内でのスクロールや移動、拡縮などがあった場合に、監視領域における画像が変化せず、グラフィックが消去されないことがある。また、入力画像内でのスクロールや移動、拡縮などがあった場合には、入力画像の大部分は(表示位置は変わるものの)表示され続ける。そのため、特許文献1に開示の技術では、グラフィックを関連付けるべき領域が表示されているにもかかわらず、グラフィックが消去されてしまうことがある。
そこで本発明は、指示体によるグラフィックを入力画像の変化に応じて好適に更新することのできる技術を提供することを目的とする。
本発明の投影装置は、投影面に入力画像を投影する投影手段と、前記投影面のうち、指示体により指示された位置を検出する検出手段と、前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段とを有し、前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に
移動するように制御することを特徴とする。
移動するように制御することを特徴とする。
本発明によれば、指示体によるグラフィックを入力画像の変化に応じて好適に更新することができる。
<実施例1>
以下、本発明の実施例1について説明する。図1は、実施例1に係る投影装置100(プロジェクター)の構成例を示すブロック図である。図1において、細い矢印は制御に用いる各種データの流れを表し、太い矢印は画像データの流れを表す。図1において、制御部101は、マイクロコントローラや、ASIC(Application Specific Integrated Circuit)、FPGA(field-programmable gate array)などの演算装置により構成される。同様に、撮像制御部111、指示体判別部113、位置検出部114、座標算出部115、グラフィック生成部116、及び、グラフィック編集部117も、マイクロコントローラやASIC、FPGAなどの演算装置により構成される。画像処理部122、画像合成部123、画像補正部124、投影制御部125、及び、光源制御部126も、マイクロコントローラや、ASIC、FPGAなどの演算装置により構成される。これら構成要素は、演算装置においてハードウェアまたはソフトウェアとして構成される。
以下、本発明の実施例1について説明する。図1は、実施例1に係る投影装置100(プロジェクター)の構成例を示すブロック図である。図1において、細い矢印は制御に用いる各種データの流れを表し、太い矢印は画像データの流れを表す。図1において、制御部101は、マイクロコントローラや、ASIC(Application Specific Integrated Circuit)、FPGA(field-programmable gate array)などの演算装置により構成される。同様に、撮像制御部111、指示体判別部113、位置検出部114、座標算出部115、グラフィック生成部116、及び、グラフィック編集部117も、マイクロコントローラやASIC、FPGAなどの演算装置により構成される。画像処理部122、画像合成部123、画像補正部124、投影制御部125、及び、光源制御部126も、マイクロコントローラや、ASIC、FPGAなどの演算装置により構成される。これら構成要素は、演算装置においてハードウェアまたはソフトウェアとして構成される。
制御部101は、制御バスによって投影装置100内の各構成要素と接続されており、各構成要素の制御、及び、投影装置100の動作に必要な各種演算処理を行う。
記憶部102は、RAM(Random Access Memory)やSSD(Solid State Drive)、HDD(Hard Disk Drive)等の記憶装置である。記憶部102は、投影装置100の動作に必要な各種画像と各種情報を記憶する。
操作部103は、投影装置100に対してユーザーが行う操作(ユーザー操作)を受け付ける。例えば、操作部103は、ボタンやマウスなどの操作装置と、その制御回路とを含む。操作部103は、ユーザーが行った操作を制御部101に伝達し、制御部101は伝達された操作に応じて投影装置100の各構成要素を制御する。操作装置は、投影装置100に対して着脱可能でもあってもよいし、着脱不可能であってもよい。リモートコントローラなどのように、操作装置は、投影装置100とは別体の装置であってもよい。
通信部104は、投影装置100の外部の装置(外部装置)と通信(データの送受信)を行う。例えば、通信部104は、USB(Universal Serial Bus)やLAN(Local Area Network)などの通信規格の端子と、その処理回路とを含む。通信部104は、無線LANなどによる無線通信が可能であってもよい。
撮像制御部111は、撮像部112を制御する。例えば、撮像制御部111は、撮像部112のON/OFFを切り替えたり、撮像部112に対して撮像を開始するよう指示(撮像指示)したりする。
撮像部112は、画像センサーや赤外線センサーなどの撮像素子を含み、投影面(スクリーン)を少なくとも含む領域を撮像する。投影装置100は、ユーザーが電子ペンなどの指示体で投影面内の位置を指示すると、入力画像(投影装置100に入力された画像)を投影面に投影すると共に、指示体によって指示された位置にグラフィックを投影することができる。投影装置100は、指示体での指示に応じて、指示された位置のグラフィックを編集することもできる。実施例1では、このような動作のために、撮像によって得られた画像(センサー画像)から指示体が検出および判別(識別)される。以後の記載において、「グラフィック」は、指示体によるグラフィックを意味する。
指示体判別部113は、撮像部112によって得られたセンサー画像から指示体を検出および判別(識別)する。例えば、複数の指示体の間で指示体の発光パターンや発光波長などが異なる場合には、指示体判別部113は、指示体間での発光パターンや発光波長などの違いに基づいて、センサー画像から指示体を検出および判別する。実施例1では、指示体判別部113は、センサー画像のうち、指示体の発光パターンや発光波長などを示す領域を、当該指示体の領域として検出する。なお、指示体判別部113は指示体の検出を行わず、位置検出部114によって検出された位置の指示体を判別してもよい。複数の指示体の間で指示体の形状が異なる場合には、指示体判別部113は、指示体の形状を用いたパターンマッチングにより指示体を検出および判別してもよい。
実施例1では、ユーザーは、指示体を用いた操作(指示)を行うときに、当該指示体を発光させる。そして、上述したように、指示体判別部113は、センサー画像のうち、指示体の発光パターンや発光波長などを示す領域を、当該指示体の領域として検出する。そのため、実施例1では、指示体によって投影面に対する操作が行われるときに、指示体判別部113が指示体を検出および判別する。従って、指示体判別部113の処理は、指示体による操作を検出する処理の一部と言える。実施例1では、制御部101が、指示体判別部113、位置検出部114、及び、座標算出部115を用いて、指示体による操作を検出する(投影面のうち、指示体により指示された位置は指示体判別部113や位置検出部114で検出される)。なお、指示体による操作の検出方法は特に限定されない。例えば、指示体による操作中に、指示体が所定の情報を発信し、通信部104が指示体から所定の情報を受信してもよい。そして、制御部101は、通信部104が所定の情報を受信しているか否かに応じて、指示体による操作の有無を判定してもよい。
位置検出部114は、撮像部112によって得られたセンサー画像から指示体の位置を検出する。例えば、位置検出部114は、指示体の発光パターンや発光波長などを示す領域の検出や、指示体の形状を用いたパターンマッチングなどの画像解析により、指示体の位置を検出する。複数の指示体が存在する場合には、複数の指示体のそれぞれの位置が検出される。なお、位置検出部114は、画像解析とは異なる方法で指示体の位置を検出してもよい。例えば、圧力センサーや静電センサーなどのセンサーを投影面に設け、当該センサーの出力値を通信部104が取得してもよい。そして、位置検出部114が、得られた出力値に基づいて指示体の位置を検出してもよい。
座標算出部115は、位置検出部114によって検出された位置(センサー画像内での指示体の位置)を、投影画像(投影面に投影する画像、例えば入力画像)内での位置に座標変換する。この座標変換を正確に行うために、制御部101は、座標変換のキャリブレーションを行う。制御部101は、キャリブレーションを行うために、所定位置にパターンを含んだ特定の投影画像を、投影部129から投影面に投影する。そして、制御部101は、特定の投影画像が投影(表示)された状態でのセンサー画像を、撮像部112を用いて取得し、センサー画像内でのパターンの位置を、位置検出部114を用いて検出する。その後、制御部101は、センサー画像内でのパターンの位置と特定の投影画像内でのパターンの位置とを比較し、座標変換のパラメータ(例えば変換マトリクス)を補正する(キャリブレーション)。
グラフィック生成部116は、指示体による操作に応じてグラフィックを生成する。実施例1では、グラフィック生成部116は、座標算出部115により得られた位置(投影画像内での指示体の位置)を用いて描画プレーンにグラフィックを描画する。また、グラフィック生成部116は、メニューなどのOSD(On Screen Display)の生成も行う。
グラフィック編集部117は、指示体による操作に応じてグラフィック(描画プレーンに描画されたグラフィック)を編集する。グラフィックの編集は、例えば、グラフィックの消去、拡大、縮小、及び、移動の少なくともいずれかを含む。グラフィックの拡大と縮小は、グラフィックのサイズの変更とも言える。
画像入力部121は、投影装置100の外部から画像(入力画像;画像データ)を取り込む。画像入力部121は、HDMI(High-Definition Multimedia Interface)(登録商標)、DisplayPort(登録商標)、USBなどの画像通信規格に対応した画像入力回路を含む。
画像処理部122は、入力画像に対して画像処理(拡大/縮小処理、色域変換処理、輝度補正処理など)を行い、画像処理後の画像を出力する。画像処理部122から出力される画像(画像処理後の画像)を取得画像とする。なお、画像処理部122の画像処理を行わず、入力画像を取得画像としてもよい。
画像合成部123は、画像処理部122から出力された画像に描画プレーンやOSDを重ねて、合成画像を生成する。
画像補正部124は、投影装置100と投影面の状態に応じて合成画像を補正し、補正後の画像を出力する。画像補正部124は、例えば、斜めから投影した際に画像が矩形に見えるように画像形状を補正する台形補正処理、投影位置を補正するピクチャーシフト処理などを行う。
投影制御部125は、画像補正部124から出力された画像(画像データ)に基づいて光変調部128を制御する。例えば、投影制御部125は、光変調部128が備える光変調素子(例えば液晶素子やミラーなど)の特性に応じて、画像補正部124から出力された画像データを変換し、変換後の画像データに応じて光変調部128を制御する。
光源制御部126は、光源部127を制御する。例えば、光源制御部126は、光源部127のON/OFF(点灯/消灯)を切り替えたり、光源部127の発光輝度(発光強度;発光量)を変更したりする。
光源部127は、画像を投影するための光を発する。光源部127は、ランプ、LED(Light Emitting Diode)、レーザーなどの光源と、レンズやミラーなどの光学素子とを含む。光源部127は光変調部128に光を照射する。光源部127は、発光色の異なる複数の光源(例えば、赤色光源と緑色光源と青色光源の3つの光源)を含んでもよいし、1つの光源(例えば白色光源)を含んでもよい。光源部127は、光源から発せられた光の色を変更する(切り替える)ためのカラーホイールを含んでもよい。
光変調部128は、画像補正部124から出力された画像データに基づく画像が投影面に投影されるように、光源部127から投射された光を変調する。光変調部128の方式は、LCD(Liquid Crystal Display)方式、LCOS(Liquid Crystal On Silicon)方式、DLP(Digital Light Processing)(登録商標)方式などのいずれであってもよい。光変調部128は、光変調パネル(透過型液晶パネルや反射型液晶パネル、DMD(Digital Mirror Device)など)、レンズ、ミラー(プリズムを含む)などを含む。光変調部128は、複数の色(例えば赤色と緑色と青色の3色)にそれぞれ対応する複数の光変調パネルを含んでもよいし、1つの光変調パネルを含んでもよい。
投影部129は、投影レンズを含み、光変調部128によって変調された後の光を投影装置100の外部に出力する。これにより、画像が投影面に投影される。指示体によるグラフィックが生成された場合には、当該グラフィックと入力画像(具体的には取得画像)とが一緒に(共に)投影面に投影される。
図2は、投影装置100と画像生成装置200の接続を示す模式図である。画像生成装置200はPC(Personal Computer)などであり、投影に用いる画像(入力画像)の生成や、アプリケーションソフトウェアの制御などに用いられる。
制御部201は、画像生成装置200を構成する各部の制御に用いられ、投影装置100の入力画像の生成も行う。
操作入力部202は、画像生成装置200に対してユーザーが行う操作を受け付ける。画像生成装置200に対する操作は、例えば、マウスやキーボードなどの装置を用いて行われる。
通信部203は、USBやLANなどの通信規格に従って画像生成装置200の外部の装置と通信を行う。実施例1では、通信部203は、投影装置100の通信部104と通信を行う。この通信により、画像生成装置200の側から投影装置100を制御したり、投影装置100の側から画像生成装置200を制御したりできる。また、画像生成装置200と投影装置100の間で、入力画像のサイズなどのパラメータを送受信することもできる。
画像出力部204は、HDMIやDisplayPortなどの画像通信規格に対応した画像を出力する。画像出力部204を投影装置100の画像入力部121と接続することにより、投影装置100は、画像生成装置200が生成した画像を取得して投影することが可能となる。
図3(A)~3(C)は、実施例1に係る投影画像の一例を示す模式図である。
図3(A)では、画像生成装置200が生成した入力画像の上に、投影装置100が生成したグラフィック(ユーザーが指示体で描画したグラフィック)が重ねられて表示(投
影)されている。例えば、ユーザーが指示体で投影面上の位置を指示し、指示する位置が変わるように指示体を動かす場合に、撮像部112は、指示された位置の軌跡(ストローク)を捉える。そして、グラフィック生成部116は、指示された位置の軌跡を表すグラフィック(軌跡をなぞった線)を生成し、画像合成部123は、入力画像にグラフィックを重ねる。
影)されている。例えば、ユーザーが指示体で投影面上の位置を指示し、指示する位置が変わるように指示体を動かす場合に、撮像部112は、指示された位置の軌跡(ストローク)を捉える。そして、グラフィック生成部116は、指示された位置の軌跡を表すグラフィック(軌跡をなぞった線)を生成し、画像合成部123は、入力画像にグラフィックを重ねる。
従来は、ユーザーが画像生成装置200を操作して、入力画像内をスクロールさせても、指示体によるグラフィックの位置は変わらず、ユーザーの意図とは異なる形でグラフィックが表示されていた。実施例1では、図3(B)のように、入力画像内でのスクロールに応じた方向にグラフィックの位置を変更する(グラフィックを移動させる)。これにより、ユーザーの意図通りにグラフィックを表示し続けることができる。
また、実施例1では、図3(C)のように、入力画像内でのスクロールに応じてグラフィックの位置を変更した結果、グラフィックが入力画像の範囲の内から外に出る場合には、グラフィックを投影面から消去する(グラフィックを非表示にする)。これにより、ユーザーの意図通りにグラフィックを非表示にすることができる。
なお、グラフィックが非表示であっても、グラフィックの位置は常に管理し、入力画像内でのスクロールに応じて変更する。グラフィックと、当該グラフィックの位置とは、互いに関連付けて記憶部102に格納する。こうすることで、入力画像内でのスクロールに応じてグラフィック(投影面から消去したグラフィック)の位置を変更した結果、グラフィックが入力画像の範囲の外から内に入る場合に、グラフィックの表示を復帰することができる。具体的には、グラフィックを記憶部102から読み出して、再び表示(投影)することができる。ひいては、ユーザーの意図通りにグラフィックの表示と非表示を切り替えることができる。
図4は、実施例1に係る初期設定処理の一例を示すフローチャートである。例えば、投影装置100の通信部104と、画像生成装置200の通信部203とが互いに接続されると、図4の処理が開始する。
ステップS401で、画像生成装置200の制御部201は、画像生成装置200で生成する入力画像の解像度(解像度情報)を、投影装置100に通知する。解像度情報は、画像生成装置200の通信部203から投影装置100の通信部104に通知される。なお、制御部201が入力画像に解像度情報のメタデータを付加し、画像入力部121が入力画像から解像度情報のメタデータを抽出してもよい。画像入力部121が入力画像の画素数(解像度)を計測(カウント)してもよい。
ステップS402で、投影装置100の制御部101は、ステップS401で通知された解像度情報(入力画像の解像度)に基づいて、画像処理部122が行う解像度変換のための倍率を算出する。例えば、解像度変換は、入力画像の解像度を光変調部128(光変調パネル)の解像度に合わせる処理である。ここで、入力画像の解像度(水平方向の画素数×垂直方向の画素数)が1920×1080で、光変調部128の解像度が3840×2160であったとする。この場合には、解像度変換のための倍率として2倍(=3840/1920=2160/1080)が算出される。その結果、入力画像の1画素は光変調部128の2画素と等しくなり、入力画像での1画素分の移動は光変調部128での2画素分の移動と等しくなる。このように、ステップS402では、入力画像の1画素分の移動が光変調部128(投影画像)での何画素分の移動と等しくなるかを示す倍率が決定される。
なお、入力画像のアスペクト比が光変調部128のアスペクト比と異なる場合などにお
いては、水平方向と垂直方向とで異なる倍率を決定してもよい。また、画像補正部124でデジタルズームや台形補正、ワーピングなどの変形を行う場合には、これらの変形を考慮して倍率を決定することが好ましい。
いては、水平方向と垂直方向とで異なる倍率を決定してもよい。また、画像補正部124でデジタルズームや台形補正、ワーピングなどの変形を行う場合には、これらの変形を考慮して倍率を決定することが好ましい。
ステップS403で、画像生成装置200の制御部201は、入力画像の少なくとも一部の範囲を、指示体によるグラフィックを描画する特定範囲として決定する。実施例1では、ユーザーは、画像生成装置200を操作して、特定のアプリケーション(アプリケーションウィンドウ)を指定する。そして、制御部201は、指定されたアプリケーションウィンドウ(ウィンドウ)の範囲を、特定範囲として決定する。つまり、制御部201は、入力画像に含まれる特定のウィンドウに対応する範囲を、特定範囲として決定する。制御部201は、特定範囲の情報(例えば、特定範囲の4隅の座標)を、投影装置100に通知する。特定範囲の情報は、画像生成装置200の通信部203から投影装置100の通信部104に通知される。なお、特定範囲の決定方法は特に限定されず、特定範囲はウィンドウの範囲でなくてもよい。
投影装置100は、指示体によるグラフィックを特定範囲内で描画する。また、投影装置100は、特定範囲において画像のスクロールがあった場合に、当該スクロールに応じて(スクロールに追従するように)グラフィックの位置を変更する。そして、投影装置100は、グラフィックが特定範囲外に出る場合にグラフィックを消去し、グラフィックが特定範囲内に入る場合にグラフィックを再び描画する。そのため、指示体によるグラフィックは、投影面のうち、特定範囲外に対応する部分には投影されず、特定範囲内に対応する部分に投影される。
図5は、実施例1に係るグラフィック処理の一例を示すフローチャートである。例えば、図4の初期設定処理が完了し、投影装置100が入力画像を投影面に投影すると、図5の処理が開始する。
ステップS501で、投影装置100の制御部101は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ(特定範囲)のスクロール位置とを、互いに関連付けて記憶部102に格納する。また、制御部101は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウのスクロール位置とを、記憶部102に格納する(記憶部102に格納された情報の更新)。スクロール位置は、画像生成装置200の制御部201から、画像生成装置200の通信部203と、投影装置100の通信部104とを介して、投影装置100の制御部101に通知される。実施例1では、指定ウィンドウに画像の一部が表示される。スクロール位置とは、画像のうち、指定ウィンドウに表示されている部分の位置を意味する。
ステップS502で、投影装置100の制御部101は、画像生成装置200からスクロール情報を受信したか否かを判定する。画像生成装置200の制御部201は、ユーザーが画像生成装置200を操作して指定ウィンドウ内をスクロールした場合に、当該スクロールに関するスクロール情報を、投影装置100に通知する。スクロール情報は、画像生成装置200の制御部201から、画像生成装置200の通信部203と、投影装置100の通信部104とを介して、投影装置100の制御部101に通知される。投影装置100の制御部101は、スクロール情報を受信したと判定した場合、つまり指定ウィンドウ内でのスクロールがあった場合に、ステップS503に処理を進める。また、投影装置100の制御部101は、スクロール情報を受信しなかったと判定した場合、つまり指定ウィンドウ内でのスクロールがなかった場合には、ステップS506に処理を進める。
スクロール情報は、例えば、スクロールの画素数(スクロール画素数;移動量)と、ス
クロールの方向(スクロール方向)とを含む。具体的には、ユーザーがスクロールバーのノブを下方向に動かし、指定ウィンドウ内が上方向に10画素分スクロールした場合には、画像生成装置200の制御部201は、10画素と上方向を示すスクロール情報を、投影装置100に通知する。スクロールバーのノブは、スクロール位置を示すインジケータである。なお、スクロール情報は、スクロール画素数やスクロール方向を含まなくてもよく、他の情報を含んでもよい。例えば、スクロール情報はスクロール位置を含んでもよい。その場合には、スクロール情報に含まれたスクロール位置(今回通知されたスクロール位置)と、記憶部102に格納されたスクロール位置(前回通知されたスクロール位置)とから、スクロール画素数とスクロール方向を得ることができる。
クロールの方向(スクロール方向)とを含む。具体的には、ユーザーがスクロールバーのノブを下方向に動かし、指定ウィンドウ内が上方向に10画素分スクロールした場合には、画像生成装置200の制御部201は、10画素と上方向を示すスクロール情報を、投影装置100に通知する。スクロールバーのノブは、スクロール位置を示すインジケータである。なお、スクロール情報は、スクロール画素数やスクロール方向を含まなくてもよく、他の情報を含んでもよい。例えば、スクロール情報はスクロール位置を含んでもよい。その場合には、スクロール情報に含まれたスクロール位置(今回通知されたスクロール位置)と、記憶部102に格納されたスクロール位置(前回通知されたスクロール位置)とから、スクロール画素数とスクロール方向を得ることができる。
ステップS503で、投影装置100の制御部101は、通知されたスクロール情報に基づいて、グラフィックの新たな位置を決定する。例えば、制御部101は、図4のステップS402で決定した倍率をスクロール画素数に乗算することにより、グラフィックの移動距離を算出する。そして、制御部101は、座標算出部115を用いて、記憶部102に格納されたグラフィックの位置から、算出した移動距離だけ、スクロール方向に移動した位置を、グラフィックの新たな位置として決定する。具体的には、スクロール画素数が10画素であり、スクロール方向が上方向であり、倍率が2倍である場合には、制御部101は、グラフィックの位置が20画素だけ上方向に変化するように、グラフィックの新たな位置を決定する。指示体による複数のグラフィックが存在する場合には、制御部101は、当該複数のグラフィックの全てについて、新たな位置を決定する。
ステップS504で、制御部101は、ステップS503で決定した位置に基づいて、描画プレーンを更新する。具体的には、制御部101は、グラフィック編集部117を用いて、ステップS503で算出した位置が指定ウィンドウ外であるグラフィックを、描画プレーンから消去する。また、制御部101は、グラフィック編集部117を用いて、ステップS503で算出した位置が指定ウィンドウ内であるグラフィックを、描画プレーン上で、ステップS503で算出した位置に描画し直す。描画プレーンから消去されたグラフィックは記憶部102に格納され続け、当該グラフィックの位置も管理され続ける。そのため、指定ウィンドウ外に出て消去されたグラフィックは、指定ウィンドウ内に戻れば、記憶部102から読み出されて、描画プレーンに描画される。
ステップS505で、制御部101は、画像合成部123を用いて、更新後の描画プレーンを入力画像に合成する(合成画像の更新)。
ステップS506で、制御部101は、グラフィックの表示を終了するか否かを判定する。制御部101は、グラフィックの表示を終了すると判定した場合には、指示体による全てのグラフィックを非表示にし、グラフィック処理を終了する。また、制御部101は、グラフィックの表示を終了しないと判定した場合には、ステップS501に処理を戻す。制御部101は、例えば、グラフィックの表示を終了する終了操作や、投影装置100の電源をOFFにする電源OFF操作などをユーザーが行った場合に、グラフィックの表示を終了すると判定する。
以上述べたように、実施例1によれば、指示体によるグラフィックを入力画像の変化に応じて(指示体によるグラフィックを入力画像の変化に合わせて)好適に更新することができる。具体的には、入力画像内でのスクロールに応じて、指示体によるグラフィックの移動(位置の変更)、消去、または、復帰を行うことができる。
なお、画像生成装置200は所定の周期でスクロール情報を通知し、投影装置100はスクロール情報を受信する度にグラフィックの位置を変更してもよい。この場合には、グラフィックの位置は所定の周期で変化する。所定の周期を短くすれば、入力画像内でのス
クロールにグラフィックがリアルタイムで追従するように見せることができる。
クロールにグラフィックがリアルタイムで追従するように見せることができる。
投影装置100は、入力画像内でのスクロール中にはグラフィックの位置を変更せず、スクロールが終了したタイミングでグラフィックの位置を変更してもよい。例えば、画像生成装置200は、(操作入力部202の)マウスのボタンが押されてから離されるまでのスクロール情報を一度に通知し、投影装置100は、通知されたスクロール情報に従ってグラフィックの位置を変更してもよい。こうすれば、通信などの処理負荷を低減することができる。
投影装置100は、指示体による指示(ユーザーによる描画)の継続中には、入力画像内でのスクロールがあってもグラフィックの位置を変更せず、指示体による指示が終了したタイミングでグラフィックの位置を変更してもよい。グラフィックの位置は一度に変更してもよいし、段階的に変更してもよい。また、記憶部102にグラフィックを記録するタイミングは特に限定されず、例えば指示体による指示が終了したタイミング、つまりユーザーが指示体で1ストロークを書き終えたタイミングであってもよい。
また。投影装置100は、指定ウィンドウ(特定範囲)内に表示されるコンテンツが変更された(別のコンテンツに切り替わった)場合や、コンテンツのシーンが切り替わった場合などにおいて、全てのグラフィックを非表示に(投影面から消去)してもよい。例えば、画像生成装置200は、コンテンツの変更やシーンの切り替わりなどがあった場合に、そのことを通信部203から通信部104に通知し、投影装置100は、画像生成装置200からの通知に基づいて全てのグラフィックを非表示にしてもよい。画像生成装置200は、コンテンツの変更やシーンの切り替わりなどを通知する代わりに、全てのグラフィックを非表示にするよう投影装置100に命令してもよい。
投影装置100は、マウスのカーソルなどが指定ウィンドウ上に配置された場合や、別のウィンドウが指定ウィンドウよりも前面側に配置された場合などにおいて、全てのグラフィックを非表示にしてもよい。例えば、画像生成装置200は、指定ウィンドウの表示位置が最前面でなくなった場合に、そのことを通信部203から通信部104に通知し、画像生成装置200からの通知に基づいて全てのグラフィックを非表示にしてもよい。画像生成装置200は、指定ウィンドウの表示位置が最前面でなくなったことを通知する代わりに、全てのグラフィックを非表示にするよう投影装置100に命令してもよい。
<実施例2>
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる点(構成や処理など)について詳しく説明し、実施例1と同様の点についての説明は適宜省略する。
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる点(構成や処理など)について詳しく説明し、実施例1と同様の点についての説明は適宜省略する。
実施例1では、投影装置100が画像生成装置200と連携してグラフィックを更新する例を説明した。具体的には、投影装置100が、画像生成装置200から受信したスクロール情報に基づいてグラフィックの移動、消去、または、復帰を行う例を説明した。実施例2では、投影装置が独立して入力画像を解析し、その解析結果に基づいてグラフィックを更新する例を説明する。実施例2では、実施例1(図4)の初期設定処理は不要である。
図6は、実施例2に係る投影装置600の構成例を示すブロック図である。図6において、実施例1(図1)と同じ構成要素には実施例1と同じ符号を付している。
画像解析部601は、入力画像を解析することで、入力画像内でのスクロールを検知する。具体的には、画像解析部601は、画像の動きベクトルを検出する。動きベクトルの
大きさはスクロールの移動量として用いることができ、動きベクトルの方向はスクロールの方向として用いることができる。動きベクトルの検出方法は特に限定されない。例えば、画像解析部601は、入力画像からエッジを検出し、エッジのフレーム間差分に基づいて動きベクトルを算出することができる。入力画像のエッジの代わりに、入力画像の輝度分布などの他の特徴量を用いてもよい。なお、画像解析部601が特徴量を取得し(動きベクトルは検出せず)、制御部101が特徴量に基づいて動きベクトルを検出してもよい。
大きさはスクロールの移動量として用いることができ、動きベクトルの方向はスクロールの方向として用いることができる。動きベクトルの検出方法は特に限定されない。例えば、画像解析部601は、入力画像からエッジを検出し、エッジのフレーム間差分に基づいて動きベクトルを算出することができる。入力画像のエッジの代わりに、入力画像の輝度分布などの他の特徴量を用いてもよい。なお、画像解析部601が特徴量を取得し(動きベクトルは検出せず)、制御部101が特徴量に基づいて動きベクトルを検出してもよい。
図7は、投影装置600と画像生成装置200の接続を示す模式図である。実施例1(図2)とは異なり、通信部104と通信部203の間に接続はない。すなわち、投影装置600は、スクロール情報を画像生成装置200から受信することはできない。上述したように、投影装置600は、画像入力部121が取得した入力画像に基づいてスクロールを検知する。
実施例2に係る投影画像は、実施例1(図3(A)~3(C))と同様である。なお、指定ウィンドウの範囲(特定範囲)は、画像解析部601が入力画像を解析することによって自動で検出されてもよいし、ユーザーが投影装置100を操作することによって指定されてもよい。例えば、画像解析部601は、入力画像からウィンドウの枠を検出して、最前面に表示されているウィンドウ、または、一番大きいウィンドウを、指定ウィンドウとして自動で検出する。多数のウィンドウが表示されているなど、指定ウィンドウの自動検出が難しい場合には、ユーザーにどのウィンドウを指定ウィンドウとするかを問い合わせることで、ユーザーにウィンドウを指定させてもよい。ユーザーによるウィンドウの指定方法は特に限定されないが、例えば、ユーザーが2点を指定し、制御部101が、指定された2点を対角の頂点とする矩形範囲を指定ウィンドウの範囲とみなす。
図8は、実施例2に係るグラフィック処理の一例を示すフローチャートである。例えば、投影装置600が入力画像を投影面に投影すると、図8の処理が開始する。
ステップS801で、投影装置600の制御部101は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ内での画像の特徴量とを、互いに関連付けて記憶部102に格納する。また、制御部101は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウ内での画像の特徴量とを、記憶部102に格納する(記憶部102に格納された情報の更新)。指定ウィンドウ内での画像の特徴量は、画像解析部601によって入力画像から取得される。
ステップS802で、制御部101は、指定ウィンドウ内でのスクロールがあったか否かを判定する。具体的には、制御部101は、画像解析部601を用いて、指定ウィンドウ内での画像の特徴量(現在の特徴量)を取得する。また、制御部101は、記憶部102に格納されている特徴量(過去の特徴量)を、記憶部102から読み出す。そして、制御部101は、現在の特徴量と過去の特徴量とを比較して、指定ウィンドウ内での画像の動きベクトルを検出する。制御部101は、動きベクトルの大きさがゼロより大きい場合に、スクロールがあったと判定し、ステップS503に処理を進める。また、制御部101は、動きベクトルの大きさがゼロであった場合に、スクロールがなかったと判定し、ステップS506に処理を進める。上述したように、動きベクトルの検出には、画像解析部601を用いてもよいし、用いなくてもよい。ゼロよりも大きい閾値を設定し、動きベクトルの大きさが閾値より大きい場合にスクロールがあったと判定し、動きベクトルの大きさが閾値以下である場合に、スクロールがなかったと判定してもよい。
ステップS503~S506の処理は、実施例1(図5)と同様である。ステップS5
03では、ステップS802で検出された動きベクトルの大きさ(動きの画素数)がスクロール画素数として使用され、動きベクトルの方向がスクロール方向として使用される。
03では、ステップS802で検出された動きベクトルの大きさ(動きの画素数)がスクロール画素数として使用され、動きベクトルの方向がスクロール方向として使用される。
以上述べてきたように、実施例2によれば、投影装置が独立して入力画像を解析し、その解析結果に基づいてグラフィックを更新することで、実施例1と同様の効果を得ることができる。
なお、画像解析部601は、指定ウィンドウのスクロールバーのノブ(スクロール位置を示すインジケータ)を検出して、ノブの位置に基づいて指定ウィンドウ内でのスクロールを検知してもよい。つまり、ノブの位置を上記特徴量の代わりに用いてもよい。また、画像解析部601は、閾値よりも大きい移動量のスクロールを検知した場合に、コンテンツの変更やシーンの切り替わりなどがあったと判定して、そのことを制御部101に通知してもよい。そして、制御部101は、コンテンツの変更やシーンの切り替わりなどがあったことの通知に応じて、全てのグラフィックを非表示にしてもよい。
<実施例3>
以下、本発明の実施例3について説明する。なお、以下では、実施例1と異なる点(構成や処理など)について詳しく説明し、実施例1と同様の点についての説明は適宜省略する。
以下、本発明の実施例3について説明する。なお、以下では、実施例1と異なる点(構成や処理など)について詳しく説明し、実施例1と同様の点についての説明は適宜省略する。
実施例1では、指定ウィンドウ内でのスクロールに応じてグラフィックの位置を変更する例を説明した。実施例3では、指定ウィンドウの移動や拡縮などの変化に応じてグラフィックを更新する例を説明する。指定ウィンドウの移動や拡縮などの変化では、指定ウィンドウの位置とサイズの少なくとも一方が変化する。そして、指定ウィンドウの拡縮があった場合には、指定ウィンドウの拡縮に応じて、指定ウィンドウ内に表示される画像も拡縮される。指定ウィンドウの移動のみでは、指定ウィンドウ内に表示される画像は変わらない。そのため、実施例3では、指定ウィンドウの移動や拡縮などの変化に応じて、グラフィックの位置とサイズの少なくとも一方を変更する。
実施例3に係る投影装置の構成は実施例1(図1)と同様である。そのため、実施例3に係る投影装置とその構成要素については、実施例1(図1)と同じ符号を用いる。実施例3に係る投影装置100と、画像生成装置200との接続も、実施例1(図2)と同様である。実施例3に係る初期設定処理も、実施例1(図4)と同様である。
図9(A),9(B)は、実施例3に係る投影画像の一例を示す模式図である。図9(A)では、画像生成装置200が生成した入力画像の上に、投影装置100が生成したグラフィック(ユーザーが指示体で描画したグラフィック)が重ねられて表示(投影)されている。実施例1でも述べたように、従来は、ユーザーが画像生成装置200を操作して、入力画像内をスクロールさせても、指示体によるグラフィックの位置は変わらず、ユーザーの意図とは異なる形でグラフィックが表示されていた。実施例3では、図9(B)のように、指定ウィンドウの移動や拡縮などの変化に応じて、グラフィックの位置とサイズの少なくとも一方を変更する。これにより、ユーザーの意図通りにグラフィックを表示し続けることができる。
図10は、実施例3に係るグラフィック処理の一例を示すフローチャートである。例えば、図4の初期設定処理が完了し、投影装置100が入力画像を投影面に投影すると、図10の処理が開始する。
ステップS1001で、投影装置100の制御部101は、指示体によるグラフィックを生成した場合に、当該グラフィックと、当該グラフィックの位置と、指定ウィンドウ(
特定範囲)の4頂点座標とを、互いに関連付けて記憶部102に格納する。また、制御部101は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウの4頂点座標とを、記憶部102に格納する(記憶部102に格納された情報の更新)。4頂点座標は、例えば、図9(A),9(B)の第1座標、第2座標、第3座標、及び、第4座標である。4頂点座標は、画像生成装置200の制御部201から、画像生成装置200の通信部203と、投影装置100の通信部104とを介して、投影装置100の制御部101に通知される。
特定範囲)の4頂点座標とを、互いに関連付けて記憶部102に格納する。また、制御部101は、グラフィックの位置を変更した場合に、当該グラフィックの位置と、指定ウィンドウの4頂点座標とを、記憶部102に格納する(記憶部102に格納された情報の更新)。4頂点座標は、例えば、図9(A),9(B)の第1座標、第2座標、第3座標、及び、第4座標である。4頂点座標は、画像生成装置200の制御部201から、画像生成装置200の通信部203と、投影装置100の通信部104とを介して、投影装置100の制御部101に通知される。
ステップS1002で、投影装置100の制御部101は、指定ウィンドウの新たな4頂点座標を、画像生成装置200から受信したか否かを判定する。画像生成装置200の制御部201は、ユーザーが画像生成装置200を操作して指定ウィンドウの移動または拡縮を行った場合に、指定ウィンドウの新たな4頂点座標を、投影装置100に通知する。投影装置100の制御部101は、新たな4頂点座標を受信したと判定した場合、つまり指定ウィンドウの移動または拡縮があった場合に、ステップS1003に処理を進める。また、投影装置100の制御部101は、新たな4頂点座標を受信しなかったと判定した場合、つまり指定ウィンドウの移動も拡縮もなかった場合には、ステップS506に処理を進める。ステップS506の処理は、実施例1(図5)と同様である。
ステップS1003では、投影装置100の制御部101は、ステップS1002で取得した4頂点座標と、記憶部102に格納された4頂点座標とに基づいて、グラフィックを更新する。例えば、制御部101は、グラフィック編集部117を用いて描画プレーンを更新し、画像合成部123を用いて、更新後の描画プレーンを入力画像に合成する。
ステップS1003の処理の具体例を説明する。ここでは、入力画像の座標(水平位置,垂直位置)のうち左上隅の座標(0,0)を原点座標とし。右に進むにつれ水平位置の値が増し、下に進むにつれ垂直位置の値が増すとする。
また、指定ウィンドウの移動および拡縮前の4点座標(記憶部102に格納された4頂点座標)を以下の座標とする。
第1座標(X01,Y01)
第2座標(X02,Y02)
第3座標(X03,Y03)
第4座標(X04,Y04)
第1座標(X01,Y01)
第2座標(X02,Y02)
第3座標(X03,Y03)
第4座標(X04,Y04)
そして、指定ウィンドウの移動または拡縮後の4点座標(ステップS1002で取得された4頂点座標)を以下の座標とする。
第1座標(X11,Y11)
第2座標(X12,Y12)
第3座標(X13,Y13)
第4座標(X14,Y14)
第1座標(X11,Y11)
第2座標(X12,Y12)
第3座標(X13,Y13)
第4座標(X14,Y14)
制御部101は、以下の式を用いて、水平方向と拡縮の度合いZx(水平方向の倍率)と、垂直方向の拡縮の度合いZy(垂直方向の倍率)とを算出する。
Zx=(X12-X11)/(X02-X01)
Zy=(Y13-Y12)/(Y03-Y02)
Zx=(X12-X11)/(X02-X01)
Zy=(Y13-Y12)/(Y03-Y02)
グラフィック編集部117は、倍率Zx,Zyに基づいて、グラフィックの移動または拡縮を行う(描画プレーンの更新)。具体的には、グラフィック編集部117は、以下の式を用いて、グラフィックの各画素を移動させる(グラフィックの各画素の座標を変更する)。以下の式において、座標(X0,Y0)は移動前の座標であり、座標(X1,Y1
)は移動後の座標である。ここで、移動後の座標が画素座標(画素を生成可能な座標)でないことがあり、移動後の座標間に、グラフィックの画素が移動してこない画素座標が存在することがある。そのような画素座標に対しては、グラフィック編集部117は、その周囲に移動してくるグラフィックの画素をもちた補間処理などにより、画素を生成(画素値を決定)する。
X1=(X0-X01)×Zx+X11
Y1=(Y0-Y01)×Zy+Y11
)は移動後の座標である。ここで、移動後の座標が画素座標(画素を生成可能な座標)でないことがあり、移動後の座標間に、グラフィックの画素が移動してこない画素座標が存在することがある。そのような画素座標に対しては、グラフィック編集部117は、その周囲に移動してくるグラフィックの画素をもちた補間処理などにより、画素を生成(画素値を決定)する。
X1=(X0-X01)×Zx+X11
Y1=(Y0-Y01)×Zy+Y11
そして、画像合成部123は、更新後の描画プレーンを入力画像に合成する。このような方法により、指定ウィンドウの移動や拡縮に追従して、グラフィックの移動や拡縮を行うことができる。
以上述べたように、実施例3によれば、指定ウィンドウ(特定範囲)の移動や拡縮に応じて(指定ウィンドウの移動や拡縮に合わせて)、グラフィックの移動や拡縮を行うことができる。
なお、投影装置が実施例1と同様の構成を有し、画像生成装置200との通信を行う例を説明したが、投影装置は、実施例2と同様の構成を有してもよい。その場合には、投影装置は、画像生成装置200との通信を行わずに、入力画像を解析することで指定ウィンドウの4頂点座標を検出し、4頂点座標の変化(閾値以上の変化)を指定ウィンドウの移動や拡縮として検知してもよい。つまり、4頂点座標を実施例2の特徴量の代わりに用いてもよい。指定ウィンドウの移動や拡縮が検知された場合には、上記処理と同様に、4頂点座標の変化に基づいてグラフィックの移動や拡縮を行えばよい。
なお、上述した実施例(変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、2つの指示体を用いる例を説明したが、3つ以上の指示体が使用されてもよい。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,600:投影装置 101:制御部 114:位置検出部 129:投影部
Claims (15)
- 投影面に入力画像を投影する投影手段と、
前記投影面のうち、指示体により指示された位置を検出する検出手段と、
前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段と
を有し、
前記制御手段は、前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するように制御する
ことを特徴とする投影装置。 - 前記特定範囲は、前記入力画像に含まれる特定のウィンドウに対応する範囲である
ことを特徴とする請求項1に記載の投影装置。 - 前記特定範囲における画像のスクロールに関する情報を外部装置から受信する通信手段をさらに有し、
前記制御手段は、前記情報に基づいて前記グラフィックの位置を制御する
ことを特徴とする請求項1または2に記載の投影装置。 - 前記入力画像を解析して前記特定範囲における画像のスクロールを検知する検知手段をさらに有し、
前記制御手段は、前記検知手段による検知の結果に基づいて前記グラフィックの位置を制御する
ことを特徴とする請求項1または2に記載の投影装置。 - 前記検知手段は、前記特定範囲における画像のスクロール位置を示すインジケータを、前記入力画像から検出し、前記インジケータの位置に基づいて前記特定範囲における画像のスクロールを検知する
ことを特徴とする請求項4に記載の投影装置。 - 前記制御手段は、前記特定範囲における画像のスクロールに応じて前記グラフィックを移動させた結果、前記グラフィックが前記特定範囲の内から外に出る場合には、前記グラフィックを前記投影面から消去するように制御する
ことを特徴とする請求項1~5のいずれか1項に記載の投影装置。 - 前記グラフィックを記憶する記憶手段をさらに有し、
前記制御手段は、前記特定範囲における画像のスクロールに応じて、前記投影面から消去した前記グラフィックを移動させた結果、前記グラフィックが前記特定範囲の外から内に入る場合には、前記グラフィックが再び投影されるように制御する
ことを特徴とする請求項6に記載の投影装置。 - 前記制御手段は、前記特定範囲における画像のスクロール中に所定の周期で前記グラフィックが移動するように制御する
ことを特徴とする請求項1~7のいずれか1項に記載の投影装置。 - 前記制御手段は、前記特定範囲における画像のスクロール中には前記グラフィックが移動せず、前記特定範囲における画像のスクロールが終了したタイミングで前記グラフィックが移動するように制御する
ことを特徴とする請求項1~7のいずれか1項に記載の投影装置。 - 前記制御手段は、前記指示体による指示の継続中には前記グラフィックが移動せず、前記指示が終了したタイミングで前記グラフィックが移動するように制御する
ことを特徴とする請求項1~9のいずれか1項に記載の投影装置。 - 投影面に入力画像を投影する投影手段と、
前記投影面のうち、指示体により指示された位置を検出する検出手段と、
前記投影手段が前記入力画像を投影すると共に、前記検出手段により検出された位置にグラフィックを投影するように制御する制御手段と
を有し、
前記制御手段は、前記入力画像の特定範囲の位置とサイズの少なくとも一方の変化があった場合に、前記特定範囲の前記変化に応じて前記グラフィックの位置とサイズの少なくとも一方が変化するように制御する
ことを特徴とする投影装置。 - 投影面に入力画像を投影するように制御するステップと、
前記投影面のうち、指示体により指示された位置を検出するステップと、
前記入力画像を投影すると共に、前記指示された位置にグラフィックを投影するように制御するステップと、
前記入力画像の特定範囲において画像のスクロールがあった場合に、前記特定範囲に対応するグラフィックが前記スクロールに応じた方向に移動するするように制御するステップと
を有することを特徴とする投影装置の制御方法。 - 投影面に入力画像を投影するように制御するステップと、
前記投影面のうち、指示体により指示された位置を検出するステップと、
前記入力画像を投影すると共に、前記指示された位置にグラフィックを投影するように制御するステップと、
前記入力画像の特定範囲の位置とサイズの少なくとも一方の変化があった場合に、前記特定範囲の前記変化に応じて前記グラフィックの位置とサイズの少なくとも一方が変化するように制御するステップと
を有することを特徴とする投影装置の制御方法。 - コンピュータを、請求項1~11のいずれか1項に記載の投影装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1~11のいずれか1項に記載の投影装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021007252A JP2022111670A (ja) | 2021-01-20 | 2021-01-20 | 投影装置 |
US17/578,181 US11979691B2 (en) | 2021-01-20 | 2022-01-18 | Projection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021007252A JP2022111670A (ja) | 2021-01-20 | 2021-01-20 | 投影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022111670A true JP2022111670A (ja) | 2022-08-01 |
Family
ID=82405491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021007252A Pending JP2022111670A (ja) | 2021-01-20 | 2021-01-20 | 投影装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11979691B2 (ja) |
JP (1) | JP2022111670A (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007004502A1 (ja) * | 2005-06-30 | 2007-01-11 | Ricoh Company, Ltd. | 投影画像表示装置 |
JP5009719B2 (ja) | 2007-08-23 | 2012-08-22 | 株式会社リコー | スクロール表示装置、情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
JP5867094B2 (ja) | 2012-01-11 | 2016-02-24 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
TWI645395B (zh) | 2014-04-01 | 2018-12-21 | 日商精工愛普生股份有限公司 | Two-way display method and two-way display device |
JP6002268B1 (ja) | 2015-03-25 | 2016-10-05 | 株式会社日立ソリューションズ東日本 | データ表示システム |
JP2016186674A (ja) * | 2015-03-27 | 2016-10-27 | セイコーエプソン株式会社 | インタラクティブプロジェクター及びインタラクティブプロジェクションシステム |
JP2017169086A (ja) | 2016-03-17 | 2017-09-21 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法及びプログラム |
EP3667484A1 (en) * | 2017-08-22 | 2020-06-17 | Samsung Electronics Co., Ltd. | Electronic device and control method thereof |
-
2021
- 2021-01-20 JP JP2021007252A patent/JP2022111670A/ja active Pending
-
2022
- 2022-01-18 US US17/578,181 patent/US11979691B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11979691B2 (en) | 2024-05-07 |
US20220232195A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9684385B2 (en) | Display device, display system, and data supply method for display device | |
JP5849560B2 (ja) | 表示装置、プロジェクター、及び、表示方法 | |
US10025400B2 (en) | Display device and display control method | |
US9396520B2 (en) | Projector system and control method thereof | |
US10431131B2 (en) | Projector and control method for projector | |
JP2020042322A (ja) | 画像表示装置及びその制御方法 | |
JP6064321B2 (ja) | 表示装置、及び、表示制御方法 | |
US9830723B2 (en) | Both-direction display method and both-direction display apparatus | |
JP2018036471A (ja) | 表示装置、表示システム及び表示装置の制御方法 | |
US20190295499A1 (en) | Display device, display system, and method of controlling display device | |
JP2014074825A (ja) | プロジェクター、およびプロジェクターの制御方法 | |
JP7195816B2 (ja) | 投影装置、投影装置の制御方法、プログラム、および記憶媒体 | |
JP5152317B2 (ja) | プレゼンテーション制御装置及びプログラム | |
JP6296144B2 (ja) | 表示装置、及び、表示制御方法 | |
JP2022111670A (ja) | 投影装置 | |
JP2017169086A (ja) | 表示装置、表示装置の制御方法及びプログラム | |
US20240251063A1 (en) | Projection apparatus | |
US11567396B2 (en) | Projection apparatus | |
US20220276749A1 (en) | Control method for display apparatus and display apparatus | |
JP2010145596A (ja) | プロジェクター、プログラムおよび情報記憶媒体 | |
JP2013195659A (ja) | 表示装置、及び、表示制御方法 | |
CN114979591A (zh) | 信息处理装置和信息处理*** | |
JP2022118884A (ja) | 投影装置 | |
CN113452974A (zh) | 显示装置的控制方法、信息处理装置以及显示*** | |
JP2020173327A (ja) | 表示方法および表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231215 |