JP2022188719A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2022188719A JP2022188719A JP2021117684A JP2021117684A JP2022188719A JP 2022188719 A JP2022188719 A JP 2022188719A JP 2021117684 A JP2021117684 A JP 2021117684A JP 2021117684 A JP2021117684 A JP 2021117684A JP 2022188719 A JP2022188719 A JP 2022188719A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- icon
- area
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002438 flame photometric detection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
【課題】画像処理における操作性を向上させる。【解決手段】プロジェクター10において、投射部14は、描画画像70上に消しゴムアイコン60を表示する。消しゴムアイコン60は、第1部分62と第2部分とを有する。投射領域Rに対する指示体20の接触位置の軌跡の始点が、消しゴムアイコン60が表示されている領域に含まれる場合、消しゴムアイコン60の表示位置は、接触位置の軌跡に沿って移動される。始点が、第1部分62が表示されている領域に含まれる場合、処理部17は、消しゴムアイコン60の移動軌跡と重なった描画画像70の部分に対して描画効果を付与する。始点が、第2部分64が表示されている領域に含まれる場合、処理部17は、消しゴムアイコン60の移動軌跡と重なった描画画像70の部分の表示を維持する。【選択図】図9
Description
本発明は、画像処理方法および画像処理装置に関する。
従来、ユーザーからの描画入力に基づいて描画画像を表示する機器において、描画を消去するための消しゴム機能が搭載されているものがある。例えば、下記特許文献1には、ユーザーからのタッチ入力の軌跡に基づく描画画像を表示画面に表示する情報処理装置が記載されている。情報処理装置は、ツールバーの消しゴムボタンがタッチされると、表示画面に消しゴムカーソルを表示させる。ユーザーが消しゴムカーソルを移動させると、消しゴムカーソルの軌跡と重なる描画画像の領域が消去される。
上述した従来技術では、ユーザーは、消しゴム機能を利用したい場合にツールバーをタッチする必要がある。ユーザーが消しゴムによる消去と描画入力を繰り返す場合には、都度ツールバーを操作する必要があるため、操作が煩雑であるという課題がある。また、描画画像の消去に限らず、ツールバーを用いて機能の呼び出しを行う手法は、作業性の観点で改善の余地がある。
本発明の一態様にかかる画像処理方法は、指示体が表示面に接触してから離れるまでの期間、前記表示面における前記指示体の接触位置の軌跡を検出することと、前記表示面に第1画像を表示することと、前記第1画像を背景として、第1部分と、第2部分とを有する第2画像を前記表示面に表示することと、前記接触位置の軌跡の始点が、前記表示面の前記第2画像が表示されている領域に含まれる場合に、前記接触位置の軌跡に沿って、前記表示面における前記第2画像の表示位置を移動させることと、前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第1部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分に対して描画効果を付与することと、前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第2部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分の表示を維持することと、を含む。
本発明の一態様にかかる画像処理装置は、表示装置と、指示体の位置に関する情報を検出する検出装置と、少なくとも1つの処理装置と、を含み、前記処理装置は、前記検出装置の出力に基づいて、前記指示体が表示面に接触してから離れるまでの期間、前記表示面における前記指示体の接触位置の軌跡を検出することと、前記表示装置を用いて、前記表示面に第1画像を表示することと、前記表示装置を用いて、前記第1画像を背景として、第1部分と、第2部分とを有する第2画像を前記表示面に表示することと、前記接触位置の軌跡の始点が、前記表示面の前記第2画像が表示されている領域に含まれる場合に、前記接触位置の軌跡に沿って、前記表示面における前記第2画像の表示位置を移動させることと、前記第2画像の表示位置が移動する間において、前記始点が、前記第1部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分に対して描画効果を付与することと、前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第2部分が表示されている領域である場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分の表示を維持することと、を実行する。
以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
A:プロジェクターシステム1の概要
図1は、実施形態にかかるプロジェクター10を含むプロジェクターシステム1を示す図である。プロジェクターシステム1は、プロジェクター10と、指示体20と、を含む。
図1は、実施形態にかかるプロジェクター10を含むプロジェクターシステム1を示す図である。プロジェクターシステム1は、プロジェクター10と、指示体20と、を含む。
プロジェクター10は、壁Wのうち、投射領域Rの上端Re1よりも上方の部分に設置される。プロジェクター10は、壁Wに設置されずに、例えば、机、テーブルまたは床の上に配置されてもよいし、天井から吊るされてもよい。本実施形態では、投射領域Rは、例えば壁Wの一部分である。投射領域Rは、壁Wの一部の他、スクリーン、扉、ホワイトボード等であってもよい。投射領域Rは、表示面の一例である。
プロジェクター10は、投射領域Rに画像を投射することによって投射領域Rに画像を表示する。プロジェクター10は、表示装置の一例である。表示装置は、プロジェクター10に限らず、ディスプレイ、例えば、FPD(Flat Panel Display)でもよい。FPDは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。
指示体20は、例えば、ペン型の指示具である。指示体20の形状は、ペンの形状に限らず、例えば、円柱、角柱、円錐または角錐でもよい。ユーザーは、例えば、指示体20の軸部20bを持ち、先端20aを投射領域Rに接触させながら指示体20を投射領域R上で移動させる。
プロジェクター10は、カメラ15で投射領域Rを撮像することによって撮像データを生成する。プロジェクター10は、撮像データを解析することによって指示体20の位置を特定する。後述するように、本実施形態では、赤外光撮像データ上で指示体20の第1光源23から発光する赤外光が検出された位置が、指示体20の先端20aが投射領域Rに接触する接触位置とみなされる。
プロジェクター10は、指示体20にて選択可能なアイコンを示す画像を投射領域Rに表示する。図1には、プロジェクター10の動作モードを指定するためのモード選択部50が表示されている。モード選択部50は、パーソナルコンピューター(PC)のイラストが描かれたPCモードアイコン51と、ペンのイラストが描かれた示す描画モードアイコン52を含む。
PCモードアイコン51が選択された状態では、プロジェクター10は、PCモードで動作する。PCモードとは、プロジェクター10と接続されたコンピューターP内のデータを投射領域Rに表示し、投射領域Rへの操作によってコンピューターPの操作を可能とするモードである。図1は、PCモードアイコン51が選択された状態を示している。投射領域Rには、コンピューターPのデスクトップ画面D1を表示する投射デスクトップ画面D2が表示されている。例えば、指示体20によって投射デスクトップ画面D2上のフォルダーアイコンFを素早く2回タッチすると、フォルダーアイコンFに対応するコンピューターP内のフォルダーを展開したウィンドウ表示が投射領域Rに表示される。プロジェクター10とコンピューターPとは、例えば後述する近距離無線通信で接続されている。
一方、描画モードアイコン52が選択された状態では、プロジェクター10は、描画モードで動作する。詳細は後述するが、描画モードでは、ユーザーが指示体20を投射領域R上で移動させると、プロジェクター10は、指示体20の軌跡に応じた線DLを含む描画画像70を投射領域Rに投射する。描画モードでは、指示体20は、描画位置を指定するペンとして機能する。
モード選択部50は、投射領域Rに継続的に表示されてもよいし、例えば一定期間モード選択部50への操作がない場合には、投射領域Rへの表示が停止されてもよい。本実施形態では、後者が採用される。後者の場合、例えば後述するプロジェクター10の操作部12への操作に対応して、モード選択部50の表示が再開されてもよい。
B:指示体20の構成
図2は、指示体20の構成の一例を示す図である。指示体20は、第1通信部22と、第1光源23と、スイッチ24と、指示体記憶部25と、指示体制御部26と、を含む。
図2は、指示体20の構成の一例を示す図である。指示体20は、第1通信部22と、第1光源23と、スイッチ24と、指示体記憶部25と、指示体制御部26と、を含む。
第1通信部22は、通信回路およびアンテナ等を有し、プロジェクター10とBluetoothで無線通信する。Bluetoothは登録商標である。Bluetoothは、近距離無線方式の一例である。近距離無線方式は、Bluetoothに限らず、例えば、Wi-Fiでもよい。Wi-Fiは登録商標である。第1通信部22とプロジェクター10との無線通信の通信方式は、近距離無線方式に限らず他の通信方式でもよい。なお、第1通信部22が有線通信を行う場合、第1通信部22は、通信回路と、通信用配線が接続されるコネクタ等を有する。
第1光源23は、赤外光を出射するLED(Light Emitting Diode)である。第1光源23は、LEDに限らず、例えば、赤外光を出射するLD(Laser Diode)でもよい。第1光源23は、指示体20の接触位置をプロジェクター10に認識させるために、赤外光を出射する。
スイッチ24は、指示体20の先端20aに圧力が加わるとオンし、先端20aに加えられた圧力が解消されるとオフする。スイッチ24は、先端20aが投射領域Rに接触しているか否かを検出するセンサーとして機能する。スイッチ24のオンオフに連動して、第1光源23がオンオフする。すなわち、指示体20の先端20aに圧力が加わると、スイッチ24がオンとなり、第1光源23が発光する。また、先端20aに加えられた圧力が解消されると、スイッチ24がオフとなり、第1光源23は発光を停止する。
指示体記憶部25は、例えば、フラッシュメモリー等の不揮発性の半導体メモリーである。指示体記憶部25は、指示体制御部26で実行する制御プログラムを記憶する。
指示体制御部26は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、指示体制御部26は、単数または複数のCPU(Central Processing Unit)によって構成される。指示体制御部26の機能の一部または全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。指示体制御部26は、各種の処理を並列的または逐次的に実行する。
指示体制御部26は、指示体記憶部25に記憶されている制御プログラムを実行することによって種々の機能を実現する。例えば、指示体制御部26は、スイッチ24がオンしている状況において、第1通信部22がプロジェクター10から同期信号を受信すると、第1光源23を点灯させる。同期信号は、第1光源23の点灯タイミングをカメラ15の撮像タイミングと同期させるための信号である。
C:プロジェクター10の構成
図3は、プロジェクター10の構成の一例を示す図である。プロジェクター10は、操作部12と、第2通信部13と、投射部14と、カメラ15と、記憶部16と、処理部17とを含む。
図3は、プロジェクター10の構成の一例を示す図である。プロジェクター10は、操作部12と、第2通信部13と、投射部14と、カメラ15と、記憶部16と、処理部17とを含む。
操作部12は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部12は、例えばプロジェクター10の筐体に設けられている。また、操作部12は、プロジェクター10の筐体とは別個に設けられたリモートコントローラーであってもよい。操作部12は、ユーザーからの入力操作を受け取る。
第2通信部13は、通信回路とアンテナ等を有し、指示体20の第1通信部22とBluetoothで無線通信を行う。無線通信の通信方式は、上述の通り、Bluetoothに限らず、例えば、Wi-Fiでもよい。なお、第2通信部13が有線通信を行う場合は、通信回路と、通信用配線が接続されるコネクタ等を有する。
投射部14は、投射領域Rに画像を投射することによって投射領域Rに画像を表示する。投射部14は、表示装置の一例であり、画像処理回路、フレームメモリー、液晶ライトバルブ、ライトバルブ駆動回路、光源、投射光学系等を備える。画像処理回路は、処理部17またはコンピューターP等の画像供給装置から画像データを受け取ると、当該画像データをフレームメモリーに展開し、必要な画像処理を行う。この画像処理は、例えば画像データの解像度を液晶ライトバルブの解像度を変換する処理、台形ゆがみを解消する幾何的補正処理等である。画像処理後の画像データは画像信号に変換され、画像信号に基づいて液晶ライトバルブ等が駆動されることによって、投射領域Rに画像データが画像として投射される。なお、投射部14は、上述した液晶ライトバルブ等を用いた液晶方式の他、例えば、DLP(Digital Lighting Processing)方式であってもよい。DLPは登録商標である。
カメラ15は、投射領域Rを撮像することによって撮像データを生成する。カメラ15は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子等を含む。撮像素子は、例えば、赤外領域および可視光領域の光を受光するCCD(Charge Coupled Device)イメージセンサーである。カメラ15は、撮像素子に入射する光の一部を遮るフィルターを備えてもよい。例えば、カメラ15は、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子前に配置してもよい。
カメラ15は、プロジェクター10とは別体として設けられてもよい。この場合、カメラ15とプロジェクター10は、データの送受信ができるように有線または無線のインターフェイスにより相互に接続されてもよい。
カメラ15が可視光による撮像を行うと、例えば、投射部14が投射領域Rに投射した画像が撮像される。以下、可視光によるカメラ15の撮像によって生成される撮像データを「可視光撮像データ」と称する。可視光撮像データは、例えば、後述するキャリブレーションにおいて使用される。
カメラ15が赤外光による撮像を行うと、例えば、指示体20が出射した赤外光を示す撮像データが生成される。以下、赤外光によるカメラ15の撮像によって生成される撮像データを「赤外光撮像データ」と称する。赤外光撮像データは、例えば、投射領域R上の指示体20の接触位置を検出するために使用される。すなわち、カメラ15は、指示体20の位置に関する情報を検出する検出装置の一例である。
記憶部16は、処理部17が読み取り可能な記録媒体である。記憶部16は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)およびEEPROM(Electrically Erasable Programmable Read Only Memory)が挙げられる。揮発性メモリーとしては、例えば、RAMが挙げられる。
記憶部16は、処理部17によって実行される制御プログラム162と、処理部17が使用する各種のデータ164と、を記憶する。
制御プログラム162は、処理部17によって実行される。制御プログラム162は、オペレーティングシステムと、複数のアプリケーションプログラムと、を含む。複数のアプリケーションプログラムには、インタラクティブ機能を実現するアプリケーションプログラムが含まれる。
データ164は、処理部17が実行する各種処理の処理条件を示すデータを含む。また、データ164は、画像処理で用いられるデータを含んでもよい。また、データ164には、キャリブレーション画像を示すキャリブレーション画像データが含まれる。キャリブレーション画像には、予め設定された形状のマークが間隔をあけて配置されている。
処理部17は、処理装置の一例であり、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理部17は、単数または複数のCPUによって構成される。処理部17の機能の一部または全部は、DSP、ASIC、PLD、FPGA等の回路によって構成されてもよい。処理部17は、各種の処理を並列的または逐次的に実行する。
処理部17は、記憶部16から制御プログラム162を読み取って実行することにより、動作制御部172、表示制御部174、PCモード制御部176および描画モード制御部178として機能する。
動作制御部172は、プロジェクター10の種々の動作を制御する。動作制御部172は、例えばキャリブレーションを実行する。キャリブレーションとは、投射部14のフレームメモリー上の座標と、撮像データ上の座標とを、対応づける処理である。フレームメモリー上の座標は、投射領域Rに投射される画像上の位置に対応する。フレームメモリー上の位置と、撮像データ上の位置とが対応づけられることで、例えば、投射領域Rに投射される画像において、投射領域Rにおける指示体20の接触位置に対応する部分を特定することができる。動作制御部172は、キャリブレーションを実行することにより、カメラ15の撮像データ上の座標と、投射部14のフレームメモリー上の座標とを対応づけるキャリブレーションデータを生成し、記憶部16に記憶する。
この他、動作制御部172は、例えば指示体20と第2通信部13との通信を確立する。また、動作制御部172は、キャリブレーション完了後、一定の時間間隔でカメラ15に赤外光での撮像を実行させて赤外光撮像データを生成させる。また、動作制御部172は、カメラ15の撮像タイミングに合わせて、同期信号を第2通信部13から指示体20に送信する。
表示制御部174は、投射部14が投射する画像を制御する。表示制御部174は、PCモード制御部176と描画モード制御部178を含む。
PCモード制御部176は、PCモードアイコン51が選択されている場合、すなわち、PCモードが指定されている場合における投射領域Rの表示画像を制御する。また、PCモード制御部176は、例えばコンピューターPとの通信の確立やデータの送受信等を行う。
描画モード制御部178は、描画モードアイコン52が選択されている場合、すなわち、描画モードが指定されている場合における投射領域Rの表示画像を制御する。描画モード制御部178は、例えばユーザーから指示体20を用いた描画操作を受け付け、描画操作に応じた描画画像を投射領域Rに表示する。
D:描画モードの詳細
図4は、描画モード選択時における投射領域Rの表示の一例を示す図である。図4において、投射領域Rには、描画モードアイコン52が選択された状態のモード選択部50、描画線DLを含む描画画像70、および消しゴムアイコン60が表示されている。符号H1は、消しゴムアイコン60の中心点Oの位置を示す。以下の説明において、消しゴムアイコン60の表示位置とは、投射領域Rにおける消しゴムアイコン60の中心点Oの位置である。また、消しゴムアイコン60の表示領域とは、投射領域Rのうち消しゴムアイコン60が表示されている領域である。描画画像70は、ユーザーが投射領域Rに接して指示体20を移動させた移動軌跡を示す描画線DLを含む画像である。図4の例では、描画画像70には「ABC」と描かれている。描画画像70は、第1画像の一例である。消しゴムアイコン60は、第2画像の一例である。
図4は、描画モード選択時における投射領域Rの表示の一例を示す図である。図4において、投射領域Rには、描画モードアイコン52が選択された状態のモード選択部50、描画線DLを含む描画画像70、および消しゴムアイコン60が表示されている。符号H1は、消しゴムアイコン60の中心点Oの位置を示す。以下の説明において、消しゴムアイコン60の表示位置とは、投射領域Rにおける消しゴムアイコン60の中心点Oの位置である。また、消しゴムアイコン60の表示領域とは、投射領域Rのうち消しゴムアイコン60が表示されている領域である。描画画像70は、ユーザーが投射領域Rに接して指示体20を移動させた移動軌跡を示す描画線DLを含む画像である。図4の例では、描画画像70には「ABC」と描かれている。描画画像70は、第1画像の一例である。消しゴムアイコン60は、第2画像の一例である。
D-1:消しゴムアイコン60
消しゴムアイコン60は、ユーザーが描画画像70中の任意の領域を消去する場合に用いるツールである。本実施形態では、消しゴムアイコン60は、描画モード指定時には投射領域Rに常時表示される。すなわち、本実施形態では、指示体20の接触位置の軌跡が描画画像70として表示される描画モードにおいて、投射領域Rに消しゴムアイコン60が表示し続けられている。よって、ユーザーは、例えば消しゴムアイコン60の表示開始を指示するための操作等を行わなくても、必要な時にすぐに消しゴムアイコン60を使用することができ、描画作業における利便性を向上させることができる。
消しゴムアイコン60は、ユーザーが描画画像70中の任意の領域を消去する場合に用いるツールである。本実施形態では、消しゴムアイコン60は、描画モード指定時には投射領域Rに常時表示される。すなわち、本実施形態では、指示体20の接触位置の軌跡が描画画像70として表示される描画モードにおいて、投射領域Rに消しゴムアイコン60が表示し続けられている。よって、ユーザーは、例えば消しゴムアイコン60の表示開始を指示するための操作等を行わなくても、必要な時にすぐに消しゴムアイコン60を使用することができ、描画作業における利便性を向上させることができる。
図6Aは、本実施形態にかかる消しゴムアイコン60の拡大図である。消しゴムアイコン60は、第1部分62と第2部分64とを有する。本実施形態では、消しゴムアイコン60は全体として円形を呈する。第1部分62は、半径r1の第1円S1に囲まれた円形の領域である。また、第2部分64は、第1円S1の半径r1よりも大きい半径r2を有し第1円S1と中心点Oを共通する第2円S2と、第1円S1とに囲まれたドーナツ型の領域である。すなわち、消しゴムアイコン60において、第1部分62の外縁は、第2部分64に囲まれている。なお、本実施形態では、消しゴムアイコン60の外側に第2部分64が配置され、内側に第1部分62が配置されているが、例えば、消しゴムアイコン60の外側に第1部分62が配置され、内側に第2部分64が配置されていてもよい。すなわち、消しゴムアイコン60において、第2部分64の外縁が、第1部分62に囲まれていてもよい。
後述するように、指示体20の先端20aが消しゴムアイコン60の表示領域にタッチすると、消しゴムアイコン60が選択された状態となる。消しゴムアイコン60が選択された状態で指示体20が移動すると、指示体20の移動に合わせて消しゴムアイコン60も移動する。この時、指示体20の消しゴムアイコン60上の接触位置が、第1部分62にあるか、第2部分64にあるかに応じて、描画線DLの消去の有無が異なる。指示体20が第1部分62にある場合には、消しゴムアイコン60と重なる描画画像70の部分が消去される。一方、指示体20が第2部分64にある場合には、消しゴムアイコン60と重なる描画画像70の部分は消去されずに、そのまま残る。
なお、消しゴムアイコン60の形状は円形に限らず、様々な形状を適用可能である。図6Bは、消しゴムアイコン60の他の例を示す拡大図である。図6Bに示す、消しゴムアイコン60Aは、全体として角丸の矩形を呈する。第1部分62Aは、対向する1対の短辺および対向する1対の長辺に囲まれた第1矩形S3に囲まれた領域である。また、第2部分64Aは、第1矩形S3の短辺よりも長い短辺および第1矩形S3の長辺よりも長い長辺を有する第2矩形S4と、第1矩形S3とに囲まれた矩形枠型の領域である。このような形状の消しゴムアイコン60Aは、ホワイトボードや黒板のイレーザーを想起させる。ユーザーは、アイコンの用途を直感的に把握することができる。
図5は、投射領域Rに投射される投射画像におけるレイヤー配置を模式的に示す図である。壁Wに近いレイヤーを下層とすると、投射画像の下層から順に、背景画像を含む第1レイヤーL1、描画画像70を含む第2レイヤーL2および消しゴムアイコン60を含む第3レイヤーL3が積層されている。なお、矢印Vはユーザーの視線方向を示す。すなわち、描画モード制御部178は、投射領域Rに描画画像70を表示し、描画画像70を背景として、消しゴムアイコン60を投射領域Rに表示する。
描画モード制御部178は、投射領域Rに指示体20が触れた場合、上層のレイヤーから順に接触判定を行う。よって、描画モード制御部178は、指示体20が消しゴムアイコン60の表示領域ではない位置に接触すると、第2レイヤーL2に配置された描画画像70に対する描画指示と判定する。また、描画モード制御部178は、指示体20が消しゴムアイコン60の表示領域に接触すると、第3レイヤーL3に配置された消しゴムアイコン60の選択指示として判定する。
なお、モード選択部50は、消しゴムアイコン60と同じ第3レイヤーL3に配置されてもよいし、第3レイヤーL3より上層に設けた図示しないレイヤーに配置されてもよい。また、本実施形態では、背景画像は無色画像であるものとするが、背景画像の色を指定したり、任意の画像を背景画像に指定したりできるようにしてもよい。また、消しゴムアイコン60の表示色は、背景画像と容易に識別可能な色とするのが好ましい。例えば、背景画像の色と消しゴムアイコン60の色とが識別困難な場合には、消しゴムアイコン60の表示色が背景画像と容易に識別可能な色に自動的に変更されてもよい。
また、消しゴムアイコン60は、下層のレイヤーに対する透過性を有していてもよい。図7は、消しゴムアイコン60が透過性を有する場合を模式的に示す図である。図7に示す消しゴムアイコン60Bは透過性を有さない場合の例である。消しゴムアイコン60Bの表示領域と重なる位置にある描画線DLは消しゴムアイコン60Bによって隠れてしまい、描画された「A」の一部は視認ができない。一方、図7に示す消しゴムアイコン60Cは透過性を有する場合の例である。消しゴムアイコン60Cの表示領域と重なる位置にある描画線DLは透過して表示され、描画された「B」の全体が視認可能となる。
例えば、消しゴムアイコン60Bのように、消しゴムアイコン60に透過性がなく、描画画像70の一部が完全に隠れてしまう場合、ユーザーは、必要に応じて消しゴムアイコン60を移動させなければならない。一方、消しゴムアイコン60が透過性を有する場合、消しゴムアイコン60と描画画像70とが重なっても、描画線DLの形状をユーザーが把握することができる。これにより、消しゴムアイコン60によって描画画像70の視認性が低下するのを防止して、消しゴムアイコン60の使い勝手をより向上させることができる。
D-2:指示体20の接触位置の軌跡
つぎに、指示体20の接触位置の軌跡の検出方法について説明する。描画モード制御部178は、指示体20の接触位置を連続的に検出し、指示体20が投射領域Rに接触してから離れるまでの期間、投射領域Rにおける指示体20の接触位置の軌跡を検出する。より詳細には、描画モード制御部178は、赤外光撮像データが生成されるごとに最新の赤外光撮像データを解析して、最新の赤外光撮像データに赤外光が含まれているか否を判定する。描画モード制御部178は、赤外光撮像データに赤外光が含まれている場合には、赤外光撮像データ上における赤外光の位置Hを検出し、更にキャリブレーションデータを用いて、位置Hをフレームメモリー上の接触位置Haに変換する。
つぎに、指示体20の接触位置の軌跡の検出方法について説明する。描画モード制御部178は、指示体20の接触位置を連続的に検出し、指示体20が投射領域Rに接触してから離れるまでの期間、投射領域Rにおける指示体20の接触位置の軌跡を検出する。より詳細には、描画モード制御部178は、赤外光撮像データが生成されるごとに最新の赤外光撮像データを解析して、最新の赤外光撮像データに赤外光が含まれているか否を判定する。描画モード制御部178は、赤外光撮像データに赤外光が含まれている場合には、赤外光撮像データ上における赤外光の位置Hを検出し、更にキャリブレーションデータを用いて、位置Hをフレームメモリー上の接触位置Haに変換する。
以降、各赤外光撮像データにおける位置Hおよびこれが変換された接触位置Haを識別する場合には、位置H(n)および接触位置Ha(n)と表記する。nは赤外光撮像データの生成タイミングを識別する識別情報であり、連続した整数であるものとする。1つの赤外光撮像データからは1つの位置Hが得られ、位置Hに対応する1つの接触位置Haが得られる。よって、nは接触位置Haを識別する識別情報としても機能する。
図14は、指示体20の接触位置の軌跡を模式的に示す図である。指示体20の接触位置の軌跡Tには、始点Hsと終点Heとが含まれる。描画モード制御部178は、最新の接触位置Ha(n)が検出された際、前回生成された赤外光撮像データで赤外光が検出されていなかった場合、すなわち接触位置Ha(n-1)が存在しない場合、最新の接触位置Ha(n)を移動軌跡の始点Hsとする。描画モード制御部178は、以降生成される赤外光撮像データに基づく接触位置Ha(n+1)、Ha(n+2)・・を、順次前回の接触位置Haに対応づけて、軌跡Tを生成する。
また、描画モード制御部178は、赤外光撮像データで赤外光が検出されなくなった場合には、最後に検出された接触位置Haを移動軌跡の終点Heとする。図14の例では、接触位置Ha(n+x)以降、接触位置が検出されていない。例えば、接触位置Ha(n+x+1)は検出されていない。よって、接触位置Ha(n+x)が軌跡Tの終点Heとなる。
D-3:描画操作の詳細
描画モードでは、ユーザーは、指示体20を投射領域Rに接触させながら移動させることにより、描画画像70への描画が可能である。すなわち、描画モード制御部178は、指示体20の接触位置の軌跡Tに基づく画像を描画画像70として表示する。より詳細には、描画画像70は、指示体20の接触位置の軌跡の始点が、消しゴムアイコン60の表示領域に含まれない場合の、接触位置の軌跡に基づく画像である。
描画モードでは、ユーザーは、指示体20を投射領域Rに接触させながら移動させることにより、描画画像70への描画が可能である。すなわち、描画モード制御部178は、指示体20の接触位置の軌跡Tに基づく画像を描画画像70として表示する。より詳細には、描画画像70は、指示体20の接触位置の軌跡の始点が、消しゴムアイコン60の表示領域に含まれない場合の、接触位置の軌跡に基づく画像である。
ここで、描画モード制御部178は、指示体20の接触位置の始点Hsが、消しゴムアイコン60の表示領域に含まれるか否かで、実行する処理が異なる。
[1.始点Hsが消しゴムアイコン60の表示領域に含まれない場合]
始点Hsが消しゴムアイコン60の表示領域に含まれない場合、描画モード制御部178は、指示体20の軌跡Tに応じた描画線DLを示す画像を投射部14に投射させる。すなわち、通常の描画処理が行われる。始点Hsが消しゴムアイコン60の表示領域に含まれるか否かは、例えば始点Hsが、フレームメモリー上の消しゴムアイコン60の中心点Оの位置から半径r2以内の範囲にあるか否かによって判断することができる。
始点Hsが消しゴムアイコン60の表示領域に含まれない場合、描画モード制御部178は、指示体20の軌跡Tに応じた描画線DLを示す画像を投射部14に投射させる。すなわち、通常の描画処理が行われる。始点Hsが消しゴムアイコン60の表示領域に含まれるか否かは、例えば始点Hsが、フレームメモリー上の消しゴムアイコン60の中心点Оの位置から半径r2以内の範囲にあるか否かによって判断することができる。
始点Hsが消しゴムアイコン60の表示領域に含まれない場合、描画モード制御部178は、接触位置Haが検出される毎に、接触位置Haにドットを配置する。このドットは、その中心位置が接触位置Haであり、その直径は予め指定されている描画太さに対応する長さである。描画太さは、例えば描画モードにおける設定画面において、ユーザーにより指定可能である。描画太さが太いほど、ドットの直径は大きくなる。
また、描画モード制御部178は、ドットが配置される都度、前回の接触位置Haのドットと、最新の接触位置Haのドットとをつなぐ連結線を描画画像70に追加する。連結線はドットの直径と同じ幅を有し、ドットと同じ色で塗りつぶされている。すなわち、接触位置Haが連続的に検出される場合には、ユーザーは連続的に描画を行っているため、描画モード制御部178は、描画画像70が各接触位置Haをつなぐ線になるように連結線を追加する。
描画モード制御部178は、最新の描画画像70の画像データおよび消しゴムアイコン60の画像データを投射部14に供給する。投射部14は、最新の描画画像70の画像データおよび消しゴムアイコン60の画像データが示す画像を投射領域Rに投射する。なお、描画の途中で接触位置Haが消しゴムアイコン60の表示領域と重なった場合、描画モード制御部178は、消しゴムアイコン60の選択は行わず、第2レイヤーL2への描画を継続する。
[2.始点Hsが消しゴムアイコン60の表示領域に含まれる場合]
始点Hsが消しゴムアイコン60の表示領域に含まれる場合、描画モード制御部178は、指示体20で消しゴムアイコン60を選択した状態とする。この時、消しゴムアイコン60が選択された状態であることをユーザーが把握可能となるように、消しゴムアイコン60に視覚効果を与えてもよい。視覚効果として、例えば消しゴムアイコン60の色を変えたり、消しゴムを持ち上げた様子を模して消しゴムアイコン60を投射領域R上でわずかに上に移動させたりしてもよい。
始点Hsが消しゴムアイコン60の表示領域に含まれる場合、描画モード制御部178は、指示体20で消しゴムアイコン60を選択した状態とする。この時、消しゴムアイコン60が選択された状態であることをユーザーが把握可能となるように、消しゴムアイコン60に視覚効果を与えてもよい。視覚効果として、例えば消しゴムアイコン60の色を変えたり、消しゴムを持ち上げた様子を模して消しゴムアイコン60を投射領域R上でわずかに上に移動させたりしてもよい。
消しゴムアイコン60が選択された状態で指示体20が投射領域R上を移動すると、描画モード制御部178は、指示体20の移動に合わせて消しゴムアイコン60の表示位置を第1レイヤーL1上で移動させる。消しゴムアイコン60が移動する際、始点Hsが、第2部分64の表示領域に含まれるか、第1部分62の表示領域に含まれるかに応じて、描画線DLの消去の有無が異なる。
[2-1.始点Hsが消しゴムアイコン60の第2部分64の表示領域に含まれる場合]
図8は、始点Hsが第2部分64の表示領域に含まれる場合の描画画像70を模式的に示す図である。図8では、消しゴムアイコン60を、左下の位置H1から右上の位置H2まで軌跡T1に沿って移動させる場合について図示している。なお、点線で示す軌跡T1は、消しゴムアイコン60の中心点Oの移動軌跡であり、一点破線で示す領域T2は、位置H1から位置H2までの移動中に消しゴムアイコン60の表示領域が重なった領域である。
図8は、始点Hsが第2部分64の表示領域に含まれる場合の描画画像70を模式的に示す図である。図8では、消しゴムアイコン60を、左下の位置H1から右上の位置H2まで軌跡T1に沿って移動させる場合について図示している。なお、点線で示す軌跡T1は、消しゴムアイコン60の中心点Oの移動軌跡であり、一点破線で示す領域T2は、位置H1から位置H2までの移動中に消しゴムアイコン60の表示領域が重なった領域である。
始点Hsが第2部分64の表示領域に含まれる場合、描画モード制御部178は、描画画像70の消去は行わず、消しゴムアイコン60の表示位置の移動のみを実行する。より詳細には、描画モード制御部178は、始点Hsが消しゴムアイコン60の表示領域に含まれる場合、接触位置Haが検出される毎に、接触位置Haに合わせて消しゴムアイコン60の表示位置を変更する。この時、始点Hsにおける消しゴムアイコン60の中心点Oと接触位置Haとの相対位置関係を保つように、消しゴムアイコン60の表示位置を決定してもよい。
[2-2.始点が消しゴムアイコン60の第1部分62の表示領域に含まれる場合]
図9は、始点Hsが第1部分62の表示領域に含まれる場合の描画画像70を模式的に示す図である。図9も、図8同様、消しゴムアイコン60を、左下の位置H1から右上の位置H2まで軌跡T1に沿って移動させる場合について図示している。始点Hsが第1部分62に含まれる場合、描画モード制御部178は、消しゴムアイコン60の表示位置を移動させるとともに、消しゴムアイコン60の移動軌跡と重なる描画画像70の部分を消去する。図9の例では、位置H1から位置H2に至るまでに消しゴムアイコン60の表示領域が重なった領域T2に位置する描画線DLが消去されている。このように、消しゴムアイコン60が通過した領域の描画線DLを消去することにより、消しゴムを用いて描画線DLを消去するような操作感覚を実現することができる。
図9は、始点Hsが第1部分62の表示領域に含まれる場合の描画画像70を模式的に示す図である。図9も、図8同様、消しゴムアイコン60を、左下の位置H1から右上の位置H2まで軌跡T1に沿って移動させる場合について図示している。始点Hsが第1部分62に含まれる場合、描画モード制御部178は、消しゴムアイコン60の表示位置を移動させるとともに、消しゴムアイコン60の移動軌跡と重なる描画画像70の部分を消去する。図9の例では、位置H1から位置H2に至るまでに消しゴムアイコン60の表示領域が重なった領域T2に位置する描画線DLが消去されている。このように、消しゴムアイコン60が通過した領域の描画線DLを消去することにより、消しゴムを用いて描画線DLを消去するような操作感覚を実現することができる。
すなわち、描画モード制御部178は、接触位置Haの軌跡Tの始点Hsが、投射領域Rの消しゴムアイコン60が表示されている領域に含まれる場合に、接触位置Haの軌跡Tに沿って、投射領域Rにおける消しゴムアイコン60の表示位置を移動させる。この時、描画モード制御部178は、始点Hsが消しゴムアイコン60の第1部分62が表示されている領域に含まれる場合に、消しゴムアイコン60の移動軌跡と重なった描画画像70の部分に対して描画効果を付与する。本実施形態における描画効果とは、消しゴムアイコン60の移動軌跡と重なった描画画像70の部分を消去することである。また、描画モード制御部178は、始点Hsが消しゴムアイコン60の第2部分64が表示されている領域に含まれる場合に、消しゴムアイコン60の移動軌跡と重なった描画画像70の部分の表示を維持する。
このように、消しゴムアイコン60への接触位置に応じて、描画画像70の消去の有無を切替可能とすることによって、所望の領域のみを効率的に消去することができる。例えば、投射領域Rの右にある「C」の文字のみを消去したい場合について考える。ユーザーは、まず図8に示すように、投射領域Rの左の位置H1に位置する消しゴムアイコン60を、第2部分64をタッチしながら右の位置H2に移動させる。この移動では、描画画像70は消去されない。ユーザーは、消しゴムアイコン60を位置H2に移動させた後、タッチ位置を第1部分62に移した上で、「C」の文字を構成する描画線DLと重なるように消しゴムアイコン60を移動させる。この移動により、「C」の文字を構成する描画線DLが消去される。
指示体20と消しゴムアイコン60とを用いることによって、アナログの鉛筆と消しゴムを用いて描画しているような操作感を実現することができる。これにより、例えばデジタル機器の操作に慣れていないユーザーでも、わかりやすく簡単に描画を行うことができる。また、描画モード中、消しゴムアイコン60は投射領域Rに継続的に表示されるので、例えばツールバー等を用いて消しゴム機能を使用の都度呼び出す場合と比較して、操作数を削減することができ、描画作業の効率を向上させることができる。
なお、図9の例では、消しゴムアイコン60の表示領域が重なった領域T2の描画画像70を消去したが、これに限らず、例えば消しゴムアイコン60の軌跡T1を中心に所定幅の範囲の描画画像70を消去してもよい。所定幅は、消しゴムアイコン60の直径よりも小さくてもよいし、大きくてもよい。消しゴムアイコン60の直径は、図6Aに示す第2円S2の半径r2の2倍である。所定幅は、描画太さと同様、例えば描画モードにおける設定画面において、ユーザーにより指定可能としてもよい。
また、描画画像70が消去されるタイミングは、例えば消しゴムアイコン60と描画画像70とが重なった時であってもよいし、消しゴムアイコン60と描画画像70とが重なった後、消しゴムアイコン60が描画画像70とが重ならない位置に移動する時であってもよい。また、描画画像70が消去されるタイミングは、例えば消しゴムアイコン60が移動を停止した時であってもよいし、指示体20が投射領域Rから離れた時であってもよい。
D-4:フローチャート
図10は、プロジェクター10の処理部17が制御プログラム162に従って実行する画像処理方法の流れを示すフローチャートである。処理部17は、描画モード制御部178として機能することにより、図10に示す各ステップを実行する。
図10は、プロジェクター10の処理部17が制御プログラム162に従って実行する画像処理方法の流れを示すフローチャートである。処理部17は、描画モード制御部178として機能することにより、図10に示す各ステップを実行する。
処理部17は、プロジェクター10の描画モードが選択されるまで待機する(ステップS100:NO)。描画モードの選択は、ユーザーがモード選択部50の描画モードアイコン52をタッチすることによって行われる。描画モードが選択されたことを検知すると(ステップS100:YES)、処理部17は、投射領域Rに消しゴムアイコン60を表示させる(ステップS102)。
処理部17は、カメラ15が撮像する赤外光撮像データに基づいて、投射領域Rに指示体20が接触したか否かを検知する(ステップS104)。指示体20が接触していない場合(ステップS104:NO)、処理部17は、指示体20が接触するまで検出を繰り返す。指示体20が接触した場合(ステップS104:YES)、処理部17は、指示体20の接触位置Haの軌跡Tを検出する(ステップS106)。すなわち、処理部17は、赤外光撮像データに赤外光が写っている場合、赤外光撮像データにおける位置Hを検出し、キャリブレーションデータを用いて位置Hをフレームメモリー上の接触位置Haに変換する。接触位置Haを継続的に検出することにより、接触位置Haの軌跡Tが得られる。
軌跡Tの始点Hsが、消しゴムアイコン60の表示領域に含まれない場合(ステップS108:NO)、処理部17は、指示体20が投射領域Rに接触している間の軌跡Tに沿って描画線DLを表示する(ステップS110)。この描画線DLによって、描画画像70が構成される。一方、軌跡Tの始点Hsが、消しゴムアイコン60の表示領域に含まれる場合(ステップS108:YES)、処理部17は、始点Hsが第1部分62の表示領域に含まれるか否かを判断する(ステップS112)。始点Hsが第1部分62の表示領域に含まれる場合(ステップS112:YES)、処理部17は、指示体20が投射領域Rに接触している間の軌跡Tに沿って消しゴムアイコン60の表示位置を移動させる(ステップS114)。また、処理部17は、消しゴムアイコン60の移動軌跡と重なる描画画像70の部分を消去する(ステップS116)。
また、ステップS112において、始点Hsが第1部分62の表示領域に含まれない場合(ステップS112:NO)、すなわち、始点Hsが第2部分64の表示領域に含まれる場合、処理部17は、指示体20が投射領域Rに接触している間の軌跡Tに沿って消しゴムアイコン60の表示位置を移動させる(ステップS118)。この時、消しゴムアイコン60の移動軌跡と重なる描画画像70の部分の表示は、そのまま維持される。その後、処理はステップS100に戻る。
D-5:消しゴムアイコン60の表示位置
上述のように、消しゴムアイコン60は、指示体20の移動に追従して表示位置が変更されるが、投射領域R上に、消しゴムアイコン60の表示位置の基準となる基準表示位置を定めてもよい。この場合、例えばプロジェクター10が描画モードに切り替えられた際の消しゴムアイコン60の初期の表示位置は、基準表示位置とする。以下の説明では、図4における消しゴムアイコン60の位置H1を基準表示位置とする。基準表示位置は、第1位置の一例である。
上述のように、消しゴムアイコン60は、指示体20の移動に追従して表示位置が変更されるが、投射領域R上に、消しゴムアイコン60の表示位置の基準となる基準表示位置を定めてもよい。この場合、例えばプロジェクター10が描画モードに切り替えられた際の消しゴムアイコン60の初期の表示位置は、基準表示位置とする。以下の説明では、図4における消しゴムアイコン60の位置H1を基準表示位置とする。基準表示位置は、第1位置の一例である。
基準表示位置を定めた場合、描画モード制御部178は、消しゴムアイコン60の移動中に指示体20が投射領域Rから離れ、接触位置Haが検出されなくなった時に、消しゴムアイコン60の表示位置を基準表示位置に戻してもよい。具体的には、例えば、図8または図9のように、消しゴムアイコン60が基準表示位置である位置H1から位置H2に移動された後、指示体20が投射領域Rから離れた場合、消しゴムアイコン60の表示位置が位置H1に戻されるようにしてもよい。
接触位置Haが検出されなくなった時とは、軌跡Tの終点Heが確定した時である。この時、消しゴムアイコン60の表示位置は、軌跡Tの終点Heとなる。終点Heは、第2位置の一例である。指示体20が投射領域Rから離れた場合に、消しゴムアイコン60の表示位置を終点Heのままとするのではなく、基準標準位置に戻すことにより、投射領域Rにおける消しゴムアイコン60の表示位置が定まる。これにより、ユーザーは、消しゴムアイコン60の表示位置を容易に把握することができ、消しゴムアイコン60を使いたい時に、すぐに消しゴムアイコン60を使うことができる。
この時、描画モード制御部178は、指示体20が投射領域Rを離れ接触位置Haが検出されなくなった後、所定時間が経過するまでは、終点Heに消しゴムアイコン60の表示を継続してもよい。所定時間が経過すると、描画モード制御部178は、消しゴムアイコン60の表示位置を基準表示位置にする。これにより、例えば動作ミスで指示体20を投射領域Rから離してしまった場合や、描画と消去とを短い間隔で繰り返す場合などに、指示体20の近傍に継続して消しゴムアイコン60を表示させることができる。よって、指示体20が投射領域Rを離れたら即座に基準表示位置に戻すのと比較して、消しゴムアイコン60を使った作業の効率を向上させることができる。
すなわち、消しゴムアイコン60を表示することは、投射領域Rの基準表示位置に消しゴムアイコン60を表示することを含み、消しゴムアイコン60の表示位置を移動させることは、消しゴムアイコン60を基準表示位置から終点Heに移動させることを含む。描画モード制御部178は、終点Heで消しゴムアイコン60が表示されている領域への指示体20の接触が解除された場合に、消しゴムアイコン60の終点Heへの表示を継続してもよい。この時、描画モード制御部178は、終点Heにおいて、消しゴムアイコン60が表示されている領域への指示体20の接触が解除されてから所定時間が経過した場合に、消しゴムアイコン60を基準表示位置に表示してもよい。
なお、描画モード制御部178は、指示体20が投射領域Rを離れたら即座に消しゴムアイコン60の表示位置を基準表示位置に戻してもよい。この場合、上記所定時間が略ゼロであることと同義と考えられる。
また、描画モード制御部178は、指示体20が投射領域Rを離れた後も、終点Heに消しゴムアイコン60の表示位置を終点Heのままにしてもよい。この場合、次に指示体20が消しゴムアイコン60に接触し、消しゴムアイコン60が使用されるまで、消しゴムアイコン60は、終点Heに表示され続ける。すなわち、描画モード制御部178は、消しゴムアイコン60の終点Heへの表示を継続する場合に、消しゴムアイコン60が表示されている領域に指示体20が接触するまで、消しゴムアイコン60の終点Heへの表示を継続してもよい。これにより、消しゴムアイコン60を任意の位置に継続して表示させることができる。例えば、ユーザーが描画を行っている位置の近傍に消しゴムアイコン60を表示させることにより、ユーザーは効率的に描画作業を行うことができる。
E:変形例
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
E-1:変形例1
上述した実施形態は、描画画像70を消去する消しゴムアイコン60に関する実施形態であった。これに限らず、第1部分および第2部分を有するアイコンが、表示画像に対して他の描画効果を与えるものであってもよい。
上述した実施形態は、描画画像70を消去する消しゴムアイコン60に関する実施形態であった。これに限らず、第1部分および第2部分を有するアイコンが、表示画像に対して他の描画効果を与えるものであってもよい。
図11は、変形例1における投射領域Rの表示の一例を示す図である。図11において、投射領域Rには、PCモードアイコン51が選択された状態のモード選択部50、文書情報を含む表示画像72および蛍光ペンアイコン80が表示されている。PCモード選択中は、例えば処理部17がPCモード制御部176として機能することにより、各種処理を実行する。
表示画像72は、コンピューターPに記憶されたデータを展開した画像である。図11の例では、表示画像72としてプロジェクターの使用方法に関する文書情報が表示されている。蛍光ペンアイコン80は、ユーザーが表示画像72中の任意の領域を強調表示する場合に用いるツールである。本実施形態では、蛍光ペンアイコン80が通過した箇所は、透過性のある蛍光色で蛍光線が描かれる。これにより、蛍光ペンアイコン80が通過した箇所と重なる表示画像72の領域が、他の領域と区別して視認される。なお、蛍光ペンアイコン80を用いて描いた蛍光線が、所定時間が経過すると消えたり、時間の経過とともに徐々に色が薄くなったりするようにしてもよい。すなわち、変形例1において、表示画像72は第1画像の一例であり、蛍光ペンアイコン80は第2画像の一例である。上記実施形態と同様、蛍光ペンアイコン80は第3レイヤーL3に、表示画像72は第3レイヤーより下層の第2レイヤーL2に、それぞれ配置されている。
蛍光ペンアイコン80は、PCモード指定時には投射領域Rに常時表示されてもよい。これにより、ユーザーは、例えば蛍光ペンアイコン80の表示開始を指示するための操作等を行わなくても、必要な時にすぐに蛍光ペンアイコン80を使用することができ、表示画像72を用いた作業における利便性を向上させることができる。なお、描画モードにおいて、蛍光ペンアイコン80を表示させてもよい。
より詳細に蛍光ペンアイコン80について説明する。指示体20の軌跡Tの始点Hsが蛍光ペンアイコン80の表示領域に含まれる場合、PCモード制御部176は、指示体20で蛍光ペンアイコン80を選択した状態とする。蛍光ペンアイコン80が選択された状態で指示体20が投射領域R上を移動すると、PCモード制御部176は、指示体20の移動に合わせて蛍光ペンアイコン80を第3レイヤーL3上で移動させる。蛍光ペンアイコン80が移動する際、移動の軌跡Tの始点Hsが第2部分84の表示領域に含まれるか、第1部分82の表示領域に含まれるかに応じて、蛍光線の表示の有無が異なる。
図12は、始点Hsが第2部分84の表示領域に含まれる場合の表示画像72を模式的に示す図である。図12では、蛍光ペンアイコン80を、左下の点H3から左上の点H4まで移動させる場合について図示している。なお、点線で示す軌跡T3は、蛍光ペンアイコン80の中心点Oの移動軌跡であり、一点破線で示す領域T4は、蛍光ペンアイコン80の表示領域が重なった領域である。始点Hsが第2部分84の表示領域に含まれる場合、PCモード制御部176は、蛍光線の表示は行わず、蛍光ペンアイコン80の表示位置の移動のみを実行する。
図13は、始点Hsが第1部分82の表示領域に含まれる場合の表示画像72を模式的に示す図である。図13は、蛍光ペンアイコン80を、左上の点H4から右上の点H5まで移動させる場合について図示している。なお、点線で示す軌跡T5は、蛍光ペンアイコン80の中心点Oの移動軌跡であり、一点破線で示す領域T6は、蛍光ペンアイコン80の表示領域が重なった領域である。
始点Hsが第1部分82の表示領域に含まれる場合、PCモード制御部176は、蛍光ペンアイコン80の表示位置を移動させるとともに、蛍光ペンアイコン80の移動軌跡と重なる表示画像72の部分に蛍光線Lを表示する。図13の例では、点H4から点H5に至るまでに蛍光ペンアイコン80の表示領域が重なった領域T6が蛍光色に表示され、蛍光線FLとなっている。このように、蛍光ペンアイコン80が通過した領域に蛍光線を表示することにより、蛍光ペンを用いて蛍光線を描くような操作感覚を実現することができる。
なお、図13の例では、蛍光ペンアイコン80の表示領域が重なった領域T6を蛍光色で表示して蛍光線としたが、これに限らず、例えば蛍光ペンアイコン80の軌跡T5を中心に所定幅の範囲を蛍光線としてもよい。所定幅は、蛍光ペンアイコン80の直径よりも小さくてもよいし、大きくてもよい。蛍光ペンアイコン80の直径とは、蛍光ペンアイコン80の第2部分84を構成する円の直径である。所定幅は、描画太さと同様、例えばPCモードにおける設定画面において、ユーザーにより指定可能としてもよい。
また、PCモードにおいては、蛍光ペンアイコン80以外の投射領域Rの部分に指示体20を接触させながら移動させると、移動方向に表示画像72がスクロールするようにしてもよい。
E-2:変形例2
上述した実施形態では、赤外光を用いて指示体20の位置が検出されるものとしたが、指示体20の位置の検出方法はこれに限らず、従来公知の様々な方法を適用可能である。例えば、指示体20の位置を検出する検出装置は、指示体20に所定の波長を有する光を照射して、指示体20で反射された光を受光することにより、指示体20の位置を検出してもよい。検出装置は、赤外線を照射する装置またはレーザー光源と受光装置とによって、指示体20によって光が遮られた位置を検出するものであってもよい。これらの方法を用いる場合、指示体20は、ユーザーの指等であってもよい。
上述した実施形態では、赤外光を用いて指示体20の位置が検出されるものとしたが、指示体20の位置の検出方法はこれに限らず、従来公知の様々な方法を適用可能である。例えば、指示体20の位置を検出する検出装置は、指示体20に所定の波長を有する光を照射して、指示体20で反射された光を受光することにより、指示体20の位置を検出してもよい。検出装置は、赤外線を照射する装置またはレーザー光源と受光装置とによって、指示体20によって光が遮られた位置を検出するものであってもよい。これらの方法を用いる場合、指示体20は、ユーザーの指等であってもよい。
1…プロジェクターシステム、10…プロジェクター、12…操作部、13…第2通信部、14…投射部、15…カメラ、16…記憶部、162…制御プログラム、164…データ、17…処理部、172…動作制御部、174…表示制御部、176…PCモード制御部、178…描画モード制御部、20…指示体、20a…先端、20b…軸部、22…第1通信部、23…第1光源、24…スイッチ、25…指示体記憶部、26…指示体制御部、60…消しゴムアイコン、62…第1部分、64…第2部分、70…描画画像、DL…描画線。
Claims (8)
- 指示体が表示面に接触してから離れるまでの期間、前記表示面における前記指示体の接触位置の軌跡を検出することと、
前記表示面に第1画像を表示することと、
前記第1画像を背景として、第1部分と、第2部分とを有する第2画像を前記表示面に表示することと、
前記接触位置の軌跡の始点が、前記表示面の前記第2画像が表示されている領域に含まれる場合に、前記接触位置の軌跡に沿って、前記表示面における前記第2画像の表示位置を移動させることと、
前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第1部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分に対して描画効果を付与することと、
前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第2部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分の表示を維持することと、
を含む、画像処理方法。 - 前記第1画像は、前記始点が前記第2画像が表示されている領域に含まれない場合の、前記接触位置の軌跡に基づく画像であり、
前記描画効果は、前記第1画像の部分を消去することである、
請求項1記載の画像処理方法。 - 前記第2画像を表示することは、前記接触位置の軌跡が前記第1画像として表示される描画モードにおいて前記表示面に前記第2画像を表示し続けることを含む、
請求項1または2記載の画像処理方法。 - 前記第2画像を表示することは、前記表示面の第1位置に前記第2画像を表示することを含み、
前記第2画像の表示位置を移動させることは、前記第2画像を前記第1位置から前記表示面の第2位置に移動させることを含み、
前記第2位置において、前記第2画像が表示されている領域への前記指示体の接触が解除された場合に、前記第2画像の前記第2位置への表示を継続すること、
を更に含む、請求項1から3のいずれか1項記載の画像処理方法。 - 前記第2位置において、前記第2画像が表示されている領域への前記指示体の接触が解除されてから所定時間が経過した場合に、前記第2画像を前記第1位置に表示すること、
を更に含む、請求項4記載の画像処理方法。 - 前記第2画像の前記第2位置への表示を継続することは、前記第2画像が表示されている領域に前記指示体が接触するまで、前記第2画像の前記第2位置への表示を継続することを含む、
請求項4記載の画像処理方法。 - 前記第2画像において、前記第1部分の外縁は、前記第2部分に囲まれている、
請求項1から6のいずれか1項記載の画像処理方法。 - 表示装置と、
指示体の位置に関する情報を検出する検出装置と、
少なくとも1つの処理装置と、を含み、
前記処理装置は、
前記検出装置の出力に基づいて、前記指示体が表示面に接触してから離れるまでの期間、前記表示面における前記指示体の接触位置の軌跡を検出することと、
前記表示装置を用いて、前記表示面に第1画像を表示することと、
前記表示装置を用いて、前記第1画像を背景として、第1部分と、第2部分とを有する第2画像を前記表示面に表示することと、
前記接触位置の軌跡の始点が、前記表示面の前記第2画像が表示されている領域に含まれる場合に、前記接触位置の軌跡に沿って、前記表示面における前記第2画像の表示位置を移動させることと、
前記第2画像の表示位置が移動する間において、前記始点が、前記第1部分が表示されている領域に含まれる場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分に対して描画効果を付与することと、
前記第2画像の表示位置を移動させることにおいて、前記始点が、前記第2部分が表示されている領域である場合に、前記第2画像の移動軌跡と重なった前記第1画像の部分の表示を維持することと、を実行する、
画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210633328.1A CN115525201A (zh) | 2021-06-09 | 2022-06-07 | 图像处理方法和图像处理装置 |
US17/835,085 US12026341B2 (en) | 2021-06-09 | 2022-06-08 | Image processing method and image processing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096399 | 2021-06-09 | ||
JP2021096399 | 2021-06-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022188719A true JP2022188719A (ja) | 2022-12-21 |
JP2022188719A5 JP2022188719A5 (ja) | 2024-04-02 |
Family
ID=84532379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021117684A Pending JP2022188719A (ja) | 2021-06-09 | 2021-07-16 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022188719A (ja) |
-
2021
- 2021-07-16 JP JP2021117684A patent/JP2022188719A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647248B (zh) | 图像显示装置及其操作方法 | |
US7176904B2 (en) | Information input/output apparatus, information input/output control method, and computer product | |
JP6000797B2 (ja) | タッチパネル式入力装置、その制御方法、および、プログラム | |
JP2011203830A (ja) | 投写システム及びその制御方法 | |
JP2013242821A (ja) | 映像表示装置、およびその映像操作方法 | |
JP2009015728A (ja) | 画像表示パネル装置 | |
US20170336932A1 (en) | Image display apparatus allowing operation of image screen and operation method thereof | |
US20180350122A1 (en) | Display device, display control method and display system | |
US10795467B2 (en) | Display device, electronic blackboard system, and user interface setting method | |
JP2022188719A (ja) | 画像処理方法および画像処理装置 | |
US12026341B2 (en) | Image processing method and image processing device | |
US20220397977A1 (en) | Image processing method and image processing device | |
JP6654722B2 (ja) | 画像表示装置および画像表示方法 | |
JP5713401B2 (ja) | ポインタ映出用投影像信号を生成するユーザインタフェース装置、画像投影方法及びプログラム | |
JP6522719B2 (ja) | 画像表示方法 | |
JP6682768B2 (ja) | 表示システム、表示装置、情報処理装置及び制御方法 | |
JP2023007696A (ja) | 画像処理方法および画像処理装置 | |
JP6603325B2 (ja) | 入力端末装置 | |
JP6162001B2 (ja) | 描画システム | |
JP6416988B2 (ja) | 表示装置、表示方法及びプログラム | |
KR101136327B1 (ko) | 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기 | |
KR20110115661A (ko) | 전자칠판용 판서 지원 시스템 | |
KR20060025766A (ko) | 광 인식 스크린을 갖는 영상 기기 및 그의 제어 방법 | |
JP2015197586A (ja) | 双方向表示方法および双方向表示装置 | |
JP2015041295A (ja) | 描画システム及び画像削除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210917 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240321 |