JP2013047760A - 指示位置表示装置および指示位置表示システム - Google Patents
指示位置表示装置および指示位置表示システム Download PDFInfo
- Publication number
- JP2013047760A JP2013047760A JP2011186423A JP2011186423A JP2013047760A JP 2013047760 A JP2013047760 A JP 2013047760A JP 2011186423 A JP2011186423 A JP 2011186423A JP 2011186423 A JP2011186423 A JP 2011186423A JP 2013047760 A JP2013047760 A JP 2013047760A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- laser
- rotation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【課題】レーザー光の照射位置の制御や照射位置の制御にかかる装置レイアウトの自由度を向上する。
【解決手段】カメラ10と、レーザーポインタ20が照射するレーザー光の照射位置を含む範囲をカメラ40が撮像するようにレーザーポインタ20とカメラ40とを載置され、レーザーポインタ20とカメラ40とを一緒に回動させるポインタマニピュレータ30と、ポインタマニピュレータの回動を制御する制御装置50と、を備え、制御装置50は、カメラ40が撮像する画像P2とカメラ10が撮像する画像P1とを取得し、画像P2内における画像P1の位置を特徴点マッチングにより特定し、画像P1と画像P2と前記位置とに基づいて、ポインタマニピュレータ30の回動を制御する。
【選択図】図1
【解決手段】カメラ10と、レーザーポインタ20が照射するレーザー光の照射位置を含む範囲をカメラ40が撮像するようにレーザーポインタ20とカメラ40とを載置され、レーザーポインタ20とカメラ40とを一緒に回動させるポインタマニピュレータ30と、ポインタマニピュレータの回動を制御する制御装置50と、を備え、制御装置50は、カメラ40が撮像する画像P2とカメラ10が撮像する画像P1とを取得し、画像P2内における画像P1の位置を特徴点マッチングにより特定し、画像P1と画像P2と前記位置とに基づいて、ポインタマニピュレータ30の回動を制御する。
【選択図】図1
Description
本発明は指示位置表示装置および指示位置表示システムに関する。
従来、会議やプレゼンテーション等において、スクリーンに投影されている説明内容を指し示す道具としてレーザーポインタが用いられている。ただし、レーザーポインタの使用時には、不随意運動に起因する指示位置の微少振動にて手ブレが発生することがある。このような問題に対応するため、たとえば特許文献1,2には、レーザーポインタの内部に手ブレ対策機構を付加する技術が開示されている。また、特許文献3〜5には、プレゼンターの指が指し示す位置を複数台のカメラを用いて3次元的に解析し、スクリーン等の表示画面上にあるポインタの位置を制御する技術が開示されている。
しかしながら、上述した特許文献1,2の技術では、手ブレは補正されるものの、利用者がレーザーポインタを把持してレーザースポットをスクリーンに投影する必要がある。従って、利用者はレーザーポインタの所望のポイントにレーザースポットを照射し続ける必要があり、遠距離のスクリーンへのレーザー照射や、長時間のプレゼンテーションでは、所望のポイントを確実に指し続けるのは大変であった。
また、上述した特許文献3〜5の技術では、人の指先の位置や方向を三次元的に把握するためのカメラを各所に配置する必要があり、装置が大がかりになる。従って、装置のレイアウト面積が広くなりがちであり、スペース上の問題から装置を設置できない場合があるし、設置作業に労力や時間を要することとなる。
本発明は、前記課題に鑑みてなされたもので、利用者の不随意運動に起因する手ブレを防止し、さらにレーザー光の照射位置の制御にかかる自由度や、照射位置の制御にかかる装置レイアウトの自由度を向上することが可能な、指示位置表示装置および指示位置表示システムの提供を目的とする。
本発明にかかる指示位置表示装置は、第一カメラと、レーザー発振器が照射するレーザー光の照射位置を含む範囲を第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動機構と、前記回動機構の回動を制御する回動制御部と、を備え、前記回動制御部は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動機構の回動を制御する構成としてある。
上述した指示位置表示装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は前記指示位置表示装置を備える指示位置表示システム、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。
本発明によれば、レーザー光の照射位置を、回動制御部を介して間接的に制御可能となるため、レーザー光の照射位置の制御にかかる自由度を向上することが可能となる。
請求項2にかかる発明によれば、第一カメラの撮像範囲における所定点に対し、第二カメラにて撮像される画像を利用してレーザースポットを移動させることができる。
請求項3にかかる発明によれば、レーザースポットの手ブレを、回動制御部の制御にて実現することができる。
請求項4にかかる発明によれば、レーザースポット制御の精度を向上することができる。
請求項5にかかる発明によれば、レーザースポット制御の精度を向上することができる。
請求項2にかかる発明によれば、第一カメラの撮像範囲における所定点に対し、第二カメラにて撮像される画像を利用してレーザースポットを移動させることができる。
請求項3にかかる発明によれば、レーザースポットの手ブレを、回動制御部の制御にて実現することができる。
請求項4にかかる発明によれば、レーザースポット制御の精度を向上することができる。
請求項5にかかる発明によれば、レーザースポット制御の精度を向上することができる。
以下、下記の順序に従って本発明の実施形態を説明する。
(1)本実施形態の構成:
(2)ポインタマニピュレータの制御:
(3)各種変形例:
(1)本実施形態の構成:
(2)ポインタマニピュレータの制御:
(3)各種変形例:
(1)本実施形態の構成:
図1は、遠隔制御型ポインタシステム100の構成を示す概念図であり、図2は、遠隔制御型ポインタシステム100の電気的構成を示すブロック図である。なお、遠隔制御型ポインタシステム100は、指示位置表示システムの一例である。
図1は、遠隔制御型ポインタシステム100の構成を示す概念図であり、図2は、遠隔制御型ポインタシステム100の電気的構成を示すブロック図である。なお、遠隔制御型ポインタシステム100は、指示位置表示システムの一例である。
図1において、遠隔制御型ポインタシステム100は、カメラ10と、レーザーポインタ20と、ポインタマニピュレータ30と、カメラ40と、制御装置50と、を備えている。なお、カメラ10は第一カメラの一例であり、カメラ40は第二カメラの一例であり、カメラ10にて撮像される画像が第一画像となり、カメラ40にて撮像される画像が第二画像となる。また、ポインタマニピュレータ30は、回動機構や回動装置の一例であり、制御装置50は、回動制御部や回動制御装置の一例である。
カメラ10と制御装置50は、所定の通信回線を通じて互いに通信可能に接続されており、制御装置50とポインタマニピュレータ30も、所定の通信回線を通じて互いに通信可能に接続されている。また、レーザーポインタ20およびカメラ40は、ポインタマニピュレータ30を介して制御装置50と通信可能になっている。これらの所定の通信回線は、有線・無線のいずれであってもよく、通信プロトコルも様々なものを適宜に採用可能である。
カメラ10は、操作者Uの指先に固定して使用され、レーザーポインタ20を照射する目標点としての指示点Ptを指示するために用いられる。指示点Ptは、カメラ10の撮像範囲に含まれる任意の点を採用可能であり、たとえば、カメラ10の撮像範囲の中心点を指示点Ptに採用することができる。
操作者Uは、レーザー光を照射される対象物上(図1では投影スクリーン上)の点を指示点Ptとして指示するにあたり、カメラ10を指先に装着してレーザーポインタ20を照射する目標点の付近に対して指差し動作を行う。このとき、カメラ10は、操作者Uが指差した先にある所定範囲を撮像するため、カメラ10の撮像する画像P1に指示点Ptが含まれることになる。カメラ10が撮像した画像P1は、所定の通信回線を通じて制御装置50へ送信される。
また、カメラ10は、操作者Uから操作入力を受け付ける操作部11を備えている。本実施形態において、操作部11は、レーザー照射ボタン、自動制御ボタン、マーカー保持ボタンを備えている。レーザー照射ボタンは、レーザーポインタ20によるレーザー照射のオンオフを制御するためのボタンである。自動制御ボタンは、後述する自動制御モードのオンオフを制御するためのボタンである。マーカー保持ボタンは、後述する手ブレ補正モードのオンオフを制御するためのボタンである。
これらボタンが操作されると、制御装置50が各部の制御を行う。たとえば、操作者Uが操作部11のレーザー照射ボタンが操作すると、このボタン操作に応じた操作信号が所定の通信回線を通じてカメラ10から制御装置50へ送信され、制御装置50は、この操作信号に応じた制御信号が所定の通信回線とポインタマニピュレータ30とを介してレーザーポインタ20へ入力される。このとき、レーザーポインタ20は、レーザーの照射を開始したり停止したりする。
なお、操作部11は様々な態様で実現可能であり、たとえば、上述した各ボタンをソフトウェア的に実現することもできる。具体的には、カメラ10に表示部を設けて、当該表示部に表示される設定項目が選択操作されたときに、上述した各ボタンを操作した場合と同様の処理を実行するようにしてもよい。
レーザーポインタ20は、制御装置50からレーザー出力を指示する制御信号を入力されるとレーザー光を照射する。レーザーポインタ20がレーザー光を照射すると、レーザー光を照射された対象物上(図1では投影スクリーン上)にレーザースポットPLが形成される。むろん、レーザーポインタ20自体にレーザー光の照射開始や照射停止を指示するための操作部を設けておき、当該操作部に対する操作を前記所定の操作入力としてもよい。
図2に示すように、ポインタマニピュレータ30は、パンチルト駆動が可能なパンチルト型雲台31(図1参照)、パンチルト型雲台31の回転軸を回転するモータ32、モータ32のドライバユニット33を備えている。
ポインタマニピュレータ30は、制御装置50の制御に従ってモータ32を駆動し、パンチルト型雲台31を回動させる。制御装置50は、たとえば、モーションコントロール信号を所定の通信回線を通じてポインタマニピュレータ30に入力し、ポインタマニピュレータ30はモーションコントロール信号に基づいてモータ32を駆動する。
モーションコントロール信号は、たとえば、指定のパルス数や周波数で出力されるパルス信号であり、目的位置、速度、加減速レートなどの動作パラメータに応じた制御パルスとなっている。
モーションコントロール信号はドライバユニット33に入力され、ドライバユニット33は当該モーションコントロール信号に基づいてモータ32の回転制御を行う。その結果、パンチルト型雲台31は、その角度を、所定の方位角および仰俯角に制御される。
パンチルト型雲台31には、レーザーポインタ20が固定されている。上述したようにパンチルト型雲台31の回転軸は、その駆動を制御装置50が制御可能になっており、制御装置50は、レーザーポインタ20が照射するレーザー光の方位角および仰俯角を制御することができる。すなわち、制御装置50は、レーザーポインタ20が形成するレーザースポットの位置を調整することができる。
カメラ40は、その撮像方向とレーザーポインタ20のレーザー照射方向とがほぼ一致するようにパンチルト型雲台31に固定されている。また、カメラ40は、その撮像範囲内にレーザースポットPLの画像もしくはレーザースポットPLの照射予定点の画像を含むように、撮像方向を調整されている。従って、カメラ40が撮像した画像P2には、レーザースポットPLの画像、もしくはレーザースポットPLの照射予定点の画像が含まれることになる。また、カメラ40は、レーザーポインタ20と一緒に角度変更されるため、パンチルト型雲台31がどの角度を向いていても、常に、レーザースポットPLの画像もしくはレーザースポットの照射予定点の画像をその撮像範囲内に含むことになる。
図3は、パンチルト型雲台31の自由度を説明する図である。パンチルト型雲台31は、レーザーポインタ20やカメラ40を同図に示す第1の回転軸Ax1を軸心としてθ方向に回転させる回転軸と、レーザーポインタ20やカメラ40を同図に示す第2の回転軸Ax2を軸心としてφ方向に回転させる回転軸と、を備えている。これら回転軸は、制御装置50のモーションコントロールにより回転を制御される。
レーザーポインタ20やカメラ40は、第1の回転軸Ax1を軸心として回転されるとθ方向に回転され、その結果、レーザースポットPLやカメラ40の撮影範囲は水平方向に移動する(いわゆる「パン」される)。また、レーザーポインタ20やカメラ40は、第2の回転軸Ax2を軸心として回転されるとφ方向に回転され、その結果、レーザースポットPLやカメラ40の撮影範囲は上下方向に移動する(いわゆる「チルト」される)。
すなわち、第1の回転軸Ax1を軸心とする回転と第2の回転軸Ax2を軸心とする回転とを適宜に組み合わせて実行することにより、レーザースポットPLやカメラ40の撮影範囲を、所定の面上(たとえば、図1に示す投影スクリーン面など)の任意の位置に移動させることができる。
なお、本実施形態においては2自由度のパンチルト型のポインタマニピュレータ30を例にとって説明しているが、自由度は2つに限定されるものではないし、駆動法はパンチルト駆動に限定されるものではない。たとえば、レーザースポットを形成すべき範囲が所定の直線上に限定されている場合は、レーザースポットPLが所定の直線上を移動可能であればよいため、自由度は少なくとも1つあればよい。また、回転軸の回転方向は、水平方向と垂直方向の組み合わせに限るものではなく、他の方向に回転する回転軸を組み合わせて採用してもよい。
制御装置50は、たとえば、パーソナルコンピュータ(PC)の構成とされ、I/F51(インターフェース51)と、I/F52(インターフェース52)と、制御部53と、を備えている。制御部53は、たとえば、通信バスなどによってI/F51やI/F52と互いに通信可能に接続されている。
I/F51はカメラ10に接続されており、このI/F51を介して画像P1が制御装置50に入力される。I/F52はポインタマニピュレータ30に接続されている、制御装置50は、このI/F52を介して、パンチルト型雲台31の回転軸を制御し、このI/F52およびポインタマニピュレータ30を介して、カメラ40にて撮像された画像P2を取得したりレーザーポインタ20の照射のオンオフを制御したりする。
制御部53は、たとえば、CPU(Central Processing Unit)とRAM(Random Access Memory)とROM(Read Only Memory)の組み合わせにて実現可能であり、CPUがRAMをワークエリアとして利用しつつROMに記憶されたプログラムを実行することにより、後述の指示位置検出部M1、手ブレノイズ除去部M2、およびモーション制御部M3にかかる機能を実現する。むろん、制御部53は、ASIC(Application Specific Integrated Circuit)等のように回路にて実現することもできる。
制御部53は、指示位置検出部M1、手ブレノイズ除去部M2、モーション制御部M3に相当する機能を備えている。指示位置検出部M1は、画像P1と画像P2との間で特徴点マッチングを行うことにより、操作者Uの指示する指示点Ptを画像P2上で検出する。手ブレノイズ除去部M2は、レーザー照射中に、操作者Uの不随意運動によって発生するレーザースポットPLの振動を防止する。モーション制御部M3は、ポインタマニピュレータ30の制御によりレーザーポインタ20の角度を調整する制御を行う。
制御装置50は、上述した各部の機能を用いることにより、各種のポインタマニピュレータ制御を実現することができる。本実施形態において、制御装置50は、ポインタマニピュレータの制御の一例として、画像マッチングモード、特徴点探索モード、指示点追跡モード、手ブレ補正モード、自動制御モード、の5つのモードを実現する。以下では、各モードにおける制御処理を説明しつつ、指示位置検出部M1、手ブレノイズ除去部M2、およびモーション制御部M3の各部について詳細に説明する。
(2)ポインタマニピュレータの制御:
図4は、ポインタマニピュレータの制御動作モードステートダイアグラムである。同図において、各制御モードは、所定の条件を満たした場合に上述した各モードの間で移行するようになっている。
図4は、ポインタマニピュレータの制御動作モードステートダイアグラムである。同図において、各制御モードは、所定の条件を満たした場合に上述した各モードの間で移行するようになっている。
まず、システムに電源が投入されると各種の初期化が実行され、システムが起動する。システムが起動すると、まず、画像マッチングモードが実行される。
<画像マッチングモード>
図5は、画像マッチングモードの概要を説明する図である。画像マッチングモードにおいては、操作者Uの指先に固定されたカメラ10によって取得される画像P1の特徴点と、ポインタマニピュレータ30に固定されたカメラ40よって取得される画像P2の中心点近傍の特徴点との間で、特徴点マッチングが行われる。
図5は、画像マッチングモードの概要を説明する図である。画像マッチングモードにおいては、操作者Uの指先に固定されたカメラ10によって取得される画像P1の特徴点と、ポインタマニピュレータ30に固定されたカメラ40よって取得される画像P2の中心点近傍の特徴点との間で、特徴点マッチングが行われる。
特徴点マッチングによれば、画像P1に対応する画像が画像P2に含まれているかを判断したり、画像P2における画像P1に対応する画像の位置を特定したりすることができる。むろん、画像P1における特徴点マッチングの対象部位を、画像P1の一部に限定してもよく、たとえば、画像P1の中央付近の所定範囲に含まれる画像と画像P2との特徴点マッチングを行ってもよい。
特徴点マッチングには、たとえば、SURF(Speeded Up Robust Features)やSIFT(Scale−Invariant Feature Transform)等の、画像から特徴点を抽出するための所定のアルゴリズムを用いることができる。
SURFやSIFTは、物体認識に用いる特徴点を求める画像処理のアルゴリズムであり、DOG(Difference Of Gaussian)を使った極値検出により画像の特徴点の位置を抽出し、抽出された各特徴点の輝度勾配の方向、スケール、64次元の特徴を表すベクトル、等の情報を抽出する。そして、抽出された特徴点の特徴量群を、たとえば、K−means法等によってクラスタリングし、特徴点同士の類似度を算出する。すなわち、類似する特徴点を検出することができる。
図5に示すように、画像P1と画像P2からそれぞれ特徴点を抽出し、画像P1から抽出された特徴点と当該画像P1の特徴点に類似する画像P2の特徴点とを対応づける。図5に示す黒丸は、各画像において抽出された特徴点であり、画像P1と画像P1の間を結ぶ二点鎖線は、特徴点同士の対応関係を示している。すなわち、画像P2における特徴点が、画像P1から抽出された特徴点に対応づけられれば、画像P1に対応する画像が画像P2に含まれていると判断することができるし、画像P2において、画像P1から抽出された特徴点に対応づけられた特徴点のある領域が、画像P1に対応する画像を含む領域と特定することができる。
以上の特徴点マッチングによって画像P1に対応する画像が画像P2の中に含まれると判断され、且つ、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへモード移行する。
一方、画像P1に対応する画像が画像P2の中に含まれないと判断された場合は、特徴点探索モードにモード移行する。ただし、特徴点探索モードは、画像P1の特徴点を画像P2が含むようにカメラ40の撮像範囲を変更し、その撮像範囲から得られた画像P2と画像P1との間で画像マッチングモードと同様の特徴点マッチングを実行する。そして、特徴点探索モードでも、特徴点マッチングによって画像P1に対応する画像が画像P2の中に含まれると判断され、且つ、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへモード移行することになる。
すなわち、画像マッチングモードや特徴点探索モードは、特徴点マッチングが成功すれば指示点追跡モードへ移行するモードであることから、指示点追跡モードの準備モードということもできる。
<特徴点探索モード>
図6は、特徴点探索モードの概要を説明する図である。特徴点探索モードにおいては、ポインタマニピュレータ30のパンチルト駆動によりカメラ40の撮像範囲を様々に変更しつつ(走査しつつ)、画像P1とカメラ40の各撮像範囲から得られる画像P2との間で、上述した画像マッチングモードと同様の特徴点マッチングを行う。
図6は、特徴点探索モードの概要を説明する図である。特徴点探索モードにおいては、ポインタマニピュレータ30のパンチルト駆動によりカメラ40の撮像範囲を様々に変更しつつ(走査しつつ)、画像P1とカメラ40の各撮像範囲から得られる画像P2との間で、上述した画像マッチングモードと同様の特徴点マッチングを行う。
たとえば、図6においては、カメラ40の撮像範囲を徐々に変更していき、撮像範囲が画像P2’になったときに、画像P1に対応する画像が画像P2’の中に含まれると判断される。すなわち、特徴点探索モードは、上述した画像マッチングモードを行うための撮像範囲を探索し、探索された撮像範囲に対して画像マッチングモードと同様の特徴点マッチングを行うモードであると言える。
特徴点探索モードは、画像P1に対応する画像を含む撮像範囲が検出されると終了する。そして、特徴点探索モードが終了したとき、上述のレーザー照射ボタンがオンになっている場合は、指示点追跡モードへ移行する。また、特徴点探索モードが完了したとき、上述のレーザー照射ボタンがオフになっている場合は、画像マッチングモードに移行する。
<指示点追跡モード>
図7は、指示点追跡モードの概要を説明する図である。同図に示すように、指示点追跡モードにおいては、指示点Ptとマーカー点Pmとの間の、水平方向および垂直方向の相対位置誤差を解消する制御が行われる。同図では、指示点Ptは、画像P1の中央ピクセルとされ、マーカー点Pmは画像P1に含まれるレーザースポットPLの像の重心点ピクセルとされる。
図7は、指示点追跡モードの概要を説明する図である。同図に示すように、指示点追跡モードにおいては、指示点Ptとマーカー点Pmとの間の、水平方向および垂直方向の相対位置誤差を解消する制御が行われる。同図では、指示点Ptは、画像P1の中央ピクセルとされ、マーカー点Pmは画像P1に含まれるレーザースポットPLの像の重心点ピクセルとされる。
マーカー点Pmの位置は、画像P1に対して所定の画像処理を行うことにより得ることができる。たとえば、カメラ10やカメラ40が撮像する画像をグレースケールに変換して、レーザースポットPLの像の検出を行う。グレースケールでは画像が明るければ明るいほど高い画素値が得られる。レーザースポットPLは、他の部位よりも輝度が高いため、最も画素値が高い部分をレーザースポットPLと仮定できる。すなわち、グレースケール画像において画素値の高い画素が集中した箇所をレーザースポットPLと仮定し、これら画素の重心点ピクセルとマーカー点Pmとすることができる。
指示点Ptとマーカー点Pmの相対位置誤差を解消する制御は、ビジュアルサーボ方式によるポインタマニピュレータ30のパンチルト駆動制御により実現される。すなわち、上述した画像マッチングモードにおいて特定された画像P1の特徴点と画像P2の特徴点との位置対応関係に基づいて、画像P2上で指示点Ptに対応する位置(以下、指示点Pt’と記載する。)にマーカー点Pmが近づくように、ポインタマニピュレータ30のモーションコントロールを行う。
このモーションコントロールにより、マーカー点Pmと指示点Pt’は徐々に近づき、最終的にはマーカー点Pmと指示点Pt’の位置が一致する。すなわち、レーザーポインタ20は指示点Pt’(指示点Pt)にレーザーを照射し、指示点Pt’(指示点Pt)にレーザースポットPLを形成することになる。
なお、指示点追跡モードにおいては、指示点Pt(指示点Pt’)とマーカー点Pmとが完全に一致するようにポインタマニピュレータ30のモーションコントロールを行うため、操作者Uの手ブレに応じてマーカー点Pmにも振動が発生する。本実施形態では、制御装置50を介してレーザーポインタ20を制御しているため、このような振動を抑制する処理を容易に行える。この振動を抑制する処理の一例として、本実施形態では下記の手ブレ補正モードを実行できるようになっている。
<手ブレ補正モード>
図8および図9は、手ブレ補正モードの概要を説明する図である。
ここで、手ブレ補正モードと他のモードとの間の移行条件は、様々に設定することができる。
たとえば、指示点追跡モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が有効化され、手ブレ補正モードに移行し、逆に、手ブレ補正モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が無効化され、指示点追跡モードに移行するようにできる。
また、操作者Uが行うカメラ10の操作状況に応じてモード移行するようにしてもよい。すなわち、操作者Uがカメラ10の撮像範囲を固定することにより指示点Ptの変動が小さくなったときに自動的に手ブレ補正モードに移行させ、操作者Uがカメラ10の撮像範囲を大きく動かして指示点Ptが大きく変動したときに自動的に手ブレ補正モードから指示点追跡モードに移行するようにしてもよい。なお、指示点Ptの変動にかかる閾値は、適宜に設定することができる。
図8および図9は、手ブレ補正モードの概要を説明する図である。
ここで、手ブレ補正モードと他のモードとの間の移行条件は、様々に設定することができる。
たとえば、指示点追跡モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が有効化され、手ブレ補正モードに移行し、逆に、手ブレ補正モードの実行中にマーカー保持ボタンが操作されると手ブレ補正が無効化され、指示点追跡モードに移行するようにできる。
また、操作者Uが行うカメラ10の操作状況に応じてモード移行するようにしてもよい。すなわち、操作者Uがカメラ10の撮像範囲を固定することにより指示点Ptの変動が小さくなったときに自動的に手ブレ補正モードに移行させ、操作者Uがカメラ10の撮像範囲を大きく動かして指示点Ptが大きく変動したときに自動的に手ブレ補正モードから指示点追跡モードに移行するようにしてもよい。なお、指示点Ptの変動にかかる閾値は、適宜に設定することができる。
手ブレ補正モードは、基本的には指示点追跡モードと同様に、マーカー点PmとレーザースポットPLの相対位置誤差を解消する処理を実行するモードであるが、カメラ10の撮像範囲(画像P1上)に不感帯が設定される点で指示点追跡モードと異なる。
たとえば、図8に示すように、レーザースポットの目標点である指示点Ptの近傍に、第1不感帯B1と第2不感帯B2が設定される。第1不感帯B1は、画像P1の略中央を通り、垂直方向に所定幅を有しつつ水平方向に伸びる領域であり、第2不感帯B2は、画像P1の略中央を通り、水平方向に所定幅を有しつつ垂直方向に伸びる領域である。これら不感帯においては、指示点Ptとマーカー点Pmとの相対位置誤差が無効化される(無視される、または、許容される)ため、上述した指示点追跡モードにおいて行われていた相対位置の誤差を解消する制御が行われない。
すなわち、第1不感帯B1においては、垂直方向の相対位置の誤差が無効化され(無視され、または、許容され)、第2不感帯B2においては、水平方向の相対位置の誤差が無効化される(無視され、または、許容される)。また、第1不感帯B1と第2不感帯B2の重複領域(カメラ10の撮像範囲(画像P1)の略中央の矩形領域)においては、水平方向の相対位置の誤差と垂直方向の相対位置の誤差の双方が無効化される(無視され、または、許容される)。
図9(a)は、第1不感帯B1と第2不感帯B2の重複領域にマーカー点Pmがある場合を示してある。この場合、指示点Ptとマーカー点Pmに相対位置の誤差があるものの、その誤差が小さいため無効化される。すなわち、第1不感帯B1と第2不感帯B2の重複領域にマーカー点Pmがある場合は、誤差を解消するための制御が行われない。その結果、レーザースポットPLは、マーカー点Pmが第1不感帯B1と第2不感帯B2の重複領域にある間、静止する。
図9(b)は、第1不感帯B1や第2不感帯B2以外の領域にマーカー点Pmがある場合を示してある。この場合、指示点Ptとマーカー点Pmの相対位置の誤差は無効化されず、その誤差を解消するための制御が行われる。その結果、レーザースポットPLは、マーカー点Pmが第1不感帯B1もしくは第2不感帯B2に移動されるまで、マーカー点Pmが指示点Ptに近づくように水平移動ならびに垂直移動される。
図9(c)は、上述した重複領域以外の第1不感帯B1にマーカー点Pmがある場合を示してある。この場合、指示点Ptとマーカー点Pmの相対誤差のうち、垂直成分が無効化され、その誤差の水平成分のみを解消する制御が行われる。その結果、レーザースポットPLは、マーカー点Pmが指示点ptに近づくように水平移動によって第1不感帯B1と第2不感帯B2の重複領域へと移動される。ただし、レーザースポットPLは、垂直移動されないため、垂直方向の振動は抑制される。
図9(d)は、上述した重複領域以外の第2不感帯B2にマーカー点Pmがある場合を示してある。この場合、指示点Ptとマーカー点Pmの相対誤差のうち、水平成分が無効化され、その誤差の垂直成分のみを解消する制御が行われる。その結果、レーザースポットPLは、マーカー点Pmが指示点ptに近づくように垂直移動によって第1不感帯B1と第2不感帯B2の重複領域へと移動される。ただし、レーザースポットPLは、水平移動されないため、水平方向の振動は抑制される。
以上説明したように、手ブレ補正モードにおいては、指示点Ptとマーカー点Pmとの位置誤差を除去する際に操作者Uの不随意運動に起因してレーザースポットPLに発生する振動を、効果的に抑制することができる。従って、手ブレ補正モードを有効にすれば、レーザースポットPLを指示点Ptに近づける制御を、レーザースポットPLに発生する手ブレに対してロバストなものとすることができる。
<自動制御モード>
図10は、自動制御モードの概要を説明する図である。自動制御モードにおいては、マーカー点の固定照射や、マーカー点がある点を基準とした所定の軌道を描くように照射させる固定軌道照射、等を行わせることができる。なお、以下では、固定軌道照射の一例としてマーカー点を中心とする円軌道照射を示してある。
図10は、自動制御モードの概要を説明する図である。自動制御モードにおいては、マーカー点の固定照射や、マーカー点がある点を基準とした所定の軌道を描くように照射させる固定軌道照射、等を行わせることができる。なお、以下では、固定軌道照射の一例としてマーカー点を中心とする円軌道照射を示してある。
自動制御モードは、指示点追跡モードや手ブレ補正モードが実行されているときに、所定の操作を行うことにより開始される。たとえば、マーカー点が所望の位置に表示されているときに、自動制御ボタンを一回操作すると固定照射が行われ、もう一回操作されると固定軌道照射が行われ、さらにもう一回操作されると通常の照射に復帰する。
図10(a)に示すように、所望の点にレーザースポットPLが表示されたときに自動制御ボタンを一回操作すると、マーカー点Pmが固定され、カメラ10の撮像範囲が変動されてもマーカー点Pmは指示点Ptを追跡しなくなる。すなわち、ポインタマニピュレータ30に対するパンチルト駆動が停止され、この状態で、レーザーポインタ20はレーザー照射を継続する。その結果、操作者Uが指さし動作を行わなくても、所望の点にレーザースポットPLが表示され続ける。
図10(b)に示すように、所望の点にレーザースポットPLが表示されたときに自動制御ボタンを二回操作すると、自動制御ボタンを二回操作する直前に表示されていたレーザースポットPLのマーカー点Pmを中心とする円軌道を、レーザースポットPLが周回するように制御される。すなわち、レーザーポインタ20にレーザー照射を継続させつつ、ポインタマニピュレータ30は、カメラ10の撮像する画像P1に関わらず、レーザーポインタPLが円軌道を周回するように所定のシーケンスでパンチルト駆動する。その結果、操作者Uが指先を回転させる動作を行わなくても、レーザースポットPLが所望の点の周囲を周回するように表示させることができる。
(3)各種変形例:
(3−1) 第一の変形例
上述した実施形態においては、スクリーンの説明内容を投影しつつスクリーン上の所望の点に光点を形成するプレゼンテーションを例にとり説明を行ったが、むろん、その他の状況であっても本発明を利用可能であることはいうまでもない。たとえば、博物館や美術館等において展示物を指し示す際に本発明を適用してもよい。すなわち、レーザースポットを形成する対象は、平面に限らず、3次元の立体物の表面であってもよい。
(3−1) 第一の変形例
上述した実施形態においては、スクリーンの説明内容を投影しつつスクリーン上の所望の点に光点を形成するプレゼンテーションを例にとり説明を行ったが、むろん、その他の状況であっても本発明を利用可能であることはいうまでもない。たとえば、博物館や美術館等において展示物を指し示す際に本発明を適用してもよい。すなわち、レーザースポットを形成する対象は、平面に限らず、3次元の立体物の表面であってもよい。
(3−2)第二の変形例:
上述した実施形態においては、ポインタマニピュレータ30(レーザーポインタ20やカメラ40を含む)や制御装置50を、所定箇所に据え置いた静止状態で用いてもよいし、操作者Uの腰部等に固定した状態で用いてもよい。いずれにしても、上述した相対位置の誤差を解消するモーションコントロールを行えば、レーザースポットPLが指示点Ptの近傍に形成されるようにポインタマニピュレータ30が制御される。
上述した実施形態においては、ポインタマニピュレータ30(レーザーポインタ20やカメラ40を含む)や制御装置50を、所定箇所に据え置いた静止状態で用いてもよいし、操作者Uの腰部等に固定した状態で用いてもよい。いずれにしても、上述した相対位置の誤差を解消するモーションコントロールを行えば、レーザースポットPLが指示点Ptの近傍に形成されるようにポインタマニピュレータ30が制御される。
(3−3)第三の変形例:
上述した実施形態にかかる遠隔制御型ポインタシステム100では、1台のカメラ10を示していたが、むろん、1つのシステム内に複数台のカメラ10を備えていてもよい。カメラ10が複数台あれば、カメラ10の1つをオペレータが装着して使用しつつ、他のカメラ10を第三者が装着して第三者の所望の指示点をレーザーポインタ20にて照射することができる。なお、いずれのカメラ10の画像P1を、各モードにおいて特徴点マッチングや追跡の対象とするかは、様々な方法で切り替えることができる。
上述した実施形態にかかる遠隔制御型ポインタシステム100では、1台のカメラ10を示していたが、むろん、1つのシステム内に複数台のカメラ10を備えていてもよい。カメラ10が複数台あれば、カメラ10の1つをオペレータが装着して使用しつつ、他のカメラ10を第三者が装着して第三者の所望の指示点をレーザーポインタ20にて照射することができる。なお、いずれのカメラ10の画像P1を、各モードにおいて特徴点マッチングや追跡の対象とするかは、様々な方法で切り替えることができる。
たとえば、ポインティング動作の有効・無効を切り替えるスイッチを各カメラ10に設けて、当該スイッチがオンになっているカメラ10の画像P1を特徴点マッチングや追跡の対象とする。このとき、複数のカメラ10のスイッチが同時にオンになることも考えられるが、制御装置50から各カメラ10を識別可能としつつ、カメラ10の優先順位を制御装置50に設定しておけば、優先順位の高いいずれか1台のカメラ10の画像P1を利用して特徴点マッチングや追跡を行うことができる。
むろん、複数台のポインタマニピュレータ30やレーザーポインタ20、カメラ40を備えることにより、複数台のカメラ10のそれぞれが同時にポインティング動作を行えるようにすることもできる。
(3−4)第四の変形例:
上述した実施形態で説明した特徴点追尾モードや手ブレ補正モードでは、カメラ10,40にて撮像した画像をグレースケール画像に変換し、輝度値が高い箇所をレーザースポットPLと仮定している。このレーザースポットPLの検出精度を向上するため、カメラ10やカメラ40において、レーザーポインタ20の発振する光の波長に対する透過率が、それ以外の光の波長の透過率に比べて高いフィルタを介して画像を撮像するようにしてもよい。
上述した実施形態で説明した特徴点追尾モードや手ブレ補正モードでは、カメラ10,40にて撮像した画像をグレースケール画像に変換し、輝度値が高い箇所をレーザースポットPLと仮定している。このレーザースポットPLの検出精度を向上するため、カメラ10やカメラ40において、レーザーポインタ20の発振する光の波長に対する透過率が、それ以外の光の波長の透過率に比べて高いフィルタを介して画像を撮像するようにしてもよい。
たとえば、レーザーポインタ20の発振するレーザー光が赤色の場合は、カメラ10やカメラ40の光学経路上に赤色のフィルムを配置し、赤色以外の光を減光した画像が撮像されるように構成する。レーザーポインタ20の発振するレーザー光以外を減光するフィルタを通して撮像することにより、レーザースポットPLの輝度を相対的に上昇させつつ、画像全体の減光を実現できる。従って、レーザースポットPLの検出精度が向上する。むろん、レーザー光が他の色の場合は、そのレーザー光にあわせた色のフィルムを用いルことになる。なお、減光フィルタはフィルムに限るものではなく、画像データの画像処理により、レーザー光以外の光成分の比率を低下させることにより実現してもよい。
(3−5)第五の変形例:
カメラ10とカメラ40の相対位置関係は随時変化するため、パンチルト型雲台31の制御ゲインを適応的に逐次調整してもよい。なお、パンチルト型雲台31の制御ゲインを変更すると、パンチルト型雲台31の各軸の回転速度が変更される。具体的には、ファジィコントローラ、ニューロコントローラ、適応コントローラなどを適用することにより、指示点Ptの高速移動に対応させてレーザーポインタ20を高速移動させたり、操作者U(カメラ10)の移動に起因する指示点Ptの移動に対応させてレーザーポインタ20の移動速度を調整したりすることができる。
カメラ10とカメラ40の相対位置関係は随時変化するため、パンチルト型雲台31の制御ゲインを適応的に逐次調整してもよい。なお、パンチルト型雲台31の制御ゲインを変更すると、パンチルト型雲台31の各軸の回転速度が変更される。具体的には、ファジィコントローラ、ニューロコントローラ、適応コントローラなどを適用することにより、指示点Ptの高速移動に対応させてレーザーポインタ20を高速移動させたり、操作者U(カメラ10)の移動に起因する指示点Ptの移動に対応させてレーザーポインタ20の移動速度を調整したりすることができる。
なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成等も含まれる。
10…カメラ、11…操作部、20…レーザーポインタ、30…ポインタマニピュレータ、31…パンチルト型雲台、32…モータ、33…ドライバユニット、40…カメラ、50…制御装置、51…インターフェース、52…インターフェース、53…制御部、100…遠隔制御型ポインタシステム、Ax1…第1の回転軸、Ax2…第2の回転軸、B1…第1不感帯、B2…第2不感帯、M1…指示位置検出部、M2…手ブレノイズ除去部、M3…モーション制御部、P1…画像、P2…画像、PL…レーザースポット、Pm…マーカー点、Pt…指示点、P2’…画像、Pt’…指示点、U…操作者
Claims (6)
- 第一カメラと、
レーザー発振器が照射するレーザー光の照射位置を含む範囲を第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動機構と、
前記回動機構の回動を制御する回動制御部と、
を備え、
前記回動制御部は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動機構の回動を制御することを特徴とする指示位置表示装置。 - 前記回動制御部は、前記レーザー発振器のレーザースポットが前記第一画像の中で前記第一カメラの撮像範囲の所定点に近づくように、前記回動機構の回動を制御する請求項1に記載の指示位置表示装置。
- 前記回動制御部は、前記第一カメラの撮像範囲内に前記所定点を含むように設定された所定範囲に前記レーザー発振器のレーザースポットが位置しているときは、前記回動機構の回動制御を行わず、前記所定範囲以外に前記レーザー発振器のレーザースポットが位置しているときは、前記回動機構の回動制御を行う請求項2に記載の指示位置表示装置。
- 前記回動制御部は、前記第一画像と前記第二画像のグレースケール画像に基づいて、前記レーザースポットを検出することを特徴とする請求項2または請求項3に記載の指示位置表示装置。
- 前記第一カメラと前記第二カメラは、前記レーザー光の波長の透過率に比べて前記レーザー光の波長以外の透過率が低いフィルタを介して撮像する請求項1〜請求項4の何れか1項に記載の指示位置表示装置。
- 第一カメラと、
第二カメラと、
レーザー発振器と、
前記レーザー発振器が照射するレーザー光の照射位置を含む範囲を前記第二カメラが撮像するように前記レーザー発振器と前記第二カメラとを載置され、前記レーザー発振器と前記第二カメラとを一緒に回動させる回動装置と、
前記回動装置の回動を制御する回動制御装置と、
を備え、
前記回動制御装置は、前記第二カメラが撮像する第二画像と前記第一カメラが撮像する第一画像とを取得し、前記第二画像内における前記第一画像の位置を特徴点マッチングにより特定し、前記第一画像と前記第二画像と前記位置とに基づいて、前記回動装置の回動を制御することを特徴とする指示位置表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186423A JP2013047760A (ja) | 2011-08-29 | 2011-08-29 | 指示位置表示装置および指示位置表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186423A JP2013047760A (ja) | 2011-08-29 | 2011-08-29 | 指示位置表示装置および指示位置表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013047760A true JP2013047760A (ja) | 2013-03-07 |
Family
ID=48010782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011186423A Withdrawn JP2013047760A (ja) | 2011-08-29 | 2011-08-29 | 指示位置表示装置および指示位置表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013047760A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041325A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社デンソーアイティーラボラトリ | 指示対象物表示装置、指示対象物表示方法、および、プログラム |
JP2015123560A (ja) * | 2013-12-27 | 2015-07-06 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
CN112672051A (zh) * | 2020-12-24 | 2021-04-16 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
-
2011
- 2011-08-29 JP JP2011186423A patent/JP2013047760A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041325A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社デンソーアイティーラボラトリ | 指示対象物表示装置、指示対象物表示方法、および、プログラム |
JP2015123560A (ja) * | 2013-12-27 | 2015-07-06 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
CN112672051A (zh) * | 2020-12-24 | 2021-04-16 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
CN112672051B (zh) * | 2020-12-24 | 2022-06-10 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10928622B2 (en) | Medical image processing apparatus, medical image processing method, and medical observation system | |
JP5729622B2 (ja) | ブラーレス画像撮像システム | |
JP2009241247A (ja) | ステレオ画像型検出移動装置 | |
JP2011030160A5 (ja) | ||
US20220392084A1 (en) | Scene perception systems and methods | |
JP2013047760A (ja) | 指示位置表示装置および指示位置表示システム | |
JP7047726B2 (ja) | 把持ロボットおよび把持ロボットの制御プログラム | |
JP2008008554A (ja) | 光波妨害装置及び光波妨害方法 | |
JP6452913B1 (ja) | 移動体撮像装置及び移動体撮像方法 | |
JP2009188905A (ja) | 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム | |
US10945591B2 (en) | Image capturing device, endoscope apparatus, and method for operating image capturing device | |
JP2007240309A (ja) | 目標位置照準装置および目標位置照準方法 | |
JP2016175618A (ja) | ヘッドアップディスプレイ | |
JP2000101990A (ja) | 監視カメラ装置 | |
JP6922686B2 (ja) | 操作装置 | |
JP4866227B2 (ja) | 自動追尾撮影装置 | |
JP2010020619A (ja) | カーソル移動制御方法及びカーソル移動制御装置 | |
WO2017203981A1 (ja) | Gui装置 | |
KR101985405B1 (ko) | 인식 시스템 | |
US9560340B2 (en) | Three-dimensional image pickup lens system and image pickup system including the same | |
WO2023047625A1 (ja) | 情報処理装置と情報処理方法およびロボット装置とその制御方法 | |
JP2005348003A (ja) | 指向装置及びこれを用いた光空間伝送装置 | |
JP2004096292A (ja) | 追尾雲台 | |
JP2018028579A (ja) | 表示装置および表示方法 | |
EP3865940A1 (en) | 360 degree projection mapping device for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141104 |