JP2006352495A - 遠隔指示システム - Google Patents

Abstract

【課題】遠隔側からの指示による被写体に対するアノテーション画像の投影可能な範囲を拡大できると共に、アノテーション画像の投影位置の精度を向上させることができる遠隔指示システムを提供する。
【解決手段】撮像画像を遠隔端末１００に送信すると共に遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像を被写体２００へ投影させるサーバ５０を有し、遠隔端末１００でなされた指示に応じてプロジェクタ４０及びビデオカメラ２０，３０に対する被写体２００の相対的な位置関係を変更する回転ステージ７０を備える。これによれば、遠隔側からの指示によるアノテーション画像の投影可能な範囲が拡大する。
【選択図】図１

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

ところで、上記のような遠隔指示システムでは、被写体へのアノテーション画像の投影位置を遠隔端末側からの指示により変更する場合に、投影位置の変更可能な範囲は遠隔端末側の表示画面に映し出された範囲、すなわち、ビデオカメラが撮像した範囲に限られるため、この範囲外にアノテーション画像を投影するには、被写体側に存在する作業者や観察者等に音声等により被写体の位置を変更するように指示する必要がある。
また、被写体のビデオカメラに対する位置を変更した場合には、これに合わせて被写体へのプロジェクタの投影位置も変更する必要があるが、この際に、ビデオカメラに対する被写体の三次元的な位置情報が必要となる。しかしながら、被写体全体の三次元的な位置情報を正確に取得するのは容易ではなく、この結果、アノテーション画像の投影位置を精密に変更することが困難であった。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、遠隔側からの指示による被写体に対するアノテーション画像の投影可能な範囲を拡大できると共に、アノテーション画像の投影位置の精度を向上させることができる遠隔指示システムを提供することにある。

本発明に係る遠隔指示システムは、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させ得る制御手段を有する遠隔指示システムであって、遠隔端末でなされた撮像画像に基づく指示に応じて制御されて、投影手段及び撮像手段に対する被写体の相対的な位置関係を変更し得る相対位置変更手段を備える、ことを特徴としている。
この構成によれば、被写体の位置（遠隔側における被写体に対する視点）を遠隔側から変更することができるので、アノテーション画像の投影可能な範囲を拡大できる。

上記構成において、制御手段は、相対位置変更手段による被写体の移動に合わせて投影手段の被写体に対するアノテーション画像の投影位置を変更する、構成を採用できる。
この構成によれば、被写体の位置の変更に合わせてアノテーション画像の投影位置も自動的に移動する。

上記構成において、制御手段は、相対位置変更手段による被写体の移動前の撮像画像から得られるアノテーション画像の投影位置と、相対位置変更手段に対する制御信号とに基づいて、被写体の移動後のアノテーション画像の投影位置を算出する、構成を採用できる。
この構成によれば、被写体の移動前の撮像画像から得られるアノテーション画像の投影位置と遠隔端末からの被写体の移動を指示する制御信号とに基づいて、被写体の移動に合わせてアノテーション画像の投影位置を算出するので、投影位置を正確に算出できる。

上記構成において、互いに異なる位置から被写体を撮像する第１及び第２の撮像手段を備え、制御手段は、第１及び第２の撮像手段の撮像した撮像画像に基づいて、被写体の移動前のアノテーション画像の投影位置の三次元的座標位置を算出する、構成を採用できる。
この構成によれば、第１及び第２の撮像手段の撮像した撮像画像に基づいて、三角測量の原理により被写体におけるアノテーション画像の投影部分の三次元的座標位置を正確に検出できるので、被写体の移動に伴って像形成位置も正確に移動させることができる。

上記構成において、投影手段は、第１の撮像手段と光学的な主点が略一致する光学系により被写体へアノテーション画像を投影する、構成を採用できる。
この構成によれば、投影手段は、第１の撮像手段と光学的な主点が略一致する光学系によりアノテーション画像を被写体へ投影するので、被写体の表面形状がどのようなものであっても、投影手段の投影したアノテーション画像の座標と第１の撮像手段の撮像する画像の座標とは一対一に対応することから、第１及び第２の撮像手段の撮像した撮像画像データに基づいてアノテーション画像の投影位置の三次元的座標位置を算出するための処理量が大幅に削減される。

上記構成において、遠隔端末の表示画面に表示された撮像画像に対する相対位置変更のための操作に基づいて、相対位置変更手段に対する指示がなされる、構成を採用できる。
この構成によれば、遠隔側における操作者は、表示画面を見ながら被写体の位置を変更（被写体に対する視点を変更）できるので、遠隔端末での操作性が格段に向上する。

上記構成において、相対位置変更手段は、被写体を回動させ得る回転ステージを含む、構成を採用できる。
この構成によれば、被写体の全周囲に対してアノテーション画像を投影可能となる。

本発明によれば、遠隔側からの指示による被写体に対するアノテーション画像の投影可能な範囲を拡大できると共に、アノテーション画像の投影位置の精度を向上させることができる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。
この遠隔指示システムは、図１に示すように、被写体側装置１０、遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、第１の撮像手段としての第１ビデオカメラ２０、第２の撮像手段としての第２ビデオカメラ３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０、相対位置変更手段としての回転ステージ７０等から構成されている。

第１ビデオカメラ２０及び第２ビデオカメラ３０は、例えば、ＣＣＤカメラで構成され、互いに異なる位置から回転ステージ７０上に置かれた被写体２００を撮像可能に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。尚、第１ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、その光学系が、ハーフミラー６０により第１ビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して被写体２００へ投影される。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

回転ステージ７０は、サーバ５０により制御されて、その上面に置かれた被写体２００を回動させることにより、第１ビデオカメラ２０、第２ビデオカメラ３０及びプロジェクタ４０に対する被写体２００の位置を変更する。

サーバ５０は、第１ビデオカメラ２０、第２ビデオカメラ３０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。
さらに、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。このとき、サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０の撮像した撮像画像に基づいて、被写体２００におけるアノテーション画像の投影位置の三次元的座標を算出し、この三次元的座標に基づいてプロジェクタ４０が投影するアノテーション画像の位置を変更する。尚、具体的な処理については後述する。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。
ポインティングデバイス（マウス）１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。

次に、上記構成の遠隔指示システムの動作について図２ないし図６を参照して説明する。
ここで、図２は被写体側装置のサーバにおける処理の一例を示すフローチャートであり、図３は図２のフローにおける制御信号処理（ステップＳＴ５）における処理の一例を示すフローチャート、図４は遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャート、図５は被写体の回転に伴う画像投影位置の変更手順の一例を説明するための図、図６は遠隔端末側の操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０では、第１ビデオカメラ２０及び第２ビデオカメラ３０の撮像画像の取り込みを開始し（ステップＳＴ１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳＴ２）。そして、コンピュータ１２０からの接続要求がある場合には、第１ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末のコンピュータ１２０へ伝送する（ステップＳＴ３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳＴ４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号、及び、回転ステージ７０を回転させるための位置制御信号である。
サーバ５０は、上記の制御信号を受信した場合には、その信号の内容に応じて後述する制御信号処理をする（ステップＳＴ５）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳＴ６）、切断要求が無い場合には、ステップＳＴ３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、第１ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳＴ７）。
そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳＴ８）、終了要求がない場合には、ステップＳＴ２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、上記したステップＳＴ５における制御信号処理について説明する。
図３に示すように、サーバ５０は、先ず、遠隔端末１００から上記の描画信号を受信したかを判断する（ステップＳＴ２０）。
サーバ５０は、描画信号を受信した場合には、この描画信号に基づいて、例えば、図５（ａ）に示すように、アノテーション画像ＤＲをプロジェクタ４０において描画してこれを被写体２００へ投影させる（ステップＳＴ２１）。
被写体２００のうち、プロジェクタ４０からアノテーション画像ＤＲが投影された部分は、遠隔端末１００の操作者が被写体側装置１０の操作者に対して指示をしたい部分であり、この部分は被写体２００の他の部分と比べて明るくなる。

次いで、サーバ５０は、被写体２００へアノテーション画像ＤＲをプロジェクタ４０により投影させたのち、第１ビデオカメラ２０及び第２ビデオカメラ３０の撮像画像に基づいて、三角測量の原理により、被写体２００におけるアノテーション画像ＤＲの投影位置の三次元座標を算出する（ステップＳＴ２２）。
上記したように、被写体２００におけるアノテーション画像ＤＲの投影部分は、周囲と比べて特に明るい性質を有するので、いわゆるブロックマッチング、あるいは、エッジなどの特徴によるマッチングを行った際に、一般的な三角測量と比べて誤対応が発生する可能性が低い。さらに、第１ビデオカメラ２０においては、プロジェクタ４０の光学系と主点が略一致しているため、被写体２００の表面形状がどのようなものであってもプロジェクタ４０の投影座標と第１ビデオカメラ２０の撮像座標は一対一に対応する。このため、投影像を探索する必要がない。これにより、被写体２００の表面の三次元的座標位置を特定すべく被写体２００までの距離の算出に要する計算量も大幅に減少させることができる。

サーバ５０は、描画信号を受信していない場合、すなわち、回転ステージ７０を回転させるための位置制御信号を受信した場合には、例えば、図５（ｂ）に示すように、位置制御信号の内容に応じた回転量及び回転方向で回転ステージ７０を回転させる（ステップＳＴ２３）。
回転ステージ７０を回転させると、図５（ｂ）に示すように、被写体２００上に投影されたアノテーション画像ＤＲの被写体２００内における投影位置も変化する。このため、先ず、回転ステージ７０の回転に合わせてアノテーション画像ＤＲを移動させたときの、アノテーション画像ＤＲの第１ビデオカメラ２０の撮像画像上での三次元的座標を上記の位置制御信号から得られる回転量に基づいて算出する（ステップＳＴ２４）。
次いで、回転ステージ７０の回転に合わせてアノテーション画像ＤＲを移動させたときの、アノテーション画像ＤＲのプロジェクタ４０での三次元的座標を算出する（ステップＳＴ２５）。
そして、移動後のアノテーション画像ＤＲを、例えば、図５（ｃ）に示すように、被写体２００へ投影する（ステップＳＴ２６）。

ここで、回転ステージ７０の回転に合わせてアノテーション画像ＤＲを移動させたとき（回転ステージ７０の回転後）のアノテーション画像ＤＲの投影位置の三次元的座標の算出方法について説明する。
先ず、ステップＳＴ２２で得られた回転ステージ７０の回転前の投影位置の三次元座標をPlとしたとき，次式により回転後の三次元座標Poに変換することができる。

但し、第１ビデオカメラ２０における座標系の列ベクトルで表された、回転軸の正規化方向ベクトルn，通過点Ptが、次式のように記述されているとする。

また、上記のＲは原点を通り、正規化方向ベクトルの周りに角度θ回転させる行列であり、次式のように記述できる。尚、Ｒは上記の位置制御信号の回転量から得られる。

但し、c=cosθ、s=sinθである。

この三次元座標に対して、第１ビデオカメラ２０による透視変換を施すと、第１ビデオカメラ２０の撮像画像での座標を算出することができる。上記したように第１ビデオカメラ２０における撮像座標はプロジェクタ４０の投影座標とは一対一に対応していることから、その対応に基づいて投影すれば回転ステージ７０の回転量に応じて画像ＤＲの位置を変化させることができることになる。

次に、遠隔端末１００の動作について説明する。
先ず、図４に示すように、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳＴ３１）。
次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳＴ３２）。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳＴ３３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳＴ３６）。
具体的には、遠隔端末１００の操作者は、図６に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。
そして、コンピュータ１２０は、ステップＳＴ３６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳＴ３７）。

次いで、コンピュータ１２０は、遠隔端末１００でなされた第１ビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳＴ３８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳＴ３９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳＴ３２に戻って上記の処理を繰り返す。

ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図６に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。
そして、コンピュータ１２０は、ステップＳＴ３３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳＴ３４）。
次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳＴ３５）。
これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳＴ３２）。

以上のように、本実施形態によれば、被写体２００の位置（被写体２００に対する視点）を遠隔端末１００からの撮像画像に基づく指示により変更することができるので、遠隔端末１００からの指示操作性が向上すると共に被写体２００へアノテーション画像を投影できる範囲を拡大することができる。
また、本実施形態によれば、被写体２００の位置を遠隔端末１００側から変更した場合であっても、変更に合わせてアノテーション画像の投影位置が自動的に変更されるので、遠隔端末１００からの操作性がさらに向上する。
また、第１及び第２ビデオカメラ２０，３０の撮像画像に基づいて、三角測量の原理により、被写体２００におけるアノテーション画像の投影位置の三次元的座標を正確に検出できるので、被写体２００の回転移動に伴うアノテーション画像の投影位置の修正が精密にできる。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。

上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

上記実施形態では、第１ビデオカメラ２０の撮像画像のみをサーバ５０から遠隔端末１００へ配信する場合について説明したが、これに限定されるわけではなく、第２ビデオカメラ３０の撮像画像も遠隔端末１００へ配信する構成とすることも可能である。

本発明の一実施形態に係る遠隔指示システムの構成図である。 被写体側装置のコンピュータにおける処理の一例を示すフローチャートである。 図２における制御信号処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 遠隔端末における操作の一例を説明するための図である。 被写体の回転に伴う画像投影位置の変更手順の一例を説明するための図である。

符号の説明

１０…被写体側装置
２０…第１ビデオカメラ（第１の撮像手段）
３０…第２ビデオカメラ（第２の撮像手段）
４０…プロジェクタ（投影手段）
５０…サーバ（制御手段）
６０…ハーフミラー
７０…回転ステージ（相対位置変更手段）
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１２０…コンピュータ
１３０…ポインティングデバイス
２００…被写体
３００…ネットワーク
ＤＲ…アノテーション画像

Claims (7)

1. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体へ投影させる制御手段を有する遠隔指示システムであって、
   前記遠隔端末でなされた前記撮像画像に基づく指示に応じて制御されて、前記投影手段及び前記撮像手段に対する前記被写体の相対的な位置関係を変更する相対位置変更手段を備える、
   ことを特徴とする遠隔指示システム。
2. 前記制御手段は、前記相対位置変更手段による前記被写体の移動に合わせて前記投影手段の前記被写体に対するアノテーション画像の投影位置を変更する、
   ことを特徴とする請求項１に記載の遠隔指示システム。
3. 前記制御手段は、前記相対位置変更手段による前記被写体の移動前の撮像画像から得られるアノテーション画像の投影位置と、前記相対位置変更手段に対する制御信号とに基づいて、前記被写体の移動後のアノテーション画像の投影位置を算出する、
   ことを特徴とする請求項２に記載の遠隔指示システム。
4. 互いに異なる位置から前記被写体を撮像する第１及び第２の撮像手段を備え、
   前記制御手段は、前記第１及び第２の撮像手段の撮像した撮像画像に基づいて、前記被写体の移動前のアノテーション画像の投影位置の三次元的座標位置を算出する、
   ことを特徴とする請求項３に記載の遠隔指示システム。
5. 前記投影手段は、前記第１の撮像手段と光学的な主点が略一致する光学系により前記被写体へアノテーション画像を投影する、
   ことを特徴とする請求項４に記載の遠隔指示システム。
6. 前記遠隔端末の表示画面に表示された撮像画像に対する相対位置変更のための操作に基づいて、前記相対位置変更手段に対する指示がなされる、
   ことを特徴とする請求項１ないし５のいずれかに記載の遠隔指示システム。
7. 前記相対位置変更手段は、前記被写体を回動させ得る回転ステージを含む、
   ことを特徴とする請求項１ないし６のいずれかに記載の遠隔指示システム。
   

Images