JP4438870B2 - 指示システム、指示プログラム及び指示装置 - Google Patents

Description

本発明は、指示システム、指示プログラム及び指示装置に関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。

また、特許文献２では、画像に対するコメントをそのコメントの表示位置及び画像を識別する識別情報（例えばファイル名）と対応付けて記憶させておき、画像を再び表示させた際に、コメントを元の位置と同じ位置に表示させる技術が開示されている。

特開２００５−３３７５６号公報 特開平９−１０１９３７号公報

ところで、上述した特許文献１に開示される技術では、ビデオカメラからの撮像画像に限定されるため、撮像画像の一部を拡大した拡大撮像画像を表示することはできず、その拡大撮像画像に対する注釈画像の指示を行うこともできない。また、特許文献２に開示される技術は、コメントと画像との拡大率や縮小率は考慮されておらず、画像を拡大等させて表示させた場合に、これに対応してコメントが表示されるものではない。

本発明は、このような事情に鑑みてなされたものであり、撮像画像の一部を拡大した拡大撮像画像に対する注釈画像の指示を可能とするとともに、拡大撮像画像と注釈画像との拡大関係の整合性を取ることが可能な指示システム、指示プログラム及び指示装置を提供することを目的とする。

請求項１に記載の発明は、対象物を撮像する撮像手段で撮像された撮像画像及び該対象物を拡大して撮像する拡大撮像手段で撮像された拡大撮像画像を共に端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、注釈画像に関する指示が拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を指示と対応付けて保存しておくことを特徴とする指示システムである。

請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、注釈画像に関する指示が拡大撮像画像に対してなされた場合に、撮像画像上の該当箇所に、注釈画像が付与されていることを示す目印を表示させることを特徴としている。

請求項３に記載の発明は、請求項２に記載の発明において、制御手段は、目印が指示された場合に、撮像条件に基づき、拡大撮像画像と注釈画像との整合性を取りつつ復元させて表示させることを特徴としている。

請求項４に記載の発明は、請求項１又は２に記載の発明において、制御手段は、注釈画像が表示された拡大撮像画像の撮像領域を変更する指示がなされた場合に、該撮像領域に応じた拡大撮像画像及び注釈画像を表示させることを特徴としている。

請求項５に記載の発明は、請求項４に記載の発明において、制御手段は、注釈画像を表示させる場合、変更前後の注釈画像の表示位置を整合させつつ表示させることを特徴としている。

請求項６に記載の発明は、請求項２から５に記載の発明において、制御手段は、注釈画像に関する指示が撮像画像の一部を拡大する拡大撮像画像に対してなされた場合に、その撮像条件とともにその拡大撮像画像を保存し、目印が指示されたときに、該目印の表示箇所の撮像条件に応じた拡大撮像画像をさらに保存し、双方の拡大撮像画像の対比結果に差異がある場合に、注釈画像に関する指示がなされた際に表示されていた拡大撮像画像と異なる旨の警告を表示させることを特徴としている。

請求項７に記載の発明は、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像及び該対象物を拡大して撮像する拡大撮像手段で撮像された拡大撮像画像を共に端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、注釈画像に関する指示が拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を注釈画像と対応付けて保存しておくことを特徴とする指示プログラムである。

請求項８に記載の発明は、対象物を撮像する撮像手段と、対象物を拡大して撮像する拡大撮像手段と、撮像手段で撮像された撮像画像及び拡大撮像手段で撮像された拡大撮像画像に基づく指示に応じた注釈を表す注釈画像を対象物に投影する投影手段と、撮像画像及び拡大撮像画像を共に端末に送信すると共に、該端末でなされた指示に応じて投影手段を投影させ、注釈画像に関する指示が拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を注釈画像と対応付けて保存しておく制御手段と、を有することを特徴とする指示装置である。

請求項１に記載の発明によれば、注釈画像を付与した際の撮像条件に基づいて、その撮像条件に応じた拡大撮像画像及び注釈画像を再現できる。

請求項２に記載の発明によれば、本構成を有していない場合に比較して、拡大撮像画像に対して注釈画像が付与されていることを視認できる。

請求項３に記載の発明によれば、本構成を有していない場合に比較して、拡大撮像画像及び注釈画像の再現に対する操作性が向上する。

請求項４に記載の発明によれば、本構成を有していない場合に比較して、撮像領域の変更に対し、その変更に応じた拡大撮像画像及び注釈画像の表示が可能となる。

請求項５に記載の発明によれば、本構成を有していない場合に比較して、変更前後で、注釈画像の表示位置の整合性がとれる。

請求項６に記載の発明によれば、本構成を有していない場合に比較して、拡大撮像画像及び注釈画像を復元する旨の指示がある場合に、拡大撮像画像が、注釈画像を付与した際の拡大撮像画像と異なっていることを視認できる。

請求項７に記載の発明によれば、本構成を有していない場合に比較して、注釈画像を付与した際の撮像条件に基づいて、その撮像条件に応じた拡大撮像画像及び注釈画像を再現できる。

請求項８に記載の発明によれば、本構成を有していない場合に比較して、注釈画像を付与した際の撮像条件に基づいて、その撮像条件に応じた拡大撮像画像及び注釈画像を再現できる。

以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の実施形態に係る指示システムの構成図、図２はサーバの要部構成を示す機能ブロック図、図３はサーバのハードウェア構成を示す機能ブロック図である。

この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの装置で構成されていてもよく、また、複数の装置から構成されていてもよい。

対象物側装置１０は、撮像手段としてのビデオカメラ２１、拡大撮像手段としてのビデオカメラ２２、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。

ビデオカメラ２１，２２は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２１は、例えば図形が描かれたホワイトボード等の対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。また、ビデオカメラ２２は、対象物２００を拡大して撮像すると共に、その拡大撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２１，２２は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像や拡大撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）を対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２１，２２と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。

サーバ５０は、ビデオカメラ２１，２２及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。

より詳しくは、図２に示すように、ビデオカメラ２１，２２を制御する撮像部５１と、ビデオカメラ２１，２２によって撮像された撮像画像及び拡大撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０にアノテーション画像を投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５を備える。

したがって、サーバ５０は、ビデオカメラ２１，２２が撮像した撮像画像等を端末１００へ送信すると共に、端末１００でなされた撮像画像等に基づく指示に応じたアノテーション画像をプロジェクタ４０により対象物２００へ投影させる。

端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。例えば、ノート型やデスクトップ型のパソコン等が端末１００に該当する。
表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像等が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像に関する指示を形成するのに用いられる。

尚、上述したサーバ５０やコンピュータ１２０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０（１２０）ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０（１２０）ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０（１２０）ｃ及び入出力を制御するＩ／Ｆ５０（１２０）ｄがバス５０（１２０）ｅにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０（１２０）ａがＲＡＭ５０（１２０）ｂやＲＯＭ５０（１２０）ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０（１２０）ｅにハードディスクを接続するようにしてもよい。

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。

まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２１，２２の撮像画像及び拡大撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２１，２２の撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。

サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。

一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２１，２２の撮像画像等の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１ａを表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。

ここで、コンピュータ１２０は、撮像画像の一部を拡大させる指示があるかを判断し（ステップＳ２３）、拡大させる指示がある場合には、その指示に応じて拡大表示画面１１２を起動する（ステップＳ２４）。

具体的には、端末１００の操作者は、図６に示すような表示画面１１１内の撮像画像１１１ａを見ながら、表示されている撮像画像１１１ａの一部について拡大させたい領域ＡＲ１があるか否か判断する。そして、拡大させたい領域ＡＲ１があると判断した場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら撮像領域としての拡大領域ＡＲ１を特定し指示する。これにより、拡大領域ＡＲ１を拡大して表示する拡大表示画面１１２が起動する。

拡大表示画面１１２は、図６に示すように、ビデオカメラ２２によって撮像された拡大撮像画像１１２ａを表示する。また、拡大表示画面１１２内には、「ズームイン」や「ズームアウト」ボタンＢＴ２、カーソルボタンＢＴ３が配置されている。前者のボタンは、拡大撮像画像の拡大率を変更するボタン、後者のボタンは、拡大領域ＡＲ１を移動させるボタンである。したがって、端末１００の操作者は、これらのボタンを操作して、アノテーション画像を投影する位置を特定する。

コンピュータ１２０は、拡大表示画面１１２に表示した拡大撮像画像１１２ａに対する操作者からの注目領域ＡＲ２の指示があるかを判断し（ステップＳ２３）、注目領域ＡＲ２の指示がある場合には、その指示に応じた処理を行う（ステップＳ２６）。

具体的には、端末１００の操作者は、図６に示すような拡大表示画面１１２内の拡大撮像画像１１２ａを見ながら、表示されている拡大撮像画像１１２ａにアノテーション画像を投影したい領域ＡＲ２がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＡＲ２を特定し指示する。注目領域ＡＲ２は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲ２に投影するアノテーション画像ＡＮに関する情報を指示する。

例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２７）。

コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２２の拡大撮像画像１１２ａに基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。尚、拡大領域ＡＲ１を特定せずに撮像画像１１１ａに対して直接描画指示を行うようにしてもよい。

次に、サーバ５０における本発明の特徴となる拡大撮像画像に対する描画指示処理について図７から図９を参照して説明する。
図７は拡大撮像画像１１２ａに対するアノテーション画像ＡＮの保存処理の一例を示すフローチャート、図８は拡大表示画面１１２の一例、図９は表示画面１１１の一例である。尚、図７に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１５の処理に含まれる。後続の処理についても同様である。

サーバ５０は、まず、描画指示が、拡大撮像画像１１２ａに対してなされた描画指示であるか否かを判定する（ステップＳ３１）。当該判定処理は、図８に示すように、拡大撮像画像１１２ａに対してアノテーション画像ＡＮを投影させる描画指示があったか否かによって判定する。

サーバ５０は、ここで、上記指示があったと判定した場合には、ビデオカメラ２２の撮像条件及び描画指示を対応付けて保存する（ステップＳ３２）。撮像条件には、例えば、拡大率や縮小率、拡大領域ＡＲ１の位置情報や大きさ、形状等がある。

サーバ５０は、次いで、撮像画像１１１ａ内でのアノテーション画像ＡＮの座標を算出する（ステップＳ３３）。より詳しくは、サーバ５０は、拡大撮像画像１１２ａ内でのアノテーション画像ＡＮの指示位置を記憶装置等に保存しておき、その指示位置と拡大領域ＡＲ１との表示位置とに基づいて、対応関係を維持しつつ、撮像画像１１１ａ内におけるアノテーション画像ＡＮの位置を算出する。

サーバ５０は、次いで、マーカコマンドをコンピュータ１２０に送信する。マーカコマンドはコンピュータ１２０によって実行され、コンピュータ１２０が撮像画像１１１ａ内にマーカＭを表示させる。このマーカＭは、アノテーション画像ＡＮに関する指示が拡大撮像画像１１２ａに対してなされた場合に、撮像画像１１２ａ上の該当箇所に、注釈がなされていることを示す目印である。図形だけに限られず、文字であってもよい。したがって、図１１に示すように、撮像画像１１１ａにマーカＭが表示されると、端末１００の操作者は、表示画面１１１から拡大撮像画像１１２ａに対してアノテーション画像ＡＮが指示されたと理解できる。

（第２実施形態）
続いて、本発明の第２実施形態について参照して説明する。
図１０はアノテーション画像ＡＮの復元処理の一例を示すフローチャートである。

サーバ５０は、図１０に示すように、まず、マーカＭが復元指示されたか否かを判定する（ステップＳ４１）。この判定処理は、例えば、図９を参照して説明したように、ポインティングデバイス１３０が端末１００の操作者によって操作されて、ポインタＰｔがマーカＭ上に重ねられ、ダブルクリック等の復元指示がされたか否かによって行われる。尚、操作者によって復元指示が行われない場合には、サーバ５０は、後続の処理を行わず処理を終了する。

一方、サーバ５０は、復元指示が行われたと判定した場合、次いで、マーカＭに対応する撮像条件及び描画指示の読出を行う（ステップＳ４２）。これらの撮像条件等は、上述したステップＳ３２の処理によってＲＡＭやＲＯＭ等の記憶装置に保存されたビデオカメラ２２の撮像条件である。

サーバ５０は、次いで、読出した撮像条件に基づき、ビデオカメラ２２の撮像条件を設定する（ステップＳ４３）。これにより、保存されていた撮像条件に応じた設定がビデオカメラ２２に対して行われ、サーバ５０は拡大撮像画像をコンピュータ１２０に送信する。そして、サーバ５０は、保存されていた描画指示を送信する（ステップＳ４４）。

このように、本実施形態によれば、表示画面１１１の撮像画像上１１１ａ上に表示されるマーカＭに対して復元指示がなされると、サーバ５０はマーカＭに対応する撮像条件をビデオカメラ２２に設定して拡大撮像画像をコンピュータ１２０に送信する。

コンピュータ１２０は、その拡大撮像画像１１２ａを受信すると、表示装置１１０の表示画面１１１内に拡大表示画面１１２を表示させ、その拡大表示画面１１２内に拡大撮像画像１１２ａを表示させる。そして、マーカＭに対応する描画指示をさらに受信すると、その描画指示に応じたアノテーション画像ＡＮを拡大撮像画像１１２ａ内に表示させる。この結果、拡大撮像画像１１２ａに表示されていたアノテーション画像ＡＮが、図８に示すように、拡大撮像画像１１２ａと共に整合性を取りつつ復元する。

（第３実施形態）
続いて、本発明の第３実施形態について図１１から図１３参照して説明する。
図１１はサーバ５０における拡大領域変更処理の一例を示すフローチャート、図１２は変更処理前の表示画面１１１の一例、図１３は変更処理後の拡大表示画面１１２の一例である。

本実施形態に係る指示システムでは、拡大表示画面１１２に対してなされたズームアウト等の拡大領域変更処理により、拡大撮像画像１１２ａ及びその拡大撮像画像１１２ａ内のアノテーション画像ＡＮが変化する。

サーバ５０は、まず、図１１に示すように、拡大撮像画像１１２ａの拡大領域ＡＲ１の変更が指示されたか否かを判定する（ステップＳ５１）。この判定処理は、例えば、図１２に示すように、ポインティングデバイス１３０が端末１００の操作者によって操作されて、ポインタＰｔが拡大率を下げるためのズームアウトボタンＢＴ２上に重ねられ、クリック等の指示がされたか否かによって行われる。

変更の指示には、このズームアウトボタンＢＴ２に対する指示の他、拡大率を上げるズームインボタンＢＴ２に対する指示、拡大領域ＡＲ１を前後左右に移動させるカーソルボタンＢＴ３に対する指示等がある。

サーバ５０は、ここで、拡大領域ＡＲ１の変更の指示がされたと判定した場合には、次いで、拡大撮像画像１１２ａ内にアノテーション画像ＡＮが表示されているか否かを判定する（ステップＳ５２）。例えば、図１２に示す拡大撮像画像１１２ａ内にはアノテーション画像ＡＮが表示されているため、サーバ５０は、アノテーション画像ＡＮが表示されているとの判定を行う。

サーバ５０は、次いで、アノテーション画像ＡＮの表示位置、大きさ、形状等を撮像条件から算出する（ステップＳ５３）。すなわち、ズームアウト等によって設定が変更となったビデオカメラ２２の撮像条件に応じて、アノテーション画像ＡＮの拡大撮像画像１１２ａ内の新たな表示位置、大きさ等を算出する。

サーバ５０は、ここで、算出結果に応じたアノテーション画像ＡＮは拡大撮像画像１１２ａ内に収まるか否かを判定する（ステップＳ５４）。例えば、ズームインボタンＢＴ２に対する変更の指示によってビデオカメラ２２の拡大領域ＡＲ１が拡大し、新たなアノテーション画像ＡＮが拡大撮像画像１１２ａ内に収まりきれなくなった時や、カーソルボタンＢＴ３に対する変更の指示によってビデオカメラ２２の撮像領域ＡＲ１が移動し、アノテーション画像ＡＮが拡大撮像画像１１２ａ内から外れた時に、算出結果に応じたアノテーション画像ＡＮは拡大撮像画像１１２ａ内に収まらないと判定し、ステップＳ５２の処理に戻る。尚、この際に、算出結果に応じたアノテーション画像ＡＮを消去指示などにより消去するようにしてもよい。

サーバ５０は、算出結果に応じたアノテーション画像ＡＮが拡大撮像画像１１２ａ内に収まると判定した場合には、算出された表示位置、大きさ等に応じたアノテーション画像ＡＮを表示させる描画指示をコンピュータ１２０に送信する（ステップＳ５５）。

この結果、図１３に示すように、拡大表示画面１１２内には拡大率が下げられた拡大撮像画像１１２ａが表示され、さらに、その拡大撮像画像１１２ａ内には、拡大率が下げられたアノテーション画像ＡＮが表示位置の整合性がとられて表示される。このように、本実施形態によれば、拡大領域ＡＲ１に変更があった場合、拡大撮像画像１１２ａ内に表示されるアノテーション画像ＡＮも、その変更に応じて、変化し表示される。

（第４実施形態）
続いて、本発明の第４実施形態について図１４から図１９参照して説明する。
図１４はサーバ５０における拡大撮像画像保存処理の一例を示すフローチャート、図１５はサーバ５０における警告表示処理の一例を示すフローチャート、図１６及び図１７は拡大表示画面１１２の一例、図１８は差分画像を説明するための図、図１９は警告表示を説明するための図である。

本実施形態では、拡大撮像画像１１２ａに対し描画指示を行い、アノテーション画像ＡＮを表示させた後、拡大表示画面１１２の表示を終了させ、再度、拡大表示画面１１２を表示させた際、その拡大表示画面１１２内に表示される拡大撮像画像１１２ａが先の拡大撮像画像１１２ａと対比して差異がある場合に、アノテーション画像ＡＮの下地となる拡大撮像画像１１２ａに変化が生じている旨を示す警告を表示させるものである。

まず、拡大撮像画像１１２ａに対するアノテーション画像ＡＮの保存処理について説明する。
サーバ５０は、図１４に示すように、まず、拡大撮像画像向けアノテーション画像保存処理を行う（ステップＳ６１）。この拡大撮像画像向けアノテーション画像保存処理は、図７を参照して説明したアノテーション画像ＡＮの保存処理に相当する。

サーバ５０は、次いで、ステップＳ６１の処理を終えると、拡大撮像画像１１２ａを取得し（ステップＳ６２）、保存する（ステップＳ６３）。例えば、図１６に示すような拡大撮像画像１１２ａが拡大表示画面１１２に表示されている場合には、その拡大撮像画像１１２ａを取得し、保存する。

次に、拡大表示画面１１２を復元により再度表示させた場合について説明する。
サーバ５０は、まず、図１５に示すように、拡大撮像画像向けアノテーション画像復元処理を行う（ステップＳ７１）。この拡大撮像画像向けアノテーション画像復元処理は、図１０を参照して説明したアノテーション画像ＡＮの復元処理に相当する。これにより、サーバ５０は、図１６に示すような、アノテーション画像ＡＮが表示された拡大撮像画像１１２ａを取得する。

サーバ５０は、次いで、拡大撮像画像１１２ａを取得する（ステップＳ７２）。すなわち、アノテーション画像ＡＮが表示された拡大撮像画像１１２ａを復元した後のビデオカメラ２２による拡大撮像画像１１２ａを取得する。例えば、サーバ５０は、図１７に示すような、拡大撮像画像１１２ａを取得する。

サーバ５０は、次いで、ステップＳ７１の処理に得られた拡大撮像画像１１２ａとステップＳ７２の処理によって得られた拡大撮像画像１１２ａとの比較を行う（ステップＳ７３）。すなわち、図１６に示す拡大撮像画像１１２ａと図１７に示す拡大撮像画像１１２ａとを比較する。

サーバ５０は、ここで、比較結果に基づき、双方の拡大撮像画像１１２ａに差異があるか否かを判定する（ステップＳ７４）。例えば、双方の拡大撮像画像１１２ａを重ねた場合、図１８に示すように、拡大撮像画像１１２ａ内の３つの矩形の画像の中で、両端の矩形の画像に挟まれる矩形の画像に関して、差分画像ＩＭが生じている。したがって、この場合、双方の拡大撮像画像１１２ａに差異があると判定する。尚、サーバ５０は、差異が大差である場合に、差異があると判定してもよい。この場合、大差か否かについては、差異が所定の閾値より大きい場合に大差であると判定してもよい。閾値には、例えば、輝度値やエッジ等の画像特徴量が用いられる。

サーバ５０は、ステップＳ７４の処理において、拡大撮像画像１１２ａに差異があると判定した場合には、警告表示コマンドを送信する（ステップＳ７５）。したがって、警告表示コマンドを受信したコンピュータ１２０は、図１９に示すように、表示装置１１０に拡大表示画面１１２の表示と併せて警告表示画面１１２ｃとを表示させる。この警告表示画面１１２ｃの表示位置は、拡大表示画面１１２の下に限定されず、表示装置１１０内のいずれの位置でもよく、拡大表示画面１１２に重ねて表示させるようにしてもよい。

このように、本実施形態によれば、アノテーション画像ＡＮを描画した時と、アノテーション画像ＡＮの復元処理をした時との拡大撮像画像１１２ａが相違する場合には、端末１００の操作者にその旨の視認が可能となる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

また、上述した実施形態では、ビデオカメラ２１とビデオカメラ２２とを併用したが、ビデオカメラ２１にデジタルズーム機能が搭載されている場合には、ビデオカメラ２１のみを利用してもよい。これにより、指示システムの構成部材を減らすことができる。さらに、パン機能やチルト機能も併せて構成するようにしてもよい。

また、上述した実施形態における拡大は、拡大率が１００％超となる拡大のみならず、１００％未満となる拡大、すなわち、縮小の意味を含むものとする。

本発明によれば、注釈画像を付与した際の撮像条件に基づいて、その撮像条件に応じた拡大撮像画像及び注釈画像を再現でき、遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。

指示システムの実施形態を示す構成図である。 サーバの要部構成を示す機能ブロック図である。 サーバ等のハードウェア構成を示す機能ブロック図である。 対象物側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 拡大撮像画像に対するアノテーション画像の保存処理の一例を示すフローチャートである。 拡大表示画面の一例である。 表示画面の一例である。 アノテーション画像の復元処理の一例を示すフローチャートである。 サーバにおける拡大領域変更処理の一例を示すフローチャートである。 変更処理前の表示画面の一例である。 変更処理後の拡大表示画面の一例である。 サーバにおける拡大撮像画像保存処理の一例を示すフローチャートである。 サーバにおける警告表示処理の一例を示すフローチャートである。 拡大表示画面の一例である。 拡大表示画面の一例である。 差分画像を説明するための図である。 警告表示を説明するための図である。

符号の説明

１０ 対象物側装置
２１，２２ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
６０ ハーフミラー
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１１ａ 撮像画像
１１２ 拡大表示画面
１１２ａ 拡大撮像画像
１１２ｃ 警告表示画面
１２０ コンピュータ
１３０ ポインティングデバイス
２００ 対象物
２００ａ 段差
３００ ネットワーク
ＡＮ アノテーション画像
Ｐｔ ポインタ
ＢＴ１〜ＢＴ３ ボタン
ＩＭ 差分画像

Claims (8)

1. 対象物を撮像する撮像手段で撮像された撮像画像及び該対象物を拡大して撮像する拡大撮像手段で撮像された拡大撮像画像を共に端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
   前記制御手段は、前記注釈画像に関する指示が前記拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を前記指示と対応付けて保存しておくことを特徴とする指示システム。
2. 前記制御手段は、前記注釈画像に関する指示が前記拡大撮像画像に対してなされた場合に、前記撮像画像上の該当箇所に、前記注釈画像が付与されていることを示す目印を表示させることを特徴とする請求項１に記載の指示システム。
3. 前記制御手段は、前記目印が指示された場合に、前記撮像条件に基づき、前記拡大撮像画像と前記注釈画像との整合性を取りつつ復元させて表示させることを特徴とする請求項２に記載の指示システム。
4. 前記制御手段は、前記注釈画像が表示された前記拡大撮像画像の撮像領域を変更する指示がなされた場合に、該撮像領域に応じた前記拡大撮像画像及び前記注釈画像を表示させることを特徴とする請求項１又は２に記載の指示システム。
5. 前記制御手段は、前記注釈画像を表示させる場合、変更前後の注釈画像の表示位置を整合させつつ表示させることを特徴とする請求項４に記載の指示システム。
6. 前記制御手段は、前記注釈画像に関する指示が前記撮像画像の一部を拡大する拡大撮像画像に対してなされた場合に、その撮像条件とともにその拡大撮像画像を保存し、前記目印が指示されたときに、該目印の表示箇所の前記撮像条件に応じた拡大撮像画像をさらに保存し、双方の拡大撮像画像の対比結果に差異がある場合に、前記注釈画像に関する指示がなされた際に表示されていた拡大撮像画像と異なる旨の警告を表示させることを特徴とする請求項２から５のいずれか１項に記載の指示システム。
7. コンピュータを、
   対象物を撮像する撮像手段で撮像された撮像画像及び該対象物を拡大して撮像する拡大撮像手段で撮像された拡大撮像画像を共に端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
   前記制御手段は、前記注釈画像に関する指示が前記拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を前記注釈画像と対応付けて保存しておくことを特徴とする指示プログラム。
8. 対象物を撮像する撮像手段と、
   前記対象物を拡大して撮像する拡大撮像手段と、
   前記撮像手段で撮像された撮像画像及び前記拡大撮像手段で撮像された拡大撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象物に投影する投影手段と、
   前記撮像画像及び前記拡大撮像画像を共に端末に送信すると共に、該端末でなされた前記指示に応じて前記投影手段を投影させ、前記注釈画像に関する指示が前記拡大撮像画像に対してなされた場合に、該拡大撮像画像の撮像条件を前記注釈画像と対応付けて保存しておく制御手段と、
   を有することを特徴とする指示装置。

Images