JP2008158693A - 画像処理システム及び画像処理プログラム - Google Patents

Abstract

【課題】 実物体側と遠隔側とが会議終了等でオフラインとなった場合においても、遠隔側で進行状況に従った撮像画像の取得ができる画像処理システム及び画像処理プログラムを提供することを目的とする。
【解決手段】 対象物を撮像するビデオカメラと、ビデオカメラの撮像領域内にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影するプロジェクタと、撮像画像及びアノテーション画像を関連付ける関連付情報を、撮像画像ごとに時系列に生成すると共に、撮像画像、アノテーション画像及び関連付情報を画像情報記憶部１０３、アノテーション情報記憶部１０５及び関連付情報記憶部１０１に記憶する画像情報生成部１０４及び関連付情報生成部１０２と、関連付情報への再生態様に関する指示に基づいて、撮像画像及びアノテーション画像を合成した合成画像を送信する合成画像送信部１１３とを有することを特徴としている。
【選択図】 図２

Description

本発明は、画像処理システム及び画像処理プログラムに関する。

遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う遠隔指示システムが知られている。このような遠隔指示システムとしては、例えば、特許文献１や特許文献２で示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末にリアルタイムで送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより対象物へ投影する技術が開示されている。

また、特許文献３においては、アノテーション画像に代わって、地図画像上の特定の位置を示す地点情報や、画像やテキスト等の情報を付加したＰＯＩ（Point Of Interest）情報をＨＴＭＬファイル化し、インターネットを介して複数のＰＣ（Personal Computer）間で当該ファイルを送信しあい、受信したＰＣがＰＯＩ情報を再現する技術が開示されている。さらに、特許文献４においては、そのＰＯＩ情報の解析時間を短縮している。

その他、特許文献５においては、地図情報サービスシステムにおいて、正確で認知性の高い情報を提供するために、地図画像上のサムネイル画像を所在位置に応じて多面的に表示させている。特許文献６においては、カメラの撮像領域内の特定位置に関係付けられた付加情報を撮像画像上に表示させている。
米国特許公開２００４／００７０６７４号公報 特開２００５−３３７５６号公報 特開２００１−１０１０６４号公報 特開２００１−１７５６６２号公報 特開２００３−２４２１５２号公報 特開２００５−２０４１２４号公報

ところで、例えば、遠隔指示システムを使った会議等の終了後において、その会議の内容を再現できれば会議に参加していない者であってもその会議の内容を容易に理解できる。このような場合、遠隔指示システムに、アノテーション画像が表示された撮像画像を必要に応じて記憶する記憶手段を設け、遠隔側の端末が会議の終了後に当該撮像画像を取得するようにしてもよいが、進行状況に従った撮像画像の取得ができないという問題点がある。

また、撮像画像にはアノテーション画像が含まれた状態で一つの画像として画像ごとに記憶されるため、例えば、重要なアノテーション画像が表示された撮像画像のすべてを取得したいと遠隔側が要求しても、遠隔側はそのようなアノテーション画像を基準とした撮像画像を取得することはできないという問題点もある。

本発明は、このような事情に鑑みてなされたものであり、実物体側と遠隔側とが会議終了等でオフラインとなった場合においても、遠隔側で進行状況に従った撮像画像の取得ができると共に、撮像画像またはアノテーション画像の一方を基準に、他方の画像を取得できる画像処理システム及び画像処理プログラムを提供することを目的とする。

本発明の画像処理システムは、対象物を撮像する撮像手段と、撮像手段の撮像領域内にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段と、撮像画像及びアノテーション画像を関連付ける関連付情報を、撮像画像ごとに時系列に生成すると共に、撮像画像、アノテーション画像及び関連付情報を記憶手段に記憶する生成手段と、関連付情報への再生態様に関する指示に基づいて、撮像画像及びアノテーション画像を合成した合成画像を送信する画像送信手段とを有することを特徴としている。

また、本発明は、生成手段が、アノテーション画像を、該アノテーション画像を描画する描画情報と、撮像画像上でのアノテーション画像の描画位置を対応付ける位置情報とを備えるアノテーション情報として記憶することを特徴としている。

また、本発明は、アノテーション情報をアノテーション画像に変換する画像変換手段を有することを特徴としている。

また、本発明は、撮像手段に代えて、画像入力手段を備え、撮像画像を画像入力手段から入力される入力画像とし、入力画像に対してアノテーション画像を編集する第１のアノテーション編集手段をさらに有することを特徴としている。

また、本発明は、撮像手段に代えて、Ｗｅｂサーバを指定するためのアクセス情報を入力する情報入力手段を備え、撮像画像をアクセス情報によって指定されるＷｅｂサーバが保有する保有画像とし、保有画像に対してアノテーション画像を編集する第２のアノテーション編集手段をさらに有することを特徴としている。

また、本発明は、対象物に添付される、該対象物を特定するための符号を読取る第１の読取手段と、対象物が移動した場合に、読取結果に応じて、移動前の対象物に対するアノテーション画像が移動後の対象物に対して再現されるように調整する調整手段と、を有することを特徴としている。

また、本発明は、調整手段が、アノテーション画像を再現させるべき位置に対象物を誘導することを特徴としている。

また、本発明は、誘導が、調整手段が移動前の対象物の撮像画像を対象物の移動先の投影手段に投影させることにより行われることを特徴としている。

また、本発明は、移動後の対象物の符号を読取る第２の読取手段を備え、調整手段が、第２の読取手段による読取結果と第１の読取手段による読取結果との変化に応じて、移動後の対象物に投影すべきアノテーション画像を変化させることを特徴としている。

また、本発明は、撮像画像またはアノテーション画像の一方の画像を検索条件とすることで、関連付情報に基づいて他方の画像を検索する検索手段を有することを特徴としている。

また、本発明は、画像送信手段が、レンダリングの手法に基づき、合成画像の表示形態を変えることを特徴としている。

また、本発明の画像処理プログラムは、撮像手段に対象物を撮像させると共に、その撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により撮像手段の撮像領域内へ投影させる画像処理プログラムであって、撮像画像及びアノテーション画像を関連付ける関連付情報を時系列に生成するステップと、撮像画像、アノテーション画像及び関連付情報を記憶手段に記憶するステップと、関連付情報への再生態様に関するに基づいて、撮像画像及びアノテーション画像を合成した合成画像を送信するステップとをコンピュータに実行させることを特徴としている。

請求項１によれば、記憶手段に記憶される撮像画像とアノテーション画像とを合成して、時系列に送信するため、オフラインとなっても進行状況に従った会議内容を再現することができる。

請求項２によれば、画像として記憶しないため、記憶手段の記憶容量が少なくて済む。

請求項３によれば、記憶されたアノテーション情報を復元することが可能である。

請求項４によれば、撮像手段による撮像画像に代えて、画像入力手段からの入力画像を使用することができる。

請求項５によれば、Ｗｅｂサーバを指定するためのアクセス情報を入力する情報入力手段を使用し、撮像手段による撮像画像に代えて、当該Ｗｅｂサーバが保有する保有画像を使用することができる。

請求項６によれば、対象物の移動先においても、移動前の対象物に対して行った指示と同様の進行状況に従った会議内容を再現することができる。

請求項７によれば、移動前の対象物に投影されるアノテーション画像を再現させるべき位置に対象物を誘導できる。

請求項８によれば、移動前の対象物の撮像画像に基づいて行うことができる。

請求項９によれば、移動先における対象物の符号に応じて、移動前の対象物に対するアノテーション画像が再現できるようになる。

請求項１０によれば、撮像画像またはアノテーション画像の一方の画像を検索条件として、他方の画像を取得することができる。

請求項１１によれば、レンダリング手法に基づいて、合成画像を送信する際に、合成画像の表示形態を変えることができる。

請求項１２によれば、記憶手段に記憶される撮像画像とアノテーション画像とを合成して、時系列に送信するため、オフラインとなっても進行状況に従った会議内容を再現することができる。

以下、本発明の実施の形態について、図面を参照して具体的に説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る画像処理システムの構成図である。
このシステムは、図１に示すように、画像処理装置１００、視聴用端末３００、遠隔指示システム４００等から構成されており、画像処理装置１００と視聴用端末３００とは、ネットワーク２００を介して接続される。尚、図１においては、視聴用端末３００を１台のみ示しているが、複数の視聴用端末３００がネットワーク２００を介して画像処理装置１００へ接続させてもよい。また、本システムは、遠隔指示システム４００を使用して説明するが、テレビ会議システム等、画像を送受するシステムであれば、遠隔指示システムに限られるものではない。

遠隔指示システム４００は、撮像手段としてのビデオカメラ４１０、投影手段としてのプロジェクタ４２０、これらの動作を制御する制御手段としてのサーバ４４０等から構成される。

ビデオカメラ４１０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成され、対象物ＴＧを撮像可能な位置に配置されていると共に、その撮像画像はサーバ４４０に取り込まれる。尚、対象物ＴＧは、ビデオカメラ４１０の撮像領域内に配置されるすべてのものを含む。また、ビデオカメラ４１０には、例えば、対象物ＴＧに付された図示しないＱＲコードを読取る第１の読取手段としてのＱＲコードリーダー等を形成するようにしてもよい。

プロジェクタ４２０は、ビデオカメラ４１０に隣接して設置されており、その画角（視野）がビデオカメラ４１０の画角（視野）に略一致するように配置されている。このプロジェクタ４２０には、液晶プロジェクタ等が使用される。尚、プロジェクタによる投影は、ハーフミラー等を使用して画角が調整されるようにしてもよい。

サーバ４４０は、ビデオカメラ４１０及びプロジェクタ４２０の動作を制御すると共に、画像処理装置１００との間で各種情報を授受する。また、サーバ４４０は、ビデオカメラ４１０の撮像画像を画像処理装置１００へ送信すると共に、視聴用端末３００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４２０により対象物ＴＧへ投影させる。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。

画像処理装置１００は、本発明の記憶手段、生成手段及び画像送信手段を備えた装置の一例であって、撮像画像及びアノテーション画像を関連付ける関連付情報を、撮像画像ごとに時系列に生成すると共に、撮像画像、アノテーション画像及び関連付情報を記憶装置に記憶する生成する。これらの情報は、物理的、論理的に分けて記憶されるようにしてもよい。さらに、関連付情報への視聴用端末３００からの再生態様に関する指示に基づいて、撮像画像及びアノテーション画像を合成した合成画像を視聴用端末３００に送信する。尚、再生態様に関する指示に応じた送信は、時系列に基づいて連続的に送信したり、一つの合成画像を数秒間送信し続けたり、一定の手順に従って合成画像を繰り返して送信したりするようにする等、種々の態様が可能である。また、画像処理装置１００は、サーバ４００に組み込まれていてもよい。

視聴用端末３００は、液晶ディスプレイ、ＣＲＴディスプレイ等からなる表示装置３１０と、ネットワーク２００を介して画像処理装置１００に接続され、ＣＰＵ等の処理装置、ＤＲＡＭ等の記憶装置等からなるコンピュータ３２０と、コンピュータ３２０に接続されたポインティングデバイス（マウス）３３０等から構成される。

コンピュータ３２０は、ビデオカメラ４１０によって撮像された撮像画像を受信して表示装置３１０に表示させると共に、当該撮像画像に基づいてなされた、アノテーション画像を対象物ＴＧに投影させるための投影指示を生成してサーバ４４０に送信する。当該投影指示は表示装置３１０に対しポインティングデバイス３３０等によって行われる。

続いて上述した画像処理装置１００について図１及び図２を参照して説明する。
図２は画像処理装置１００の要部を示す機能ブロック図である。尚、図２に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。

画像処理装置１００は、関連付情報記憶部１０１、関連付情報生成部１０２、画像情報記憶部１０３、画像情報生成部１０４、アノテーション情報記憶部１０５、画像検索部１０６、アノテーション変換部１０７、画像情報抽出部１０９、画像合成部１１１、合成画像送信部１１３等を備える。尚、本発明の生成手段は、関連付情報生成部１０２及び画像情報生成部１０４を一例として構成し、記憶手段は、関連付情報記憶部１０１、画像情報記憶部１０３及びアノテーション情報記憶部１０５等を一例として構成し、画像送信手段は、画像合成部１１１及び合成画像送信部１１３等を一例として構成する。

関連付情報生成部１０２は、ビデオカメラ４２０によって撮像した図１に示す撮像画像ＩＭＢに識別番号を付し、また、その撮像画像ＩＭＢに使用された図１に示すアノテーション画像ＡＮに識別番号を付し、これらの識別番号を関連付けて一意の管理番号を付して一つのレコードを生成する。さらに、当該レコードが生成された時刻毎に時系列に関連付情報記憶部１０１に記憶する。また、以下において、当該レコードを関連付情報という。

画像情報生成部１０４は、ビデオカメラ４２０によって撮像された撮像画像ＩＭＢを画像毎に一意に識別番号を付し、識別番号ごとに撮像画像情報１０として画像情報記憶部１０３に記憶する。また、撮像画像ＩＭＢに使用されたアノテーション画像ＡＮを、その形態を復元する描画情報と撮像画像ＩＭＢ上での描画位置を対応づける位置情報等からなるアノテーション情報２０とし、アノテーション情報２０ごとに一意な識別番号を付してアノテーション情報記憶部１０５に記憶する。これによって、撮像画像ＩＭＢとアノテーション画像ＡＮとが別々の記憶部で管理される。

尚、アノテーション画像ＡＮのみをアノテーション情報記憶部１０５に記憶する方法としては、アノテーション画像が含まれる撮像画像とアノテーション画像がまだ含まれていない撮像画像との差分により求めたり、視聴用端末３００からの投影指示を記憶しておいたりするようにしてできる。

画像検索部１０６は、視聴側端末３００からの要求に応じて、関連付情報記憶部１０１から関連付情報を検索し、当該関連付情報に基づいた撮像画像情報１０及びアノテーション情報２０をそれぞれ画像情報記憶部１０３、アノテーション情報記憶部１０５や後述する背景画像情報記憶部１１７、アクセス情報記憶部１２５から検索する。

アノテーション変換部１０７は、画像処理装置１００に対し合成画像の送信要求があった際に、関連付情報の識別番号に応じたアノテーション情報２０をアノテーション情報記憶部１０５から抽出し、当該アノテーション情報２０をアノテーション画像ＡＮに変換する機能を有する。すなわち、アノテーション情報２０は、描画情報及び撮像画像上での相対位置に関する情報で構成されるため、当該情報に基づいて画像に復元する。

画像情報抽出部１０９は、画像処理装置１００に対し合成画像ＩＭの送信要求があった際に、関連付情報の識別番号に応じた撮像画像情報１０を画像情報記憶部１０３から抽出する。

画像合成部１１１は、アノテーション変換部１０７によって復元されたアノテーション画像ＡＮ及び画像情報抽出部１０９によって抽出された撮像画像ＩＭＢを合成し、合成画像ＩＭを生成する機能を有する。
合成画像送信部１１３は、視聴用端末３００に対して、合成画像ＩＭを送信する機能を有する。

続いて、画像処理装置１００における各種情報の登録処理について図３から図６を参照して説明する。
図３は画像処理装置１００における登録処理の一例を示すフローチャート、図４は撮像画像情報テーブルを示す図、図５はアノテーション情報テーブルを示す図、図６は関連付情報テーブルを示す図である。

画像処理装置１００は、まず、ビデオカメラ４２０による撮像画像ＩＭＢを記録する旨の要求を検出したか否かを判断する（ステップＳ１）。このような要求は画像処理装置１００の外部、例えば、会議などに参加していた視聴用端末３００等から行われる。画像処理装置１００が、当該要求を検出しない場合には、登録処理を終了する。

画像処理装置１００は、上述した要求を検出した場合においては、撮像画像ＩＭＢを撮像画像情報１０として記憶する（ステップＳ２）。撮像画像情報１０は、図４に示すように、撮像画像情報１０毎に一意な識別番号が付され、一つ一つのレコードとして記憶される。例えば、撮像画像情報Abc.jpgには図４に示すように識別番号「１」が付される。

画像処理装置１００は、次に、撮像画像ＩＭＢに応じたアノテーション画像ＡＮをアノテーション情報２０として記憶する（ステップＳ３）。アノテーション情報２０は、図５に示すように、アノテーション情報２０毎に一意な識別番号が付され、一つ一つのレコードとして記憶される。

アノテーション情報２０は図５に示すように描画情報と位置情報等で表される。描画情報は例えば関数等で表される。関数Lineは位置情報に基づいて直線を表示する関数である。撮像画像ＩＭＢに座標軸を割り当てた場合に、関数Line（１０,２０,３０,４０）であれば、座標（１０,２０）から座標（３０,４０）に背景画像上に直線を表示する関数である。関数Rectは位置情報に基づいて矩形を表示する関数である。関数Rect（５０,６０,７０,８０）であれば、座標（５０,６０）から幅７０、高さ８０の矩形を撮像画像ＩＭＢ上に表示する関数である。関数Circleは位置情報に基づいて円を表示する関数である。関数Circle（５０,６０,１０）であれば、座標（５０,６０）を中心に半径１０の円を撮像画像上に表示する関数である。関数Ellipseは位置情報に基づいて楕円を表示する関数である。関数Ellipse（４０,３０,２０,１０）であれば、座標（４０,３０）を中心に長軸２０、短軸１０を撮像画像ＩＭＢ上に表示する関数である。関数Strokeは位置情報に基づいて点の集合を表示する関数である。関数Stroke（ｘ０,ｙ０,ｘ１,ｙ１,・・・,ｘｍ,ｙｍ）であれば、座標値が（ｘｎ、ｙｎ）（ｎは自然数）である点の集合からなる画像を撮像画像ＩＭＢ上に表示する関数である。尚、アノテーション情報２０は、撮像画像ＩＭＢ上に画像を表示する関数であれば、これらに限られるものではない。

画像処理装置１００は、次に、撮像画像情報１０に識別番号を付し、また、アノテーション情報２０に識別番号を付し、これらを一つのレコードとする関連付情報を時刻毎に生成し、時系列に記憶する。例えば、管理番号「１」であれば、時刻00:00:01に識別番号を「９」とする撮像画像情報及び識別番号を「３」とするアノテーション情報を検出し、記憶したことになる。このように、画像処理装置１００は、撮像画像情報１０とアノテーション情報２０とを分離して時系列に記憶する。

続いて、画像処理装置１００から合成画像を取得する処理について図７及び図８を参照して説明する。
図７は画像処理装置における送信処理の一例を示すフローチャート、図８は合成画像の連続表示の一例を説明するための図である。尚、以下の説明において、遠隔指示システムの電源はＯＦＦの状態であって、画像処理装置１００と遠隔指示システム４００とはオフライン接続となっている。このような状態において、画像処理装置１００と視聴用端末３００とが各種情報を送受する。

画像処理装置１００は、まず、視聴用端末３００から画像処理装置１００に記憶される画像を取得・視聴する旨の要求を検出したか否かを判断する（ステップＳ１１）。当該要求は視聴用端末３００から画像処理装置１００に対して行われ、例えば、視聴用端末３００は画像処理装置１００に対し、
http://www.server.com/request?ID=1といった要求を送信すると、画像処理装置１００は、ID=1に対応する関連付情報の管理番号を「１」とする関連付情報が要求されていると判断する。画像処理装置１００は、このような要求を検出しない限り、視聴用端末３００に画像を送信しない。

画像処理装置１００は、上述した要求を検出した場合において、次に、関連付情報記憶部１０１から管理番号「１」を有する関連付情報を抽出する（ステップＳ１２）。尚、関連付情報記憶部１０１から抽出する関連付情報は最初の管理番号「１」の関連付情報に限られず、例えば、視聴用端末３００から特定の管理番号、例えば「４」以降の関連付情報を抽出する旨の要求があった場合においては、画像処理装置１００は、その特定の管理番号「４」以降の管理番号を有する関連付情報を抽出したり、また、特定の撮像画像情報１０やアノテーション情報２０を抽出する旨の要求があった場合においては、その特定の撮像画像情報１０やアノテーション情報２０を抽出したりするようにしてもよい。このような場合、視聴用端末３００から画像処理装置１００に対し、
http://www.server.com/request?ImageID=1&AnnotationID=2といった要求を送信すると、画像処理装置１００は、ImageID=1に対応する撮像画像情報１０の識別番号を「１」、AnnotationID=2に対応するアノテーション情報２０の識別番号を「２」とする関連付情報が要求されていることを判断する。特定した撮像画像情報１０等に関連付いたアノテーション情報２０が複数ある場合においては、その関連付いたすべてのアノテーション情報２０を有する関連付情報を抽出するようにしてもよい。

画像処理装置１００は、次に、抽出した関連付情報に含まれる撮像画像の識別番号から、画像情報記憶部１０３に記憶される撮像画像情報１０を抽出する（ステップＳ１３）。さらに、抽出した関連付情報に含まれるアノテーション画像の識別番号から、アノテーション情報記憶部１０５に記憶されるアノテーション情報２０を抽出する（ステップＳ１４）。このように、視聴用端末３００からの要求に応じて、画像処理装置１００は、関連付情報に応じて撮像画像情報１０及びアノテーション情報２０を抽出する。

画像処理装置１００は、次に、抽出した撮像画像情報１０及びアノテーション情報２０から合成画像ＩＭを生成する（ステップＳ１５）。より詳しくは、描画情報及び位置情報として記憶されたアノテーション情報２０をその描画情報に応じた画像として復元し、さらに抽出した撮像画像情報１０の撮像画像ＩＭＢに対し、座標軸を割り当て、当該座標軸に応じてアノテーション画像ＡＮを撮像画像ＩＭＢに合成し、合成画像ＩＭを生成する。

画像処理装置１００は、次に、合成画像ＩＭを視聴用端末３００に送信する（ステップＳ６）。当該合成画像ＩＭを受信した視聴用端末３００の表示画面３１１は、図８（ａ）に示すように、撮像画像ＩＭＢの識別番号を「９」、アノテーション画像ＡＮの識別番号を「３」とした関連付情報の管理番号「１」の合成画像ＩＭを表示する。

ここで、画像処理装置１００は、関連付情報記憶部１０１が管理番号「１」以降の関連付情報も記憶している場合には、さらに、管理番号「２」以降の関連付情報を抽出する（ステップＳ１７、ステップＳ１８）。すなわち、関連付情報の抽出処理は、画像処理装置１００に記憶された最後の管理番号に到達するまで続けて行われる。したがって、管理番号「２」以降とする関連付情報に対しても、ステップＳ１３からステップＳ１６の処理を繰り返すため、視聴用端末３００の表示画面３１１は、図８（ｂ）及び（ｃ）に示すように、連続的に関連付情報に関連付いた撮像画像ＩＭＢ及びアノテーション画像ＡＮを表示する。そのため、視聴用端末３００はオフラインであっても擬似的にリアルタイムでそれらの画像を表示する。

（第２実施形態）
続いて、本発明の第２実施形態に係る画像処理装置について説明する。
図９は本発明の第２実施形態に係る画像処理システムの構成図である。本システムは、図９に示すように、画像処理装置１００、送信用端末５００、受信用端末６００等から構成されており、送信用端末５００と受信用端末６００とは、画像処理装置１００及びネットワーク２００を介して接続される。

送信用端末５００は、液晶ディスプレイ、ＣＲＴディスプレイ等からなる表示装置５１０と、画像入力手段としての画像入力装置５４０と、ネットワーク２００に接続され、ＣＰＵ等の処理装置、ＤＲＡＭ等の記憶装置等からなるコンピュータ５２０と、コンピュータ５２０に接続されたポインティングデバイス（マウス）５３０等から構成される。

表示装置５１０は、その表示画面５１１に画像処理装置１００へ送信する入力画像（以下、背景画像という。）ＩＭＢやアノテーション画像ＡＮを表示する。より詳しくは、表示装置５１０はスキャナーやデジタルカメラ等の画像入力装置５４０によって取り込まれた背景画像ＩＭＢを表示し、また、ユーザの指示に応じたアノテーション画像ＡＮを表示する。

コンピュータ５２０は、画像入力装置５４０によって入力された背景画像を表示画面５１１に表示させたり、表示画面５１１に表示される背景画像を背景画像情報として画像処理装置１００に送信したりする。

マウス５３０は、コンピュータ５２０に対し各種指示を行う。例えば、表示画面５１１に表示される各種操作画面に対し指示を行う。当該指示に応じて、コンピュータ５２０は表示画面５１１にアノテーション画像ＡＮを表示させたり、背景画像ＩＭＢ等を画像処理装置１００に送信したりする。

したがって、送信用端末５００は、図９に示すように、表示画面５１１に表示される背景画像ＩＭＢ及びアノテーション画像ＡＮをポインティングデバイス５３０からの指示に応じてそれぞれ背景画像情報１０、アノテーション情報２０とし、画像処理装置１００に送信する。

受信用端末６００は、液晶ディスプレイ、ＣＲＴディスプレイ等からなる表示装置６１０と、ネットワーク２００に接続され、ＣＰＵ等の処理装置、ＤＲＡＭ等の記憶装置等からなるコンピュータ６２０等から構成される。

表示装置６１０は、画像処理装置１００から合成画像ＩＭを取得するための操作画面を表示したり、画像処理装置１００から送信される合成画像ＩＭをその表示画面６１１に表示したりする。当該操作画面はタッチパネル方式であったり、図示しないポインティングデバイスによるポインタによって指示されたりするようにしてもよい。

コンピュータ６２０は、操作画面に対する指示に応じて画像処理装置１００へ合成画像ＩＭを送信する旨の要求を送信したり、画像処理装置１００から送信される合成画像ＩＭを受信したり、表示装置６１０の表示画面６１１に当該合成画像ＩＭを表示させたりする。

次に、上述した画像処理装置１００について図１０を参照して説明する。
図１０は第２実施形態に係る画像処理装置１００の要部を示す機能ブロック図である。尚、図１０に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。また、図２に示される画像処理装置の各部と同様の構成には同一符号を付し、その説明を省略する。

画像処理装置１００は、アノテーション情報記憶部１０５、画像検索部１０６、アノテーション変換部１０７、画像合成部１１１、合成画像送信部１１３、背景画像情報受信部１１５、背景画像情報記憶部１１７、アノテーション情報編集部１１９、背景画像抽出部１２１、等を備える。尚、本発明の第１のアノテーション編集手段は、アノテーション情報編集部１１９等を一例として構成され、本発明の記憶手段は、背景画像情報記憶部１１７等を一例として構成される。

背景画像情報受信部１１５は、送信用端末５００から送信される背景画像情報１０を受信して、背景画像情報記憶部１１７に記憶する。

アノテーション情報編集部１１９は、アノテーション画像ＡＮを描画するための操作画面を送信用端末５００へ提供すると共に、当該操作画面によって操作されたアノテーション画像ＡＮのアノテーション情報２０を受信する。操作画面を提供する際には、背景画像情報受信部１１５で受信した背景画像情報１０の背景画像ＩＭＢを付帯して提供するようにしてもよい。アノテーション情報編集部１１９は受信したアノテーション情報１０をアノテーション情報記憶部１０５に記憶する。

背景画像抽出部１２１は背景画像情報記憶部１１７に記憶される背景画像情報１０を抽出して、背景画像ＩＭＢに復元する。復元した背景画像ＩＭＢは画像合成部１１１へ送信される。

続いて、第２実施形態に係る画像処理装置１００における各種情報の登録処理について図１１、上述した図４及び図５を参照して説明する。
図１１は画像処理装置における登録処理の一例を示すフローチャートである。
画像処理装置１００は、まず、送信用端末５００から背景画像情報１０を受信したか否か判断する（ステップＳ２１）。背景画像情報１０を受信しなかった場合においては、画像処理装置１００は登録処理を終了する。背景画像情報１０を送信用端末５００から受信した場合においては、画像処理装置１００は、図４に示すように、当該背景画像情報を記憶する（ステップＳ２２）。

画像処理装置１００は、次に、送信用端末５００からアノテーション情報２０を受信したか否か判断する（ステップＳ２３）。アノテーション情報２０を受信しなかった場合においては、画像処理装置１００は登録処理を終了する。したがって、この時点で登録処理を終了した場合、画像処理装置１００は背景画像情報１０を記憶するにとどまる。

アノテーション情報２０を送信用端末５００から受信した場合においては、画像処理装置１００は、図５に示すように、当該アノテーション情報を記憶する（ステップＳ２４）。したがって、画像処理装置１００はこのような処理に基づき背景画像情報１０及びアノテーション情報２０を記憶する。

次に、画像処理装置１００から合成画像を取得する処理について図４、図５、図１２及び図１３を参照して説明する。尚、当該取得処理は画像処理装置１００と送信用端末５００とがオフライン（電気的に接続されていない状態）の場合に行われる。
図１２は画像処理装置１００における送信処理の一例を示すフローチャート、図１３は合成画像の表示の一例を説明するための図である。
画像処理装置１００は、まず、受信用端末６００から画像処理装置１００に記憶される画像を取得する旨の要求を検出したか否かを判断する（ステップＳ３１）。当該要求は受信用端末３００から画像処理装置１００に対して行われ、例えば、受信用端末６００は画像処理装置１００に対し、
http://www.server.com/request?ImageID=5&AnnotationID=4といった要求を送信することによって行われる。

画像処理装置１００が当該要求を受信すると、当該要求から識別番号を割り出す処理をする（ステップＳ３２）。上述した例でいえば、ImageID=5に対応する背景画像情報の識別番号を「５」、AnnotationID=4に対応するアノテーション情報の識別番号を「４」とする要求がなされていることを判断する。画像処理装置１００は、このような要求を検出しない限り、受信用端末６００に画像を送信しない。

画像処理装置１００は、上述した要求を検出した場合において、次に、当該要求に応じた背景画像情報を抽出する（ステップＳ３３）。上述した例でいえば、画像処理装置１００は図４に示す背景画像情報テーブルの識別番号「５」に応じた背景画像情報「ＩＭＢ.ｊｐｇ」を抽出する。尚、背景画像情報「ＩＭＢ.ｊｐｇ」は図１３に示す背景画像ＩＭＢに対応する。

画像処理装置１００は、次に、要求に応じたアノテーション情報を抽出する（ステップＳ３４）。上述した例でいえば、画像処理装置１００は図５に示すアノテーション情報テーブルの識別番号「４」に応じたアノテーション情報「ＡＮ（１０,３０,１００,３０）」を抽出する。尚、アノテーション情報「ＡＮ（１０,３０,１００,３０）」は、吹き出し型の丸め長方形を表示する関数であって、図１３に示すアノテーション情報ＡＮに対応する。

画像処理装置１００は、次に、抽出したアノテーション情報を画像に復元する処理を行う（ステップＳ３５）。例えば、抽出したアノテーション情報が関数ＡＮ（１０,３０,１００,３０）であれば、座標（１０,３０）から幅１００、高さ３０の吹き出し型の丸め長方形を画像として復元する。

画像処理装置１００は、次に、背景画像とアノテーション画像とを合成する（ステップＳ３６）。画像処理装置１００は、例えば図１３に示すように、背景画像ＩＭＢに座標軸を割り当て、その座標軸に応じてアノテーション情報ＡＮを合成し、合成画像ＩＭを生成する。

画像処理装置１００は、最後に、生成した合成画像ＩＭを要求のあった受信用端末６００に送信する（ステップＳ３７）。画像処理装置１００のこのような処理によって、受信用端末６００は、オフラインであっても合成画像ＩＭを受信し、自身の表示画面６１１に合成画像ＩＭを表示すする。

（第３実施形態）
続いて、本発明の第３実施形態に係る画像処理装置１００について説明する。本実施形態では、背景画像を例えばインターネット上のＷｅｂサーバから取得する場合について説明する。
図１４は本発明の第３実施形態に係る画像処理装置を備えるシステムの構成図である。本システムは、図１４に示すように、画像処理装置１００、送信用端末５００、受信用端末６００、Ｗｅｂサーバ７００等から構成されており、送信用端末５００と受信用端末６００とは、画像処理装置１００及びネットワーク２００を介して接続され、さらに、画像処理装置１００はネットワーク２００を介してＷｅｂサーバ７００に接続される。尚、図９に示されるシステムの各部と同様の構成には同一符号を付し、その説明を省略する。

Ｗｅｂサーバ７００は、例えばインターネット等のネットワーク上に配置されるサーバ機能を有するコンピュータである。Ｗｅｂサーバ７００は例えばＵＲＬ(Uniform Resource Locator)等、サーバを特定するアクセス情報１１を受信すると、当該アクセス情報１１に応じて自身が保有する保有画像（以下、当該画像についても背景画像という。）を送信する。

送信用端末５００は、液晶ディスプレイ、ＣＲＴディスプレイ等からなる表示装置５１０と、情報入力手段としての情報入力装置５５０と、ネットワーク２００に接続され、ＣＰＵ等の処理装置、ＤＲＡＭ等の記憶装置等からなるコンピュータ５２０と、コンピュータ５２０に接続されたポインティングデバイス（マウス）５３０等から構成される。

情報入力装置５５０は、Ｗｅｂサーバ７００を指定するためのアクセス情報１１を入力するための装置であって、例えばキーボード等が該当する。
コンピュータ５２０は、入力されたアクセス情報１１に基づきＷｅｂサーバ７００に接続し、Ｗｅｂサーバ７００が保有する背景画像ＩＭＢを取得して、表示装置５１０に表示させたり、表示画面５１１に表示される背景画像ＩＭＢのアクセス情報１１を画像処理装置１００に送信したりする。

したがって、第２実施形態においては、画像処理装置１００は、送信用端末５００から背景画像情報１０を受信することで、当該背景画像情報１０を記憶するが、第３実施形態においては、画像処理装置１００は、送信用端末５００からアクセス情報１１を受信して記憶し、アクセス情報に応じた背景画像ＩＭＢを合成画像ＩＭの構成の一部とする。

次に、上述した画像処理装置１００について図１５を参照して説明する。
図１５は第３実施形態に係る画像処理装置１００の要部を示す機能ブロック図である。尚、図１５に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。また、図２及び図１０に示される画像処理装置の各部と同様の構成には同一符号を付し、その説明を省略する。

画像処理装置１００は、アノテーション情報記憶部１０５、画像検索部１０６、アノテーション変換部１０７、画像合成部１１１、合成画像送信部１１３、アクセス情報受信部１２３、アクセス情報記憶部１２５、画像取得部１２７、アノテーション情報編集部１２９等を備える。尚、本発明の第２のアノテーション編集手段は、アノテーション情報編集部１２９等を一例として構成され、本発明の記憶手段は、アクセス情報記憶部１２５等を一例として構成される。

アクセス情報受信部１２３は、送信用端末５００から送信されるアクセス情報１１を受信して、アクセス情報記憶部１２５に記憶する。

画像取得部１２７は、アクセス情報記憶部１２５に記憶されるアクセス情報１１に応じてＷｅｂサーバ７００から当該アクセス情報１１に応じた背景画像ＩＭＢを取得すると共に、取得した背景画像ＩＭＢをアノテーション情報編集部１２９に送信する。

アノテーション情報編集部１２９は、アノテーション画像ＡＮを描画するための操作画面を送信用端末５００へ提供すると共に、当該操作画面によって操作されたアノテーション画像ＡＮのアノテーション情報２０を受信する。操作画面を提供する際には、画像取得部１２７で取得した背景画像情報１０の背景画像ＩＭＢを付帯して提供するようにしてもよい。アノテーション情報編集部１２９は受信したアノテーション情報１０をアノテーション情報記憶部１０５に記憶する。

続いて、第３実施形態に係る画像処理装置１００における各種情報の登録処理について図１６、図１７及び上述した図５を参照して説明する。
図１６は画像処理装置１００における登録処理の一例を示すフローチャート、図１７はアクセス情報テーブルを示す図である。

画像処理装置１００は、まず、送信用端末５００からアクセス情報１１を受信したか否か判断する（ステップＳ４１）。アクセス情報１１を受信しなかった場合においては、画像処理装置１００は登録処理を終了する。

アクセス情報１１を送信用端末５００から受信した場合においては、画像処理装置１００は、図１７に示すように、当該アクセス情報を記憶する（ステップＳ４２）。アクセス情報は、図１７に示すように、アクセス情報毎に一意な識別番号が付され、一つ一つのレコードとして記憶される。例えば、アクセス情報http://www.ext-site1.comには図１７に示すように識別番号「１」が付される。

画像処理装置１００は、次に、送信用端末５００からアノテーション情報２０を受信したか否か判断する（ステップＳ４３）。アノテーション情報２０を受信しなかった場合においては、画像処理装置１００は登録処理を終了する。したがって、この時点で登録処理を終了した場合、画像処理装置１００はアクセス情報１１を記憶するにとどまる。

アノテーション情報２０を送信用端末５００から受信した場合においては、画像処理装置１００は、図５に示すように、当該アノテーション情報を記憶する（ステップＳ４４）。したがって、画像処理装置１００は、このような処理に基づきアクセス情報１１及びアノテーション情報２０を記憶する。

ここで、受信用端末６００が画像処理装置１００に記憶される情報を画像として取得する処理については、図１２に示すフローチャートで説明した背景画像情報をアクセス情報に変更し、さらに、ステップＳ３４とステップＳ３５との間に、当該アクセス情報に応じた画像をＷＥＢサーバ７００から取得するステップを追加すればよい。また、アクセス情報に応じた画像が図１３に示す背景画像ＩＭＢであって、記憶されるアノテーション画像が図１３に示すアノテーション画像ＡＮである場合においては、その結果として受信用端末６００で得られる合成画像は図１３に示す合成画像ＩＭとなる。

尚、本実施形態においては、アクセス情報に応じた画像の取得先をネットワーク上に配置されるＷｅｂサーバ７００としたが、例えば、画像処理装置１００にキャッシュメモリを構成し、当該キャッシュメモリに記憶される画像をアクセス情報に応じて取得するようにしてもよい。

（第４実施形態）
続いて、本発明の第４実施形態に係る画像処理装置１００について図１８から図２１を参照して説明する。本実施形態では、実物体側に設置される対象物ＴＧに対し遠隔側において各種指示を行ってアノテーション画像を投影した後、当該対象物ＴＧが遠隔側に移動されることとなった際に、上述した各種指示を移動後の対象物ＴＧに再現する場合について説明する。尚、移動前後の対象物ＴＧは完全同一である必要はなく、例えば、異なる個体の同一製品であってもよい。

図１８は本発明の第４実施形態に係る画像処理装置を備えるシステムの構成図である。本システムは、図１８に示すように、画像処理装置１００、アノテーション画像ＡＮの送信元となる遠隔側システム４００、アノテーション画像ＡＮの送信先となる受信用端末６００等から構成されており、遠隔側システム４００と受信用端末６００とは、画像処理装置１００及びネットワーク２００を介して接続される。尚、図１等に示されるシステムの各部と同様の構成には同一符号を付し、その説明を省略する。

受信用端末６００は、撮像手段としてのビデオカメラ６３０、投影手段としてのプロジェクタ６４０、これらの動作を制御する制御手段としてのコンピュータ６２０等から構成される。

ビデオカメラ６３０は、例えばＣＣＤカメラで構成され、対象物ＴＧを撮像可能な位置に配置されていると共に、その撮像画像はコンピュータ６２０に取り込まれる。また、ビデオカメラ６３０には、第２の読取手段としての図示しないＱＲコードリーダー（Quick Response Code Reader）が備えられ、対象物ＴＧを識別するために付されるＱＲコードを無線通信により読取る。尚、対象物ＴＧを特定（識別）するための符号であればＱＲコードに限られないが、ＱＲコードを使用することで対象物の特定が容易となる。また、ＱＲコード以外に、ＰＤＦ４１７、ＤａｔａＭａｔｒｉｘ、ＭａｘｉＣｏｄｅ等、二次元符号を示すものであればよく、読取手段もこれらに対応するものであればよい。

プロジェクタ６４０は、ビデオカメラ６３０に隣接して設置されており、その画角（視野）がビデオカメラ６３０の画角（視野）に概ね一致するように配置されている。このプロジェクタには例えば液晶プロジェクタが使用される。尚、プロジェクタによる投影は、ハーフミラー等を使用して画角が調整されるようにしてもよい。

コンピュータ６２０は、ビデオカメラ６３０、プロジェクタ６４０、ＱＲコードリーダーの動作を制御すると共に、画像処理装置１００との間で各種情報を授受する。また、コンピュータ６２０は、ビデオカメラ６３０の撮像画像及びＱＲコードリーダーの読取結果を画像処理装置１００へ送信すると共に、画像処理装置１００から送信されるアノテーション画像ＡＮをプロジェクタ６４０により対象物ＴＧへ投影させる。尚、ビデオカメラ６３０及びＱＲコードリーダは、利用者からの指示に応じて動作する。

画像処理装置１００は、本発明の記憶手段、生成手段及び調整手段等を備えた装置の一例であって、対象物ＴＧに添付されたＱＲコードに応じた識別番号とアノテーション画像とを関連付けて関連付情報を時系列に生成するとともに、アノテーション画像及び関連付情報をそれぞれ別の記憶装置に記憶する。さらに、関連付情報への受信用端末６００からのＱＲコード等を含む指示に基づいて、遠隔側指示システム４００で投影されたアノテーション画像ＡＮの投影状態を再現するように調整して受信用端末６００に送信する。尚、ＱＲコードはビデオカメラ６３０に形成されるＱＲコードリーダー等によって読取られる。

図１９は画像処理装置１００の要部を示す機能ブロック図である。尚、図１９に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。

画像処理装置１００は、関連付情報記憶部１０１、関連付情報生成部１０２、アノテーション情報記憶部１０５、アノテーション変換部１０７、アノテーション情報生成部１１０、アノテーション調整部１１２、アノテーション画像送信部１１４等を備える。尚、本発明の生成手段は、関連付情報生成部１０２を一例として構成し、本発明の記憶手段は、関連付情報記憶部１０１を一例として構成し、本発明の調整手段は、アノテーション調整部１１２を一例として構成する。

関連付情報生成部１０２は、プロジェクタ４２０によって投影されるアノテーション画像ＡＮに識別番号等を付し、また、ＱＲコードリーダーによって読取られたＱＲコードに識別番号を付し、これらの識別番号を関連付けて一意の管理番号を付して一つの関連付情報を生成する。さらに、当該関連付情報が生成された時刻毎に時系列に関連付情報記憶部１０１に記憶する。したがって、関連付情報記憶部１０１は、図２０に示す関連付情報テーブルのように、管理番号、対象物識別番号、生成時刻、アノテーション識別番号等で構成される関連付情報を記憶する。

尚、ＱＲコード座標とは、ＱＲコードの読取結果から得られる、ビデオカメラ４２０による撮像画像上の相対位置をいう。当該座標は、撮像画像上を四角で表した際に、（left，top，right，bottom）で表される。これにより、ＱＲコードの撮像画像上の位置座標がわかり、後述するアノテーション画像の調整処理についても使用される。また、対象物識別番号は、ＱＲコードによって特定された対象物ＴＧの識別番号を示す。

アノテーション情報生成部１１０は、プロジェクタ４２０で投影するアノテーション画像アノテーション情報としてアノテーション情報記憶部１０５に記憶する。アノテーション情報記憶部１０５は、図５に示すアノテーション情報テーブルのように構成される。

アノテーション変換部１０７は、受信用端末６００からの指示に応じて関連付情報記憶部１０１から送信される関連付情報を受信し、さらに、当該関連付情報に含まれるアノテーション識別番号に応じたアノテーション画像をアノテーション情報記憶部１０５から取得する。これにより、アノテーション識別番号がアノテーション画像に変換されることとなる。

アノテーション調整部１１２は、アノテーション変換部１０７から送信されるアノテーション画像を受信し、プロジェクタ４２０により対象物ＴＧに投影されていた状態が再現されるようにアノテーション画像を調整する。当該調整は、受信用端末６００から送信される撮像画像及びＱＲコードリーダに読取られたＱＲコードに基づいて行われる。より詳しくは、ＱＲコードにより対象物ＴＧを特定するとともに、撮像画像上のＱＲコードの位置座標を算出し、関連識別情報に含まれるＱＲコードの位置座標との差分に基づいてＱＲコードの変化量、例えばＱＲコードの回転量やビデオカメラ６３０等と対象物ＴＧとの距離が算出可能となる。撮像画像上におけるＱＲコードの占める割合が大きければ、ビデオカメラ６３０と対象物ＴＧとの距離が近いことが分かる。

したがって、算出された変化量に応じてアノテーション画像を調整（キャリブレーション）することにより、プロジェクタ６４０から対象物ＴＧに投影されるアノテーション画像ＡＮは、遠隔指示システム４００側で対象物ＴＧに投影されたアノテーション画像と同様の投影状態となり、再現されることとなる。

尚、算出方法は、遠隔側システム４００におけるＱＲコードの位置座標を

とし、受信用端末６００におけるＱＲコードの位置座標を

とした場合に、

を満たす行列Ｍを算出することにより、アノテーション画像ＡＮの変換が可能となる。

この結果、図２１（ａ）に示すように、遠隔側システム４００で撮像された四角の撮像画像ＩＭＢ上には対象物ＴＧにアノテーション画像ＡＮ及びＱＲコードが撮像されており、一方、図２１（ｂ）に示すように、受信用端末６００で撮像された四角の撮像画像ＩＭＢ上には対象物ＴＧにアノテーション画像ＡＮ及びＱＲコードが撮像されている。

これらの２つの撮像画像ＩＭＢを比較した場合、アノテーション画像ＡＮの向きや、場合によっては対象物ＴＧの大きさも異なるが、画像処理装置１００がＱＲコードの切り出しシンボルＳの変化量、ＱＲコードの拡大・縮小の倍率等を求めることによって、アノテーション画像ＡＮの投影状態を変更させることができる。そして、求められた変化量等によって送信元のアノテーション画像を変換し、送信先で対象物ＴＧに投影すれば、遠隔指示システム４００側で投影されたアノテーション画像ＡＮを受信用端末６００側で対象物ＴＧに再現されることとなる。

尚、本実施形態においては、移動先におけるＱＲコードリーダの読取結果と移動元におけるＱＲコードリーダの読取結果との変化に応じて、移動後の対象物ＴＧに投影すべきアノテーション画像を変換させる実施形態を説明したが、例えば、移動元の対象物ＴＧの撮像画像を利用して、移動先で移動元におけるアノテーション画像を再現させるべき位置に対象物ＴＧを誘導させてもよい。当該誘導については、例えばアノテーション調整部１１２がプロジェクタ６４０に誘導先を投影させるようにしてもよいし、スピーカ等を設置して音声等によって誘導先を報知してもよい。いずれの場合でも、対象物ＴＧを特定することによって実現可能であり、特に、上述したＱＲコード等に二次元符号を利用すれば容易に実現することができる。

また、本発明は、上述した第１実施形態から第４実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。また、別々に記憶装置に記憶する記憶形態は、物理的に別々にするだけでなく、一つの記憶装置に論理的に別々にするようにしてもよい。

また、上述した第１実施形態においては、１つのサーバによってビデオカメラ及びプロジェクタを制御する実施の形態としたが、例えば、２台以上のサーバによってビデオカメラやプロジェクタをそれぞれ制御する実施形態としてもよい。

また、上述した第２実施形態及び第３実施形態においては、受信用端末から画像処理装置に送信される要求は、受信用端末を操作する者が任意に入力することができ、また、送信用端末から受信用端末に電子メール等の通信手段によって送られるようにしてもよい。

以上説明したように、本発明によれば、遠隔指示システムと遠隔端末とがオンラインの際に使用された撮像画像及びアノテーション画像が画像処理装置に記憶されているため、オフラインの際でもそれらの画像を取得でき、産業上の利用可能性が高い。

第１実施形態に係る画像処理システムの構成図である。 画像処理装置の機能ブロック図である。 画像処理装置における登録処理の一例を示すフローチャートである。 背景画像情報テーブルを示す図である。 アノテーション情報テーブルを示す図である。 関連付情報テーブルを示す図である。 画像処理装置における送信処理の一例を示すフローチャートである。 合成画像の連続表示の一例を説明するための図である。 第２実施形態に係る画像処理システムの構成図である。 画像処理装置の機能ブロック図である。 画像処理装置における登録処理の一例を示すフローチャートである。 画像処理装置における送信処理の一例を示すフローチャートである。 合成画像の表示の一例を説明するための図である。 第３実施形態に係る画像処理システムの構成図である。 画像処理装置の機能ブロック図である。 画像処理装置における登録処理の一例を示すフローチャートである。 アクセス情報テーブルを示す図である。 第４実施形態に係る画像処理システムの構成図である。 画像処理装置の機能ブロック図である。 関連付情報テーブルを示す図である。 相対位置及び投影調整を説明するための図である。

符号の説明

１０ 撮像（背景）画像情報
１１ アクセス情報
２０ アノテーション情報
１００ 画像処理装置
１０１ 関連付情報記憶部
１０２ 関連付情報生成部
１０３ 画像情報記憶部
１０４ 画像情報生成部
１０５ アノテーション情報記憶部
１０６ 画像検索部
１０７ アノテーション変換部
１０８ 画像検索部
１０９ 画像情報抽出部
１１０ アノテーション情報生成部
１１１ 画像合成部
１１２ アノテーション調整部
１１３ 合成画像送信部
１１４ アノテーション画像送信部
１１５ 背景画像情報受信部
１１７ 背景画像情報記憶部
１１９、１２９ アノテーション情報編集部
１２１ 背景画像抽出部
１２３ アクセス情報受信部
１２５ アクセス情報記憶部
１２７ 画像取得部
２００ ネットワーク
３００ 視聴用端末
３１０、５１０、６１０ 表示装置
３１１、５１１、６１１ 表示画面
３２０、５２０、６２０ コンピュータ
３３０、５３０ ポインティングデバイス（マウス）
４００ 遠隔指示システム
４１０、６３０ ビデオカメラ
４２０、６４０ プロジェクタ
４４０ サーバ
５００ 送信用端末
５４０ 画像入力装置
５５０ 情報入力装置
６００ 受信用端末
７００ Ｗｅｂサーバ
ＡＮ アノテーション画像
ＩＭＢ 背景画像
ＩＭ 合成画像
ＴＧ 対象物
ＱＲ ＱＲコード

Claims (12)

1. 対象物を撮像する撮像手段と、
   前記撮像手段の撮像領域内にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段と、
   前記撮像画像及び前記アノテーション画像を関連付ける関連付情報を、前記撮像画像ごとに時系列に生成すると共に、前記撮像画像、アノテーション画像及び関連付情報を記憶手段に記憶する生成手段と、
   前記関連付情報への再生態様に関する指示に基づいて、前記撮像画像及びアノテーション画像を合成した合成画像を送信する画像送信手段と
   を有することを特徴とする画像処理システム。
2. 前記生成手段は、前記アノテーション画像を、該アノテーション画像を描画する描画情報と、前記撮像画像上での前記アノテーション画像の描画位置を対応付ける位置情報とを備えるアノテーション情報として記憶することを特徴とする請求項１に記載の画像処理システム。
3. 前記アノテーション情報を前記アノテーション画像に変換する画像変換手段を有することを特徴とする請求項２に記載の画像処理システム。
4. 前記撮像手段に代えて、画像入力手段を備え、
   前記撮像画像を前記画像入力手段から入力される入力画像とし、
   前記入力画像に対してアノテーション画像を編集する第１のアノテーション編集手段をさらに有することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
5. 前記撮像手段に代えて、Ｗｅｂサーバを指定するためのアクセス情報を入力する情報入力手段を備え、
   前記撮像画像を前記アクセス情報によって指定されるＷｅｂサーバが保有する保有画像とし、
   前記保有画像に対してアノテーション画像を編集する第２のアノテーション編集手段をさらに有することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
6. 前記対象物に添付される、該対象物を特定するための符号を読取る第１の読取手段と、
   前記対象物が移動した場合に、読取結果に応じて、移動前の前記対象物に対するアノテーション画像が移動後の前記対象物に対して再現されるように調整する調整手段と、
   を有することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
7. 前記調整手段は、前記アノテーション画像を再現させるべき位置に前記対象物を誘導することを特徴とする請求項６に記載の画像処理システム。
8. 前記誘導は、前記調整手段が移動前の対象物の撮像画像を前記対象物の移動先の投影手段に投影させることにより行われることを特徴とする請求項７に記載の画像処理システム。
9. 移動後の前記対象物の符号を読取る第２の読取手段を備え、
   前記調整手段は、前記第２の読取手段による読取結果と前記第１の読取手段による読取結果との変化に応じて、移動後の前記対象物に投影すべきアノテーション画像を変化させることを特徴とする請求項６に記載の画像処理システム。
10. 前記撮像画像または前記アノテーション画像の一方の画像を検索条件とすることで、前記関連付情報に基づいて他方の画像を検索する検索手段を有することを特徴とする請求項１から９のいずれか１項に記載の画像処理システム。
11. 前記画像送信手段は、レンダリングの手法に基づき、前記合成画像の表示形態を変えることを特徴とする請求項１から１０のいずれか１項に記載の画像処理システム。
12. 撮像手段に対象物を撮像させると共に、その撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影させる画像処理プログラムであって、
    前記撮像画像及び前記アノテーション画像を関連付ける関連付情報を時系列に生成するステップと、
    前記撮像画像、アノテーション画像及び関連付情報を記憶手段に記憶するステップと、
    前記関連付情報への再生態様に関するに基づいて、前記撮像画像及びアノテーション画像を合成した合成画像を送信するステップと
    をコンピュータに実行させることを特徴とする画像処理プログラム。
    
    

Images