JP6950548B2 - 送信プログラム、方法及び装置、並びに画像合成プログラム、方法及び装置 - Google Patents

Description

本発明は、送信プログラム、方法及び装置、並びに画像合成プログラム、方法及び装置に関する。

近年、在宅勤務に代表されるテレワークを検討・導入する企業が増加している。テレワークを導入した場合、複数の人が異なる場所で働くことになるため、情報の共有が重要である。

情報共有技術としては、例えば電子会議システムなどを用いることで、デジタルデータを共有する技術が知られている。また、紙やホワイトボード等、アナログデータを共有する場合には、紙やホワイトボードを撮影した画像を共有する必要がある。

特開２０１０−３４７３９号公報 特開２００６−１６２６９２号公報 特開２００８−１１７２３５号公報

画像を撮影して共有する場合において、例えば１枚の画像でホワイトボード全体をカバーできない場合には、複数の画像を合成することが考えられる。

複数の画像を合成する技術としては、複数の画像を解析したうえで局所的な特徴を検出し、各画像の重なり具合に基づいて各画像を合成する技術が知られているが、この技術では、画像合成を行う処理装置に大きな負荷をかけるおそれがある。

１つの側面では、本発明は、画像合成の際の処理負荷を軽減することが可能な送信プログラム、方法及び装置、並びに画像合成プログラム、方法及び装置を提供することを目的とする。

一つの態様では、送信プログラムは、撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する、処理をコンピュータに実行させるための送信プログラムである。

画像合成の際の処理負荷を軽減することができる。

一実施形態に係る情報共有システムの構成を概略的に示す図である。 サーバのハードウェア構成を示す図である。 図３（ａ）は、ＨＭＤの構成を示す図であり、図３（ｂ）は、図３（ａ）の制御装置のハードウェア構成を示す図である。 サーバ、メイン側ＨＭＤ及びリモート側ＨＭＤの機能ブロック図である。 メイン側ＨＭＤの処理を示すフローチャートである。 図５の処理を説明するための図（その１）である。 図５の処理を説明するための図（その２）である。 図８（ａ）、図８（ｂ）は、図５の処理を説明するための図（その３）である。 図５の処理を説明するための図（その４）である。 図５の処理を説明するための図（その５）である。 図５の処理を説明するための図（その６）である。 図５の処理を説明するための図（その７）である。 二次元配列Ｐ、Ｈを示す図である。 リモート側ＨＭＤにおける表示例を示す図である。 図５の処理を説明するための図（その８）である。 変形例に係るメイン側ＨＭＤ及びリモート側ＨＭＤの機能ブロック図である。 変形例に係るメイン側ＨＭＤの処理を示すフローチャートである。

以下、情報共有システムの一実施形態について、図１〜図１５に基づいて詳細に説明する。図１には、一実施形態に係る情報共有システム１００の構成が概略的に示されている。

情報共有システム１００は、例えばオフィスで働くユーザと、テレワークにより自宅等で働くユーザとが音声通話により会議を行う際に用いるシステムである。例えば、情報共有システム１００においては、オフィスで働くユーザがホワイトボードなどに記載した情報を自宅等で働くユーザに対して送信することで、ユーザ間における情報共有を実現する。

情報共有システム１００は、図１に示すように、サーバ１０と、複数のヘッドマウントディスプレイ（ＨＭＤ）７０と、を備える。サーバ１０とＨＭＤ７０とは、インターネットなどのネットワーク８０に接続されている。

（サーバ１０）
サーバ１０は、複数のＨＭＤ７０において、ホワイトボードなどに記載した情報を共有する場合に、画像の合成処理等を実行する装置である。図２には、サーバ１０のハードウェア構成が示されている。図２に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）やフラッシュメモリなど）９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これらサーバ１０の構成各部は、バス９８に接続されている。サーバ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラムをＣＰＵ９０が実行することにより、図４に示す各部の機能が実現される。なお、図４の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。なお、図４の各部の詳細については後述する。

（ＨＭＤ７０）
ＨＭＤ７０は、ユーザが頭部に装着できる装置である。ＨＭＤ７０としては、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ７０としては、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。

図３（ａ）には、ＨＭＤ７０のハードウェア構成が示されている。図３（ａ）に示すように、ＨＭＤ７０は、加速度センサ１２と、ジャイロセンサ１４と、地磁気センサ１５と、カメラ１６と、距離画像カメラ１７と、マイク１８と、入力装置２０と、表示装置２２と、音声出力装置２４と、通信装置２６と、制御装置３０と、を備える。

加速度センサ１２は、ＨＭＤ７０の加速度を検出するセンサである。加速度センサ１２としては、例えば、ピエゾ抵抗型や静電容量型等の３軸加速度センサを用いることができる。加速度センサ１２による計測結果は制御装置３０に送信される。

ジャイロセンサ１４は、ＨＭＤ７０の角度（姿勢）や角速度あるいは角加速度を検出するセンサである。ジャイロセンサ１４としては、例えば振動型のジャイロセンサを用いることができる。ジャイロセンサ１４による計測結果は制御装置３０に送信される。

地磁気センサ１５は、例えば３軸の地磁気センサであり、地磁気を検出することで、ＨＭＤ７０が向いている方角を計測する。地磁気センサ１５による計測結果は制御装置３０に送信される。

なお、ＨＭＤ７０は、加速度センサ１２、ジャイロセンサ１４、地磁気センサ１５の他、方位センサ、ＧＰＳ（Global Positioning System）等を備えていてもよい。

カメラ１６は、ユーザの目の近傍に設けられ、ＨＭＤ７０を装着したユーザが向いている方向を撮影（撮像）する。カメラ１６で撮影された画像は制御装置３０に送信される。なお、本実施形態では、カメラ１６の画角は、所定の画角で固定されているものとする。

距離画像カメラ１７は、例えば、ＴＯＦ（Time of Flight）方式の測距技術を用いて、３次元の対象物までの距離を表わす距離画像を生成する。例えば、ＨＭＤ７０を装着したユーザが、図６に示すような部屋（企業内の会議室など）にいる場合には、距離画像として、図７に示すような３Ｄマッピングデータが生成される。なお、本実施形態では、距離画像カメラ１７で撮影される範囲とカメラ１６で撮影される範囲とが同一となるように調整されているものとする。

マイク１８は、ユーザの声や周辺の音を集音する。入力装置２０は、タッチパッドやボタン等であり、電源ボタンやホームボタン、音量調節ボタン等を含む。

表示装置２２は、各種情報を表示するための表示デバイスである。表示装置２２は、例えば、ハーフミラーに情報を投影する装置であるものとする。すなわち、表示装置２２は、ユーザが情報とともに外部の風景を透過して見ることができる透過型の表示装置であるものとする。なお、表示装置２２は、没入型、ビデオ透過型、網膜投影型等の表示装置であってもよい。

音声出力装置２４は、スピーカやイヤホンであり、制御装置３０の指示の下、音声情報を出力する。ユーザは、ＨＭＤ７０において通話アプリを起動し、他の端末（ＨＭＤ７０を含む）と通信を行うことで、マイク１８と音声出力装置２４を利用した他の端末のユーザとの通話（電話会議など）を行うことができる。

通信装置２６は、ネットワーク８０を介して、サーバ１０や他のＨＭＤ７０と情報のやり取りを行う。

制御装置３０は、ＨＭＤ７０の各部を統括的に制御する。特に、本実施形態では、制御装置３０は、電話会議などが行われるときに、複数のユーザ間において予め定めた共有領域（例えばホワイトボードや紙などが存在する領域）の画像を共有させるための機能を有している。図３（ｂ）には、制御装置３０のハードウェア構成が示されている。図３（ｂ）に示すように、制御装置３０は、ＣＰＵ１９０、ＲＯＭ１９２、ＲＡＭ１９４、記憶部（ここではＳＳＤやフラッシュメモリなど）１９６、入出力インタフェース１９７、及び可搬型記憶媒体用ドライブ１９９等を備えている。これら制御装置３０の構成各部は、バス１９８に接続されている。入出力インタフェース１９７には、図３（ａ）の制御装置３０以外の各装置が接続されている。制御装置３０では、ＲＯＭ１９２あるいはＨＤＤ１９６に格納されているプログラム（送信プログラムを含む）、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムをＣＰＵ１９０が実行することにより、図４に示す各部の機能が実現される。なお、図４の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。ここで、図４には、メイン側ＨＭＤ７０ａとリモート側ＨＭＤ７０ｂの機能ブロック図が図示されている。ＨＭＤ７０においては、制御装置３０のＣＰＵ１９０がプログラムを実行することにより、メイン側ＨＭＤ７０ａとして機能したり、リモート側ＨＭＤ７０ｂとして機能したりする。なお、ＨＭＤ７０がメイン側ＨＭＤ７０ａとリモート側ＨＭＤ７０ｂのいずれとして機能するかは、ユーザの設定による。なお、メイン側ＨＭＤ７０ａは、サーバ１０に対して撮影した画像や撮影した画像に関する情報を送信する送信装置としての機能を有する。

（メイン側ＨＭＤ７０ａの機能）
メイン側ＨＭＤ７０ａは、ＣＰＵ１９０がプログラムを実行することにより、原点取得部３１、３Ｄマッピングデータ取得部３２、受付部及び特定部としての共有領域設定部３３、視線ベクトル取得部３４、判定部としてのブレ検出部３５、判断部としての撮影要否判断部３６、画像取得部３７、撮影済範囲データ取得部３８、生成部としての位置関係特定部３９、送信部４０、として機能する。

原点取得部３１は、メイン側ＨＭＤ７０ａの電源がＯＮにされたタイミングなどにおいて、メイン側ＨＭＤ７０ａの位置（本実施形態ではカメラ１６の位置とする）を原点として取得する。

３Ｄマッピングデータ取得部３２は、距離画像カメラ１７が生成した第１の画像としての３Ｄマッピングデータ（図７参照）を取得する。

共有領域設定部３３は、３Ｄマッピングデータに含まれる被写体のうちユーザが指定した領域（例えばホワイトボードの描画範囲）を共有領域として設定する。共有領域設定部３３は、原点取得部３１が取得した原点や３Ｄマッピングデータに基づいて、共有領域の情報（共有領域が長方形状の領域である場合には、長方形の４つの頂点の情報）を特定し、記憶部としての共有領域ＤＢ２９に格納する。また、共有領域設定部３３は、共有領域を含む平面を特定し、特定した平面の情報も共有領域ＤＢ２９に格納する。

視線ベクトル取得部３４は、原点取得部３１が取得した原点や地磁気センサ１５等の計測結果に基づいて、ユーザの視線ベクトルを取得する。なお、本実施形態においてユーザの視線ベクトルとは、ＨＭＤ７０が向いている方向（カメラ１６が撮影する方向）を示すベクトルであり、原点とカメラ１６の画角の中心を結ぶベクトルであるものとする。

ブレ検出部３５は、カメラ１６による撮影の前後において視線ベクトル取得部３４が取得した視線ベクトルを取得し、取得した視線ベクトルに基づいて撮影時におけるユーザの頭（メイン側ＨＭＤ７０ａ）のブレを検出する。ブレ検出部３５は、検出したブレの情報を位置関係特定部３９に対して出力する。なお、ブレ検出部３５は、ブレを検出する際に、共有領域ＤＢ２９に格納されている情報を参照する。

撮影要否判断部３６は、ＨＭＤ７０のカメラ１６が向いている方向（視線ベクトル）と、共有領域ＤＢ２９に格納されている共有領域の情報と、撮影済範囲データ取得部３８が取得した撮影済範囲データと、に基づいて、カメラ１６を用いた撮影を行うか否かを判断する。なお、撮影済範囲データは、共有領域内においてこれまでに撮影されていない範囲（未撮影領域）を示すデータである。なお、撮影済範囲データの詳細及び撮影要否判断部３６の判断方法の詳細については、後述する。

画像取得部３７は、カメラ１６により撮影された画像（第２の画像）を取得し、送信部４０に対して出力する。

撮影済範囲データ取得部３８は、サーバ１０から送信されてくる撮影済範囲データを取得し、撮影要否判断部３６に対して送信する。

位置関係特定部３９は、共有領域を含む平面において、共有領域とカメラ１６が撮影した範囲（撮影範囲）の位置関係を特定する。位置関係特定部３９により特定された情報は、送信部４０に通知される。なお、位置関係特定部３９は、ブレ検出部３５により検出されたブレが許容範囲内である場合に、位置関係の特定を行う。

送信部４０は、画像取得部３７が取得した画像と、位置関係特定部３９により特定された共有領域と撮影範囲の位置関係の情報と、をサーバ１０に対して送信する。

（リモート側ＨＭＤ７０ｂの機能）
リモート側ＨＭＤ７０ｂは、ＣＰＵ１９０がプログラムを実行することで、合成画像受信部４１、合成画像表示部４２として機能する。

合成画像受信部４１は、サーバ１０で合成された共有領域の画像を受信し、合成画像表示部４２に送信する。

合成画像表示部４２は、合成画像受信部４１から合成画像を受信し、リモート側ＨＭＤ７０ｂの表示装置２２に表示させる。この場合、リモート側ＨＭＤ７０ｂを装着するユーザの視野内の所定位置に、図１４に示すような共有領域の合成画像を表示するためのウィンドウ１０２が表示されることになる。

（サーバ１０の機能）
サーバ１０は、ＣＰＵ９０がプログラムを実行することで、受信部５１、画像合成部５４、撮影済範囲データ作成部５２、撮影済範囲データ送信部５３、合成画像送信部５５、として機能する。

受信部５１は、メイン側ＨＭＤ７０ａから送信されてくる画像と、共有領域と撮影範囲の位置関係の情報とを受信し、画像合成部５４に送信する。

画像合成部５４は、受信部５１がメイン側ＨＭＤ７０ａから受信した共有領域と撮影範囲の位置関係の情報と、撮影済範囲データと、に基づいて、画像合成を実行する。

撮影済範囲データ作成部５２は、画像合成部５４において画像を合成した範囲を撮影済範囲データに反映させる。撮影済範囲データ送信部５３は、撮影済範囲データを、画像合成部５４及びメイン側ＨＭＤ７０ａの撮影済範囲データ取得部３８に送信する。

合成画像送信部５５は、画像合成部５４が合成した画像をリモート側ＨＭＤ７０ｂに対して適宜送信する。

（メイン側ＨＭＤ７０ａの処理について）
次に、メイン側ＨＭＤ７０ａの処理について、図５のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。図５の処理は、一例として、メイン側ＨＭＤ７０ａの電源がＯＮにされた段階で開始される処理であるものとする。

まず、ステップＳ１０では、原点取得部３１が、原点を取得する。本実施形態では、原点は、メイン側ＨＭＤ７０ａの所定点の位置（本実施形態ではカメラ１６の位置）であるものとする。

次いで、ステップＳ１２では、３Ｄマッピングデータ取得部３２が、距離画像カメラ１７から図７に示すような３Ｄマッピングデータを取得する。なお、３Ｄマッピングデータは、ステップＳ１０で取得された原点を基準としたデータである。

次いで、ステップＳ１４では、共有領域設定部３３が、ユーザから共有領域の指定要求があるまで待機する。ユーザは、所定の入力（例えば入力装置２０やマイク１８を用いた入力）を行うことで、共有領域の指定要求を入力する。ユーザから所定の入力があると、共有領域設定部３３は、ステップＳ１６に移行する。

ステップＳ１６に移行すると、共有領域設定部３３は、共有領域の設定処理を実行する。具体的には、以下のような処理を実行する。なお、本実施形態では、ユーザは共有領域として矩形状の領域を指定するものとする。

ユーザは、共有領域を指定する場合、メイン側ＨＭＤ７０ａの視野中心を、共有領域の４つの頂点に順次合わせるようにする。なお、メイン側ＨＭＤ７０ａの視野中心にマーカ等の目印が付されている場合には、ユーザは目印の位置を各頂点の位置に合わせるようにすればよい。

共有領域設定部３３は、ユーザによる共有領域の指定（各頂点の指定）を受け付けると、ユーザが各頂点を指定したときの視線ベクトルと、３Ｄマッピングデータの交点を計算する。ここで、視線ベクトルは、メイン側ＨＭＤ７０ａの所定点（カメラ１６の位置）Ｐを通り、メイン側ＨＭＤ７０ａが向く方向に延びるベクトル（図８（ａ）において破線矢印で示すベクトル）であり、地磁気センサ１５等の計測結果に基づいて視線ベクトル取得部３４により取得される。図８（ａ）には、この計算により求められた４つの交点Ａ、Ｂ、Ｃ、Ｄが図示されている。なお、図８（ａ）では、所定点Ｐの座標が（Ｘｐ，Ｙｐ，Ｚｐ）、交点Ａの座標が（Ｘａ，Ｙａ，Ｚａ）、交点Ｂの座標が（Ｘｂ，Ｙｂ，Ｚｂ）、交点Ｃの座標が（Ｘｃ，Ｙｃ，Ｚｃ）、交点Ｄの座標が（Ｘｄ，Ｙｄ，Ｚｄ）とされている。

次いで、共有領域設定部３３は、４点（Ａ、Ｂ、Ｃ、Ｄ）の中心点Ｅを計算する。この場合、共有領域設定部３３は、４点の座標の平均を中心点Ｅの座標とする。なお、図８（ａ）においては、中心点Ｅの座標が（Ｘｅ，Ｙｅ，Ｚｅ）とされている。

次いで、共有領域設定部３３は、中心点Ｅを含み、交点Ａ、Ｂ、Ｃ、Ｄの４点の近傍に広がる平面ｆを求め、平面ｆの情報を共有領域ＤＢ２９に格納する。

次いで、共有領域設定部３３は、平面ｆ上で中心点Ｅを中心とし、幅が線分ＡＤ間の長さと線分ＢＣ間の長さの平均の長さであり、高さが線分ＡＢ間の長さと線分ＣＤ間の長さの平均の長さである長方形ｒを求める。図８（ｂ）においては、長方形ｒが太破線にて示されている。

次いで、共有領域設定部３３は、長方形ｒの４つの頂点を頂点Ａ’、Ｂ’、Ｃ’、Ｄ’とする。なお、図８（ｂ）では、頂点Ａ’の座標が（Ｘａ’，Ｙａ’，Ｚａ’）、頂点Ｂ’の座標が（Ｘｂ’，Ｙｂ’，Ｚｂ’）、頂点Ｃ’の座標が（Ｘｃ’，Ｙｃ’，Ｚｃ’）、頂点Ｄ’の座標が（Ｘｄ’，Ｙｄ’，Ｚｄ’）、とされている。

そして、共有領域設定部３３は、４つの頂点Ａ’〜Ｄ’を有する長方形ｒを共有領域ｒとして設定し、頂点Ａ’〜Ｄ’の座標を共有領域ＤＢ２９に格納する。

以上により、ステップＳ１６の共有領域の設定処理が終了する。なお、本実施形態では、共有領域設定部３３が平面ｆを求めることは、ユーザによって指定された部位に対応付けられた位置（各頂点）を含む平面を特定することを意味している。

次いで、ステップＳ１８に移行すると、視線ベクトル取得部３４は、視線ベクトルを取得する。なお、ここで取得される視線ベクトルは、画像取得前の視線ベクトルであると言える。

次いで、ステップＳ１９では、撮影要否判断部３６が、撮影要否を確認する。具体的には、撮影要否判断部３６は、以下の処理を実行する。

まず、撮影要否判断部３６は、視線ベクトル取得部３４から視線ベクトルＰｖ（図９参照）を取得する。次いで、撮影要否判断部３６は、図９に示すように、視線ベクトルＰｖと平面ｆとの交点Ｐｈの位置を求める。

次いで、撮影要否判断部３６は、交点Ｐｈが以下の条件（１）、（２）の両方を満たしているか否かを確認する。
条件（１）：交点Ｐｈが共有領域ｒ内である。
条件（２）：交点Ｐｈがすでに撮影された領域にない。
そして、撮影要否判断部３６は、条件（１）、（２）の両方を満たしている場合に、撮影が必要であると判断する。

なお、条件（１）を満たしているか否かを判断する場合、撮影要否判断部３６は、共有領域ＤＢ２９を参照して、共有領域ｒの情報を取得する。なお、条件（２は最初の撮影時に判断する必要がない条件であるため、条件（２）の詳細については後述する。

なお、条件は、上記（１）、（２）に限られるものではない。すなわち、条件の数は増やしてもよいし、減らしてもよい。

図５に戻り、次のステップＳ２０では、撮影要否判断部３６が、ステップＳ１９の処理の結果、撮影が必要であるか否かを判断する。このステップＳ２０の判断が否定された場合にはステップＳ１８に戻るが、肯定された場合にはステップＳ２１に移行する。

ステップＳ２１に移行すると、画像取得部３７は、カメラ１６に指示を出して画像を撮影し、撮影された画像を取得する。また、視線ベクトル取得部３４は、画像を撮影したタイミングにおける視線ベクトルを取得する。

次いで、ステップＳ２２では、視線ベクトル取得部３４が、視線ベクトルを取得する。なお、ここで取得される視線ベクトルは、画像取得後の視線ベクトルであると言える。

次いで、ステップＳ２６では、ブレ検出部３５が、ブレ具合を算出する。この場合、ブレ検出部３５は、まず、図１０に示すように、撮影前の視線ベクトルと、平面ｆとの交点（Ｐ１)を特定する。なお、ブレ検出部３５は、平面ｆの情報を共有領域ＤＢ２９から取得する。次いで、ブレ検出部３５は、撮影後の視線ベクトルと、平面ｆとの交点（Ｐ２）を特定する。そして、ブレ検出部３５は、交点Ｐ１と交点Ｐ２を結ぶベクトル（Ｖ）を求め、ベクトルＶの大きさ（スカラー量）をブレ具合とする。

ステップＳ２８では、ブレ検出部３５が、ブレ具合が許容範囲内か否かを判断する。ここでは、ブレ検出部３５は、ベクトルＶの大きさ（スカラー量）が予め定めた許容範囲内でない場合に、ブレが大きい画像が撮影されたと判断する。なお、ブレ具合が許容範囲外の場合、撮影されたデータは処理しない（サーバ１０に送信しない）こととする。これにより、ブレが大きい画像を合成に用いないようにすることができる。ステップＳ２８の判断が肯定された場合、ステップＳ３０に移行し、否定された場合には、ステップＳ１８に戻る。

ステップＳ３０に移行すると、位置関係特定部３９が、平面ｆにおいて、共有領域ｒと撮影範囲の位置関係を特定するとともに、送信部４０がデータ送信を行う。

このステップＳ３０では、位置関係特定部３９は、図１１に示すように、視線ベクトルＰｖと、カメラ１６の画角とから、撮影された範囲を表す四角錐を特定する。具体的には、カメラ１６からカメラ１６の撮影範囲の四隅に向かって延びるベクトルＡｖ、Ｂｖ、Ｃｖ、Ｄｖの方向を四角錘の側辺の方向とする四角錘（ただし、底面の位置は特定されていない）を特定する。

次いで、位置関係特定部３９は、平面ｆのうち、特定した四角錘に含まれる範囲を四角錘の底面とし、該底面を撮影範囲Ｃｒとして特定する。

次いで、位置関係特定部３９は、図１２に示すように、撮影範囲Ｃｒの左上の点Ｃａを原点（座標（０，０））とし、撮影範囲Ｃｒの右下の点Ｃｃの座標を（１，１）とした二次元座標系を定義する。なお、図１２の二次元座標系は、平面ｆ上に配置された二次元座標系である。なお、撮影範囲Ｃｒの頂点のうち、点Ｃａ、Ｃｃ以外の点Ｃｂ、Ｃｄの座標は、それぞれ（０，１）、（１，０）となっている。

次いで、位置関係特定部３９は、定義した座標系上において、長方形状の共有領域ｒの４つの頂点（ｒａ、ｒｂ、ｒｃ、ｒｄ）を特定する。そして、位置関係特定部３９は、特定した４つの頂点の情報（すなわち、共有領域ｒと撮影範囲Ｃｒの位置関係の情報）を送信部４０に対して出力する。送信部４０は、撮影画像と、共有領域ｒと撮影範囲Ｃｒの位置関係の情報をサーバ１０に対して送信する。なお、共有領域ｒと撮影範囲Ｃｒの位置関係の情報は、平面ｆのうち撮影画像において撮影された範囲を示す情報であるといえる。

（サーバ１０の処理）
ここで、メイン側ＨＭＤ７０ａから撮影画像と共有領域ｒの４つの頂点（ｒａ、ｒｂ、ｒｃ、ｒｄ）の情報を受け取ったサーバ１０の処理について説明する。

サーバ１０においては、リモート側ＨＭＤ７０ｂに提供する画像の合成処理を行うとともに、撮影済範囲データの作成を行う。まず、サーバ１０は、図１３に示すように、合成した画像を格納する二次元配列（ビットマップ）Ｐを作成するとともに、二次元配列Ｐと同じサイズの管理データとしての二次元配列（ビットマップ）Ｈを作成する。ここで、二次元配列Ｈは、二次元配列Ｐの各要素（ビット）について、画像を合成済み（撮影済み）であるか否かを判断するために使用される撮影済範囲データである。二次元配列Ｈは、０〜２５５の数値を要素とし、０は未合成、１〜２５５は合成済みを表す。また、１〜２５５の数値は、値が大きいほど合成された画像が鮮明であることを表す。なお、二次元配列Ｈの各要素の初期値は０であるものとする。ここで、鮮明さは、撮影画像において撮影された範囲の大きさに基づいて計算することができる。具体的には、撮影画像において撮影された範囲が小さい（すなわち、図１２の座標から求められる共有領域ｒの面積が大きい）ほど鮮明であるとして、数値を大きくする。

サーバ１０では、受信部５１が、撮影画像と、共有領域ｒの４つの頂点（ｒａ、ｒｂ、ｒｃ、ｒｄ）の座標を受信すると、画像合成部５４が、４つの頂点の座標から、撮影画像のうち共有領域ｒと重なった部分（共有領域ｒのうち撮影画像において撮影された部分）を切り出す。なお、撮影画像は、共有領域ｒの正面から撮影した画像であるとは限らないため、画像合成部５４は、受信した撮影画像を台形補正等して、共有領域ｒの正面から撮影した画像に補正したうえで、共有領域ｒと重なった部分を切り出すものとする。

次いで、画像合成部５４は、撮影画像の重なった部分の各要素（ビット）の鮮明さの数値と、二次元配列Ｈの対応する要素（ビット）の鮮明さの数値とを比較し、撮影画像のほうが数値が大きい要素については、二次元配列Ｐの対応する要素に撮影画像の要素を転写する。

また、撮影済範囲データ作成部５２は、画像合成部５４が二次元配列Ｐに転写した撮影画像の要素の鮮明さの数値を取得し、二次元配列Ｈの各要素の数値とする。

合成画像送信部５５は、画像合成部５４が合成した画像（二次元配列Ｐ）が更新されるたびに、二次元配列Ｐをリモート側ＨＭＤ７０ｂの合成画像受信部４１に対して送信する。なお、リモート側ＨＭＤ７０ｂにおいては、図１４に示すように、合成画像表示部４２が、受信した合成画像（二次元配列Ｐ）を含むウィンドウ１０２を表示装置２２に表示する。

また、撮影済範囲データ送信部５３は、二次元配列Ｈ（撮影済範囲データ）が更新されるたびに、メイン側ＨＭＤ７０ａの撮影済範囲データ取得部３８に対して二次元配列Ｈを送信する。

図５に戻り、メイン側ＨＭＤ７０ａにおいては、ステップＳ３０が実施された後、ステップＳ３２に移行し、撮影済範囲データ取得部３８が、サーバ１０（撮影済範囲データ送信部５３）から送信されてきた撮影済範囲データを受信する。

次いで、ステップＳ３４では、位置関係特定部３９が、撮影済範囲データを参照して、画像合成が完了したか否かを判断する。すなわち、位置関係特定部３９は、撮影済範囲データ（二次元配列Ｈ）の全要素の数が０以外であるか否かを判断し、全要素の数が０以外であれば、ステップＳ３４の判断が肯定され、ステップＳ３６に移行する。一方、二次元配列Ｈの少なくとも一つの要素の数が０である場合には、ステップＳ３４の判断は否定されて、ステップＳ１８に戻る。ステップＳ１８に戻った場合、ステップＳ３４の判断が肯定されるまで、ステップＳ１８〜Ｓ３４の処理・判断が繰り返し実行される。

ここで、ステップＳ３２において撮影済範囲データをサーバ１０から受信した後に行われるステップＳ１９では、撮影要否判断部３６が、上述した条件（２）「交点Ｐｈがすでに撮影された領域にない。」を満たしているか否かを判断する。この場合、撮影要否判断部３６は、共有領域ｒを受信した撮影済範囲データ（二次元配列Ｈ）で置き換え、図１５に示すように、視線ベクトルＰｖと平面ｆとの交点（視線ベクトルと共有領域ｒとの交点）Ｐｈを求める。そして、撮影要否判断部３６は、交点Ｐｈに対応する二次元配列Ｈの要素の値を取得し、取得した値が０であれば、条件（２）「交点Ｐｈがすでに撮影された領域にない。」を満たしていると判断する。このような判断を行うことで、不要な撮影を減らすことができるため、撮影の効率を向上することが可能となる。

ステップＳ３４の判断が肯定されて、ステップＳ３６に移行すると、位置関係特定部３９は、新たな画像合成の要求が入力されるまで待機する。ユーザ（メイン側ＨＭＤ７０ａのユーザ又はリモート側ＨＭＤ７０ｂのユーザのいずれか）により新たな画像合成の要求が入力されると、ステップＳ３８に移行し、位置関係特定部３９は、撮影済範囲データ（二次元配列Ｈ）を破棄し、ステップＳ１８に戻る。なお、メイン側ＨＭＤ７０ａにおいてステップＳ３８の処理が実行される段階では、サーバ１０においても撮影済範囲データ（二次元配列Ｈ）は破棄されているものとする。その後は上述したステップＳ１８以降の処理が繰り返し実行されるようになっている。

なお、図５の処理は、ユーザからの終了要求を受信した場合や、メイン側ＨＭＤ７０ａ又はリモート側ＨＭＤ７０ｂの電源がＯＦＦにされた場合に終了する。

なお、リモート側ＨＭＤ７０ｂでは、図１４のウィンドウ１０２に表示されている共有領域の合成画像に対して、矩形、直線、曲線などを描画できるものとする。例えば、制御装置３０は、ユーザがウィンドウ１０２内のアイコンを用いて描画する図形を選択し、ウィンドウ１０２上で指を動かしたことを検出すると、指の動きに応じた図形（文字等でもよい）をウィンドウ１０２内に描画する。なお、制御装置３０は描画した図形の情報をメイン側ＨＭＤ７０ａに送信してもよい。この場合、メイン側ＨＭＤ７０ａの制御装置３０は、受信した情報に基づいて、ユーザの視野内のホワイトボードに重ねるようにして、表示装置２２に図形を表示するようにしてもよい。これにより、リモート側ＨＭＤ７０ｂのユーザが描画した図形を、ユーザ間で共有することができる。

これまでの説明から明らかなように、本実施形態では、共有領域の設定の際に利用する３Ｄマッピングデータ（第１の画像）を生成する距離画像カメラ１７と、サーバ１０に送信する画像（第２の画像）を撮影するカメラ１６とを含んで、撮影装置としての機能が実現されている。

以上、詳細に説明したように、本実施形態によると、共有領域設定部３３は、共有領域ｒの各頂点の指定を受け付けて、共有領域ＤＢ２９に共有領域ｒの各頂点の座標を格納するとともに、各頂点を含む平面ｆを特定して、共有領域ＤＢ２９に格納する。また、画像取得部３７が撮影画像を取得すると、位置関係特定部３９は、平面ｆと、撮影時の視線ベクトルＰｖとに基づき、平面ｆのうち撮影された範囲を示す情報（共有領域ｒと撮影範囲Ｃｒの位置関係の情報）を生成する。そして、送信部４０は、撮影画像と、生成した情報とをサーバ１０に対して送信する。このため、サーバ１０では、共有領域ｒと撮影範囲Ｃｒの位置関係の情報（平面ｆのうち撮影範囲を示す情報）に基づいて撮影画像を合成して、共有領域ｒ内の画像を生成することができる。これにより、例えば、画像解析により画像の特徴を検出し、複数の画像の重なり具合を特定して画像を合成する場合と比較して、画像合成の際のサーバ１０の処理負荷を軽減することができる。

また、本実施形態では、ブレ検出部３５は、画像取得部３７が取得した画像が撮影されたときのカメラ１６の動き（ブレ）が許容範囲に含まれるか否かを判断する。そして、送信部４０は、許容範囲に含まれている場合に、撮影画像と、共有領域ｒと撮影範囲Ｃｒとの位置関係の情報と、をサーバ１０に送信する。これにより、ブレの少ない撮影画像と該撮影画像に対応する情報とをサーバ１０に送信することができるため、サーバ１０は合成画像として鮮明な画像を生成することができる。

また、本実施形態では、撮影要否判断部３６は、撮影済範囲データと、カメラ１６の向き（視線ベクトル）とに基づいて、撮影要否を判断するので、合成に必要な画像に限定して撮影することができ、無駄な撮影を減らすことができる。

なお、上記実施形態では、共有領域ｒが１か所設定される場合について説明したが、これに限らず、共有領域ｒは複数設定されてもよい。この場合、各共有領域について、図５のステップＳ１８以降の処理を繰り返し実行することで、共有領域それぞれの合成画像を生成し、リモート側ＨＭＤ７０ｂの表示装置２２上に並べて表示するようにしてもよい。

なお、上記実施形態では、共有領域が長方形である場合について説明したが、これに限られるものではない。共有領域は、三角形であってもよいし、五角形、六角形…であってもよい。

なお、上記実施形態では、リモート側ＨＭＤ７０ｂが複数台あってもよい。この場合、サーバ１０は、共有領域ｒの合成画像を複数台のリモート側ＨＭＤ７０ｂに送信するようにすればよい。

なお、上記実施形態では、画像合成が完了した後（図５のステップＳ３４の判断が肯定された後）、ステップＳ３６において、ユーザの入力に応じて画像合成を再開する場合について説明したが、これに限られるものではない。例えば、所定タイミングごとに画像合成を行うこととしてもよい。具体的には、１枚の画像合成が終了した段階で、新たな画像合成を開始することとしてもよい。また、１枚の画像合成が終了してから所定時間が経過した段階で、新たな画像合成を開始することとしてもよい。

なお、上記実施形態では、画像合成をサーバ１０において実行する場合について説明したが、これに限られるものではない。例えば、上記実施形態においてサーバ１０において実行した処理（画像合成処理や撮影済範囲データの作成処理）をメイン側ＨＭＤ７０ａにおいて実行することとしてもよい。すなわち、図１６に示すように、メイン側ＨＭＤ７０ａは、位置関係特定部３９が特定した撮影画像や共有領域ｒと撮影範囲Ｃｒの位置関係の情報とに基づいて画像合成を行う合成部としての画像合成部５４’や、撮影済範囲データを作成する作成部としての撮影済範囲データ作成部５２’の機能を有する画像合成装置であってもよい。この場合、制御装置３０は、図１７に示すように、図５のステップＳ３０、Ｓ３２に代えて、ステップＳ３０’、Ｓ３２’の処理を実行すればよい。ステップＳ３０’では、制御装置３０の画像合成部５４’は、共有領域ｒと撮影範囲Ｃｒの位置関係の情報に基づいて画像合成を行う。また、ステップＳ３２’では、制御装置３０の撮影済範囲データ作成部５２’は、撮影済範囲データ（二次元配列Ｈ）を作成する。なお、送信部４０は、ステップＳ３０’において、画像合成部５４’が合成した画像をリモート側ＨＭＤ７０ｂの合成画像受信部４１に送信する。

また、上記実施形態においてサーバ１０が実行した処理をリモート側ＨＭＤ７０ｂにおいて実行することとしてもよい。すなわち、リモート側ＨＭＤ７０ｂの制御装置３０が、画像合成を行う画像合成部や、撮影済範囲データを作成する撮影済範囲データ作成部の機能を有していてもよい。

なお、リモート側ＨＭＤ７０ｂは、ＰＣなどの端末であってもよい。この場合、端末の表示装置に共有領域の合成画像を表示することで、ユーザ間で共有領域の情報を共有することが可能となる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する、
処理をコンピュータに実行させるための送信プログラム。
（付記２） 取得した前記第２の画像の撮像時の前記撮像装置の動きが許容範囲に含まれるか否かの判定を行い、
判定結果が肯定的である場合、取得した前記第２の画像と、生成した前記情報とを送信する、
処理を前記コンピュータに更に実行させることを特徴とする付記１に記載の送信プログラム。
（付記３） 前記撮像装置により撮像された前記被写体の範囲を管理する管理データと、前記撮像装置の向きと、に基づいて、前記撮像装置による撮像を行うか否かを判断する、
処理を前記コンピュータに更に実行させることを特徴とする付記１又は２に記載の送信プログラム。
（付記４） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する、
処理をコンピュータが実行することを特徴とする送信方法。
（付記５） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付ける受付部と、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定する特定部と、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成する生成部と、
取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する送信部と、
を備える送信装置。
（付記６） 取得した前記第２の画像の撮像時の前記撮像装置の動きが許容範囲に含まれるか否かの判定を行う判定部を更に備え、
前記送信部は、前記判定部の判定結果が肯定的である場合に、取得した前記第２の画像と、生成した前記情報とを送信する、ことを特徴とする付記５に記載の送信装置。
（付記７） 前記撮像装置により撮像された前記被写体の範囲を管理する管理データと、前記撮像装置の向きと、に基づいて、前記撮像装置による撮像を行うか否かを判断する判断部を更に備える付記５又は６に記載の送信装置。
（付記８） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する、
処理をコンピュータに実行させるための画像合成プログラム。
（付記９） 前記撮像装置により撮像された前記被写体の範囲を管理する管理データを作成し、
前記管理データと前記撮像装置の向きとに基づいて、前記撮像装置による撮像を行うか否かを判断する、
処理をコンピュータに更に実行させることを特徴とする付記８に記載の画像合成プログラム。
（付記１０） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する、
処理をコンピュータが実行することを特徴とする画像合成方法。
（付記１１） 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付ける受付部と、
前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定する特定部と、
前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成する生成部と、
前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する合成部と、
を備える画像合成装置。
（付記１２） 前記撮像装置により撮像された前記被写体の範囲を管理する管理データを作成する作成部と、
前記管理データと前記撮像装置の向きとに基づいて、前記撮像装置による撮像を行うか否かを判断する判断部と、を更に備える付記１１に記載の画像合成装置。

１６ カメラ（撮像装置の一部）
１７ 距離画像カメラ（撮像装置の一部）
２９ 共有領域ＤＢ（記憶部）
３３ 共有領域設定部（受付部、特定部）
３５ ブレ検出部（判定部）
３６ 撮影要否判断部（判断部）
３９ 位置関係特定部（生成部）
４０ 送信部
５２’ 撮影済範囲データ作成部（作成部）
５４’ 画像合成部（合成部）
７０ａ メイン側ＨＭＤ（送信装置、画像合成装置）

Claims (9)

1. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
   取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する、
   処理をコンピュータに実行させるための送信プログラム。
2. 取得した前記第２の画像の撮像時の前記撮像装置の動きが許容範囲に含まれるか否かの判定を行い、
   判定結果が肯定的である場合、取得した前記第２の画像と、生成した前記情報とを送信する、
   処理を前記コンピュータに更に実行させることを特徴とする請求項１に記載の送信プログラム。
3. 前記撮像装置により撮像された前記被写体の範囲を管理する管理データと、前記撮像装置の向きと、に基づいて、前記撮像装置による撮像を行うか否かを判断する、
   処理を前記コンピュータに更に実行させることを特徴とする請求項１又は２に記載の送信プログラム。
4. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
   取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する、
   処理をコンピュータが実行することを特徴とする送信方法。
5. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付ける受付部と、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定する特定部と、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成する生成部と、
   取得した前記第２の画像と、生成した前記情報とを特定の宛先に送信する送信部と、
   を備える送信装置。
6. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
   前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する、
   処理をコンピュータに実行させるための画像合成プログラム。
7. 前記撮像装置により撮像された前記被写体の範囲を管理する管理データを作成し、
   前記管理データと前記撮像装置の向きとに基づいて、前記撮像装置による撮像を行うか否かを判断する、
   処理をコンピュータに更に実行させることを特徴とする請求項６に記載の画像合成プログラム。
8. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付け、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定し、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成し、
   前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する、
   処理をコンピュータが実行することを特徴とする画像合成方法。
9. 撮像装置により撮像された第１の画像に含まれる被写体の部位の指定を受け付ける受付部と、
   前記被写体の部位の位置を該部位に対応付けて記憶する記憶部を参照して、指定された前記部位に対応付けられた位置を含む平面を特定する特定部と、
   前記撮像装置により新たに撮像された第２の画像を取得すると、特定した前記平面と、取得した前記第２の画像の撮像時の前記撮像装置の向きとに基づき、前記平面のうち、取得した前記第２の画像に対応する範囲を示す情報を生成する生成部と、
   前記第２の画像を複数取得した場合に、複数の前記第２の画像に対応する範囲を示す情報に基づいて、複数の前記第２の画像を合成する合成部と、
   を備える画像合成装置。

Images