JP6647433B1

JP6647433B1 - 点群データ通信システム、点群データ送信装置および点群データ送信方法

Info

Publication number: JP6647433B1
Application number: JP2019027142A
Authority: JP
Inventors: 一男長沢; 和馬大橋
Original assignee: 株式会社メディア工房
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2020-02-14
Anticipated expiration: 2039-02-19
Also published as: US20200267369A1; JP2020136882A; US11146773B2

Abstract

【課題】データ量の大きい点群データを通信ネットワーク上で実用上耐え得る程度の短い時間以内に送信できるようにする。【解決手段】３次元空間の中の立体形状の表示状態に関する指定を含む表示要求を受信装置２００から送信装置１００に送信し、送信装置１００がこの表示要求に応じて、点群データ記憶部１０に記憶されている点群データの中から、表示要求に応じた部分の点群データを抽出して受信装置２００に送信することにより、受信装置２００が３次元空間の中で実際に表示する立体形状の表示状態に関して必要となる部分の点群データだけが送信されるようにすることで、点群データ記憶部１０に記憶されている点群データが全体としてはデータ量が膨大なものであったとしても、表示に必要な点群データだけを通信ネットワーク３００上で実用上耐え得る程度の短い時間以内に送信することができるようにする。【選択図】図１

Description

本発明は、点群データ通信システム、点群データ送信装置および点群データ送信方法に関し、特に、通信ネットワークを介して点群データを送信するための技術に関するものである。

従来、コンピュータ上で物体の３次元形状を表すためのデータの１つとして、点群データ（ポイントクラウド）が用いられている。点群データは、その字の如く多数の点の集合から成るデータである。多くの場合、それぞれの点は、３次元空間の直交座標 (ｘ, y, z) で表現された位置情報や色情報などを有する。点群データは、いくつかの方法によって取得することが可能である。例えば、３次元レーザスキャナを用いる方法や、複数のカメラで撮影した画像を用いて３次元形状を復元する方法（例えば、特許文献１参照）などが知られている。

特許文献１に記載のシステムでは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラによりそれぞれ撮影された画像を入力し、複数の撮影画像に含まれる物体のカメラからの距離を表す奥行情報を画素毎に算出する。そして、複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、複数の撮影画像に含まれる物体の各画素の値を、各撮影画像に対応する投影面の方向に奥行情報に従って投影させることにより、複数の撮影画像に含まれている物体が１つに合成された立体画像を表す点群データを生成する。

点群データは、膨大な量の点を含むことが多いため、データ量が大きくなるのが一般的である。表示対象物の解像度を上げようとすればするほど、また、表示対象物の大きさや範囲を大きくしようとすればするほど、データ量は膨大なものとなる。よって、このように膨大な量のデータをどのように扱い、どのように制御するのかが１つの重要な課題となっている。特に、通信ネットワーク上で膨大な量の点群データを実用上耐え得る程度の短い時間以内に送受信することは困難である。そこで、このような課題に対応するため、点群データを面形式のデータに変換し、ポリゴンや三角形メッシュ等として扱うことが多いのが現状である。

特許第６０６２０３９号公報

本発明は、このような問題を解決するために成されたものであり、データ量の大きい点群データを通信ネットワーク上で実用上耐え得る程度の短い時間以内に送信できるようにすることを目的とする。

上記した課題を解決するために、本発明の点群データ通信システムでは、３次元空間の中の立体形状の表示状態に関する指定を含む表示要求を受信装置から送信装置に送信し、送信装置がこの表示要求に応じて、点群データ記憶部に記憶されている点群データの中から、表示要求に応じた部分として、立体形状の背面に隠れる側に対応する部分ではなく立体形状の前面に来る側に対応する部分の点群データを抽出して受信装置に送信するようにしている。具体的には、点群データ記憶部に記憶される点群データは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる立体形状のカメラからの距離を表す奥行情報を画素毎に算出し、複数の撮影画像に含まれる立体形状の各画素の値を、各撮影画像に対応する投影面の方向に奥行情報に従って投影させることによって生成された、複数の撮影画像に含まれている立体形状が１つに合成された立体画像を表す点群データであり、視点と複数のカメラの位置との関係に基づいて、視点に応じて優先されるべき方向のカメラを決定し、当該決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データを、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データとして、点群データ記憶部に記憶される点群データの中から抽出するようにしている。

上記のように構成した本発明によれば、受信装置が３次元空間の中で実際に表示する立体形状の表示状態に関して必要となる部分の点群データだけが送信装置から受信装置に送信されるので、送信装置の点群データ記憶部に記憶される点群データが全体としてはデータ量が膨大なものであったとしても、表示に必要な点群データを通信ネットワーク上で実用上耐え得る程度の短い時間以内に送信することが可能となる。

本実施形態による点群データ通信システムの機能構成例を示すブロック図である。複数の撮影画像から立体形状の点群データを生成する処理を説明するための図である。本実施形態による点群データ通信システムの動作例を示すフローチャートである。他の実施形態による点群データ通信システムの機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による点群データ通信システムの機能構成例を示すブロック図である。本実施形態の点群データ通信システムは、送信装置（点群データ送信装置）１００および受信装置２００を備え、送信装置１００から通信ネットワーク３００を介して受信装置２００に点群データを送信するものである。

図１に示すように、送信装置１００は、その機能構成として、表示要求受信部１１、点群データ抽出部１２、間引き部１３および点群データ送信部１４を備えている。また、送信装置１００は、記憶媒体として、点群データ記憶部１０を備えている。上記各機能ブロック１１〜１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

また、受信装置２００は、その機能構成として、表示状態指定部２１、表示要求送信部２２、点群データ受信部２３および表示制御部２４を備えている。受信装置２００には、センサ２０１、操作部２０２およびディスプレイ２０３が接続されている。上記各機能ブロック２１〜２４は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２１〜２４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

点群データ記憶部１０は、３次元空間上の立体形状を表す点群データを記憶する。点群データ記憶部１０に記憶される点群データは、例えば特許文献１に記載の方法により生成されるものである。すなわち、点群データは、任意の撮影対象領域を複数の角度から撮影するように設置された複数のカメラによる複数の撮影画像に含まれている立体形状が、当該立体形状の各画素の値を奥行情報に基づく位置に投影することにより１つに合成された立体画像を表す点群データである。

撮影対象領域とは、屋内または屋外の任意の場所に設定された領域であり、例えば、建物にある部屋の内部や廊下、階段など、あるいは任意の風景を背景とする屋外の任意の場所である。立体形状とは、撮影対象領域を撮影した撮影画像に含まれている全ての立体物に関する形状をいう。例えば、部屋の内部を撮影した場合、部屋の壁や柱、天井、床などの各種構造物、部屋の中に設置されている家具や装飾品、家電などの各種設置物、部屋の中にいる人やペットなどの各種移動体などの何れもが立体形状に相当する。撮影対象領域を複数の角度から撮影するために複数の位置に設置される複数のカメラは何れも、撮影対象領域内の所定の位置（例えば、撮影対象領域が部屋の内部の場合は部屋の中心位置）に光軸が向くように設置される。

図２は、図示しない点群データ生成装置が複数の撮影画像から立体形状の点群データを生成する処理を説明するための図である。図２に示すように、点群データ生成装置は、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ３０１Ａ〜３０１Ｄ間の相対的な角度関係に合わせて複数の投影面３１〜３４を設定する。図２の例では説明の簡便のため、互いに９０度を成す角度で４方向に投影面３１〜３４を設定している。

つまり、●印で示す位置（例えば、部屋内の４方向の壁面）に４台のカメラ３０１Ａ〜３０１Ｄが設置されていて、その位置から矢印Ａ〜Ｄで示す方向（部屋の中心位置を向く方向）を撮影するように各カメラ３０１Ａ〜３０１Ｄの姿勢が設定されている。点群データ生成装置は、この各カメラ３０１Ａ〜３０１Ｄの取付位置および取付姿勢に応じた撮影方向に投影面３１〜３４を設定する。なお、各カメラ３０１Ａ〜３０１Ｄの取付位置および取付姿勢に関する情報は、事前のキャリブレーションによって点群データ生成装置に登録しておく。

カメラ３０１Ａ〜３０１Ｄは何れもステレオカメラであり、撮影対象領域内の立体形状を２つの異なる方向から同時に撮影することにより、視差画像を得る。点群データ生成装置は、その視差画像を公知の手法により解析することにより、複数のカメラ３０１Ａ〜３０１Ｄによりそれぞれ撮影された複数の撮影画像に含まれる立体形状のカメラ３０１Ａ〜３０１Ｄからの距離を表す奥行情報を画素毎に算出する。

そして、点群データ生成装置は、複数の撮影画像に含まれる立体形状の各画素の値を、各撮影画像に対応する投影面３１〜３４の方向に奥行情報に従って投影させることにより、複数の撮影画像に含まれている立体形状が１つに合成された立体画像を生成する。すなわち、点群データ生成装置は、第１のカメラ３０１Ａから入力された撮影画像に含まれる立体形状の各画素の値を、第１のカメラ１０１Ａの位置から投影面３１がある矢印Ａの方向に、奥行情報で示される距離だけ離れた位置に投影させる。ここで投影させる各画素の値は、撮影画像が元々持っているＲＧＢの値であってもよいし、これを２値化あるいはグレースケール化した値などであってもよい。点群データ生成装置は、第２〜第４のカメラ３０１Ｂ〜３０１Ｄから入力された撮影画像についても同様の処理を行う。

このように、同じ撮影対象領域を複数のカメラ３０１Ａ〜３０１Ｄで撮影し、各撮影画像に含まれる立体形状の各画素の値を１つの画像上に合成しているので、同じ画素位置に対して複数の方向から複数の画素値が重ねて投影されることになる。点群データ記憶部１０は、このようにして生成される点群データを記憶する。点群データを構成する個々の点データは、仮想的な３次元空間上における点の位置を示す位置情報、撮影画像が元々持っているＲＧＢの値（２値化あるいはグレースケール化した値でもよい）から成る色情報、どのカメラの撮影画像から投影されたものかを示す識別情報（カメラＩＤなど）などを有している。

点群データ記憶部１０に記憶される点群データは、撮影対象領域の中の各立体形状が静止状態である静止画としての立体画像を表示させるための点群データであってもよいし、撮影対象領域の中の立体形状の一部または全部が可動状態である動画としての立体画像を表示させるための点群データであってもよい。動画としての立体画像を表示させるための点群データの場合、点群データ記憶部１０は、所定の時間間隔（フレームごと）ごとに立体画像を表示させるための点群データを記憶する。

後述するように、本実施形態では、受信装置２００において、コンピュータ上に構築される仮想的な３次元空間上でユーザの視点および視線の方向を任意に指定することにより、以上のようにして合成される点群データから成る立体画像（撮影対象領域内に含まれる立体形状を仮想的な３次元空間上に描画してディスプレイ２０３に表示させるための画像）を、ユーザが所望する視点から所望する方向を見た状態にしてディスプレイ２０３に表示させることができるようにしている。

この場合、点群データにより合成される立体画像を、ユーザにより指定された視点から見て立体の前面に来るものを優先して描画する。図２の例において、ユーザにより指定された視点が紙面の手前にあって、その視点から紙面の方向に視線が向いているとした場合、第１のカメラ３０１Ａおよび第２のカメラ３０１Ｂによる撮影画像に含まれる画素の値を、第３のカメラ３０１Ｃおよび第４のカメラ４０１Ｄによる撮影画像に含まれる画素の値よりも優先して描画する。第１のカメラ３０１Ａによる撮影画像から生成される点群データの一部と第２のカメラ３０１Ｂによる撮影画像から生成される点群データの一部とのどちらを優先するかは任意に決めることが可能である。例えば、視点から立体形状までの距離が短い方を優先するといった処理が可能である。

本実施形態の点群データ通信システムでは、受信装置２００のユーザにより指定された視点および視線の方向を受信装置２００から送信装置１００に通知する。送信装置１００では、受信装置２００から通知された視点および視線の方向に応じて描画上優先されるべき点群データを点群データ記憶部１０から抽出し、受信装置２００に送信する。受信装置２００では、送信装置１００から送られてきた点群データを用いて、立体形状の合成画像を３次元空間上に描画してディスプレイ２０３に表示させる。以下、この動作に関わる各機能ブロック１１〜１４，２１〜２４の構成について説明する。

受信装置２００の表示状態指定部２１は、ディスプレイ２０３に表示させる立体形状の表示状態を指定するものである。立体形状の表示状態とは、３次元空間の中で可変とされた視点および当該視点からの視線の方向であって、ユーザにより指定された視点および視線の方向をいう。ユーザが視点および視線の方向を指定する方法として、種々の方法を用いることが可能である。

例えば、ディスプレイ２０３に点群データに基づく立体画像が表示されている状態において、ユーザが操作部２０２を操作することにより、ユーザが所望する視点および視線の方向を任意に指定することが可能である。この場合、ユーザは、現在表示中の立体画像の表示状態を基準として、所望の位置に視点を移動させたり、所望の方向に視線を移動させたりするような指定を操作部２０２の操作によって行うことが可能である。操作部２０２は、例えばマウス、キーボード、タッチパネル、コントローラ、切替スイッチ等である。表示状態指定部２１は、操作部２０２から入力される操作情報に基づいて、視点および視線の方向を立体形状の表示状態に関する指定として特定する。

別の例として、表示状態指定部２１は、センサ２０１から入力される加速度情報および角速度情報の少なくとも一方に基づいて、視点および視線の方向に関する立体形状の表示状態を指定することも可能である。例えば、受信装置２００、センサ２０１およびディスプレイ２０３を、これらを一体の筐体に備えたモバイル端末により構成する。モバイル端末の一例は、スマートフォンまたはタブレット端末である。また、センサ２０１を、加速度センサおよび角速度センサの少なくとも一方により構成する。

そして、ユーザがモバイル端末を手に持って実空間上で任意に動かすことにより、そのときの動きの内容をセンサ２０１により加速度情報や角速度情報として検出する。この場合、ユーザは、モバイル端末を上下方向、左右方向、前後方向に任意に移動させたり、モバイル端末を任意に回転させたりすることが可能である。表示状態指定部２１は、このようなモバイル端末の動きに応じてセンサ２０１により検出される加速度情報や角速度情報に基づいて、視点および視線の方向に関する現在の指定内容からの相対的な変化を検出し、変化後の視点および視線の方向を立体形状の表示状態に関する指定として特定する。

さらに別の例として、センサ２０１およびディスプレイ２０３を、これらを一体の筐体に備えたヘッドマウントディスプレイ（ＨＭＤ）により構成するようにしてもよい。そして、ＨＭＤを頭部に装着したユーザが実空間上で任意に動くことにより、そのときのＨＭＤの動きの内容をセンサ２０１により加速度情報や角速度情報として検出する。表示状態指定部２１は、このようなＨＭＤの動きに応じてセンサ２０１により検出される加速度情報や角速度情報に基づいて、視点および視線の方向に関する現在の指定内容からの相対的な変化を検出し、変化後の視点および視線の方向を立体形状の表示状態に関する指定として特定する。

なお、図１では、センサ２０１および操作部２０２の両方を備える構成を示しているが、何れか一方のみを備える構成としてもよい。

受信装置２００の表示要求送信部２２は、３次元空間の中の立体形状の表示状態に関する指定を含む表示要求を送信装置１００に送信する。すなわち、表示要求送信部２２は、表示状態指定部２１により指定された視点および視線の方向を立体形状の表示状態に関する指定として含む表示要求を送信装置１００に送信する。３次元空間における視点および視線の方向は、当該３次元空間における絶対的な値として指定するようにしてもよいし、前回の表示要求送信時からの相対的な変化量を示す値として指定するようにしてもよい。

表示要求送信部２２は、表示要求を所定の時間間隔で繰り返し送信する。表示要求を送信する時間間隔は、ディスプレイ２０３に立体画像を表示させる用途に応じて適宜定めればよい。なお、表示要求を所定の時間間隔で繰り返し送信するのは、点群データ記憶部１０に記憶される点群データが動画用の場合のみとし、点群データ記憶部１０に記憶される点群データが静止画用の場合は、指定される視点および視線の方向の少なくとも一方について変化が生じたときのみ表示要求を送信するようにしてもよい。

送信装置１００の表示要求受信部１１は、受信装置２００から送られてくる表示要求を受信する。点群データ抽出部１２は、点群データ記憶部１０に記憶されている点群データの中から、表示要求受信部１１により受信された表示要求に応じた部分の点群データを抽出する。すなわち、点群データ抽出部１２は、点群データ記憶部１０に記憶されている点群データの中から、表示要求に含まれる視点および視線の方向に応じて、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データを抽出する。

点群データ記憶部１０に記憶される点群データが動画用の場合、点群データ抽出部１２は、所定の時間間隔ごとに立体画像を表示させるための点群データを点群データ記憶部１０から抽出し、各タイミングの抽出の際に、表示要求に含まれる視点および視線の方向に応じて、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データだけを抽出する。

立体形状を表示する際に優先されるべき部分の点群データとは、図２を用いて説明した通り、指定された視点から見て立体形状の背面に隠れる側に対応する点群データではなく、前面に来る側に対応する点群データである。また、指定された視点から見て立体形状の前面に来る複数の立体形状が、指定された視線の方向において重なる場合は、指定された視点から立体形状までの距離が遠い方ではなく短い方に対応する点群データである。

具体的には、点群データ抽出部１２は、表示要求に含まれる視点と複数のカメラの位置（各カメラの実空間上での取付位置に対応する仮想的な３次元空間上での位置）との関係に基づいて、視点に応じて優先されるべき方向のカメラを決定する。そして、当該決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データを、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データとして、点群データ記憶部１０に記憶されている点群データの中から抽出する。なお、３次元空間上におけるカメラの位置情報は、事前のキャリブレーションによって送信装置１００に登録しておく。

さらに、点群データ抽出部１２は、上記のように決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データの中から、視点からの距離に応じて優先されるべき立体形状に対応する点群データを抽出する。視点から立体形状までの距離は、立体形状を構成する点群データが有する位置情報と、視点の位置情報とから計算することが可能である。

すなわち、点群データ抽出部１２は、表示要求に含まれる視点と視線の方向と立体形状の位置との関係に基づいて、視線の方向において重なりが生じる複数の立体形状のうち、視点からの距離が短い方の立体形状に対応する点群データを、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データとして、上記のように決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データの中から更に抽出する。

なお、視点からの距離に応じて優先されるべき立体形状に対応する点群データの抽出処理を省略し、後述する間引き部１３による間引き処理によって対応するのみとしてもよい。

点群データ抽出部１２は、点群データ記憶部１０に記憶されている点群データの中から、表示要求に含まれる視点から視線の方向を見た場合における前方の全範囲を対象として、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データを抽出するようにしてもよいし、表示要求に含まれる視点および視線の方向に基づき特定される所定範囲の視界を対象として、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データを抽出するようにしてもよい。前者の場合は、指定された視点から視線の方向を見て画角が１８０度の範囲を対象として、点群データを抽出する。後者の場合は、指定された視点から視線の方向を見て画角が１８０度より小さい所定範囲を対象として、点群データを抽出する。

後者のように所定範囲の点群データを切り出す方法としては、大きく分けて２つの方法が考えられ、その何れも適用することが可能である。１つ目の方法は、３次元空間上において点群データをあらかじめ複数の領域に分割しておいて、指定された視点から視線の方向を見た場合の所定範囲の視界に含まれる分割領域の点群データを抽出するという方法である。領域の分割は、グリッド単位で分割する方法、構造体単位で分割する方法、立体形状のエッジに合わせた形状単位で分割する方法、メタボール単位で分割する方法など、種々の分割方法を用いることが可能である。

２つ目の方法は、３次元空間上において点群データをあらかじめ複数の領域に分割することなく、指定された表示状態に応じて、所定範囲の視界に含まれる点群データを動的に切り出す方法である。点群データ記憶部１０に記憶されている点群データは、それぞれの点（カメラの撮影画像に含まれる立体形状の各画素の値が奥行情報に従って投影された点）が３次元空間上における位置を示す位置情報を有している。これに対し、視点の位置および視線の方向が指定されると、その視点から視線の方向を見た場合の所定範囲の視界が、３次元空間上のどの範囲に相当するのかを計算することができる。点群データ抽出部１２は、このようにして計算される視界の範囲内に位置情報が含まれる点群データを抽出する。

間引き部１３は、表示要求受信部１１により受信された表示要求に含まれる指定に基づいて特定される立体形状の表示状態に応じて、優先度の低い部分を決定し、点群データ抽出部１２により抽出された点群データの中から、優先度の低い部分の点群データを間引く処理を実行する。間引き部１３は、点群データ抽出部１２により抽出された点群データの中から一部を間引く際に、視点との距離に基づいて定まる立体形状の遠近に関する表示状態に応じて、視点からの距離が長くなる立体形状に関する部分ほど優先度を低くして、点群データの間引き量を多くする。

すなわち、点群データ記憶部１０に記憶されている点群データは、それぞれの点ごとに、３次元空間上における位置を示す位置情報を有している。従って、視点の位置から立体形状までの距離を算出することが可能である。間引き部１３は、視点の位置情報と各点の位置情報とに基づいて、視点から立体形状までの距離を算出し、当該視点からの距離が長くなる立体形状に関する部分ほど点群データの間引き量を多くする。

視点からの距離が長くなる立体形状は、視点から遠い位置にある立体形状であり、ディスプレイ２０３に表示されるときには小さく表示されるものである。このように小さく表示される立体形状に多くの点群データを用いることは不要であるため、点群データの間引きを行う。これに対し、視点からの距離が短くなる立体形状は、視点から近い位置にある立体形状であり、ディスプレイ２０３に表示されるときには大きく表示されるものである。このように大きく表示される立体形状は、比較的高い解像度で表示するために、比較的多くの点群データを用いることが好ましい。よって、視点から近い位置にある立体形状に関する部分の点群データは間引かないか、間引く量を少なくする。

視点からの距離がどの程度のときにどの程度の点群データを間引くかについては、あらかじめ任意にルールを設定しておくことが可能である。また、間引きを行う場合に、どのような方法で間引くかについては、任意の方法を用いることが可能である。例えば、間引きを行う所定の単位領域を決定し、単位領域の中から間引く点データをランダムに選択するようにしてよい。または、単位領域の中から同じまたは類似の色情報を持った点データを選択して間引くようにしてもよい。または、単位領域内に含まれる各点データが持つ色情報を平均化し、平均化した情報を代表の点データに持たせた上で、他の点データを間引くようにしてもよい。

点群データ送信部１４は、点群データ抽出部１２により抽出された点群データのうち間引き部１３による間引き後の点群データを受信装置２００に送信する。点群データ記憶部１０に記憶されている点群データは、ある撮影対象領域を複数のカメラにより撮影した複数の撮影画像の各画素値から生成されるものであり、多くのデータ量を有している。これに対し、点群データ抽出部１２により抽出される点群データは、点群データ記憶部１０に記憶されている点群データの中から、指定された視点および視線の方向に応じて描画上優先されるべきものだけを抽出したものであるから、データ量が削減されている。よって、点群データ送信部１４は、点群データ抽出部１２により抽出された点群データを受信装置２００に送信することとしてもよい。ただし、間引き部１３によって間引きを行うことにより、ディスプレイ２０３に表示される立体画像の表示精度を殆ど落とすことなく、データ量を更に削減することができる。よって、点群データ送信部１４は、間引き部１３による間引き後の点群データを受信装置２００に送信するのがより好ましい。

点群データ受信部２３は、表示要求送信部２２により送信された表示要求に応じて送信装置１００から送られてくる点群データを受信する。表示制御部２４は、点群データ受信部２３により受信された点群データに基づいて、３次元空間上に立体画像を描画してディスプレイ２０３に表示させる。ディスプレイ２０３に表示される立体画像は、ユーザが指定した視点および視線の方向に応じて生成されたものであり、様々な視点から様々な方向に立体形状を見た状態の立体画像を表示させることができる。また、３次元空間の広い範囲を俯瞰して見た状態の立体画像や、特定の立体形状に近づいて拡大して見た状態の立体画像などを表示させることもできる。

図３は、上記のように構成した本実施形態による点群データ通信システムの動作例を示すフローチャートである。図３に示すフローチャートの動作は、受信装置２００のユーザが立体形状の表示を指示したときに開始する。

まず、受信装置２００の表示状態指定部２１は、センサ２０１からの出力情報または操作部２０２からの出力情報に基づいて、３次元空間の中で可変とされた視点および当該視点からの視線の方向を、ディスプレイ２０３に表示させる立体形状の表示状態に関する指定として特定する（ステップＳ１）。そして、表示要求送信部２２は、表示状態指定部２１により指定された視点および視線の方向を立体形状の表示状態に関する指定として含む表示要求を送信装置１００に送信する（ステップＳ２）。

送信装置１００の表示要求受信部１１が受信装置２００から送られてくる表示要求を受信すると（ステップＳ３）、点群データ抽出部１２は、点群データ記憶部１０に記憶されている点群データの中から、表示要求に含まれる視点および視線の方向に応じて、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データを抽出する（ステップＳ４）。

次いで、間引き部１３は、表示要求受信部１１により受信された表示要求に含まれる指定に基づいて特定される立体形状の表示状態に応じて、優先度の低い部分を決定し、点群データ抽出部１２により抽出された点群データの中から、優先度の低い部分の点群データを間引く処理を実行する（ステップＳ５）。そして、点群データ送信部１４は、点群データ抽出部１２により抽出された点群データのうち間引き部１３による間引き後の点群データを受信装置２００に送信する（ステップＳ６）。

受信装置２００の点群データ受信部２３は、ステップＳ２で表示要求送信部２２により送信された表示要求に応じて送信装置１００から送られてくる点群データを受信する（ステップＳ７）。そして、表示制御部２４は、点群データ受信部２３により受信された点群データに基づいて、３次元空間上に立体画像を描画してディスプレイ２０３に表示させる（ステップＳ８）。

その後、表示状態指定部２１は、立体形状の表示を終了させるための指示がユーザから行われたか否かを判定し（ステップＳ９）、表示終了の指示が行われていない場合は、ステップＳ１に戻って処理を継続する。これにより、ステップＳ１〜Ｓ９の処理を所定の時間間隔で繰り返し実行する。一方、表示終了の指示が行われた場合は、図３に示すフローチャートの処理を終了する。

以上詳しく説明したように、本実施形態では、３次元空間の中の立体形状の表示状態に関する指定を含む表示要求を受信装置２００から送信装置１００に送信し、送信装置１００がこの表示要求に応じて、点群データ記憶部１０に記憶されている点群データの中から、表示要求に応じた部分の点群データを抽出して受信装置２００に送信するようにしている。

上記のように構成した本実施形態によれば、点群データ記憶部１０に記憶されている点群データのうち、受信装置２００が３次元空間の中で実際に表示する立体形状の表示状態に関して必要となる部分の点群データだけが抽出されて送信装置１００から受信装置２００に送信されることとなる。そのため、送信装置１００の点群データ記憶部１０に記憶されている点群データが全体としてはデータ量が膨大なものであったとしても、受信装置２００での表示に必要な点群データだけを通信ネットワーク３００上で実用上耐え得る程度の短い時間以内に送信することが可能となる。

また、本実施形態では、表示要求に含まれる指定に基づいて特定される立体形状の表示状態に応じて、優先度の低い部分を決定し、点群データ記憶部１０から抽出された点群データの中から更に一部を間引く処理を実行している。この間引き処理は、視点から立体形状までの距離が長くなる立体形状（視点から遠い位置にあって小さく表示される立体形状）に関する部分ほど間引き量を多くするものである。このような間引きを行うことにより、受信装置２００にて表示される立体画像の表示精度を殆ど落とすことなく、送信装置１００から受信装置２００に送信する点群データのデータ量を更に削減することができ、より短い時間で点群データの送信を行うことが可能となる。

なお、上記実施形態において、点群データ抽出部１２はさらに、点群データ記憶部１０に記憶されている点群データの中から、表示要求に含まれる指定に応じた表示状態で表示される立体形状のうち、前回の抽出時から差分が生じている部分の点群データを抽出するようにしてもよい。この場合、受信装置２００では、差分が生じていない部分の点群データ（前回までに既に送信装置１００から受信済みのもの）と、差分が生じている部分の点群データ（今回の表示要求に応じて送信装置１００から受信するもの）とを合成して立体画像をディスプレイ２０３に表示させる。

例えば、点群データ記憶部１０に記憶される点群データが動画用の場合であって、所定の時間間隔で送信される表示要求に含まれる視点および視線の方向の指定が前回と変わらない場合、撮影対象領域の中で静止状態にある構造物や設置物の部分の点群データは抽出せず、移動体が移動している部分の点群データだけを抽出するようにする。また、点群データ記憶部１０に記憶される点群データが静止画用の場合であって、所定の時間間隔で送信される表示要求に含まれる視点および視線の方向の指定が前回と変わらない場合、このタイミングでは点群データ記憶部１０から点群データを何も抽出しないようにする。このようにすれば、送信装置１００から受信装置２００に送信する点群データのデータ量を更に削減することができ、より短い時間で点群データの送信を行うことが可能となる。

同様に、上記実施形態において、間引き部１３はさらに、点群データ記憶部１０に記憶されている点群データの中から、表示要求に含まれる指定に応じた表示状態で表示される立体形状のうち、前回の抽出時から差分が生じていない部分の点群データを間引くようにしてもよい。このように構成した場合も、送信装置１００から受信装置２００に送信する点群データのデータ量を更に削減することができ、より短い時間で点群データの送信を行うことが可能となる。また、この構成の場合、受信装置２００では、差分が生じていない部分の前回までの点群データと、差分が生じている部分の今回の点群データとを合成するといった処理を行う必要がなく、所定の時間間隔ごとに送られてくる点群データを用いて所定の時間間隔ごとに立体画像をディスプレイ２０３に表示させればよいので、受信装置２００での処理負荷を軽減することができる。

また、上記実施形態では、立体形状の表示状態に関する指定の内容として、３次元空間上におけるユーザの視点および視線の方向の両方を用いる構成について説明したが、何れか一方のみを用いる構成としてよい。すなわち、３次元空間上において視点を固定として視線の方向のみを可変とし、立体形状の表示状態に関する指定の内容としてユーザの視線の方向を用いる構成としてもよい。または、３次元空間上において視線の方向を固定として視点のみを可変とし、立体形状の表示状態に関する指定の内容としてユーザの視点を用いる構成としてもよい。

また、上記実施形態では、立体形状の表示状態に関する指定の内容として、３次元空間上におけるユーザの視点および視線の方向を用いる構成について説明したが、本発明はこれに限定されない。例えば、視点および視線の方向は固定で、立体画像の拡大／縮小によって表示範囲を変えることを、立体形状の表示状態に関する指定として用いるようにしてもよい。また、複数の撮影対象領域についての撮影画像から生成した複数箇所の点群データを点群データ記憶部１０に記憶しておいて、表示対象とする撮影対象領域の点群データを切り替えることを、立体形状の表示状態に関する指定として用いるようにしてもよい。以上の例は、例えば特許文献１に記載されたように複数エリアの監視を行う場合に適用して好適なものである。

また、上記実施形態では、図示しない点群データ生成装置により生成された点群データを点群データ記憶部１０にあらかじめ記憶しておく例について説明したが、本発明はこれに限定されない。例えば、点群データ生成装置により生成される動画用の点群データをリアルタイムに点群データ記憶部１０に逐次記憶していき、表示要求に応じた点群データを点群データ記憶部１０からリアルタイムに抽出して受信装置２００に送信するようにしてもよい。

また、上記実施形態では、受信装置２００が点群データの受信機能と立体画像の表示機能との両方を備える構成を示したが、本発明はこれに限定されない。例えば、表示状態指定部２１および表示制御部２４を受信装置２００とは異なる別の装置が備える構成としてもよい。

また、上記実施形態では、点群データは特許文献１に記載された方法で生成するものとして説明したが、本発明はこれに限定されない。例えば、３次元レーザスキャナを用いる方法で点群データを生成するようにしてもよいし、ポリゴンや三角形メッシュ等の面形式のデータを公知の方法により点群データに変換するようにしてもよい。

また、上記実施形態において、送信装置１００から受信装置２００に送信する点群データを圧縮するようにしてもよい。この場合、次のようにデータ圧縮を行うようにしてもよい。すなわち、点群データを奥行情報に基づいて所定の複数の２次元平面（例えば、元の撮影画像上の２次元平面）に投影することにより、点群データ抽出部１２および間引き部１３（上述のように、間引き部１３は省略してもよい）によりデータ数が削減された状態での画素値を有する複数の２次元画像データを生成する。そして、このように生成した複数の２次元画像データに対してＭＰＥＧ等の公知の画像圧縮を行い、圧縮した複数の２次元画像データと奥行情報とを送信装置１００から受信装置２００に送信する。また、奥行き情報を別途圧縮して送信するようにしてもよい。このようにすれば、送信するデータ量を更に削減することができる。なお、この場合、点群データ記憶部１０に記憶される点群データは、各点とそれに対応する奥行情報とを関連付ける情報を含んでいる。

図４は、このように圧縮処理を行う場合における点群データ通信システムの機能構成例を示すブロック図である。なお、この図４において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図４に示すように、送信装置１００’は、点群データ送信部１４に代えて、画像データ生成部１５、圧縮部１６および送信部１７を備える。また、受信装置２００’は、点群データ受信部２３に代えて、受信部２５および点群データ生成部２６を備える。

画像データ生成部１５は、間引き部１３による間引き後の点群データを、当該点群データに関連付けられている奥行情報に基づいて所定の複数の２次元平面（例えば、元の撮影画像上の２次元平面）に投影することにより、複数の２次元画像データを生成する。圧縮部１６は、画像データ生成部１５により生成された複数の２次元画像データに対してそれぞれ画像圧縮を行う。送信部１７は、圧縮部１６により圧縮された複数の２次元画像データおよび奥行情報を受信装置２００’に送信する。

受信部２５は、表示要求送信部２２により送信された表示要求に応じて送信装置１００’から送られてくる複数の２次元画像データおよび奥行情報を受信する。点群データ生成部２６は、受信部２５により受信された複数の２次元画像データに含まれる立体形状の各画素の値を、受信部２５により受信された奥行情報に従って複数の投影面の方向に投影させることにより、複数の２次元画像データに含まれている立体形状が１つに合成された立体画像を表す点群データを生成し、これを表示制御部２４に供給する。複数の投影面は、点群データ記憶部１０に記憶される点群データを生成する際に用いた投影面と同様のものである。

なお、図４では、間引き部１３による間引き後の点群データから２次元画像データを生成する構成について説明したが、間引き部１３を省き、点群データ抽出部１２により抽出された点群データから２次元画像データを生成するようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０点群データ記憶部
１１表示要求受信部
１２点群データ抽出部
１３間引き部
１４点群データ送信部
１５画像データ生成部
１６圧縮部
１７送信部
２１表示状態指定部
２２表示要求送信部
２３点群データ受信部
２４表示制御部
２５受信部
２６点群データ生成部
１００送信装置
２００受信装置

Claims

送信装置および受信装置を備え、上記送信装置から通信ネットワークを介して上記受信装置に点群データを送信する点群データ通信システムであって、
上記送信装置は、
３次元空間上の立体形状を表す点群データを記憶する点群データ記憶部と、
上記受信装置から送られてくる表示要求を受信する表示要求受信部と、
上記点群データ記憶部に記憶される点群データの中から、上記表示要求受信部により受信された上記表示要求に応じた部分の点群データを抽出する点群データ抽出部と、
上記点群データ抽出部により抽出された点群データを上記受信装置に送信する点群データ送信部とを備え、
上記受信装置は、
視点および当該視点からの視線の方向の少なくとも一方が可変とされた上記３次元空間の中の上記立体形状の表示状態に関する指定を含む上記表示要求を上記送信装置に送信する表示要求送信部と、
上記表示要求送信部により送信された上記表示要求に応じて上記送信装置から送られてくる点群データを受信する点群データ受信部とを備え、
上記表示要求送信部は、ユーザにより指定された視点および視線の方向の少なくとも一方を上記立体形状の表示状態に関する指定として含む上記表示要求を上記送信装置に送信し、
上記点群データ抽出部は、上記点群データ記憶部に記憶される点群データの中から、上記表示要求に含まれる上記視点および上記視線の方向の少なくとも一方に応じて、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データを抽出し、
上記点群データ記憶部に記憶される点群データは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる上記立体形状の上記カメラからの距離を表す奥行情報を画素毎に算出し、上記複数の撮影画像に含まれる上記立体形状の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることによって生成された、上記複数の撮影画像に含まれている上記立体形状が１つに合成された立体画像を表す点群データであり、
上記点群データ抽出部は、上記視点と上記複数のカメラの位置との関係に基づいて、上記視点に応じて優先されるべき方向のカメラを決定し、当該決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データを、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データとして、上記点群データ記憶部に記憶される点群データの中から抽出する
ことを特徴とする点群データ通信システム。
上記送信装置は、
上記表示要求に含まれる指定に基づいて特定される上記立体形状の表示状態に応じて、優先度の低い部分を決定し、上記点群データ抽出部により抽出された点群データの中から、上記優先度の低い部分の点群データを間引く間引き部を更に備え、
上記点群データ送信部は、上記点群データ抽出部により抽出された点群データのうち上記間引き部による間引き後の点群データを上記受信装置に送信する
ことを特徴とする請求項１に記載の点群データ通信システム。
上記送信装置は、上記点群データ送信部に代えて、
上記点群データ抽出部により抽出された点群データを、上記奥行情報に基づいて所定の複数の２次元平面に投影することにより複数の２次元画像データを生成する画像データ生成部と、
上記画像データ生成部により生成された複数の２次元画像データに対して画像圧縮を行う圧縮部と、
上記圧縮部により圧縮された複数の２次元画像データおよび上記奥行情報を上記受信装置に送信する送信部とを備え、
上記受信装置は、上記点群データ受信部に代えて、
上記表示要求送信部により送信された上記表示要求に応じて上記送信装置から送られてくる上記複数の２次元画像データおよび上記奥行情報を受信する受信部と、
上記受信部により受信された上記複数の２次元画像データに含まれる上記立体形状の各画素の値を、上記受信部により受信された上記奥行情報に従って複数の投影面の方向に投影させることにより、上記複数の２次元画像データに含まれている上記立体形状が１つに合成された立体画像を表す点群データを生成する点群データ生成部とを備えた
ことを特徴とする請求項１または２に記載の点群データ通信システム。
送信装置および受信装置を備え、上記送信装置から通信ネットワークを介して上記受信装置に点群データを送信する点群データ通信システムであって、
上記送信装置は、
３次元空間上の立体形状を表す点群データであって、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる上記立体形状の上記カメラからの距離を表す奥行情報を画素毎に算出し、上記複数の撮影画像に含まれる上記立体形状の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることによって生成された、上記複数の撮影画像に含まれている上記立体形状が１つに合成された立体画像を表す点群データを記憶する点群データ記憶部と、
上記受信装置から送られてくる表示要求であって、視点および当該視点からの視線の方向の少なくとも一方が可変とされた上記３次元空間の中の上記立体形状の表示状態に関する指定として、ユーザにより指定された視点および視線の方向の少なくとも一方を含む表示要求を受信する表示要求受信部と、
上記点群データ記憶部に記憶される点群データの中から、上記表示要求受信部により受信された上記表示要求に含まれる上記視点および上記視線の方向の少なくとも一方に応じて、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分として、上記立体形状の背面に隠れる側に対応する部分ではなく上記立体形状の前面に来る側に対応する部分の点群データを抽出する点群データ抽出部と、
上記表示要求に含まれる指定に基づいて特定される上記立体形状の表示状態に応じて、優先度の低い部分を決定し、上記点群データ抽出部により抽出された点群データの中から、上記優先度の低い部分の点群データを間引く間引き部と、
上記間引き部による間引き後の点群データを、上記奥行情報に基づいて所定の複数の２次元平面に投影することにより複数の２次元画像データを生成する画像データ生成部と、
上記画像データ生成部により生成された複数の２次元画像データに対して画像圧縮を行う圧縮部と、
上記圧縮部により圧縮された複数の２次元画像データおよび上記奥行情報を上記受信装置に送信する送信部とを備え、
上記受信装置は、
上記表示要求を上記送信装置に送信する表示要求送信部と、
上記表示要求送信部により送信された上記表示要求に応じて上記送信装置から送られてくる上記複数の２次元画像データおよび上記奥行情報を受信する受信部と、
上記受信部により受信された上記複数の２次元画像データに含まれる上記立体形状の各画素の値を、上記受信部により受信された上記奥行情報に従って複数の投影面の方向に投影させることにより、上記複数の２次元画像データに含まれている上記立体形状が１つに合成された立体画像を表す点群データを生成する点群データ生成部とを備え、
上記間引き部は、上記点群データ抽出部により抽出された点群データの中から一部を間引く際に、上記奥行情報に従って投影された各点の位置情報に基づいて、上記視点から上記立体形状までの距離を算出し、当該視点からの距離が長くなる立体形状に関する部分ほど点群データの間引き量を多くする
ことを特徴とする点群データ通信システム。
送信装置および受信装置を備え、上記送信装置から通信ネットワークを介して上記受信装置に点群データを送信する点群データ通信システムであって、
上記点群データは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる立体形状の上記カメラからの距離を表す奥行情報を画素毎に算出し、上記複数の撮影画像に含まれる上記立体形状の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることによって生成された、上記複数の撮影画像に含まれている上記立体形状が１つに合成された立体画像を表す点群データであり、
上記送信装置は、
３次元空間上の上記立体形状を表す上記点群データを記憶する点群データ記憶部と、
上記受信装置から送られてくる表示要求を受信する表示要求受信部と、
上記点群データ記憶部に記憶される点群データの中から、上記表示要求受信部により受信された上記表示要求に応じた部分の点群データを抽出する点群データ抽出部と、
上記点群データ抽出部により抽出された点群データを、上記奥行情報に基づいて所定の複数の２次元平面に投影することにより複数の２次元画像データを生成する画像データ生成部と、
上記画像データ生成部により生成された複数の２次元画像データに対して画像圧縮を行う圧縮部と、
上記圧縮部により圧縮された複数の２次元画像データおよび上記奥行情報を上記受信装置に送信する送信部とを備え、
上記受信装置は、
上記３次元空間の中の上記立体形状の表示状態に関する指定を含む上記表示要求を上記送信装置に送信する表示要求送信部と、
上記表示要求送信部により送信された上記表示要求に応じて上記送信装置から送られてくる上記複数の２次元画像データおよび上記奥行情報を受信する受信部と、
上記受信部により受信された上記複数の２次元画像データに含まれる上記立体形状の各画素の値を、上記受信部により受信された上記奥行情報に従って複数の投影面の方向に投影させることにより、上記複数の２次元画像データに含まれている上記立体形状が１つに合成された立体画像を表す点群データを生成する点群データ生成部とを備えた
ことを特徴とする点群データ通信システム。
通信ネットワークを介して受信装置に点群データを送信する点群データ送信装置であって、
３次元空間上の立体形状を表す点群データを記憶する点群データ記憶部と、
視点および当該視点からの視線の方向の少なくとも一方が可変とされた上記３次元空間の中の上記立体形状の表示状態に関する指定を含む表示要求であって、ユーザにより指定された視点および視線の方向の少なくとも一方を上記立体形状の表示状態に関する指定として含む表示要求を上記受信装置から受信する表示要求受信部と、
上記点群データ記憶部に記憶される点群データの中から、上記要求受信部により受信された上記表示要求に含まれる上記視点および上記視線の方向の少なくとも一方に応じて、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データを抽出する点群データ抽出部と、
上記点群データ抽出部により抽出された点群データを上記受信装置に送信する点群データ送信部とを備え、
上記点群データ記憶部に記憶される点群データは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる上記立体形状の上記カメラからの距離を表す奥行情報を画素毎に算出し、上記複数の撮影画像に含まれる上記立体形状の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることによって生成された、上記複数の撮影画像に含まれている上記立体形状が１つに合成された立体画像を表す点群データであり、
上記点群データ抽出部は、上記視点と上記複数のカメラの位置との関係に基づいて、上記視点に応じて優先されるべき方向のカメラを決定し、当該決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データを、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データとして、上記点群データ記憶部に記憶される点群データの中から抽出する
ことを特徴とする点群データ送信装置。
３次元空間上の立体形状を表す点群データを記憶する点群データ記憶部を備えた送信装置から通信ネットワークを介して受信装置に上記点群データを送信する方法であって、
上記送信装置の表示要求受信部が、視点および当該視点からの視線の方向の少なくとも一方が可変とされた上記３次元空間の中の上記立体形状の表示状態に関する指定を含む表示要求であって、ユーザにより指定された視点および視線の方向の少なくとも一方を上記立体形状の表示状態に関する指定として含む表示要求を上記受信装置から受信するステップと、
上記送信装置の点群データ抽出部が、上記点群データ記憶部に記憶される点群データの中から、上記要求受信部により受信された上記表示要求に含まれる上記視点および上記視線の方向の少なくとも一方に応じて、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データを抽出するステップと、
上記送信装置の点群データ送信部が、上記点群データ抽出部により抽出された点群データを上記受信装置に送信するステップとを有し、
上記点群データ記憶部に記憶される点群データは、撮影対象領域を複数の角度から撮影するように設置された複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラによりそれぞれ撮影された複数の撮影画像に含まれる上記立体形状の上記カメラからの距離を表す奥行情報を画素毎に算出し、上記複数の撮影画像に含まれる上記立体形状の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることによって生成された、上記複数の撮影画像に含まれている上記立体形状が１つに合成された立体画像を表す点群データであり、
上記点群データ抽出部は、上記視点と上記複数のカメラの位置との関係に基づいて、上記視点に応じて優先されるべき方向のカメラを決定し、当該決定したカメラによる撮影画像に含まれる各画素の値から生成された点群データを、上記３次元空間の中で上記立体形状を表示する際に優先されるべき部分の点群データとして、上記点群データ記憶部に記憶される点群データの中から抽出する
ことを特徴とする点群データ送信方法。