以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.画像処理システムの概要
2.画像処理システムの構成例
3.3D再構成装置の第1実施の形態
4.第1実施の形態の変形例
5.3D再構成装置の第2実施の形態
6.3D再構成装置の第3実施の形態
7.第1乃至第3実施の形態のまとめ
8.画像処理システムのその他の構成例
9.配信処理と再生処理
10.マルチテクスチャジオメトリ形式以外のデータフォーマットで伝送する場合
11.マルチユーザに伝送する場合
12.コンピュータ構成例
13.応用例
<1.画像処理システムの概要>
初めに、図1および図2を参照して、本技術を適用した画像処理システムの概要について説明する。
本技術を適用した画像処理システムは、複数の撮像装置で撮像して得られた撮影画像からオブジェクトの3Dモデルを生成して配信する配信側と、配信側から伝送される3Dモデルを受け取り、再生表示する再生側とからなる。
配信側においては、所定の撮影空間を、その外周から複数の撮像装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。撮影空間は、図1に示されるように、例えば、サッカー競技場のような屋外の場合もあるし、室内の場合もある。
各撮像装置は、測距測定器を備えており、被写体のテクスチャ情報に加えて、被写体までの距離も測定することができる。そして、異なる方向の複数の撮像装置から得られた撮影画像と距離情報を用いて、撮影空間において表示対象となる複数のオブジェクトの3Dモデルが生成される。オブジェクトの3Dモデルの生成は、同一のオブジェクトについて、複数の撮像装置で得られた複数の撮影画像及び距離情報から、重複する領域のテクスチャ情報及び距離情報をまとめたり、一つの撮像装置で死角となる領域のテクスチャ情報及び距離情報を、他の撮像装置で得られたテクスチャ情報及び距離情報で補って再構成することから、3Dモデルの再構成と呼ばれる。
図1において、例えば、撮影空間がサッカースタジアムのフィールドに設定された例では、フィールドの外周であるスタンド側に配置された複数の撮像装置によって、フィールド上のプレイヤ等が撮像されている。3Dモデルの再構成により、例えば、フィールド上のプレイヤ、審判、サッカーボールなどがオブジェクトとして抽出され、各オブジェクトについて3Dモデルが生成(再構成)される。
複数の撮像装置それぞれで撮像して得られた撮影画像は、所定の記憶装置に格納される。記憶装置に記憶された異なる方向の複数の撮影画像を用いて、各オブジェクトの3Dモデルのデータ(以下、3Dモデルデータとも称する。)が生成される。3Dモデルデータのデータフォーマットについては、図2を参照して後述する。
そして、撮影空間に存在する多数のオブジェクトのうち、1以上のオブジェクトの3Dモデルが、再生側の要求に応じて伝送され、再生側で、再生および表示される。
再生側は、撮影空間に存在する多数のオブジェクトのうち、視聴対象のオブジェクトだけを要求して、表示装置に表示させることも可能である。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数のオブジェクトのうち、仮想カメラで捉えられるオブジェクトのみを要求して、表示装置に表示させる。実世界において視聴者が任意の視点からフィールドを見ることができるように、仮想カメラの視点は任意の位置に設定することができる。
図2は、3Dモデルデータのデータフォーマットの例を示している。
3Dモデルデータのデータフォーマットとしては、様々なフォーマットをとり得る。
データフォーマットの一つは、オブジェクトのジオメトリ情報(形状情報)を、オブジェクトの3次元位置を点の集合(ポイントクラウド)で表し、その各点に対応してオブジェクトの色情報を保有する形式である。この形式では、1つのオブジェクトに対して、1つのジオメトリ情報と色情報が保持される。本実施の形態では、この形式を、ポイントクラウド形式と記述する。
データフォーマットの他の一つは、オブジェクトのジオメトリ情報を、上記ポイントクラウド形式と同様の点の集合(ポイントクラウド)か、または、ポリゴンメッシュと呼ばれる頂点(Vertex)と頂点間のつながりで表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像(2次元テクスチャ画像)で保有する形式である。この形式では、1つのオブジェクトに対して、1つのジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像(2次元テクスチャ画像)からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャジオメトリ形式と記述する。
データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応してオブジェクトの色情報を保有する形式である。各ポリゴンメッシュに貼り付けられる色情報としての2次元テクスチャ画像はUV座標系で表現される。この形式では、1つのオブジェクトに対して、1つのジオメトリ情報と、1つの2次元テクスチャ画像からなる色情報が保持される。本実施の形態では、この形式を、UVテクスチャジオメトリ形式と記述する。UVテクスチャジオメトリ形式は、MPEG-4 AFX (Animation Framework eXtension)で規格化された形式である。
データフォーマットのさらに他の一つは、オブジェクトのジオメトリ情報を各撮像装置が撮像した撮影画像に対応する距離情報で表し、オブジェクトの色情報を、各撮像装置が撮像した撮影画像(2次元テクスチャ画像)で保有する形式である。各撮像装置が撮像した撮影画像に対応する距離情報には、撮影画像の各画素に対応させて、被写体までの奥行き方向の距離をデプス値として格納したデプス画像が採用される。この形式では、1つのオブジェクトに対して、撮像装置の台数と同じ枚数のデプス画像からなるジオメトリ情報と、撮像装置の台数と同じ枚数の撮影画像(2次元テクスチャ画像)からなる色情報が保持される。本実施の形態では、この形式を、マルチテクスチャデプス形式と記述する。マルチテクスチャデプス形式のメリットは、3Dモデルデータを伝送する場合の符号化方式として、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式等を、そのまま利用することができ、高効率に圧縮することができる点である。
ポイントクラウド形式およびUVテクスチャジオメトリ形式は、仮想カメラの位置(仮想視点)に関わらず、色情報が同一となるViewIndependentな形式である。
これに対して、マルチテクスチャジオメトリ形式およびマルチテクスチャデプス形式は、仮想カメラの位置(仮想視点)によって、色情報が変化し得るViewDependentな形式である。
以上のような各種の3Dモデルデータのデータフォーマットのうち、どのようなデータフォーマットを採用するかは任意である。再生側がデータフォーマットを指定してもよいし、配信側がデータフォーマットを決定してもよい。また、アプリケーションごとに予めデータフォーマットを決めておいてもよい。
<2.画像処理システムの構成例>
図3は、本技術を適用した画像処理システムの構成例を示すブロック図である。
図3の画像処理システム10は、図1で説明した配信側として、撮像装置21−1乃至21−N(N>1)、記憶装置22、3D再構成装置(画像処理装置)23、符号化装置24、および、送受信装置25を備える。
また、画像処理システム10は、図1で説明した再生側として、再生装置27、および、表示装置28を備える。配信側の送受信装置25と再生側の再生装置27は、ネットワーク26を介して接続される。
撮像装置21(撮像装置21−1乃至21−N)は、所定の撮影空間の外周の所定の位置に配置され、撮影空間を撮像し、その結果得られる動画像を記憶装置22に供給して、記憶させる。
撮像装置21は、測距測定器を備えており、被写体のテクスチャ画像(テクスチャ情報)に加えて、被写体までの距離も測定することができ、テクスチャ画像と同じ視点からのデプス画像の動画像も生成し、記憶装置22に供給する。
撮像装置21−1乃至21−Nそれぞれは、異なる位置に配置され、撮影空間を他の撮像装置21と異なる方向から撮像する。各撮像装置21のワールド座標系上の位置は既知であり、各撮像装置21のカメラパラメータ(外部パラメータおよび内部パラメータ)も、記憶装置22に供給される。
なお、撮像装置21は、オブジェクトの3Dモデルを再生側に伝送するための事前の準備として、移動可能なオブジェクトが存在しない状態で撮影空間を撮像した画像を背景画像として撮像し、記憶装置22に記憶させる。背景画像は動画像である必要はなく、静止画像でよい。したがって、記憶装置22には、撮像装置21の台数(N)と同じ枚数の背景画像が格納されている。
記憶装置22は、複数の撮像装置21それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を記憶する。また、記憶装置22は、撮像装置21の台数(N)と同じ枚数の背景画像と、各撮像装置21のカメラパラメータも記憶する。以下では、複数の撮像装置21それぞれで撮像された動画像を構成するテクスチャ画像を、予め撮像された背景画像と区別して、前景画像と称して説明する場合がある。
3D再構成装置23は、記憶装置22に記憶されている、複数の撮像装置21それぞれで得られた撮影空間内のテクスチャ画像およびデプス画像の動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置24に供給する。
本実施の形態においては、複数の撮像装置21が撮像した動画像に映る撮影空間内の被写体のうち、どの被写体を、3Dモデルを生成する対象のオブジェクトとするかは問わない。どのような方法でオブジェクト対象を決定してもよく、動画像に映る所定の被写体がオブジェクトとして決定され、他のオブジェクトと適切に分離されて、3Dモデルが生成される。
また、画像処理システム10では、再生装置27から、撮影空間のなかの、ユーザの視聴範囲を示す情報や、ユーザが注目しているオブジェクトを示す情報が、ユーザの視聴情報として、送信されてくる場合がある。この場合、3D再構成装置23は、再生装置27から送信されてきたユーザの視聴情報を、送受信装置25を介して取得し、ユーザの視聴情報に応じたオブジェクトの3Dモデルを生成し、生成された各オブジェクトの3Dモデルデータを符号化装置24に供給する。なお、ユーザの視聴情報は画像処理システム10において必須ではなく、再生装置27から3D再構成装置23に送信しない構成も取り得る。
符号化装置24は、3D再構成装置23から供給される所定のオブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置25へ供給される。
送受信装置25は、符号化装置24から供給された3Dモデルの符号化ストリームを、ネットワーク26を介して再生装置27へ送信する。また、送受信装置25は、再生装置27からユーザの視聴情報が送信されてきた場合、それを3D再構成装置23に供給する。
なお、配信側の記憶装置22、3D再構成装置23、符号化装置24、および、送受信装置25は、それぞれ、個別に構成されてもよいし、2つ以上の装置が一体化された構成でもよい。例えば、図3において破線で示されるように、記憶装置22、3D再構成装置23、符号化装置24、および、送受信装置25が1つの配信装置を構成してもよい。この場合、記憶装置22、3D再構成装置23、符号化装置24、および、送受信装置25は、それぞれ、配信装置の記憶部、3D再構成部、符号化部、および、送受信部を構成する。
ネットワーク26は、例えば、インターネット、電話回線網、衛星通信網、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網などで構成される。
再生装置27は、送受信部41、復号部42、描画部43、仮想視点検出部44、および、入力部45を備える。
再生装置27の送受信部41は、送受信装置25から供給される各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信(取得)し、復号部42に供給する。
復号部42は、送受信部41から供給される符号化ストリームを、符号化装置24における符号化方式に対応する方式で復号する。復号部42は、復号して得られる1以上のオブジェクトの3Dモデルデータを描画部43に供給する。
描画部43は、復号部42から供給される1以上のオブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像(オブジェクト画像)を表示画像として生成し、表示装置28に供給する。描画部43には、仮想視点検出部44から、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が供給され、復号部42から供給される1以上のオブジェクトの3Dモデルを、仮想カメラの視聴範囲に透視投影することにより、仮想カメラの視点からのオブジェクトの画像が生成される。仮想カメラの視聴範囲は、ユーザ(視聴者)の視点による視聴範囲に対応するものであり、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報は、ユーザの視聴情報の一例である。
なお、再生装置27には、各オブジェクトの3Dモデルデータとは別に、背景画像も3D再構成装置23から予め伝送され、描画部43は、背景画像に、各オブジェクトの画像を重畳させた表示画像を生成し、表示装置28に供給する。
仮想視点検出部44は、仮想カメラの視点を検出し、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報を生成し、描画部43に供給する。例えば、仮想視点検出部44は、表示装置28としてのヘッドマウントディスプレイに付されたマーカ等を撮像することで、ユーザの視聴位置や視聴範囲を検出する。
入力部45は、コントローラ、マウス等の入力装置で構成される。入力部45は、例えば、視聴者による視聴位置の指示や、表示対象とするオブジェクトの指定などを受け付ける。入力部45で受け付けられた各種の入力情報は、必要に応じて再生装置27内の各部へ供給される。ユーザの視聴位置や視聴範囲は、入力部45で受け付けたユーザの指示に基づいて決定してもよい。
表示装置28は、例えば、2次元ヘッドマウントディスプレイ(HMD)や2次元モニタなどにより構成される。表示装置28は、描画部43から供給される表示画像を2次元表示する。
なお、表示装置28は、3次元ヘッドマウントディスプレイや3次元モニタなどにより構成されてもよい。この場合、描画部43は、表示画像に加えてデプス画像も供給し、表示装置28は、描画部43から供給される表示画像とデプス画像に基づいて表示画像を3次元表示する。
以上のように構成される画像処理システム10において、3D再構成装置23は、記憶装置22に記憶されている、撮影空間を複数の撮像装置21それぞれで撮像した動画像を用いて、撮影空間内に存在する多数のオブジェクトについて、オブジェクトごとに3Dモデルを生成する。生成された各オブジェクトの3Dモデルデータは、符号化装置24および送受信装置25を介して、再生装置27に伝送される。
3D再構成装置23は、再生装置27に伝送するオブジェクトの3Dモデルを生成する際、撮影空間内のオブジェクトの位置やユーザの注目度などに応じて、3Dモデルの解像度、具体的には、ボクセルサイズ(voxel size)を、オブジェクトごとに決定して、3Dモデルを生成する。
再生装置27は、オブジェクトごとに設定された解像度で伝送されてくるオブジェクトの3Dモデルデータを取得して、取得したオブジェクトの3Dモデルデータに基づいて、オブジェクト画像を生成し、表示装置28に表示させる。
配信側と再生側で、撮影空間全体の3Dモデルデータを伝送するのではなく、オブジェクト単位で3Dモデルデータを生成し、伝送することにより、視聴者が視聴するオブジェクト画像の画質を担保しつつ、再生側の処理負荷を低減するとともに、伝送帯域を削減することを実現する。
なお、本明細書では、配信側から再生側に伝送される伝送データとして映像情報についてのみ説明し、音声情報についての説明は省略するが、動画像に対応する音声情報も合わせて伝送される。
以下では、3D再構成装置23が生成する3Dモデルのデータフォーマットとして、図2を参照して説明した4つのデータフォーマットのうち、マルチテクスチャジオメトリ形式で生成する場合について説明する。
マルチテクスチャジオメトリ形式では、3Dモデルの解像度として、ボクセルサイズ(voxel size)を決定する他、オブジェクトのジオメトリ情報を、ポイントクラウドで表すか、または、ポリゴンメッシュで表すかを決定する必要がある。
その他のデータフォーマットについては後述するが、ポイントクラウド形式では、オブジェクトのジオメトリ情報は、ポイントクラウドで表されるため、3Dモデルの解像度としてはボクセルサイズのみが決定される。同様に、UVテクスチャジオメトリ形式とマルチテクスチャデプス形式では、オブジェクトのジオメトリ情報は、ポリゴンメッシュで表されるため、3Dモデルの解像度としてはボクセルサイズのみが決定される。
<3.3D再構成装置の第1実施の形態>
(3D再構成装置のブロック図)
図4は、3D再構成装置23の第1実施の形態の構成例を示すブロック図である。
3D再構成装置23は、前景背景分離部61、オブジェクト追跡部62、および、3Dモデル生成部63を有する。
前景背景分離部61は、複数の撮像装置21それぞれで撮像された背景画像を、記憶装置22から取得する。また、前景背景分離部61は、複数の撮像装置21それぞれで撮像された前景画像としてのテクスチャ画像を記憶装置22から取得する。なお、図4で図示は省略されているが、前景背景分離部61は、テクスチャ画像とともに、デプス画像も取得する。
前景背景分離部61は、複数の撮像装置21それぞれで撮像された前景画像と背景画像を用いて、シルエット画像を生成し、3Dモデル生成部63に供給する。具体的には、前景背景分離部61は、図5の例に示されるように、前景画像と背景画像の対応する画素どうしで、前景画像と背景画像の差分を演算した画像を、シルエット画像として生成する。前景背景分離部61は、複数の撮像装置21それぞれの前景画像に対応する、複数のシルエット画像を生成し、3Dモデル生成部63に供給する。
オブジェクト追跡部62は、複数の撮像装置21それぞれで撮像された前景画像としてのテクスチャ画像と、それに対応するデプス画像を記憶装置22から取得する。また、オブジェクト追跡部62は、各撮像装置21のカメラパラメータも記憶装置22から取得する。
オブジェクト追跡部62は、各撮像装置21のカメラパラメータ、および、各撮像装置21で撮像された前景画像としてのテクスチャ画像と、それに対応するデプス画像とを用いて、前景画像内に含まれる各オブジェクトのグローバルな位置情報(以下、グローバル位置情報と称する。)を検出する。各オブジェクトのグローバル位置情報は、例えば、グローバル座標系において、オブジェクトを囲むバウンディングボックスで規定される。
図6は、撮影空間101内の3つのオブジェクトのグローバル位置情報が、それぞれ、バウンディングボックス102−1乃至102−3で表された状態を示している。
また、オブジェクト追跡部62は、撮影空間内において各オブジェクトが移動した場合には、オブジェクトの移動も追跡し、移動後の各オブジェクトのグローバル位置情報を検出する。撮影空間内においてオブジェクトのグローバル位置の追跡は、背景画像、テクスチャ画像、および、デプス画像の画像情報(距離情報を含む)のみを用いて行ってもよいし、必要に応じて、例えば、撮影空間内のオブジェクトに、例えば、GPSセンサや加速度センサなどの、移動を検知する移動検出センサを付けて、オブジェクトから送信されるセンサ情報を用いて、グローバル位置の追跡を行ってもよい。本実施の形態においては、オブジェクトのグローバル位置の認識および追跡方法は問わない。
オブジェクト追跡部62は、検出した各オブジェクトのグローバル位置情報を、3Dモデル生成部63に供給する。
3Dモデル生成部63は、パラメータ決定部81、3Dデータ生成部82、およびメッシュ変換部83を備え、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。
パラメータ決定部81は、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間の情報として、各オブジェクトのグローバル位置情報を、オブジェクト追跡部62から取得する。また、パラメータ決定部81は、各撮像装置21のカメラパラメータを、記憶装置22から取得する。
パラメータ決定部81は、取得した各オブジェクトのグローバル位置情報と各撮像装置21のカメラパラメータに基づいて、各オブジェクトの3Dモデルデータをマルチテクスチャジオメトリ形式で生成する際のパラメータを決定する。
具体的には、パラメータ決定部81は、オブジェクトの3Dモデルを生成する際のボクセルサイズを決定し、その結果を3Dデータ生成部82に供給する。
また、パラメータ決定部81は、オブジェクトのジオメトリ情報を、ポイントクラウドで表すか、または、ポリゴンメッシュで表すかを決定し、その結果をメッシュフラグ(mesh flag)で表して、3Dデータ生成部82に供給する。オブジェクトのジオメトリ情報をポイントクラウドで表す場合、メッシュフラグが“0”に設定され、ポリゴンメッシュで表す場合、メッシュフラグが“1”に設定される。
図7および図8を参照して、オブジェクトの3Dモデルのボクセルサイズの決定方法について説明する。
例えば、図7に示されるように、撮影空間内に3つのオブジェクト111−1乃至111−3が存在し、そのうちのオブジェクト111−3が3Dモデルを生成するモデリング対象とされる場合について説明する。
3つのオブジェクト111−1乃至111−3は、撮像装置21−1および21−2により、それぞれ、撮像されている。
初めに、パラメータ決定部81は、モデリング対象のオブジェクト111−3を撮像した複数の撮像装置21のうち、オブジェクト111−3までの距離が一番近い撮像装置21を決定する。各撮像装置21のカメラパラメータと、各オブジェクトのグローバル位置情報とが既知であるので、オブジェクト111−3までの距離が一番近い撮像装置21を決定することができる。
図7の例では、撮像装置21−1からオブジェクト111−3までの距離121−1と、撮像装置21−2からオブジェクト111−3までの距離121−2とを比較すると、距離121−2の方が短いので、オブジェクト111−3までの距離が一番近い撮像装置21として、撮像装置21−2が決定される。決定された撮像装置21−2を、ボクセル算出撮像装置とも称する。
オブジェクト111−3までの距離が一番近い撮像装置21−2が決定されると、パラメータ決定部81は、図8に示されるように、オブジェクト111−3の位置における、撮像装置21−2の1画素(1pixel)に相当するサイズを決定し、ボクセルサイズとする。オブジェクト111−3のグローバル位置情報と、撮像装置21−2のカメラパラメータとが既知であるので、撮像装置21−2の1画素に相当するサイズを計算することができる。例えば、撮像装置21−2の撮影画像の水平方向(横方向)の画素数が1920画素で、撮像装置21−2のF値が1300であり、撮像装置21−2からオブジェクト111−3までの距離(奥行き方向の距離)が15mである場合、1画素に相当するサイズは、10mmとなる。これにより、オブジェクト111−3のボクセルサイズは、10mmに決定される。
モデリング対象のオブジェクト111−3から、ボクセル算出撮像装置である撮像装置21−2までの距離が近いほど、ボクセルサイズは小さい値に設定される。
次に、オブジェクト111−3のメッシュフラグの決定方法について説明する。
パラメータ決定部81は、オブジェクト111−3までの距離が一番近い撮像装置21−2から、オブジェクト111−3までの距離を、予め決定された所定の閾値と比較して、その距離が所定の閾値以内である場合には、メッシュフラグを“1”に設定し、所定の閾値より大きい場合には、メッシュフラグを“0”に設定する。
すなわち、パラメータ決定部81は、オブジェクト111−3までの距離が一番近い撮像装置21−2から、オブジェクト111−3までの距離が所定の閾値以内である場合には、オブジェクトのジオメトリ情報をポリゴンメッシュで表し、所定の閾値より大きい場合には、オブジェクトのジオメトリ情報をポイントクラウドで表すことを決定する。
例えば、メッシュフラグを“1”または“0”に設定するための閾値が“30m”に設定されているとすると、図8に示した例である、撮像装置21−2からオブジェクト111−3までの距離が15mである場合には、メッシュフラグは“1”に設定され、オブジェクトのジオメトリ情報はポリゴンメッシュで表される。メッシュ化するとデータ量はポイントクラウドよりも多くなり、処理負荷が重くなるが、画質が向上する。
以上のように、パラメータ決定部81は、モデリング対象のオブジェクト111−3を撮像した撮像装置21と、モデリング対象のオブジェクト111−3の位置情報に基づいて、モデリング対象のオブジェクトの3Dモデルのパラメータを決定し、3Dデータ生成部82に供給する。
図4に戻り、3Dデータ生成部82には、パラメータ決定部81から、モデリング対象の各オブジェクトの3Dモデルのパラメータが供給される他、各オブジェクトのグローバル位置情報、各撮像装置21のカメラパラメータ、各撮像装置21で撮像された前景画像(テクスチャ画像)も供給される。
3Dデータ生成部82は、前景背景分離部61から供給されるシルエット画像、および、パラメータ決定部81から供給されるオブジェクトの3Dモデルのパラメータなどを用いて、各オブジェクトの3Dモデルを生成する。3Dデータ生成部82により生成されるオブジェクトの3Dモデルデータのデータフォーマットは、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報を、各撮像装置21が撮像した撮影画像(2次元テクスチャ画像)で表したマルチテクスチャジオメトリ形式である。
3Dデータ生成部82は、モデリング対象のオブジェクトについて、複数のシルエット画像を用いて、オブジェクト追跡部62から供給されるオブジェクト空間内でVisual Hullを求めることにより、各オブジェクトの3Dモデル(のデータ)を生成する。Visual Hullは、異なる方向で得られた複数のシルエット画像の交差部分(積集合空間)であり、複数のシルエット画像のVisual Hullを求めることにより、オブジェクトの3Dモデルを生成することができる。オブジェクト追跡部62から供給されるオブジェクト空間とは、モデリング対象のオブジェクトについてオブジェクト追跡部62から供給されるバウンディングボックスで規定された空間である。
前景背景分離部61から供給されるオブジェクトの3Dモデルのパラメータのメッシュフラグが“0”である場合、3Dデータ生成部82は、生成した各オブジェクトの3Dモデルデータをポイントクラウド出力する。すなわち、3Dデータ生成部82は、生成した各オブジェクトの3Dモデルデータを、そのまま符号化装置24に供給する。
一方、前景背景分離部61から供給されるオブジェクトの3Dモデルのパラメータのメッシュフラグが“1”である場合、3Dデータ生成部82は、生成した各オブジェクトの3Dモデルデータをメッシュ出力する。すなわち、3Dデータ生成部82は、生成した各オブジェクトの3Dモデルデータを、メッシュ変換部83に供給し、メッシュ変換してから出力する。
メッシュ変換部83は、3Dデータ生成部82から供給される各オブジェクトの3Dモデルデータの、ポイントクラウドで表されたオブジェクトのジオメトリ情報を、ポリゴンメッシュに変換するメッシュ変換処理を実行する。なお、ポイントクラウドのジオメトリ情報をポリゴンメッシュに変換するメッシュ変換処理としては、例えばマーチングキューブ法などを用いることができるが、これに限定されず、任意の手法を採用することができる。
メッシュ変換部83は、メッシュ変換処理後の各オブジェクトの3Dモデル、即ち、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、オブジェクトの色情報が、各撮像装置21が撮像した前景画像(テクスチャ画像)で表された3Dモデルデータを、符号化装置24に供給する。
(第1の3D再構成処理)
図9は、3D再構成装置23の第1実施の形態による3D再構成処理(第1の3D再構成処理)を説明するフローチャートである。この処理は、例えば、3D再構成装置23と再生表示側である再生装置27との間で、ネットワーク26を介して接続が確立されたとき開始される。
初めに、ステップS11において、前景背景分離部61は、複数の撮像装置21それぞれで撮像された背景画像と前景画像を記憶装置22から取得し、複数の撮像装置21それぞれで撮像された前景画像に対応するシルエット画像を生成する。生成された複数のシルエット画像は、3Dモデル生成部63の3Dデータ生成部82に供給される。
ステップS12において、オブジェクト追跡部62は、複数の撮像装置21それぞれで撮像された前景画像内に含まれる各オブジェクトのグローバル位置情報を検出し、パラメータ決定部81に供給する。オブジェクトのグローバル位置情報は、例えば、グローバル座標系上の、オブジェクトを囲むバウンディングボックスで規定される。
ステップS13において、3Dモデル生成部63は、複数の撮像装置21それぞれで撮像された前景画像内に含まれる1以上のオブジェクトなかの所定のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトに決定する。
ステップS14において、パラメータ決定部81は、モデリング対象のオブジェクトのボクセルサイズを決定し、その結果を3Dデータ生成部82に供給する。ボクセルサイズは、図7および図8を参照して説明したように、モデリング対象のオブジェクトまでの距離が一番近い撮像装置21をボクセル算出撮像装置として、ボクセル算出撮像装置からモデリング対象のオブジェクトを撮像したときの1画素相当のサイズで決定される。
ステップS15において、パラメータ決定部81は、モデリング対象のオブジェクトのメッシュフラグを決定する。すなわち、パラメータ決定部81は、モデリング対象のオブジェクトのジオメトリ情報を、ポリゴンメッシュで表すか、または、ポイントクラウドで表すかを決定する。上述したように、メッシュフラグは、ボクセル算出撮像装置からモデリング対象のオブジェクトまでの距離が、予め決定された所定の閾値以内である場合には“1”に設定され、所定の閾値より大きい場合には“0”に設定される。
ステップS16において、3Dデータ生成部82は、前景背景分離部61から供給されるシルエット画像、および、パラメータ決定部81から供給されるオブジェクトの3Dモデルのパラメータなどを用いて、モデリング対象のオブジェクトの3Dモデルを生成する。
より具体的には、3Dデータ生成部82は、モデリング対象のオブジェクトについて、オブジェクト追跡部62から供給されたモデリング対象のオブジェクト空間を処理対象として、複数のシルエット画像を用いてVisual Hullを求めることにより、3Dモデルを生成する。ここで生成される3Dモデルのデータフォーマットは、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報を、各撮像装置21が撮像した前景画像で表したマルチテクスチャジオメトリ形式となる。
ステップS17において、3Dデータ生成部82は、パラメータ決定部81から供給されたメッシュフラグが“1”であるか、換言すれば、モデリング対象のオブジェクトのジオメトリ情報を、ポイントクラウドではなく、ポリゴンメッシュで表すかを判定する。
ステップS17で、メッシュフラグが“1”であると判定された場合、処理はステップS18に進み、3Dデータ生成部82は、生成したモデリング対象のオブジェクトの3Dモデルデータを、メッシュ変換部83に供給する。メッシュ変換部83は、ポイントクラウドで表されたモデリング対象のオブジェクトのジオメトリ情報を、例えばマーチングキューブ法などを用いて、ポイントクラウドからポリゴンメッシュに変換するメッシュ変換処理を実行する。
ステップS19において、メッシュ変換部83は、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、オブジェクトの色情報が、各撮像装置21が撮像した前景画像で表された、モデリング対象のオブジェクトの3Dモデルデータを、符号化装置24に出力する。
一方、ステップS17で、メッシュフラグが“0”であると判定された場合、処理はステップS20に進み、3Dデータ生成部82は、生成したモデリング対象のオブジェクトの3Dモデルデータを、符号化装置24に出力する。この場合、オブジェクトのジオメトリ情報がポイントクラウドで表され、オブジェクトの色情報が、各撮像装置21が撮像した前景画像で表された3Dモデルデータが、符号化装置24に供給される。
ステップS21において、3Dモデル生成部63は、複数の撮像装置21それぞれで撮像された前景画像内に含まれる全てのオブジェクトを、モデリング対象のオブジェクトに決定したかを判定する。
ステップS21で、全てのオブジェクトを、モデリング対象のオブジェクトに決定していないと判定された場合、処理はステップS13に戻され、上述したステップS13乃至S21の処理が繰り返される。すなわち、まだモデリング対象とされていないオブジェクトがモデリング対象に決定され、3Dモデルのパラメータが決定され、決定されたパラメータに従って、3Dモデル(の3Dモデルデータ)が生成されて、符号化装置24に供給される。
一方、ステップS21で、全てのオブジェクトが、モデリング対象のオブジェクトに決定されたと判定された場合、3D再構成処理が終了する。
以上の第1の3D再構成処理によれば、撮影空間内のオブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、複数のシルエット画像を用いてVisual Hullを求めることにより、各オブジェクトの3Dモデルが生成される。このとき、3Dモデルのパラメータ、具体的には、メッシュフラグとボクセルサイズは、モデリング対象のオブジェクトを撮像した撮像装置21とオブジェクトの位置情報に基づいて、オブジェクトごとに決定される。
3Dモデルを生成する対象を、撮影空間全体ではなく、オブジェクトのオブジェクト空間に限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。
<4.第1実施の形態の変形例>
(3D再構成装置のブロック図)
図10は、第1実施の形態に係る3D再構成装置23の変形例を示すブロック図である。
上述した第1実施の形態では、3D再構成装置23自身が、複数の撮像装置21それぞれで撮像された前景画像と背景画像を用いて、シルエット画像を生成した。
しかしながら、他の装置(例えば、各撮像装置21)で生成されたシルエット画像が3D再構成装置23に供給され、3D再構成装置23は、供給されたシルエット画像を用いて、各オブジェクトの3Dモデルを生成してもよい。
図10の3D再構成装置23は、他の装置で生成されたシルエット画像が3D再構成装置23に供給される場合の構成例を示すブロック図である。
図10において、第1実施の形態における図4の構成と対応する部分については同一の符号を付してあり、その説明は省略する。
図10の3D再構成装置23では、他の装置で生成されたシルエット画像が供給されるので、前景背景分離部61が省略された構成とされている。例えば、他の装置で生成されたシルエット画像は記憶装置22に一旦記憶され、記憶装置22から3D再構成装置23に供給される。3D再構成装置23に供給されたシルエット画像は、3Dデータ生成部82に供給される。その他の構成は、上述した第1実施の形態と同様である。
<5.3D再構成装置の第2実施の形態>
(3D再構成装置のブロック図)
図11は、3D再構成装置23の第2実施の形態の構成例を示すブロック図である。
第2実施の形態の構成例を示す図11においても、第1実施の形態の構成例を示した図4と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分について説明する。
第2実施の形態では、ユーザの視聴情報として、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報が、再生装置27から、送受信装置25を介して、3D再構成装置23に供給される点が、上述した第1実施の形態と異なる。仮想カメラ視聴範囲情報は、例えば、仮想カメラの外部パラメータおよび内部パラメータと、視錐台の前方クリップ面を表すNear情報、並びに、視錐台の後方クリップ面を表すFar情報で構成される。
第1実施の形態に係る3D再構成装置23は、撮影空間内の全てのオブジェクトについて、3Dモデルを生成した。
これに対して、第2実施の形態に係る3D再構成装置23は、再生装置27からの仮想カメラ視聴範囲情報に基づいて、仮想カメラの視聴範囲内のオブジェクトについてのみ、3Dモデルを生成する。
3Dモデル生成部63は、ユーザの視聴範囲に含まれるオブジェクトについてのみ、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。
再生装置27から送信されてくる仮想カメラ視聴範囲情報は、3Dモデル生成部63内のパラメータ決定部81に供給される。
パラメータ決定部81は、仮想カメラ視聴範囲情報と、オブジェクト追跡部62から供給される各オブジェクトのグローバル位置情報とに基づいて、撮影空間に含まれる全てのオブジェクトのうち、仮想カメラの視聴範囲内に含まれるオブジェクトを選択(決定)する。
パラメータ決定部81は、図12に示されるように、撮影空間に含まれる全てのオブジェクトについて、オブジェクトが仮想カメラ141の視聴範囲内、具体的には、斜線を付して示される視錐台142に含まれるか否かを判定する。
より具体的には、パラメータ決定部81は、オブジェクトのバウンディングボックスを構成する各頂点情報を仮想カメラ141の画像面143に投影し、各頂点情報に対応するUV座標の少なくとも1つが仮想カメラ141の画像面143に含まれる場合には、仮想カメラ141の視聴範囲内であると判定する。一方、バウンディングボックスを構成する各頂点情報に対応するUV座標の全てが仮想カメラ141の画像面143に含まれない場合には、そのオブジェクトは、仮想カメラ141の視聴範囲外であると判定される。
図12の例では、オブジェクト151−1のバウンディングボックス152−1を投影した投影面153−1は、仮想カメラ141の画像面143に含まれるため、オブジェクト151−1は、仮想カメラ141の視聴範囲内であると判定される。一方、オブジェクト151−2のバウンディングボックス152−2を投影した投影面153−2は、仮想カメラ141の画像面143に含まれないため、オブジェクト151−2は、仮想カメラ141の視聴範囲外であると判定される。仮想カメラ141の画像面143は、UV座標系で表される。
また、図13に示されるように、仮想カメラ141の視聴範囲内であっても、他のオブジェクトのオクルージョンになっているオブジェクトについては、3Dモデルを生成しない。
図13の例では、オブジェクト161−1のバウンディングボックス162−1を投影した投影面163−1内に、オブジェクト161−2のバウンディングボックス162−2を投影した投影面が完全に含まれるため、オブジェクト161−2は、オブジェクト161−1のオクルージョンになっている。そのため、オブジェクト161−2は、3Dモデルのモデリング対象から除外される。
仮想カメラ141の視聴範囲内に含まれるオブジェクトが選択された後の3Dモデル生成部63の処理は、基本的に、第1実施の形態と同様である。
ただし、第1実施の形態では、モデリング対象のオブジェクトまでの距離が一番近い撮像装置21をボクセル算出撮像装置として、ボクセル算出撮像装置からモデリング対象のオブジェクトを撮像したときの1画素相当のサイズで、ボクセルサイズが決定された。
これに対して、第2実施の形態では、ボクセル算出撮像装置が仮想カメラ141に置き換えられる。
すなわち、図7及び図8を参照して説明したボクセル算出撮像装置としての撮像装置21−2が仮想カメラ141に置き換えられ、仮想カメラ141からモデリング対象のオブジェクトを撮像したときの1画素相当のサイズで、ボクセルサイズが決定される。仮想カメラ141からモデリング対象のオブジェクトまでの距離が近いほど、小さいボクセルサイズに設定される。仮想カメラ141からモデリング対象のオブジェクトまでの距離は、ユーザの注目度に相当する。
また、仮想カメラ141からモデリング対象のオブジェクトまでの距離が所定の閾値以内である場合には、オブジェクトのジオメトリ情報がポリゴンメッシュで表され、所定の閾値より大きい場合には、オブジェクトのジオメトリ情報がポイントクラウドで表される。
以上のように、パラメータ決定部81は、ユーザの視聴情報として供給される仮想カメラ視聴範囲情報と、モデリング対象のオブジェクトの位置情報に基づいて、モデリング対象のオブジェクトの3Dモデルのパラメータを決定し、3Dデータ生成部82に供給する。3Dデータ生成部82は、モデリング対象のオブジェクトの3Dモデルデータを生成する。
(第2の3D再構成処理)
図14は、3D再構成装置23の第2実施の形態による3D再構成処理(第2の3D再構成処理)を説明するフローチャートである。この処理は、例えば、3D再構成装置23と再生表示側である再生装置27との間で、ネットワーク26を介して接続が確立されたとき開始される。
図14の第2の3D再構成処理の各ステップの処理を、図9で説明した第1の3D再構成処理の各ステップの処理と比較すると、ステップS43とステップS44が新たに追加されており、その他のステップS41,S42,S45乃至S53は、図9のステップS11乃至S21と同様である。
具体的には、まず、ステップS41およびS42において、図9のステップS11およびS12とそれぞれ同様に、前景背景分離部61がシルエット画像を生成するとともに、オブジェクト追跡部62が各オブジェクトのグローバル位置情報を検出する。
ステップS43において、パラメータ決定部81は、再生装置27から送信されてきた仮想カメラ視聴範囲情報を取得する。
そして、ステップS44において、パラメータ決定部81は、仮想カメラ視聴範囲情報と、オブジェクト追跡部62から供給される各オブジェクトのグローバル位置情報とに基づいて、撮影空間に含まれる全てのオブジェクトのうち、仮想カメラの視聴範囲内に含まれるオブジェクトを、3Dモデルを生成するオブジェクトとして決定する。なお、仮想カメラの視聴範囲内に含まれるオブジェクトであっても、他のオブジェクトのオクルージョンになっているオブジェクトについては、3Dモデルを生成するオブジェクトから除外される。
その後のステップS45乃至S53の各処理は、図9のステップS13乃至S21と、それぞれ同様である。
ただし、図9の第1の3D再構成処理では、3Dモデル生成部63は、撮影空間(前景画像)内に含まれる全てのオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとして、モデリング対象の各オブジェクトについて、ステップS13乃至S21の処理を繰り返し実行した。
一方、図14の第2の3D再構成処理では、3Dモデル生成部63は、ステップS44で、3Dモデルを生成するオブジェクトとして選択された1以上のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとし、モデリング対象の各オブジェクトについて、ステップS45乃至S53の処理を繰り返し実行する。
以上の第2の3D再構成処理によれば、仮想カメラの視聴範囲内のオブジェクトについてのみ、3Dモデルが生成される。3Dモデルの生成については、第1実施の形態と同様に、オブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、各オブジェクトの3Dモデルが生成される。
3Dモデルを生成する対象を、オブジェクトのオブジェクト空間に限定するとともに、ユーザの視聴範囲に限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。
なお、第2実施の形態においても、第1実施の形態の変形例のように、他の装置で生成されたシルエット画像を取得して、各オブジェクトの3Dモデルを生成する構成も可能である。
<6.3D再構成装置の第3実施の形態>
(3D再構成装置のブロック図)
図15は、3D再構成装置23の第3実施の形態の構成例を示すブロック図である。
第3実施の形態の構成例を示す図15においても、第1実施の形態の構成例を示した図4と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略して、異なる部分について説明する。
第3実施の形態では、ユーザの視聴情報として、仮想カメラの視点に基づく視聴範囲を示す仮想カメラ視聴範囲情報と、ユーザが表示対象として指定したオブジェクトを示すオブジェクト識別情報が、再生装置27から、送受信装置25を介して、3D再構成装置23に供給される点が、上述した第1実施の形態と異なる。オブジェクト識別情報は、本実施の形態では、オブジェクトIDとされる。仮想カメラ視聴範囲情報は、第2実施の形態と同様である。
第1実施の形態に係る3D再構成装置23は、撮影空間内の全てのオブジェクトについて、3Dモデルを生成した。
これに対して、第3実施の形態に係る3D再構成装置23は、ユーザが表示対象として指定したオブジェクトについてのみ、3Dモデルを生成する。
そのため、3Dモデル生成部63は、最初に、図16のAに示されるように、全てのオブジェクトのグローバル位置情報にオブジェクトIDを付して、再生装置27に送信する。
各オブジェクトのグローバル位置情報としては、例えば、図16のBに示されるように、バウンディングボックスの頂点のx座標の最小値xminおよび最大値xmax、y座標の最小値yminおよび最大値ymax、並びに、z座標の最小値zminおよび最大値zmaxを採用することができる。
3Dモデル生成部63には、再生装置27から、ユーザによって指定された1以上のオブジェクトのオブジェクトIDが、仮想カメラ視聴範囲情報とともに、ユーザの視聴情報として、送信されてくる。
3Dモデル生成部63は、再生装置27からの仮想カメラ視聴範囲情報とオブジェクトIDに基づいて、ユーザが表示対象として指定したオブジェクトについてのみ、オブジェクト空間ごとにオブジェクトの3Dモデルを決定し、3Dモデルデータを生成する。
再生装置27からの仮想カメラ視聴範囲情報とオブジェクトIDは、3Dモデル生成部63内のパラメータ決定部81に供給される。
パラメータ決定部81は、再生装置27からのオブジェクトIDに基づいて、3Dモデルデータを生成するオブジェクトを決定(選択)する。
3Dモデルデータを生成するオブジェクトが決定された後の3Dモデル生成部63の処理は、第2実施の形態と同様である。すなわち、仮想カメラ視聴範囲情報に基づいて、仮想カメラ141からモデリング対象のオブジェクトを撮像したときの1画素相当のサイズで、ボクセルサイズが決定される。また、仮想カメラ141からモデリング対象のオブジェクトまでの距離が、予め決定された所定の閾値以内であるか否かに基づいて、モデリング対象のオブジェクトのジオメトリ情報を、ポリゴンメッシュで表すか、または、ポイントクラウドで表すかが決定される。
(第3の3D再構成処理)
図17は、3D再構成装置23の第3実施の形態による3D再構成処理(第3の3D再構成処理)を説明するフローチャートである。この処理は、例えば、3D再構成装置23と再生表示側である再生装置27との間で、ネットワーク26を介して接続が確立されたとき開始される。
図17の第3の3D再構成処理の各ステップの処理を、図9で説明した第1の3D再構成処理の各ステップの処理と比較すると、ステップS73乃至S75が新たに追加されており、その他のステップS71,S72,S76乃至S84は、図9のステップS11乃至S21と同様である。
具体的には、まず、ステップS71およびS72において、図9のステップS11およびS12とそれぞれ同様に、前景背景分離部61がシルエット画像を生成するとともに、オブジェクト追跡部62が各オブジェクトのグローバル位置情報を検出する。
ステップS73において、パラメータ決定部81は、撮影空間内の全オブジェクトのオブジェクトIDとグローバル位置情報を、送受信装置25等を介して、再生装置27に送信する。
ステップS74において、パラメータ決定部81は、再生装置27から、ユーザの視聴情報として送信されてくる、ユーザが指定した1以上のオブジェクトのオブジェクトIDと仮想カメラ視聴範囲情報を取得する。
ステップS75において、パラメータ決定部81は、再生装置27からのオブジェクトIDに基づいて、ユーザが指定したオブジェクトを、3Dモデルを生成するオブジェクトとして決定する。
その後のステップS76乃至S84の各処理は、図9のステップS13乃至S21と、それぞれ同様である。
ただし、図9の第1の3D再構成処理では、3Dモデル生成部63は、撮影空間(前景画像)内に含まれる全てのオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとして、モデリング対象の各オブジェクトについて、ステップS13乃至S21の処理を繰り返し実行した。
一方、図17の第3の3D再構成処理では、3Dモデル生成部63は、ステップS75で、3Dモデルを生成するオブジェクトとして決定された1以上のオブジェクトを、3Dモデルを生成するモデリング対象のオブジェクトとし、モデリング対象の各オブジェクトについて、ステップS76乃至S84の処理を繰り返し実行する。
以上の第3の3D再構成処理によれば、ユーザの視聴情報としてユーザが指定したオブジェクトについてのみ、3Dモデルが生成される。3Dモデルの生成については、第1実施の形態と同様に、オブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、各オブジェクトの3Dモデルが生成される。
3Dモデルを生成する対象を、オブジェクトのオブジェクト空間に限定するとともに、ユーザが指定したオブジェクトに限定して3Dモデルを生成することにより、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
また、モデリング対象のオブジェクトごとに、3Dモデルのパラメータが決定されるので、オブジェクト毎に画質と負荷を調整することができる。
なお、第3実施の形態においても、第1実施の形態の変形例のように、他の装置で生成されたシルエット画像を取得して、各オブジェクトの3Dモデルを生成する構成も可能である。
<7.第1乃至第3実施の形態のまとめ>
図18は、第1乃至第3実施の形態に係る3D再構成装置23の3Dモデルのモデリング方法をまとめたテーブルである。
第1実施の形態では、撮像空間に存在する全てのオブジェクトが、モデリング対象のオブジェクトに決定される。
そして、モデリング対象のオブジェクトから距離が最も近い撮像装置21とオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、撮像装置21から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、撮像装置21から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。
このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。
また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
次の第2実施の形態では、モデリング対象のオブジェクトを決定するために、再生装置27から仮想カメラ視聴範囲情報が供給され、その仮想カメラ視聴範囲情報に基づいて、仮想カメラ141の視聴範囲に含まれるオブジェクトがモデリング対象のオブジェクトに決定される。
そして、仮想カメラ141とモデリング対象のオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、仮想カメラ141から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、仮想カメラ141から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。
このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。
また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
さらに、仮想カメラの視聴範囲内のオブジェクトのみ、3Dモデルを生成するので、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。
次の第3実施の形態では、モデリング対象のオブジェクトを決定するために、再生装置27から、ユーザが表示対象として指定したオブジェクトIDと仮想カメラ視聴範囲情報が供給され、ユーザ指定のオブジェクトIDに対応するオブジェクトがモデリング対象のオブジェクトに決定される。
そして、仮想カメラ141とモデリング対象のオブジェクトとの位置関係に基づいて、ボクセルサイズとメッシュ化の有無が決定される。具体的には、ボクセルサイズについては、仮想カメラ141から近いオブジェクトは細かく、遠いオブジェクトは粗く設定される。メッシュ化の有無については、仮想カメラ141から近いオブジェクトはメッシュ化され、遠いオブジェクトはメッシュ化されず、ポイントクラウドで表現される。
このように、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。
また、オブジェクトをモデリングする際、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減し、高速にモデリングすることができる。また、再生装置27へ伝送する際の伝送帯域を削減することができる。
さらに、ユーザが表示対象として指定したオブジェクトのみ、3Dモデルを生成するので、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。
<8.画像処理システムのその他の構成例>
図19は、本技術を適用した画像処理システムのその他の構成例を示すブロック図である。
図19においては、図3と対応する部分については同一の符号を付してあり、その部分の説明は省略し、異なる部分に着目して説明する。
図19の画像処理システム10を、図3の画像処理システム10と比較すると、記憶装置22と3D再構成装置23との間に、選択装置30が新たに追加されている。図19の画像処理システム10のその他の構成は、図3の画像処理システム10と同様である。なお、選択装置30は、3D再構成装置23の一部として追加されてもよい。
選択装置30には、3D再構成装置23と同様に、ユーザの視聴情報としての仮想カメラ視聴範囲情報が、再生装置27から送受信装置25を介して供給される。
選択装置30は、上述したオブジェクト追跡部62と同様に、各撮像装置21で撮像された前景画像内に含まれる各オブジェクトのグローバル位置情報を検出する機能を備える。
図3の画像処理システム10では、3D再構成装置23は、全ての撮像装置21(撮像装置21−1乃至21−N)で撮像された前景画像およびデプス画像を取得した。
これに対して、図19の画像処理システム10では、選択装置30が、再生装置27から送信されてきた仮想カメラ視聴範囲情報に基づいて、仮想カメラの視聴範囲内のオブジェクトを特定する。そして、選択装置30は、記憶装置22に記憶されている、全ての撮像装置21で撮像された前景画像(テクスチャ画像)およびデプス画像のうち、特定されたオブジェクトが含まれる前景画像およびデプス画像を選択して、記憶装置22から取得し、3D再構成装置23に供給する。
例えば、図20に示されるように、仮想カメラ視聴範囲情報に基づいて、仮想カメラ141の視聴範囲内に含まれる3つのオブジェクト181−1乃至181−3が特定される。この3つのオブジェクト181−1乃至181−3は、撮像装置21−1および21−2によって撮像された前景画像には含まれるが、撮像装置21−3によって撮像された前景画像には含まれないとする。
この場合、選択装置30は、撮像装置21−1および21−2によって撮像された前景画像については3D再構成装置23に供給し、撮像装置21−3によって撮像された前景画像については3D再構成装置23に供給しない。
図21は、撮像装置21の個数が7個であり、撮像装置21−1乃至21−7それぞれで撮像された前景画像から、視聴範囲内に含まれるオブジェクトが撮像された前景画像を選択する処理を示す図である。
図21は、記憶装置22に記憶されている、撮像装置21−1乃至21−7それぞれで撮像された前景画像のうち、上述した撮像装置21−3によって撮像された前景画像と、撮像装置21−6によって撮像された前景画像に、仮想カメラ141の視聴範囲内に含まれるオブジェクトが映っていない例を示している。
この場合、選択装置30は、撮像装置21−1、21−2、21−4、21−5、および、21−6によって撮像された前景画像を選択して、3D再構成装置23に供給し、撮像装置21−3および21−6によって撮像された前景画像を非選択として3D再構成装置23に供給しない。3D再構成装置23は、選択装置30から供給される前景画像を用いて、オブジェクトの3Dモデルを決定し、生成する。
なお、上述した第1乃至第3実施の形態の変形例のように、他の装置で生成されたシルエット画像が記憶装置22に記憶されている場合には、仮想カメラ141の視聴範囲内に含まれるオブジェクトを含む前景画像に対応するシルエット画像が選択され、3D再構成装置23に供給される。
このように、画像処理システム10において、3Dモデルを生成する3D再構成装置23に供給する前景画像またはシルエット画像を選択する選択装置30を追加することにより、3D再構成装置23の処理負荷を低減し、処理を高速化することができる。
<9.配信処理と再生処理>
次に、画像処理システム10の配信側全体の処理である配信処理と、再生側全体の処理である再生処理について説明する。
(配信処理)
最初に、図22のフローチャートを参照して、画像処理システム10の配信側による配信処理について説明する。
初めに、ステップS301において、複数の撮像装置21それぞれは、所定の撮影空間を撮像し、その結果得られる動画像を記憶装置22に供給する。
ステップS302において、3D再構成装置23は、記憶装置22に記憶されている、複数の撮像装置21それぞれで得られた動画像を用いて、オブジェクト毎にパラメータを決定し、3Dモデルを生成する。生成された各オブジェクトの3Dモデルデータは、符号化装置24に供給される。
このステップS302の処理では、上述したように、第1実施の形態では、撮像空間に存在する全てのオブジェクトがモデリング対象に決定され、3Dモデルが生成される。第2実施の形態では、ユーザの視聴範囲(仮想カメラの視聴範囲)内のオブジェクトがモデリング対象に決定され、3Dモデルが生成される。第3実施の形態では、ユーザが指定したオブジェクトがモデリング対象に決定され、3Dモデルが生成される。
また、図19に示した画像処理システム10のように、選択装置30が設けられる場合には、ステップS301の処理とステップS302の処理との間に、仮想カメラ視聴範囲情報に基づいて、前景画像またはシルエット画像を選択する処理が追加される。
ステップS303において、符号化装置24は、3D再構成装置23から供給された各オブジェクトの3Dモデルデータを、例えば、AVC方式、HEVC方式等の所定の符号化方式で符号化する。符号化して得られた3Dモデルの符号化ストリームは、送受信装置25へ供給される。
ステップS304において、送受信装置25は、符号化装置24から供給された3Dモデルの符号化ストリームを、ネットワーク26を介して再生装置27へ送信する。
以上の配信処理によれば、複数の撮像装置21で撮像されて生成された、多数のオブジェクトの3Dモデルのうち、任意の3Dモデルを選択して、再生装置27で再生されるように、3Dモデルデータを伝送することができる。
(再生処理)
次に、図23のフローチャートを参照して、画像処理システム10の再生側による再生処理について説明する。
初めに、ステップS321において、再生装置27の送受信部41は、送受信装置25から供給される、各オブジェクトの3Dモデルデータを符号化した符号化ストリームを受信(取得)し、復号部42に供給する。
ステップS322において、復号部42は、送受信部41から供給された3Dモデルの符号化ストリームを、符号化装置24における符号化方式に対応する方式で復号する。復号部42は、復号して得られた各オブジェクトの3Dモデルデータを描画部43に供給する。
ステップS323において、描画部43は、復号部42から供給された各オブジェクトの3Dモデルデータに基づいて、仮想カメラの視点からのオブジェクトの画像(オブジェクト画像)を表示画像として生成し、表示装置28に供給する。
ステップS324において、表示装置28は、描画部43から供給された表示画像を2次元表示して、再生処理を終了する。
以上の再生処理によれば、3Dモデルのパラメータがオブジェクトごとに決定されて生成された3Dモデル(のデータ)を受信して、表示装置28に表示させることができる。
画像処理システム10によれば、モデリング対象のオブジェクトごとに、3Dモデルのモデリング方法を決定することで、オブジェクト毎に画質と負荷を調整することができる。
また、オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、モデリング対象のオブジェクト空間を処理対象として、オブジェクトの3Dモデルを生成するので、処理負荷を低減するとともに、再生装置27へ伝送する際の伝送帯域を削減することができる。
さらに、ユーザの視聴情報に基づいて、モデリング対象のオブジェクトを限定した場合には、撮影空間内の全てのオブジェクトをモデリングする場合と比べて、処理負荷が低減されるとともに、処理速度を高速化することができる。
<10.マルチテクスチャジオメトリ形式以外のデータフォーマットで伝送する場合>
上述した例では、3Dモデルのデータフォーマットとして、図2を参照して説明した4つのデータフォーマットのうち、マルチテクスチャジオメトリ形式で生成する場合について説明した。
3Dモデルのデータフォーマットとしてポイントクラウド形式で伝送する場合には、オブジェクトのジオメトリ情報はポイントクラウドで表されるため、上述したメッシュ化するか否かの判定は省略される。3D再構成装置23の3Dモデル生成部63は、撮像装置21または仮想カメラ141から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、3Dモデルを生成する。
3DモデルのデータフォーマットとしてUVテクスチャジオメトリ形式で伝送する場合には、オブジェクトのジオメトリ情報はポリゴンメッシュで表されるため、上述したメッシュ化するか否かの判定は省略される。3D再構成装置23の3Dモデル生成部63は、撮像装置21または仮想カメラ141から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、3Dモデルを生成する。
3Dモデルのデータフォーマットとしてマルチテクスチャデプス形式で伝送する場合には、上述したメッシュ化するか否かの判定は省略され、最初に、オブジェクトのジオメトリ情報はポリゴンメッシュで表される。3D再構成装置23の3Dモデル生成部63は、撮像装置21または仮想カメラ141から、モデリング対象のオブジェクトまでの距離に応じてボクセルサイズを決定し、オブジェクトのジオメトリ情報を、決定したボクセルサイズのポリゴンメッシュで表した3Dモデルを生成する。その後、3Dモデル生成部63は、ポリゴンメッシュで表したオブジェクトのジオメトリ情報から、複数の撮像装置21で得られた複数枚の撮影画像(テクスチャ画像)に対応する複数枚のデプス画像を生成し、マルチテクスチャデプス形式の3Dモデルデータを伝送する。
<11.マルチユーザに伝送する場合>
上述した例では、配信側である3D再構成装置23と、再生側である再生装置27および表示装置28とが、1対1の関係である場合について説明した。しかしながら、再生側として複数のユーザが存在し、配信側である3D再構成装置23が、複数のユーザに対応する複数の再生装置27からの要求に応えて、所定のオブジェクトの3Dモデルを伝送する構成も可能である。
この場合、3D再構成装置23は、複数の再生装置27それぞれのユーザの視聴情報(仮想カメラの視聴範囲)に応じて、個別に、オブジェクトの3Dモデルを決定し、伝送してもよいし、例えば、複数のユーザの視聴範囲や指定オブジェクトのOR(論理和)を演算して、演算結果に対応する複数のオブジェクトの3Dモデルを決定し、伝送してもよい。
<12.コンピュータ構成例>
上述した3D再構成処理、配信処理、再生処理等の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ900において、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、及びドライブ910が接続されている。
入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア911を駆動する。
以上のように構成されるコンピュータ900では、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905及びバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ900(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ900では、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータ900が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<13.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図25は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図25に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図25では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図26は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図26には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図25に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図25の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図25に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、上述した画像処理システム10の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000に、上述した画像処理システム10を適用する場合、例えば、画像処理システム10の撮像装置21は、撮像部7410の少なくとも一部に相当する。また、記憶装置22、3D再構成装置23、符号化装置24、送受信装置25、および、再生装置27は一体化され、マイクロコンピュータ7610と記憶部7690に相当する。表示装置28は、表示部7720に相当する。送受信装置25と再生装置27との間のネットワーク26は省略され得る。ユーザである運転者の視聴範囲を検出する場合には、撮像部7410の一部や、運転者状態検出部7510によって検出される。以上のようにして、画像処理システム10を、図25に示した応用例の統合制御ユニット7600に適用することにより、例えば、車両走行中にLidar(ライダー)で周囲環境を取得しながら3D地図情報などを更新する際に、認識したオブジェクトの重要度に応じてメッシュ化の有無やボクセルサイズを決定し、生成した3D地図情報を表示画像として表示部7720等に高画質(高解像度)に表示することができる。
また、画像処理システム10の少なくとも一部の構成要素は、図25に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、画像処理システム10が、図25に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
(1)
オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する3Dモデル生成部
を備える画像処理装置。
(2)
前記3Dモデル生成部は、前記オブジェクトを撮像した撮像装置と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
前記(1)に記載の画像処理装置。
(3)
前記3Dモデル生成部は、前記オブジェクトを撮像した複数の撮像装置のうち、前記3Dモデルを生成するオブジェクトに一番近い撮像装置と前記オブジェクトの位置情報に基づいて、前記パラメータを決定する
前記(2)に記載の画像処理装置。
(4)
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表す
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が、所定の閾値以内である場合には、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、前記所定の閾値より大きい場合には、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
前記(4)に記載の画像処理装置。
(6)
前記3Dモデル生成部は、前記撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
前記(2)に記載の画像処理装置。
(7)
前記3Dモデル生成部は、ユーザの視聴情報と前記オブジェクトの位置情報に基づいて、前記オブジェクトの3Dモデルのパラメータを決定する
前記(1)に記載の画像処理装置。
(8)
前記ユーザの視聴情報は、仮想カメラの視点に基づくユーザの視聴範囲を示す視聴範囲情報であり、
前記3Dモデル生成部は、前記ユーザの視聴範囲に含まれる前記オブジェクトの3Dモデルを生成する
前記(7)に記載の画像処理装置。
(9)
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報をポイントクラウドまたはポリゴンメッシュで表され、
前記3Dモデル生成部は、前記ユーザの注目度が低いオブジェクトについては、前記オブジェクトのジオメトリ情報をポイントクラウドで表す
前記(8)に記載の画像処理装置。
(10)
前記3Dモデル生成部は、前記ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
前記(8)または(9)に記載の画像処理装置。
(11)
前記3Dモデル生成部は、前記ユーザの注目度として、前記仮想カメラから前記オブジェクトまでの距離を用いる
前記(9)または(10)に記載の画像処理装置。
(12)
前記ユーザの視聴情報は、ユーザが表示対象として指定したオブジェクトを示すオブジェクト識別情報であり、
前記3Dモデル生成部は、前記オブジェクト識別情報が示す前記オブジェクトの3Dモデルを生成する
前記(7)に記載の画像処理装置。
(13)
前記オブジェクトの3Dモデルは、複数の方向から撮像した複数枚のテクスチャ画像で前記オブジェクトの色情報を表し、前記オブジェクトのジオメトリ情報を前記テクスチャ画像の画素値に対応させて距離情報を格納した複数枚のデプス画像で表す
前記(1)に記載の画像処理装置。
(14)
前記3Dモデル生成部は、前記オブジェクトのジオメトリ情報を、設定したボクセルサイズのポリゴンメッシュで表した後、前記デプス画像に変換する
前記(13)に記載の画像処理装置。
(15)
前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポイントクラウドで表し、そのポイントクラウドの各点に対応して前記オブジェクトの色情報で表す
前記(1)に記載の画像処理装置。
(16)
前記オブジェクトの3Dモデルは、前記オブジェクトのジオメトリ情報をポリゴンメッシュで表し、その各ポリゴンメッシュに対応して前記オブジェクトの色情報を表す
前記(1)に記載の画像処理装置。
(17)
前記3Dモデル生成部は、撮像装置から前記オブジェクトまでの距離が近いほど、小さいボクセルサイズを設定する
前記(13)乃至(16)のいずれかに記載の画像処理装置。
(18)
前記3Dモデル生成部は、ユーザの注目度が高いオブジェクトほど、小さいボクセルサイズを設定する
前記(13)乃至(16)のいずれかに記載の画像処理装置。
(19)
前記オブジェクトの3Dモデルは、前記オブジェクトの色情報とジオメトリ情報で構成され、
前記オブジェクトの色情報は、複数の方向から撮像した複数枚のテクスチャ画像で表され、
ユーザの視聴情報に基づいて所定のオブジェクトを特定し、前記複数枚のテクスチャ画像のなかから、特定されたオブジェクトが含まれる前記テクスチャ画像を選択する選択部をさらに備え、
前記3Dモデル生成部は、前記オブジェクトの色情報として、選択された前記テクスチャ画像を用いて、前記オブジェクトの3Dモデルを生成する
前記(1)に記載の画像処理装置。
(20)
画像処理装置が、
オブジェクトの3D領域を示すオブジェクト空間情報をオブジェクトごとに取得して、オブジェクト空間ごとにオブジェクトの3Dモデルを生成する
画像処理方法。