JP6512575B2 - 三次元形状情報の配信または放送の方法 - Google Patents

Description

本発明は、三次元形状情報の配信または放送の方法に関するものである。

インターネットを利用した動画配信やテレビ放送では、カメラで撮影した二次元の映像が配信または放送されている。

２０１０年頃から立体視が可能な３Ｄテレビが販売され、画面を左右に分割するサイドバイサイドと呼ばれる方式で左目と右目の視差を考慮した立体視用の左目用映像と右目用映像を放送する番組が一部の放送局で制作されるようになった。同様に、立体視が可能なＰＣ用３Ｄ対応ディスプレイやプロジェクターも販売されており、インターネットを利用したサイドバイサイド方式の動画配信やストリーミング配信も行われている。

バーチャルリアリティの分野では、視聴者の頭の位置と見ている方向をセンサーなどで計測するヘッドトラッキングと呼ばれる機能が実装された低価格のヘッドマウントディスプレイが販売されるようになった。また、ＰＣでも利用可能な家庭用ゲーム機の周辺機器として、奥行きを計測できる深度センサーも販売されている。

サイドバイサイド方式で配信または放送された映像を立体視することによって撮影対象の再生像が画面から飛び出して見えたり奥行きがあるように見えたりするものの、撮影対象の三次元形状を正確に把握できる内容には至っていない。

現状では、バーチャルリアリティ向けの三次元形状を含むコンテンツを作成するには三次元コンピューターグラフィックスに関する知識が必要であり、インターネット上で行われている動画配信やストリーミング配信のように、手軽に作成できて、リアルタイム性を持った、バーチャルリアリティ向けのコンテンツを配信または放送する方法は確立されていない。

本発明は、このような問題を解決しようとするものであり、入手が容易なカメラと深度センサーで撮影するだけで撮影対象の三次元形状情報を二次元動画としてインターネット配信またはテレビ放送でき、受信した動画から撮影対象の正確な三次元形状を復元してコンピューターグラフィックスで再生したり、バーチャルリアリティ向けのコンテンツとして利用したりできるようにすることを目的とするものである。

撮影対象をカメラと深度センサーで撮影して得られるカラー画像と奥行き画像を含む一つの画像を作成する。その際、カラー画像と奥行き画像は重ならないように、かつ、余白のある状態で一つの画像内に配置する。

奥行き画像の画素として記録されている奥行き情報から三次元座標を復元するには、撮影に使用した深度センサーの画角と奥行き画像の解像度の情報が必要となる。深度センサーの画角、奥行き画像の解像度、画素の奥行き画像内での位置を表す二次元座標、画素として記録されている奥行き情報から復元される三次元座標は深度センサーからの相対位置を表す。

撮影対象の三次元形状の点群データを作成するには、奥行き画像の各画素から復元された三次元座標の点の色を決定しなければならない。奥行き画像の各画素とカラー画像の画素との対応付けを行うには、撮影に使用したカメラの画角とカラー画像の解像度の情報が必要となる。

また、作成した一つの画像からカラー画像と奥行き画像を取得する際に、一つの画像のどの部分にカラー画像と奥行き画像が配置されているかの情報が必要となる。

これらのカメラ、深度センサー、カラー画像、奥行き画像に関する情報を二次元コードに符号化して、一つの画像の余白に配置する。

このような方法で作成された、撮影対象の三次元形状の点群データを作成するために必要なカラー画像、奥行き画像、二次元コードを含む一つの画像を三次元形状情報画像と呼ぶことにする。

撮影対象を一組のカメラと深度センサーで撮影する場合、カメラと深度センサーの死角となる部分は色情報も奥行き情報も記録できず、撮影対象全体の三次元形状を復元することはできない。そこで、撮影対象を複数組のカメラと深度センサーで撮影して死角となる部分を減らすことで、一組のカメラと深度センサーで撮影する場合に比べてより広範囲な撮影対象の部分の三次元形状を復元することができる。

一組のカメラと深度センサーの場合と同様に、複数組のカメラと深度センサーで撮影して得られる複数組のカラー画像と奥行き画像を並べて一つの三次元形状情報画像を作成する。カメラ、深度センサー、カラー画像、奥行き画像の各組に対し、組を一意に識別するためのＩＤを割り当て、各組のＩＤと、カメラ、深度センサー、カラー画像、奥行き画像に関する情報とを符号化した二次元コードを作成し、三次元形状情報画像の余白に配置する。

複数の深度センサーで撮影する場合、各深度センサーからの相対位置で表された撮影対象の一部分の点群データ同士の位置関係を考慮して合成し、撮影対象のより広範囲な部分の一つの点群データを作成するために、各深度センサーがどの位置から撮影対象を撮影しているのか知る必要がある。撮影している実空間のある一点を原点とする仮想的な座標系を定義し、各深度センサーの原点からの位置と深度センサーが向いている方向を計測し、深度センサーの設置位置情報として対応する二次元コードに含める。深度センサーの設置位置を考慮することにより、奥行き画像の各画素として記録されている奥行き情報から仮想的な座標系における絶対位置を表す三次元座標を復元することができる。

動きのある撮影対象の場合、一組または複数組のカメラと深度センサーで連続して撮影して時系列の三次元形状情報画像を作成することで、各時刻における撮影対象の三次元形状の点群データを作成することができる。時系列の三次元形状情報画像から一つの動画を作成するとき、この動画を三次元形状情報動画と呼ぶことにする。

三次元形状情報動画を作成することで、動きのある撮影対象の時系列の三次元形状の点群データを一つの動画データファイルとして受け渡しすることができる。

インターネットの動画配信またはテレビ放送の既存のインフラを利用して三次元形状情報動画を配信または放送することにより、動きのある撮影対象の時系列の三次元形状情報をインターネットで動画配信またはテレビで録画放送する。

または、三次元形状情報動画を配信または放送する代わりに、カメラと深度センサーで連続して撮影して三次元形状情報画像を逐次作成し、インターネットのストリーミング配信またはテレビ放送の既存のインフラを利用して、動きのある撮影対象の現在の三次元形状情報をインターネットでライブ配信またはテレビで生放送する。

動画データファイルとして受け取った、または、インターネットまたはテレビ放送から受信した三次元形状情報動画の各フレームに記録された時系列の三次元形状情報画像を取得する。

三次元形状情報画像から一つまたは複数の二次元コードを抽出する。各二次元コードからカメラ、深度センサー、カラー画像、奥行き画像に関する情報を読み取り、三次元形状情報画像から一組または複数組のカラー画像と奥行き画像を取得する。

一組または複数組の奥行き画像と二次元コードに対し、二次元コードから読み取った深度センサーの画角、奥行き画像の解像度、奥行き画像の各画素として記録されている奥行き情報から三次元座標を復元する。

一組または複数組のカラー画像と奥行き画像と二次元コードに対し、二次元コードから読み取ったカメラと深度センサーの画角とカラー画像と奥行き画像の解像度から、奥行き画像の各画素とカラー画像の画素との対応付けを行い、奥行き画像から復元した各三次元座標の点の色を決定し、撮影対象の三次元形状の点群データを作成する。

複数組のカラー画像と奥行き画像と二次元コードが存在する場合、二次元コードから読み取った深度センサーの設置位置を考慮して点群データを絶対座標で作成し、カラー画像と奥行き画像と二次元コードの各組から作成した撮影対象の一部分の三次元形状の点群データを合成して、撮影対象の広範囲な部分の三次元形状の一つの点群データを作成する。

インターネットから三次元形状情報を受信する場合、ＰＣなどの機器を使用して作成した点群データをコンピューターグラフィックスで描画して、撮影対象の三次元形状を再生する。時系列の点群データを連続して描画することで撮影対象の動きを再現する。

ＰＣなどの機器に接続されたマウスやジョイスティックなどの入力装置による視聴者の操作に従って、コンピューターグラフィックス上の撮影対象の再生像を移動、回転、拡大縮小することにより、視聴者は撮影対象の三次元形状を正確に理解することができる。

左目、右目の視差を考慮した左目用コンピューターグラフィックス画像と右目用コンピューターグラフィックス画像を描画し、ＰＣ用３Ｄ対応ディスプレイまたは３Ｄ対応プロジェクターを使用して立体視することにより、視聴者は撮影対象の三次元形状を直観的に把握することができる。

ヘッドマウントディスプレイやＣＡＶＥ（登録商標）などのスクリーンシステムに適応した方法で撮影対象の三次元形状の点群データをコンピューターグラフィックスで描画することより、受信した三次元形状情報をバーチャルリアリティ向けのコンテンツとして利用することができる。

テレビ放送から三次元形状情報を受信するには、撮影対象の三次元形状の点群データをコンピューターグラフィックスで再生する機能を実行するための機器とプログラムをテレビ受像機に実装する。

上述したように本発明の方法は、三次元コンピューターグラフィックスに関する知識がなくても、入手が容易なカメラと深度センサーで撮影するだけで、バーチャルリアリティのコンテンツとしても利用可能な、動きのある三次元形状の時系列の点群データの情報を含む一連の画像または動画を作成することができる。

時系列の点群データを画像または動画として扱うことにより、既存のインフラを利用してインターネット配信またはテレビ放送することができ、受信した点群データをコンピューターグラフィックスで描画する際に、移動、回転、拡大縮小などの操作をしたり、立体視したりすることで、従来の３Ｄ動画配信よりも正確な撮影対象の三次元形状を再生することができる。

また、テレビ受像機に本発明の方法を実装することで、視聴者が自由に視点を変更して放送内容を視聴できる真の３Ｄテレビ放送が実現可能となる。

本発明の方法の実施の一例を示した説明図 一組のカメラと深度センサーで作成した三次元形状情報画像の一例を示した図 二組のカメラと深度センサーで作成した三次元形状情報画像の一例を示した図

以下、本発明の実施の形態を図１〜図３に基づいて説明する。

三次元形状情報の送信側は、図１のように、撮影対象１を本発明の方法を実装したプログラムを実行するためのＰＣなどの機器６に接続されたカメラ２と深度センサー３で撮影し、一組のカラー画像と奥行き画像を取得する。

奥行き画像の各画素とカラー画像の画素の対応付けを簡単にするために、カメラと深度センサーは同じ位置に設置する。図１はカメラと深度センサーが一体化された家庭用ゲーム機の周辺機器を使用した例である。

一組のカメラと深度センサーを使用する場合、ＰＣなどの機器６上で動作する本発明の方法を実装したプログラムで、図２のようにカラー画像１９と奥行き画像２０を含む一つの三次元形状情報画像１７を作成する。

撮影に使用したカメラと深度センサーの画角、カラー画像と奥行き画像の解像度、カラー画像と奥行き画像が三次元形状情報画像内のどこに配置されているかを表す二次元座標の情報を符号化した二次元コード１８を三次元形状情報画像の余白に配置する。

二次元コードはＱＲコード（登録商標）などの既存の符号化技術を利用する。受信側が三次元形状情報画像から二次元コードを抽出する処理を簡単にするために、二次元コードは三次元形状情報画像の左上に配置するなど予め仕様を決めておく。また、三次元形状情報画像が配信または放送のためにエンコードおよびデコードされる際に、画像の全ての画素が必ずしも元通りに復元される訳ではないことを考慮し、受信側で二次元コードを正しく読み取れるように、二次元コードは実行環境に応じてある程度拡大した状態で三次元形状情報画像に含める。

カラー画像と奥行き画像の位置を表す二次元座標は、三次元形状情報画像の左上を原点とし右方向が＋Ｘ軸で下方向が＋Ｙ軸、のように予め仕様を決めておくか、使用する座標系の情報を二次元コードに記録して受信側に通知する。

一組のカメラと深度センサーを使用する場合、カメラと深度センサーの死角となる部分の色情報と奥行き情報は得られないため、撮影対象の一部分の三次元形状情報しか取得できないが、複数組のカメラと深度センサーで異なる位置から撮影して、撮影対象の広範囲の部分の三次元形状情報を取得することが可能である。図１では、カメラ２と深度センサー３の組とカメラ４と深度センサー５の組の二組で撮影している。機器６を一台のＰＣとする場合、二組のカメラと深度センサーを一台のＰＣに接続して二組のカラー画像と奥行き画像を取得する。機器６を二台のＰＣの集合体とする場合、二台のＰＣはネットワーク接続などで通信可能な状態とし、各ＰＣに一組のカメラと深度センサーを接続して一組のカラー画像と奥行き画像を取得し、各ＰＣで取得した計二組のカラー画像と奥行き画像を一方のＰＣで収集して三次元形状情報画像作成の処理を行う。

複数組のカメラと深度センサーを使用する場合、複数組のカラー画像と奥行き画像と二次元コードを含む一つの三次元形状情報画像を作成する。各組に対し、組を一意に識別するためのＩＤを割り当てる。各組のＩＤと、組を構成するカメラと深度センサーの画角、カラー画像と奥行き画像の解像度と三次元形状情報画像内の二次元座標の情報を二次元コードに符号化する。

二組のカメラと深度センサーを使用する場合、図３のように三次元形状情報画像２１は一組目のカラー画像２４、奥行き画像２５、二次元コード２２と、二組目のカラー画像２６、奥行き画像２７、二次元コード２３を含む。

複数組のカメラと深度センサーを使用する場合、各組の情報から作成した点群データを合成して撮影対象の広範囲な部分の三次元形状の点群データを作成するために各深度センサーの設置位置情報が必要となる。撮影している実空間のある一点を原点とする仮想的な座標系を定義し、各深度センサーの位置と向きを計測して、深度センサーの設置位置情報として該当する二次元コードに符号化する。

各深度センサーの設置位置を表すための仮想的な座標系は、＋Ｙ軸が上方向で座標値はメートル単位、のように予め仕様を決めておくか、使用する座標系の情報を二次元コードに記録して受信側に通知する。

動きのある撮影対象の場合、一組または複数組のカメラと深度センサーで連続して撮影して時系列の三次元形状情報画像を作成し、一連の三次元形状情報画像から一つの三次元形状情報動画を作成する。三次元形状情報動画の各フレームに記録されている三次元形状情報画像から二次元コードを読み取る際に、二次元コードを抽出するための画像処理を毎フレームで行わなくても良いように、一連の三次元形状情報画像の二次元コードの位置は不変であると予め仕様を決めておくのが望ましい。

三次元形状情報動画は、時系列の点群データを作成するために必要な情報を含んでいるが、一連の二次元画像から作成した通常の二次元動画として取扱いできるので、既存のインフラや技術を利用できる。動画データファイルとして保存する際、インターネットの動画配信のフォーマットとして広く利用されているＭＰＥＧ−４規格や、デジタルテレビ放送で利用されているＭＰＥＧ−２規格を選択することができる。この動画データファイルを使用して、インターネットで動画配信またはテレビで録画放送する。

三次元形状情報動画を作成する代わりに、一組または複数組のカメラと深度センサーで連続して撮影して三次元形状情報画像を逐次作成し、インターネットでライブ配信またはテレビで生放送することもできる。三次元形状情報画像は点群データを作成するために必要な情報を含んでいるが、通常の二次元画像として取扱いできるので、インターネットのストリーミング配信のプロトコルとして広く利用されているＲＴＭＰプロトコルを選択することができる。

三次元形状情報の受信側は、図１のように、インターネット配信またはテレビ放送された三次元形状情報動画をＰＣなどの機器９またはテレビ受像機８で受信し、動画の各フレームに記録された時系列の三次元形状情報画像を取得する。

以下、受信側でインターネットに接続されたＰＣなどの機器を使用する場合の方法を説明する。

三次元形状情報画像から画像処理の技術を使用して一つまたは複数の二次元コードを抽出する。各二次元コードからカラー画像と奥行き画像の解像度と三次元形状情報画像内の位置を読み取り、一つまたは複数のカラー画像、奥行き画像、二次元コードの組を取得する。

複数の二次元コードが存在する場合、各二次元コードから組を一意に識別可能なＩＤを読み取り、ＩＤと組を構成するカメラ、深度センサー、カラー画像、奥行き画像の関連付けを行う。

二次元コードから深度センサーの画角を読み取り、奥行き画像の解像度と奥行き画像の各画素として記録されている奥行き情報から三次元座標を復元する。復元された三次元座標は深度センサーからの相対座標である。

複数の深度センサーを使用している場合は、各二次元コードから読み取った深度センサーの設置位置情報を適用して奥行き画像から絶対座標の三次元座標を復元する。

深度センサーの画角と奥行き画像の解像度、二次元コードから読み取ったカメラの画角とカラー画像の解像度から、奥行き画像の各画素に対応するカラー画像の画素を求め、奥行き画像の各画素から復元した三次元座標の点の色を決定する。カメラと深度センサーの画角が異なる場合は、カメラと深度センサーのどちらか一方でしか撮影されていない画素が存在することになるが、そのような画素は三次元座標または色のいずれかが不明で点群データを構成する点として復元できないので、無効な画素として処理対象から外す。奥行き画像に含まれる全ての有効な画素の三次元座標と色を決定して、撮影対象の三次元形状の点群データを作成する。

点群データをコンピューターグラフィックスで描画する。コンピューターグラフィックスの処理を行う機器の能力に応じて、点群データを点のまま描画するか、隣接する複数の点からポリゴンと呼ばれる面を作成して隙間が生じないように描画する。

表示装置として通常のＰＣ用ディスプレイを使用する場合でも、マウスやジョイスティックなどの入力装置を使用した視聴者の操作に合わせて点群データを移動、回転、拡大縮小した状態で描画することで、撮影対象の再生像を様々な方向から見ることができ、従来のインターネット配信による映像よりも撮影対象の三次元形状を正確に把握することができる。

表示装置としてＰＣ用３Ｄ対応ディスプレイ１０や３Ｄ対応プロジェクターを使用する場合、左目と右目の視差を考慮した左目用コンピューターグラフィックス画像と右目用コンピューターグラフィックス画像を描画して立体視を行う。立体視により、視聴者は撮影対象の三次元形状を直感的に把握することができる。

表示装置としてヘッドトラッキング機能が実装されたヘッドマウントディスプレイ１１やＣＡＶＥ（登録商標）などのスクリーンシステム１２といったバーチャルリアリティシステムを使用する場合、三次元形状情報画像や三次元形状情報動画から点群データを取得する機能をバーチャルリアリティシステムに実装することで、撮影対象の三次元形状の点群データをバーチャルリアリティのコンテンツとして利用することができる。

以下、テレビ放送を受信するテレビ受像機を使用する場合の方法を説明する。

テレビ放送の受信および撮影対象の再生像の表示装置としてテレビ受像機を使用するには、テレビ受像機に本発明の方法を実行するための機器とプログラムを実装して、受信した三次元形状情報動画から作成した時系列の点群データをコンピューターグラフィックスで再生できるようにする必要がある。

３Ｄテレビの場合は、左目用コンピューターグラフィックス画像と右目用コンピューターグラフィックス画像による立体視の機能も実装される必要がある。

また、テレビのリモコン装置またはマウスやジョイスティックなどの入力装置を使った視聴者の操作により再生像の移動、回転、拡大縮小を行う機能が実装されることが望ましい。

１ 撮影対象
２ 一組目のカメラ
３ 一組目の深度センサー
４ 二組目のカメラ
５ 二組目の深度センサー
６ カメラと深度センサーの制御、三次元形状情報画像と三次元形状情報動画の作成、インターネット配信またはテレビ放送を行うためのＰＣなどの機器または機器の集合体およびプログラム
７ インターネットまたはテレビ電波
８ 受信した三次元形状情報動画から撮影対象の三次元形状の点群データの作成、コンピューターグラフィックスによる点群データの再生を行う機能が実装されたテレビ受像機
９ インターネット接続、受信した三次元形状情報動画から撮影対象の三次元形状の点群データの作成、コンピューターグラフィックスによる点群データの再生を行うためのＰＣなどの機器または機器の集合体およびプログラム
１０ ＰＣ用３Ｄ対応ディスプレイ
１１ ヘッドマウントディスプレイ
１２ ＣＡＶＥ（登録商標）システム
１３ テレビに表示された撮影対象の再生像
１４ ＰＣ用３Ｄ対応ディスプレイに表示された撮影対象の立体視用再生像
１５ ヘッドマウントディスプレイに表示された撮影対象の右目用再生像
１６ ＣＡＶＥ（登録商標）システムにバーチャルリアリティのコンテンツとして表示された撮影対象の再生像
１７ 一組のカメラと深度センサーを使用して作成した三次元形状情報画像
１８ カメラと深度センサーとカラー画像と奥行き画像の情報を符号化した二次元コード
１９ カメラで撮影したカラー画像
２０ 奥行きセンサーで撮影した奥行き画像
２１ 二組のカメラと深度センサーを使用して作成した三次元形状情報画像
２２ 一組目のカメラと深度センサーとカラー画像と奥行き画像の情報を符号化した二次元コード
２３ 二組目のカメラと深度センサーとカラー画像と奥行き画像の情報を符号化した二次元コード
２４ 一組目のカメラで撮影したカラー画像
２５ 一組目の深度センサーで撮影した奥行き画像
２６ 二組目のカメラで撮影したカラー画像
２７ 二組目の深度センサーで撮影した奥行き画像

Claims (9)

1. カメラで撮影したカラー画像と、深度センサーで撮影した奥行き画像と、前記カメラと前記深度センサーの画角と前記カラー画像と前記奥行き画像の解像度と三次元形状情報画像内のどこに配置されているかを表す二次元座標の情報を符号化した二次元コードとから、撮影対象の三次元形状の点群データの作成に必要な情報を記録した一つの三次元形状情報画像を作成する方法。
2. 請求項１において、一組の前記カメラと前記深度センサーを使用した場合に死角となって撮影されない前記撮影対象の部分を撮影するために、複数組のカメラと深度センサーを使用して複数組のカラー画像と奥行き画像を取得し、複数組の前記カラー画像と、前記奥行き画像と、前記二次元コードとから成り、前記二次元コードには前記カメラと前記深度センサーの設置位置も記録して、一つの前記三次元形状情報画像を作成する方法。
3. 前記一組または複数組のカメラと深度センサーで、動きのある撮影対象を連続して撮影して、時系列の前記一組または複数組のカラー画像と奥行き画像を取得し、請求項１または請求項２記載の方法で作成した前記動きのある撮影対象の時系列の前記三次元形状情報画像から、前記動きのある撮影対象の時系列の三次元形状の点群データの作成に必要な情報を記録した一つの三次元形状情報動画を作成する方法。
4. 請求項１記載の方法で作成した前記三次元形状情報画像から、前記一組のカラー画像と奥行き画像と二次元コードを取得し、前記二次元コードに符号化された前記情報と、前記奥行き画像の画素として記録された奥行き情報から復元した三次元座標と、前記カラー画像の画素として記録された色情報とから、前記撮影対象の三次元形状の点群データを作成する方法。
5. 請求項２記載の方法で作成した前記三次元形状情報画像から、前記複数組のカラー画像と奥行き画像と二次元コードを取得し、前記カラー画像と前記奥行き画像と前記二次元コードの各組に対して請求項４記載の方法を実施して、前記撮影対象の三次元形状の点群データを作成する方法。
6. 請求項３記載の方法で作成した前記三次元形状情報動画の各フレームに記録された各前記三次元形状情報画像に対して、請求項４または請求項５記載の方法を実施して、前記動きのある撮影対象の時系列の点群データを作成する方法。
7. 請求項３記載の方法で作成した前記三次元形状情報動画をインターネットで動画配信またはテレビで録画放送し、インターネットまたはテレビ放送から受信した前記三次元形状情報動画から請求項６記載の方法で前記時系列の点群データを作成して、前記動きのある撮影対象の時系列の三次元形状をコンピューターグラフィックスで再生する方法。
8. 請求項７において、前記三次元形状情報動画をインターネットで動画配信またはテレビで録画放送する代わりに、請求項１または請求項２記載の方法を連続して実施して、前記動きのある撮影対象の前記三次元形状情報画像を逐次作成し、インターネットでライブ配信またはテレビで生放送する方法。
9. 請求項４と請求項５と請求項６の方法と、請求項７と請求項８のテレビ放送から受信した前記三次元形状情報動画から作成した前記点群データをコンピューターグラフィックスで再生する方法を実行するための機器とプログラムを実装したテレビ受像機。

Images