JP5749595B2

JP5749595B2 - 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム

Info

Publication number: JP5749595B2
Application number: JP2011164283A
Authority: JP
Inventors: 志織杉本; 信哉志水; 宣彦松浦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-07-27
Filing date: 2011-07-27
Publication date: 2015-07-15
Anticipated expiration: 2031-07-27
Also published as: JP2013030898A

Description

本発明は、画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラムに関する。

次世代の画像メディアの一つとして、視聴者が自由に視点を操作することができる自由視点画像が注目を集めている。自由視点画像は、対象シーンを多数の撮像装置を用いて様々な位置・角度から撮像してシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することによって様々な視点から見た画像を生成するものである。

このような画像を生成するためには、シーン内全ての光線情報を撮像によって取得するには膨大な数の撮像装置を密に設置しなければならないため、容易には実現できない。実際には、疎に配置した少数の撮像装置から得られる光線情報から、何らかの補間手法を用いて未取得の光線情報を合成する必要がある。

この補間合成の手法のひとつとして、多視点画像とそこから推定されるシーンの奥行情報を用いて仮想視点画像を合成するDepth Image based Rendering（ＤＩＢＲ）がある。奥行情報は多視点画像の各画素における、カメラから被写体までの距離である。自由視点画像を伝送することを考えた場合、奥行情報を送信側で推定し多視点のグレースケール画像（デプスマップ）として記述して伝送することが有効である。この方法は受信側の演算量を削減すると共に、符号化歪みが重畳する前の多視点画像を用いて、奥行情報を推定することでより精度の高い推定を可能にする。

このような多視点画像と多視点デプスマップからなる画像データは膨大な情報量を持つため、より効率のいい符号化方式が必須であり、様々な方式が検討されている。しかしながら符号量の削減と共にもう一つ達成しなければならないこととして、デコーダのスループットとメモリ容量の上限から、画像データの総画素数を通常の単一視点画像の数倍程度に抑える必要があると報告されている。そこで一般的には、総画素数を削減するため、多視点デプスマップをダウンサンプリングし画素数の削減を行うといった方法が取られる（例えば、非特許文献１参照）。

Yea S, Vetro A, "VIEW SYNTHESIS PREDICTION FOR RATEOVERHEAD REDUCTION IN FTV", 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video(2008).

しかしながら、多視点デプスマップをダウンサンプリングする方法では、デプスマップのダウンサンプリングによって三次元情報が欠損し視点間画素対応の正確性が損なわれることで、仮想視点における画像を合成した時に画像品質が著しく低下するという問題がある。逆にデプスマップの解像度を維持し多視点画像をダウンサンプリングした場合、三次元情報が正確に保持されるため上記の問題は発生しないが、合成前の画像自体の品質が低下することにより合成画像の品質も同様に低下すると容易に類推できる。

本発明は、このような事情に鑑みてなされたもので、合成画像の品質を維持しながら伝送データの総画素数の削減を行うことができる自由視点の画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラムを提供することを目的とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送方法であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップと、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを有することを特徴とする。

本発明は、ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第１のフィルタ選択ステップと、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第２のフィルタ選択ステップとをさらに有し、前記ダウンサンプリングステップは、前記第１のフィルタ選択ステップで選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第２のフィルタ選択ステップで選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。

本発明は、前記第１のフィルタ選択ステップで選択したフィルタを識別する情報を符号化し付加情報符号データとして出力する付加情報符号化ステップと、前記付加情報符号データを復号して前記フィルタを識別する情報を出力する付加情報復号ステップとをさらに有し、前記第２のフィルタ選択ステップは、前記フィルタを識別する情報に基づいてアップサンプリングに用いるフィルタを選択することを特徴とする。

本発明は、画像の復元効率が最も高くなるフィルタを設定する第１のフィルタ設定ステップと、画像の復元効率が最も高くなるフィルタを設定する第２のフィルタ設定ステップとをさらに有し、前記ダウンサンプリングステップは、前記第１のフィルタ設定ステップで設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリングステップは、前記第２のフィルタ設定ステップで設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。

本発明は、前記第１のフィルタ設定ステップで設定したフィルタの識別情報を符号化して付加情報符号データを出力する付加情報符号化ステップと、前記付加情報符号データを復号してフィルタの識別情報を出力する付加情報復号ステップとをさらに有し、前記第２のフィルタ設定ステップは、前記フィルタの識別情報に基づき前記アップサンプリングに用いるフィルタを設定することを特徴とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段と、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする。

本発明は、ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第１のフィルタ選択手段と、アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第２のフィルタ選択手段とをさらに備え、前記ダウンサンプリング手段は、前記第１のフィルタ選択手段で選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第２のフィルタ選択手段で選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。

本発明は、画像の復元効率が最も高くなるフィルタを設定する第１のフィルタ設定手段と、画像の復元効率が最も高くなるフィルタを設定する第２のフィルタ設定手段とをさらに備え、前記ダウンサンプリング手段は、前記第１のフィルタ設定手段で設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、前記アップサンプリング手段は、前記第２のフィルタ設定手段で設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングすることを特徴とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置であって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段とを備えることを特徴とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置であって、前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段とを備えることを特徴とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置上のコンピュータに画像送信処理を行わせる画像送信プログラムであって、前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップとを行わせることを特徴とする。

本発明は、同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像を送信する画像送信装置から送信された自由視点画像符号データを受信する画像受信装置上のコンピュータに画像受信処理を行わせる画像受信プログラムであって、前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップとを行わせることを特徴とする。

本発明によれば、高解像度多視点画像をダウンサンプリングして低解像度多視点画像として高解像度デプスマップと共に送信し、受信後に高解像度デプスマップから得られる三次元情報を用いて視点間で画素情報を参照し合うことにより、低解像度多視点画像をアップサンプリングして自由視点画像合成に用いることができ、結果として合成画像の品質を維持しながら伝送データの総画素数の削減を行うことができるという効果が得られる。

本発明の第１の実施形態の構成を示すブロック図である。図１に示す画像送信装置２００の処理動作を示すフローチャートである。図１に示す画像受信装置３００の処理動作を示すフローチャートである。本発明の第２の実施形態の構成を示すブロック図である。図４に示す画像送信装置２００の処理動作を示すフローチャートである。図４に示す画像受信装置３００の処理動作を示すフローチャートである。本発明の第３の実施形態の構成を示すブロック図である。図７に示す画像送信装置２００の処理動作を示すフローチャートである。図７に示す画像受信装置３００の処理動作を示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像伝送装置を説明する。図１は同実施形態の構成を示すブロック図である。画像伝送装置１００は、画像送信装置２００と、画像受信装置３００から構成する。画像送信装置２００は、多視点画像入力部２０１、多視点デプスマップ入力部２０２、縮小率設定部２０３、ダウンサンプリング部２０４、デプスマップ符号化部２０５、画像符号化部２０６、多重化部２０７を備える。

多視点画像入力部２０１は、自由視点画像を生成するためのシーンを多視点から撮影した高解像度多視点画像を入力する。多視点デプスマップ入力部２０２は、高解像度多視点デプスマップを入力する。縮小率設定部２０３は、多視点画像の縮小率を決定する。ダウンサンプリング部２０４は、入力された高解像度多視点画像を設定された縮小率で縮小し低解像度多視点画像を生成する。デプスマップ符号化部２０５は、入力された高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを生成する。画像符号化部２０６は、低解像度多視点画像を符号化し低解像度多視点画像符号データを生成する。多重化部２０７は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを多重化し自由視点画像符号データを生成する。

また、画像受信装置３００は、符号データ入力部３０１、逆多重化部３０２、画像復号部３０３、デプスマップ復号部３０４、三次元投影点設定部３０５、視点間対応関係設定部３０６、アップサンプリング部３０７、仮想視点設定部３０８、自由視点画像合成部３０９を備える。

符号データ入力部３０１は、自由視点画像符号データを入力する。逆多重化部３０２は、入力された符号データを低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化する。画像復号部３０３は、低解像度多視点画像符号データを復号し低解像度多視点画像とする。デプスマップ復号部３０４は、高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップとする。三次元投影点設定部３０５は、高解像度多視点画像における各画素の三次元上への投影点を計算する。視点間対応点設定部３０６は、各視点各画素の三次元投影点を用いて、高解像度多視点画像の視点間画素対応関係を小数画素精度で求める。アップサンプリング部３０７は、求めた視点間画素対応関係を用いて低解像度多視点画像をアップサンプリングし、高解像度多視点画像とする。仮想視点設定部３０８は、自由視点画像を生成するための仮想的な視点を設定する。自由視点画像合成部３０９は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成する。

次に、図２を参照して、図１に示す画像送信装置２００の処理動作を説明する。図２は、図１に示す画像送信装置２００の処理動作を示すフローチャートである。図２は、図１に示す画像送信装置２００によって、自由視点画像合成に必要となる、同じシーンを複数の視点から撮影した多視点画像と、それぞれの視点におけるシーンの深度情報を記録した多視点デプスマップとを伝送する際の処理動作を示したものである。

まず、多視点画像入力部２０１は高解像度多視点画像を入力し、多視点デプスマップ入力部２０２は高解像度多視点デプスマップを入力する（ステップＳ１）。次に、縮小率設定部２０３は多視点画像の縮小率を設定する（ステップＳ２）。この縮小率は縦横同率の縮小率としても構わないし、縦横それぞれに独立の縮小率を設定しても構わない。また、縮小率の値そのものは、固定値を用いても構わないし、多視点画像の解像度や視点数等から適切な値を計算する方法をとっても構わない。画像受信装置３００側でその値を得ることができない場合は送信側で値を符号化して伝送しても構わない。

次に、ダウンサンプリング部２０４は、設定された縮小率で高解像度多視点画像を縮小し、低解像度多視点画像を生成する（ステップＳ３）。続いて、デプスマップ符号化部２０５は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部２０６により低解像度多視点画像を符号化し低解像度多視点画像符号データとする（ステップＳ４）。符号化には任意の手法を用いて構わない。

次に、多重化部２０７は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを自由視点画像符号データとして多重化し（ステップＳ５）、多重化した符号データを出力する（ステップＳ６）。この出力方法としては、ネットワークにて伝送しても構わないし、何らかの記録媒体に記録する方法をとっても構わない。

次に、図３を参照して、図１に示す画像受信装置３００の処理動作を説明する。図３は、図１に示す画像受信装置３００の処理動作を示すフローチャートである。図３は、画像受信装置３００によって、画像送信装置２００により伝送された低解像度多視点画像と高解像度多視点デプスマップを受信し、高解像度多視点デプスマップを用いて多視点画像の解像度をアップサンプリングした上で、それらを用いて自由視点画像を合成する際の処理動作を示したものである。

まず、符号データ入力部３０１は、自由視点画像符号データを入力する（ステップＳ１１）。このときの入力はネットワークによる伝送でも構わないし、何らかの記録媒体からの入力でも構わない。入力された自由視点画像符号データは逆多重化部３０２に受け渡され、逆多重化部３０２は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化する（ステップＳ１２）。画像復号部３０３は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部３０４は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力する（ステップＳ１３）。このときの復号方法は送信装置側で符号化に用いたものと同一の方法が使われる。

次に、三次元投影点設定部３０５は、高解像度多視点デプスマップより得られる奥行情報と各視点のカメラパラメータに基づき、高解像度多視点画像における各画素の三次元上への投影点を計算する（ステップＳ１４）。各視点のカメラパラメータは、送信側と同一の値を得られればよいとし、画像から推定を行っても構わないし、送信側で符号化して伝送しても構わない。

次に、視点間対応点設定部３０６は、高解像度多視点画像の視点間画素対応関係を小数画素精度で求める（ステップＳ１５）。これは各画素の三次元投影点が他の視点カメラによって撮影される際の投影面での小数画素精度の位置をその視点における対応点の位置とするものである。

次に、アップサンプリング部３０７は、ステップＳ１５で得られた視点間画素対応関係を用いて低解像度多視点画像をアップサンプリングし高解像度多視点画像を出力する（ステップＳ１６）。このアップサンプル処理は次の関数Ｕ_ｖで表される。

ここで、ＨＲ_ｖは視点ｖにおける高解像度画像、ＬＲ_ｋは視点ｋにおける低解像度画像、ｆ_ｋ，ｌはステップＳ１５で得られる視点ｋにおける高解像度画像の各画素に対する視点ｌの低解像度画像上の小数画素精度の対応位置を示す関数を表す。

具体的には、ステップＳ１５で得られた視点間画素対応関係に基づいて得られる他視点の小数画素位置の画素値を参照することによってアップサンプル処理を行う。このときのアップサンプル処理ｕ_ｖは次の数式で表される。

ここで、多視点画像の視点数をｎ、視点ｋの高解像画像の画素ｐ_ｋに対する視点ｌの低解像度画像ＬＲ_ｌでの対応点をＣ_ｌ（ｐ_ｋ）とした。また、小数画素位置の画素値ＬＲ_ｌ［Ｃｌ（ｐ_ｖ）］は周辺の整数画素の値から任意の補間法を使って求める。例えば４近傍画素から一次補間で求める方法等が適用できる。あるいは、その視点における高解像度デプスマップの値を参照し、オブジェクト境界部分などの近傍画素同士で奥行き値が大きく異なる場合には、最近傍画素の奥行き値を基準として、奥行き値が一定範囲内の近傍画素群を用いて補間を行うなどの方法も考えられる。なお、最近傍画素の奥行き値の代わりに、アップサンプル対象視点の画素に対する奥行き値を用いても構わない。ただし、同じ三次元位置を示す奥行き値が視点間で異なる場合には、アップサンプル対象視点の画素に対する奥行き値を、補間処理を行う視点における奥行き値へ変換する必要がある。

このとき関数ｕ_ｖとしては任意の関数を用いることができる。例えば、次の数式で表される重み付け平均を用いても構わない。

このとき、重みｗ_ｋ（ｐ_ｖ）を全て１とすると単純平均による処理となる。また、重みｗ_ｋ（ｐ_ｖ）として、アップサンプリング対象視点ｖと視点ｋとの距離が近いほど大きな値となる重みを用いても構わないし、Ｃ_ｋ（ｐ_ｖ）の最近傍の整数画素位置からの距離が近いほど大きな値となる重みを用いても構わないし、この２つの重みの組み合わせによる重みを用いても構わない。

また、高解像度画像が得られた際の低解像度画像における誤差を最小化するように重みを求めても構わない。

なお、ａｒｇｍｉｎは与えられた関数の最小値を与える、下部で与えられたパラメータを返す関数である。Ｄ_ｖはステップＳ３のダウンサンプリング処理、ｐ_ｖ’はｐ_ｖに対応する低解像度画像上の整数画素位置を表す。ここでは、誤差として差分の二乗を用いたが、差分の絶対値など他の誤差尺度を用いても構わない。また、上記の式では視点ｖにおける誤差のみを考慮したが、高解像度画像が得られた際の全視点の低解像度画像における誤差の合計値や最大値，分散値を考慮しても構わない。さらに、誤差だけでなく、高解像度画像における画像らしさの評価値も誤差尺度に加えても構わない。画像らしさの評価値にはＴｏｔａｌＶａｒｉａｔｉｏｎノルムなどを用いることができる。

また、高解像度画像における画像らしさを考慮しながら全視点の低解像度画像における誤差を最小化することで、アップサンプリングを行う手法として、超解像を用いるようにしてもよい。超解像の手法の詳細は、「文献：Farsiu S, Robinson MD, Elad M, Milanfar, “Fast and robust multiframe super resolution”, IEEE TRANSACTIONS ON IMAGE PROCESSING, Vol.13, No10 (2010).」に記載されている。

次に、仮想視点設定部３０８は、自由視点画像を生成する仮想的な視点を設定する（ステップＳ１７）。これはユーザによる設定等の外部入力でも構わないし、固定値でも構わない。そして、自由視点画像合成部３０９は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成する（ステップＳ１８）。詳しい手法は、「文献：Mori Y, Fukushima N, Fujii T, Tanimoto M, “View generation with 3D warping using depth information for FTV”, Image Communication, Vol. 24, No. 1-2 (2009).」に記載されている。このときにステップＳ１４で求めた各視点の三次元投影点の情報を使って演算量の削減をすることが可能となる。最後に、自由視点画像合成部３０９は、合成された画像を出力する（ステップＳ１９）。

＜第２の実施形態＞
次に、本発明の第２の実施形態による画像伝送装置を説明する。図４は、本発明の第２の実施形態による画像伝送装置の構成を示すブロック図である。図４において、図１に示す画像伝送装置と同一の部分には同一の符号を付し、その説明を省略する。図４に示す画像伝送装置が図１に示す画像伝送装置と異なる点は、縮小率設定部２０３に代えて、ダウンサンプリングに用いるフィルタを選択するフィルタ選択部２０８が設けられている点と、アップサンプリング部３０７の前にアップサンプリングに用いるフィルタを選択するフィルタ選択部３１０が設けられている点である。

次に、図５を参照して、図４に示す画像送信装置２００の処理動作を説明する。図５は、図４に示す画像送信装置２００の処理動作を示すフローチャートである。図５において、図２に示す処理動作と同様の部分には同一の符号を付してある。図５に示す処理動作が図２に示す処理動作と異なる点は、ダウンサンプリング部２０４において使用するフィルタを選択する処理を行う点である。

まず、多視点画像入力部２０１は高解像度多視点画像を入力し、多視点デプスマップ入力部２０２は高解像度多視点デプスマップを入力する（ステップＳ１）。次に、フィルタ選択部２０８は、多視点画像のダウンサンプリングに用いるフィルタを一般的にダウンサンプリングに用いられるフィルタから選択する（ステップＳ２ａ）。これは受信側での復元効率ができるだけ高くなるように画像内容や視点数によって適切なものを選択してもいいし、ユーザ入力などの外部からの入力によって選択しても構わない。選択方法は、例えば、予め設計しておいたフィルタそれぞれを用いてダウンサンプリングとアップサンプリングを行い、元画像と比較して最も復元率の高いものを選択するといった方法が考えられる。また、どのフィルタを選択したかの情報を符号化し付加情報として送信しても構わない。その後、ダウンサンプリング部２０４は、選択されたダウンサンプリングフィルタを用いて高解像度多視点画像を縮小し、低解像度多視点画像を生成する（ステップＳ３）。

次に、デプスマップ符号化部２０５は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部２０６により低解像度多視点画像を符号化し低解像度多視点画像符号データとする（ステップＳ４）。続いて、多重化部２０７は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとを自由視点画像符号データとして多重化し（ステップＳ５）、多重化した符号データを出力する（ステップＳ６）。

次に、図６を参照して、図４に示す画像受信装置３００の処理動作を説明する。図６は、図４に示す画像受信装置３００の処理動作を示すフローチャートである。図６において、図３に示す処理動作と同様の部分には同一の符号を付してある。図６に示す処理動作が図３に示す処理動作と異なる点は、アップサンプリング部３０７において使用するフィルタを選択する処理を行う点である。

まず、符号データ入力部３０１は、自由視点画像符号データを入力する（ステップＳ１１）。入力された自由視点画像符号データは逆多重化部３０２に受け渡され、逆多重化部３０２は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データとに逆多重化する（ステップＳ１２）。画像復号部３０３は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部３０４は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力する（ステップＳ１３）。

次に、三次元投影点設定部３０５は、高解像度多視点デプスマップより得られる奥行情報と各視点のカメラパラメータに基づき、高解像度多視点画像における各画素の三次元上への投影点を計算する（ステップＳ１４）。続いて、視点間対応点設定部３０６は、高解像度多視点画像の視点間画素対応関係を小数画素精度で求める（ステップＳ１５）。

次に、フィルタ選択部３１０は、多視点画像のアップサンプリングに用いるフィルタを選択する（ステップＳ１５ａ）。これは送信側で用いたダウンサンプリングフィルタと対になっている必要があるが、選択方法自体は画像内容や視点数によって適切なものを選択してもいいし、ユーザ入力などの外部からの入力によって選択しても構わない。また、送信側でどのフィルタを用いたかの情報を符号化し付加情報として送信しても構わない。

次に、アップサンプリング部３０７は、低解像度多視点画像を視点間画素対応関係に基づき他視点の画素値を参照することによってアップサンプリングし高解像度他視点画像とする（ステップＳ１６）。アップサンプリングフィルタは選択されたフィルタを用いる。

次に、仮想視点設定部３０８は、自由視点画像を生成する仮想的な視点を設定する（ステップＳ１７）。そして、自由視点画像合成部３０９は、高解像度多視点画像と高解像度デプスマップを用いて、設定した仮想視点からシーンを観測した画像を自由視点画像として合成する（ステップＳ１８）。最後に、自由視点画像合成部３０９は、合成された画像を出力する（ステップＳ１９）。

＜第３の実施形態＞
次に、本発明の第３の実施形態による画像伝送装置を説明する。図７は、本発明の第３の実施形態による画像伝送装置の構成を示すブロック図である。図７において、図４に示す画像伝送装置と同一の部分には同一の符号を付し、その説明を省略する。図７に示す画像伝送装置が図４に示す画像伝送装置と異なる点は、画像送信装置２００において、フィルタ選択部２０８に代えて、ダウンサンプリングに用いるフィルタを設定するフィルタ設定部２０９と、フィルタを符号化する付加情報符号化部２１０が設けられている点である。また、画像受信装置３００において、フィルタ選択部３１０に代えて、付加情報復号部３１１とフィルタ設定部３１２設けられている点である。

次に、図８を参照して、図７に示す画像送信装置２００の処理動作を説明する。図８は、図７に示す画像送信装置２００の処理動作を示すフローチャートである。図８において、図５に示す処理動作と同様の部分には同一の符号を付してある。図８に示す処理動作が図５に示す処理動作と異なる点は、ダウンサンプリング部２０４において使用するフィルタを選択する代わりに、任意のフィルタを設定し符号化し伝送する点である。

まず、多視点画像入力部２０１は高解像度多視点画像を入力し、多視点デプスマップ入力部２０２は高解像度多視点デプスマップを入力する（ステップＳ１）。次に、フィルタ設定部２０９は、多視点画像の送信側でのダウンサンプリングと受信側でのアップサンプリングに用いるフィルタを設定する（ステップＳ２ｂ）。これは視点数や各視点画像・デプスマップの特性によって、受信側での復元効率が最も高くなるようなものを設定すればよい。例えば、横Ｎ×縦１のカメラアレイによって撮影された多視点画像には横１／Ｎ×縦１に縮小するダウンサンプリングフィルタを用いて、全視点合わせてのサンプリング効率が高くなるようにするといった方法が考えられる。もしくは、デプスマップから得られる三次元情報に基づいて、画像中の部分領域について、その領域を観測可能である視点数に応じてダウンサンプリング率を決定するといった方法も考えられる。例えば１視点からしか観測されない領域はダウンサンプリングされず、全視点から観測可能な領域は１／Ｎにダウンサンプリングされるといったフィルタになる。アップサンプリングフィルタはダウンサンプリングフィルタと同一の補間法に基づいて設定しても構わないし、別の基準に基づいて設定しても構わない。例えば、あるダウンサンプリングフィルタでダウンサンプリングした画像に対して平均二乗誤差最小化法を用いてアップサンプリングフィルタを決定するといった方法も考えられる。また、このフィルタは全視点で同一のものを設定しても構わないし、視点毎に設定しても構わない。その後、ダウンサンプリング部２０４により、設定したダウンサンプリングフィルタを用いて高解像度多視点画像を縮小し、低解像度多視点画像を生成する（ステップＳ３）。

次に、付加情報符号化部２１０は、設定されたアップサンプリングフィルタを符号化し、フィルタ符号データを生成する（ステップＳ３ａ）。次に、デプスマップ符号化部２０５は高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データとし、画像符号化部２０６により低解像度多視点画像を符号化し低解像度多視点画像符号データとする（ステップＳ４）。そして、多重化部２０７は、低解像度多視点画像符号データ、高解像度多視点デプスマップ符号データ及びフィルタ符号データを多重化し自由視点画像符号データを生成し（ステップＳ５）、多重化した符号データを出力する（ステップＳ６）。

次に、図９を参照して、図７に示す画像受信装置３００の処理動作を説明する。図９は、図７に示す画像受信装置３００の処理動作を示すフローチャートである。図９において、図６に示す処理動作と同様の部分には同一の符号を付してある。図９に示す処理動作が図６に示す処理動作と異なる点は、アップサンプリング部３０７において使用するフィルタを選択する代わりに、画像データと共に受信したフィルタ符号データを復号してアップサンプリングに用いる処理を行う点である。

まず、符号データ入力部３０１は、自由視点画像符号データを入力する（ステップＳ１１）。入力された自由視点画像符号データは逆多重化部３０２に受け渡され、逆多重化部３０２は、低解像度多視点画像符号データと高解像度多視点デプスマップ符号データ及びフィルタ符号データとに逆多重化する（ステップＳ１２）。画像復号部３０３は、低解像度多視点画像符号データを復号し低解像度多視点画像を出力し、デプスマップ復号部３０４は高解像度多視点デプスマップ符号データを復号し高解像度多視点デプスマップを出力する（ステップＳ１３）。

次に、付加情報復号部３１１は、フィルタ符号データを復号しアップサンプリングフィルタを生成する（ステップＳ１５ｂ）。フィルタ設定部３１２は、復号されたアップサンプリングフィルタを設定する。続いて、アップサンプリング部３０７は、低解像度多視点画像を視点間画素対応関係に基づき他視点の画素値を参照することによってアップサンプリングし高解像度他視点画像とする（ステップＳ１６）。

前述した説明においては、出力を自由視点画像である例を説明したが、自由視点画像合成を行わずアップサンプリングした多視点画像を出力とすることで多視点画像伝送装置として利用するようにしてもよい。また、動画の各フレームに対して適用することで自由視点映像伝送装置として利用するようにしてもよい。

前述した説明においては、アップサンプリングフィルタを符号化し伝送し受信側でそれを用いてアップサンプリングを行うという例を説明したが、代わりにダウンサンプリングフィルタを符号化し伝送し、受信側でそれを用いて数式（４）のようなアップサンプリング処理を行っても構わないし、超解像処理を行っても構わない。超解像処理においてアップサンプリングフィルタを内部的に利用する場合はダウンサンプリングフィルタのフィルタ係数から求めても構わないし、ダウンサンプリングフィルタとアップサンプリングフィルタを両方符号化し伝送しても構わない。

また、多視点画像のアップサンプリングは画像受信装置３００で独立に行う例を説明したが、画像送信装置２００でアップサンプリングに用いるパラメータを指定し符号化して伝送するようにしてもよい。画像送信装置２００はダウンサンプリング前の高解像度多視点画像を参照することが可能なため、ダウンサンプリングした多視点画像に対して試験的にアップサンプリングを施しながら画質比較を行い、適切なアップサンプリングパラメータを設定することができる。

また、前述した説明においては、高解像度デプスマップから三次元投影点を計算して、これを用いて視点間対応点を求める例を説明したが、別の方法として予めホモグラフィ行列を求めておくようにしてもよい。平面上に存在する点ｖ_ωを、第１のカメラ、第２のカメラそれぞれの座標系でｖ_１、ｖ_２とするとき、平面の法線ベクトルをｎ、平面から第２のカメラまでの距離をｄとして、それぞれの投影変換行列Ａ_１、Ａ_２を用いて、画像上の座標ｍ_１とｍ_２に関して、
ｓｍ_１＝Ｈｍ_２・・・（５）
Ｈ＝Ａ_１ ^−１（Ｒ＋ｔｎ^Ｔ／ｄ）Ａ_２・・・（６）
が成立する。この変換は同一平面上にあるすべての点に対して適用でき、この３×３行列Ｈをホモグラフィ行列と呼ぶ。

多視点デプスマップが８ｂｉｔ＝２５６階調のグレースケール画像である場合、奥行きレベルも２５６階調であることから、ひとつの視点から別の視点へのホモグラフィ変換行列を奥行きレベル別に２５６通り計算しておくことで、特に解像度の高い画像を扱う場合には演算量の大幅な削減が期待できる。

以上説明したように、合成画像の品質を維持した多視点画像と多視点デプスマップからなる自由視点画像データの総画素数削減を実現するために、多視点画像のダウンサンプリングによって総画素数削減を達成し、画像受信装置で多視点デプスマップを利用したアップサンプリングを行うことで画像品質を回復するようにした。多視点デプスマップを高解像度で精度良く持つことにより、多視点画像の視点間画素対応関係が小数画素精度で求まり、その対応関係を用いて他視点の画素を参照しながら精度の良いアップサンプリングを行うことが可能となる。

なお、図１、図４、図７における画像送信装置２００及び画像受信装置３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより自由視点画像の伝送処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

合成画像の品質を維持しながら伝送データの総画素数の削減を行って、画像伝送を行うことが不可欠な用途に適用できる。

２０１・・・多視点画像入力部、２０２・・・多視点デプスマップ入力部、２０３・・・縮小率設定部、２０４・・・ダウンサンプリング部、２０５・・・デプスマップ符号化部、２０６・・・画像符号化部、２０７・・・多重化部、２０８・・・フィルタ選択部、２０９・・・フィルタ設定部、２１０・・・付加情報符号化部、３０１・・・符号データ入力部、３０２・・・逆多重化部、３０３・・・画像復号部、３０４・・・デプスマップ復号部、３０５・・・三次元投影点設定部、３０６・・・視点間対応関係設定部、３０７・・・アップサンプリング部、３０８・・・仮想視点設定部、３０９・・・自由視点画像合成部、３１０・・・フィルタ選択部、３１１・・・付加情報復号部、３１２・・・フィルタ設定部

Claims

同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の伝送を行う画像伝送装置が行う画像伝送方法であって、
前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定ステップと、
前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリングステップと、
前記ダウンサンプリングステップで得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化ステップと、
前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化ステップと、
前記画像符号化ステップにより得られた低解像度多視点画像符号データを復号する画像復号ステップと、
前記デプスマップ符号化ステップにより得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号ステップと、
前記デプスマップ復号ステップで得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定ステップと、
前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号ステップで得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリングステップと、
前記アップサンプリングステップで得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成ステップと
を有することを特徴とする画像伝送方法。
ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第１のフィルタ選択ステップと、
アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第２のフィルタ選択ステップとをさらに有し、
前記ダウンサンプリングステップは、前記第１のフィルタ選択ステップで選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、
前記アップサンプリングステップは、前記第２のフィルタ選択ステップで選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングする
ことを特徴とする請求項１に記載の画像伝送方法。
前記第１のフィルタ選択ステップで選択したフィルタを識別する情報を符号化し付加情報符号データとして出力する付加情報符号化ステップと、
前記付加情報符号データを復号して前記フィルタを識別する情報を出力する付加情報復号ステップとをさらに有し、
前記第２のフィルタ選択ステップは、前記フィルタを識別する情報に基づいてアップサンプリングに用いるフィルタを選択することを特徴とする請求項２に記載の画像伝送方法。
画像の復元効率が最も高くなるフィルタを設定する第１のフィルタ設定ステップと、
画像の復元効率が最も高くなるフィルタを設定する第２のフィルタ設定ステップとをさらに有し、
前記ダウンサンプリングステップは、前記第１のフィルタ設定ステップで設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、
前記アップサンプリングステップは、前記第２のフィルタ設定ステップで設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングする
ことを特徴とする請求項１に記載の画像伝送方法。
前記第１のフィルタ設定ステップで設定したフィルタの識別情報を符号化して付加情報符号データを出力する付加情報符号化ステップと、
前記付加情報符号データを復号してフィルタの識別情報を出力する付加情報復号ステップとをさらに有し、
前記第２のフィルタ設定ステップは、前記フィルタの識別情報に基づき前記アップサンプリングに用いるフィルタを設定することを特徴とする請求項４に記載の画像伝送方法。
同一シーンを複数のカメラで撮影した高解像度多視点画像とその画素毎の奥行情報をグレースケール画像として記述した高解像度多視点デプスマップからなる自由視点画像の画像伝送装置であって、
前記高解像度多視点画像をダウンサンプリングする際の縮小率を設定する縮小率設定手段と、
前記縮小率に基づいて前記高解像度多視点画像をダウンサンプリングし低解像度多視点画像を出力するダウンサンプリング手段と、
前記ダウンサンプリング手段で得られた低解像度多視点画像を符号化して低解像度多視点画像符号データを出力する画像符号化手段と、
前記高解像度多視点デプスマップを符号化し高解像度多視点デプスマップ符号データを出力するデプスマップ符号化手段と、
前記画像符号化手段により得られた低解像度多視点画像符号データを復号する画像復号手段と、
前記デプスマップ符号化手段により得られた高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、
前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、
前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、
前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段と
を備えることを特徴とする画像伝送装置。
ダウンサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第１のフィルタ選択手段と、
アップサンプリングに用いる予め定められたフィルタ群の中からフィルタを選択する第２のフィルタ選択手段とをさらに備え、
前記ダウンサンプリング手段は、前記第１のフィルタ選択手段で選択されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、
前記アップサンプリング手段は、前記第２のフィルタ選択手段で選択されたフィルタを用いて前記低解像度多視点画像をアップサンプリングする
ことを特徴とする請求項６に記載の画像伝送装置。
画像の復元効率が最も高くなるフィルタを設定する第１のフィルタ設定手段と、
画像の復元効率が最も高くなるフィルタを設定する第２のフィルタ設定手段とをさらに備え、
前記ダウンサンプリング手段は、前記第１のフィルタ設定手段で設定されたフィルタを用いて前記高解像度多視点画像をダウンサンプリングし、
前記アップサンプリング手段は、前記第２のフィルタ設定手段で設定されたフィルタを用いて前記低解像度多視点画像をアップサンプリングする
ことを特徴とする請求項６に記載の画像伝送装置。
画像送信装置から送信された低解像度多視点画像符号データと、高解像度多視点デプスマップ符号データとを多重化した自由視点画像符号データを受信する画像受信装置であって、
前記自由視点画像符号データを受信し、逆多重化を行うことにより前記低解像度多視点画像符号データと前記高解像度多視点デプスマップ符号データとを出力する受信手段と、
前記低解像度多視点画像符号データを復号する画像復号手段と、
前記高解像度多視点デプスマップ符号データを復号するデプスマップ復号手段と、
前記デプスマップ復号手段で得られた高解像度多視点デプスマップから得られる各画素の奥行き情報を用いて各画素の別視点での小数画素精度での対応点を求めることで視点間対応関係を設定する視点間対応関係設定手段と、
前記視点間対応関係に基づき別視点の小数画素値を参照しながらのアップサンプリングを行い前記画像復号手段で得られた低解像度多視点画像から高解像度多視点画像を生成するアップサンプリング手段と、
前記アップサンプリング手段で得られた高解像度多視点画像と前記高解像度多視点デプスマップから任意視点の画像を合成する自由視点画像合成手段と
を備えることを特徴とする画像受信装置。
コンピュータを、請求項９に記載の画像受信装置として機能させるための画像受信プログラム。