JP6979290B2 - 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム - Google Patents
画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム Download PDFInfo
- Publication number
- JP6979290B2 JP6979290B2 JP2017116481A JP2017116481A JP6979290B2 JP 6979290 B2 JP6979290 B2 JP 6979290B2 JP 2017116481 A JP2017116481 A JP 2017116481A JP 2017116481 A JP2017116481 A JP 2017116481A JP 6979290 B2 JP6979290 B2 JP 6979290B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- images
- viewpoint image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
基本原理に基づくインテグラル方式での立体像の撮影は、図15に示すように、被写体1をレンズ2を介し、微小なレンズを多数並べたレンズアレイ3を通して撮像カメラ4で撮影する。また、立体像を表示する際は、各レンズにより撮影された画像(以下、「要素画像」と称する。)が配列された要素画像群を液晶パネル等の表示デバイス5に表示し、その前面にレンズアレイ6を配置することにより、元々の被写体1が放つ光線を再現することで、空間上に立体像7を再生する。
ここで、図16(a)に示すような、要素画像群を符号化する場合について考える。なお、図16(b)は、要素画像群の一部を拡大して各要素画像を示した図である。要素画像に含まれる各画素は、その画素位置に応じたある特定の方向から来た光線の輝度情報を示している。
この問題を解決する手法として、要素画像と直行変換処理を行う画像のサイズを一致させる技術が開発されている(例えば、特許文献1参照)。
図18では、要素画像群から変換した多視点画像群のうち、上下左右の視域の端にあたる多視点画像、および、視域の中心にある多視点画像を抽出し、その抽出した多視点画像と、それらの画像に対応するデプスとを符号化の対象としている。エンコード側では、伝送や記録をするために符号化される画像が、全ての画像を符号化する場合と比べて画像の数が少ないことから効率的なデータ圧縮を行うことができる。一方、デコード側では伝送されなかった多視点画像を補間(以下、「視点内挿」と称する。)する処理が必要となる。視点内挿では、エンコード側で生成したデプスを用いることにより、原画像に近い映像を生成することが可能となる。
これにより、画像符号化装置は、従来技術のように、常に同じ位置のある多視点画像を符号化するのではなく、フレーム毎に符号化する多視点画像を隣接する多視点画像に切り替える。よって、複数フレームの符号化を行えば、全ての視点での多視点画像の符号化を行うことができる。つまり、符号化されない多視点画像をなくすことができ、より多くの視点の多視点画像を利用して、復号する際の画質を均一にすることができる。
これにより、画像符号化装置は、全ての多視点画像のうちスウィーピング処理手段が符号化の対象に決定した多視点画像とその奥行き画像情報とを、圧縮符号化して符号化データを生成することができる。よって、全ての多視点画像を符号化する場合に比べ、符号化の対象となる多視点画像を削減することができるため、符号化データのデータサイズを小さくすることができる。
また、画像復号化装置は、多視点画像生成手段によって、フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する復号化した多視点画像およびフレーム間で隣接する復号化した多視点画像を、参照する多視点画像として抽出し、参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより不足する多視点画像を補間してフレーム毎の多視点画像群を生成して出力することができる。
これにより、画像復号化装置は、1フレーム内での多視点画像を利用した視点内挿に加え、フレーム間での多視点画像を利用した視点内挿を行い、多視点画像群を生成することができる。よって、補間する多視点画像の画質低下を抑えることができる。
まず、本実施形態に係る、画像符号化装置10および画像復号化装置20(共に後記する、図2参照)が実行する処理の概要について説明する。
従来の多視点画像群の符号化においては、画像全体の中で符号化される多視点画像の位置が予め固定されていた。例えば、図18に示すように、上下左右の視域の端や視域の中心の画像が予め選択され、全フレームにおいて、その固定した位置の多視点画像が符号化されていた。つまり、1フレーム内の空間軸上の位置においても、フレーム間の時間軸上の位置においても、符号化する多視点画像が固定されていた。
これに対し、本実施形態の画像符号化装置10では、符号化の対象とする多視点画像を、フレーム毎に切り替えていく。例えば、図1に示すように、動画の1フレーム目では、「多視点画像1」と「多視点画像3」とを抽出し符号化する。2フレーム目では、「多視点画像2」と「多視点画像4」とを抽出し符号化する。3フレーム目以降も同様に、フレーム毎に符号化の対象となる多視点画像を切り替える。このように、フレーム毎に符号化する多視点画像を切り替えて決定する処理を、本実施形態ではスウィーピング処理と称する。
次に、図2を参照して、本実施形態に係る画像符号化装置10および画像復号化装置20について説明する。
画像符号化装置10は、例えば、インテグラル方式の撮影装置(撮像カメラ)に接続されたり、組み込まれたりすることにより、要素画像群データを多視点画像群に変換した上で符号化し、画像復号化装置20側へ出力する装置である。画像復号化装置20は、伝送装置(図示省略)等を介して、画像符号化装置10から符号化データを取得し、その符号化データを復号化して多視点画像群を生成し、元の要素画像群データに復元する装置である。この画像復号化装置20は、例えば、インテグラル方式の画像表示装置やプロジェクタ装置に接続されたり組み込まれたりする。
画像符号化装置10は、図2に示すように、多視点画像変換手段11と、スウィーピング処理手段12と、画像符号化手段13とを備える。
ここで、要素画像の解像度を一例として20×20画素とする。また、表示装置に配置されるレンズアレイの有効レンズ数を一例として240×160個とする。この場合、要素画像群のサイズは、4800×3200画素となる。さらに、この要素画像群を変換して得られる多視点画像群は、240×160画素からなる多視点画像が20×20視点となる。
以下、図3に示すように、多視点画像とそのデプスとを説明のため簡略化し一つの矩形で表記する。また、図3は、要素画像群から変換された多視点画像群(図3の符号X)として、20×20視点の多視点画像があることを示している。
ここで、例えば、スウィーピング処理手段12は、多視点画像の20×20視点(全400視点)のうち、図4で示した100視点(矩形内を斜線で示す多視点画像)を符号化する多視点画像の基準点として予め決定しておく。そして、スウィーピング処理手段12は、この100視点を予め設定した図5で示す方向に、フレームが切り替わる毎に視点位置を移動していくスウィーピング処理を実行する。これにより、スウィーピング処理手段12は、図6に示す1フレーム目、図7に示す2フレーム目、図8に示す3フレーム目、図9に示す4フレーム目、図10に示す5フレーム目、というように、符号化する多視点画像の位置を切り替えていく。この場合には、4フレームあれば全ての視点の多視点画像(およびそのデプス)の成分を含めることができる。
また、スウィーピング処理手段12が、全400視点を符号化する場合と比較して符号化の対象となる多視点画像は100視点となるため、符号化されたデータサイズを小さくすることができる。
画像復号化装置20は、図2に示すように、画像復号化手段21と、多視点画像生成手段22と、要素画像変換手段23とを備える。
多視点画像生成手段22は、この視点内挿処理を、予め設定しておいた、空間軸上で隣接する多視点画像(同一フレーム内で距離の近い画像)や、時間軸上で隣接する多視点画像(フレーム間で距離の近い画像)を参照することにより、不足している多視点画像を生成する。
なお、多視点画像生成手段22は、多視点画像を生成する際に用いる画像を決定した後は、例えば、特開2010−200188号公報に記載の視点内挿を行うための視点合成技術を用いて、不足している多視点画像を生成する。
以下、多視点画像生成手段22が、視点内挿を行うために参照する多視点画像を決定する処理について、図4〜図10等で示した例を用いて説明する。
なお、3フレーム目では「55」の番号が割り当てられた多視点画像が既に存在するため、視点内挿を行う必要はない。7フレーム目の「54」の番号が割り当てられた多視点画像についても同様に視点内挿を行う必要はない。
なお、3フレーム目の「55」の番号が割り当てられた多視点画像全体と、7フレーム目の「54」の番号を割り当てられた多視点画像全体を比較するのではなく、これを分割した領域で扱ってもかまわない。3フレーム目の「55」の番号が割り当てられた多視点画像と、7フレーム目の「54」の番号が割り当てられた多視点画像の一部領域が同じであれば、4〜6フレーム目における、その同一である一部領域と同じ位置関係にある画像領域も同一の画像である可能性が高いため、その画像領域をコピーすることにより補間することができる。また、この場合における一部領域の一例として符号化における分割ブロックを単位とすることも可能である。
同様に、4フレーム目の3行3列目の多視点画像の視点内挿でも時間軸上での差分情報に加えて、空間軸上の距離が近い「55」および「60」の番号を割り当てられた多視点画像を用いて視点内挿を行う。
同様に、6フレーム目の3行3列目の多視点画像の視点内挿でも時間軸上での差分情報に加えて、空間軸上の距離が近い「50」および「54」の番号を割り当てられた多視点画像を用いて視点内挿を行う。
同様に、5フレーム目の3行3列目の多視点画像の視点内挿では、例えば、上下左右両方に同じ距離にある多視点画像である「45」と「64」、「54」と「55」を用いて視点内挿を行う。
例えば、2フレーム目の3行3列目の多視点画像の視点内挿において、多視点画像生成手段22は、空間軸上で隣接する多視点画像(同一フレーム内で距離の近い画像)として、「55」と「51」の番号が割り当てられた多視点画像を抽出する。また、多視点画像生成手段22は、時間軸上で隣接する多視点画像(フレーム間で距離の近い画像)として、1フレーム目の「51」と「61」の番号が割り当てられた多視点画像を抽出し、3フレーム目の「51」と「60」の番号が割り当てられた多視点画像を抽出する。
なお、多視点画像生成手段22が、空間軸上や時間軸上で隣接する多視点画像のうち、どの多視点画像を視点内挿処理の際の参照するかについては、予め多視点画像生成手段22に設定しておくものとする。
具体的には、要素画像変換手段23は、多視点画像生成手段22が生成した多視点画像群における各部分画像から、同一の位置の画素を抽出し、抽出したこれらの画素を、要素レンズにおけるレンズ座標で示される部分画像の位置にしたがって配列した要素画像とすることにより、要素画像群を復元する。
よって、画像符号化装置10および画像復号化装置20によれば、立体映像の効率的なデータ圧縮を行いつつ、画質の低下を抑制した立体像を復元することができる。これにより、画面解像度が高くデータサイズが大きな実写の映像についても、実用サービスに耐えられる充分な画質の立体映像を生成することが可能となる。
図12は、多視点画像の基準点の他の例であり、図13は、図12の基準点からのスウィーピング処理の方向を示す図である。スウィーピング処理手段12は、図12で示す100視点(矩形内を斜線で示す多視点画像)を符号化する多視点画像の基準点として予め決定しておく。そして、スウィーピング処理手段12は、この100視点を予め設定した図13で示す方向に、フレームが切り替わる毎に視点位置を移動していくスウィーピング処理を実行する。このようにすることによっても、4フレームあれば全ての視点の多視点画像(およびそのデプス)を含めた視点内挿を、画像複合化装置20において行うことができる。
画像符号化装置10aは、スウィーピング処理手段12および画像符号化手段13を備えているが、図2に示した画像符号化装置10と比べ、多視点画像変換手段11を備えていない。この場合、画像符号化装置10aのスウィーピング処理手段12は、レンズアレイを介して得られた複数の要素画像を変換した結果としての多視点画像群のデータを取り込むようにする。
この画像符号化装置10aは、図2の画像符号化装置10と同様に、フレーム毎に符号化の対象とする多視点画像を予め設定した方向で隣接する多視点画像に切り替えて符号化データを生成することができる。よって、従来技術のように、常の同じ位置の多視点画像を符号化した符号化データを取り込む場合に比べ、画像符号化装置10aによる符号化データを取り込むことにより、画像復号化装置20aにおいて、不足する画像を復元する際に画質を均一にでき、立体像の画質低下を抑えることができる。
この画像復号化装置20aは、図2の画像復号化装置20と同様に、画像符号化装置10aが生成した符号化データを取得し、1フレーム内やフレーム間での視点内挿を行い、不足している多視点画像を生成することができる。その際、画像符号化装置10aのスウィーピング処理により、より多くの視点での多視点画像の情報を利用できるため、多視点画像群の画質を均一にし、立体像の画質低下を抑えることができる。
11 多視点画像変換手段
12 スウィーピング処理手段
13 画像符号化手段
20,20a 画像復号化装置
21 画像復号化手段
22 多視点画像生成手段
23 要素画像変換手段
Claims (6)
- レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を用いて、前記複数の要素画像それぞれにおける同一の位置の部分画像が抽出され、前記抽出された部分画像を前記要素画像の配列にしたがって配列して前記部分画像の集合とすることにより生成された多視点画像群を取り込み、
前記多視点画像群のうち予め設定した方向において所定の数の多視点画像毎に、符号化の対象とする基準点となる多視点画像を決定し、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から前記予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理を、前記多視点画像群の全ての多視点画像が符号化の対象となるようなフレーム数分繰り返すスウィーピング処理手段と、
前記スウィーピング処理手段が符号化の対象に決定した多視点画像の奥行き画像情報を生成し、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成した前記奥行き画像情報とを圧縮符号化して符号化データを生成する画像符号化手段と、
を備えることを特徴とする画像符号化装置。 - 請求項1に記載の画像符号化装置が生成した符号化データを取得し、前記符号化データを、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成された前記奥行き画像情報とに復号する画像復号化手段と、
前記フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する前記復号化した多視点画像およびフレーム間で隣接する前記復号化した多視点画像を、参照する多視点画像として抽出し、抽出した前記参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより前記不足する多視点画像を補間して前記フレーム毎の多視点画像群を生成して出力する多視点画像生成手段と、
を備えることを特徴とする画像復号化装置。 - レンズアレイを構成する複数の要素レンズを通して得られる光束から得た複数の要素画像を取り込み、前記複数の要素画像それぞれにおける同一の位置の部分画像を抽出し、前記抽出した部分画像を、前記要素画像の配列にしたがって配列した前記部分画像の集合とすることにより、前記複数の要素画像を前記部分画像の集合を示す多視点画像群に変換する多視点画像変換手段と、
前記変換した多視点画像群のうち予め設定した方向において所定の数の多視点画像毎に、符号化の対象とする基準点となる多視点画像を決定し、取り込んだ画像のフレーム毎に、次フレームにおいて符号化の対象とする多視点画像を、当該フレームにおいて符号化の対象とした多視点画像から前記予め設定した方向で隣接する多視点画像に切り替えることを示すスウィーピング処理を、前記多視点画像群の全ての多視点画像が符号化の対象となるようなフレーム数分繰り返すスウィーピング処理手段と、
前記スウィーピング処理手段が符号化の対象に決定した多視点画像の奥行き画像情報を生成し、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成した前記奥行き画像情報とを圧縮符号化して符号化データを生成する画像符号化手段と、
を備えることを特徴とする画像符号化装置。 - 請求項3に記載の画像符号化装置が生成した符号化データを取得し、前記符号化データを、前記符号化の対象に決定した多視点画像と当該多視点画像に関して生成された前記奥行き画像情報とに復号する画像復号化手段と、
前記フレーム毎の全ての多視点画像のうち復号化した多視点画像を除いた不足する多視点画像について、同一フレーム内で隣接する前記復号化した多視点画像およびフレーム間で隣接する前記復号化した多視点画像を、参照する多視点画像として抽出し、抽出した前記参照する多視点画像およびその奥行き画像情報を用いて視点内挿処理を実行することにより前記不足する多視点画像を補間して前記フレーム毎の多視点画像群を生成する多視点画像生成手段と、
前記多視点画像生成手段が生成した多視点画像群で示される部分画像を、要素レンズにおける元の位置に戻すことにより、当該生成した多視点画像群を複数の要素画像に変換する要素画像変換手段と、
を備えることを特徴とする画像復号化装置。 - コンピュータを、請求項1または請求項3に記載の画像符号化装置として機能させるための画像符号化プログラム。
- コンピュータを、請求項2または請求項4に記載の画像復号化装置として機能させるための画像復号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017116481A JP6979290B2 (ja) | 2017-06-14 | 2017-06-14 | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017116481A JP6979290B2 (ja) | 2017-06-14 | 2017-06-14 | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019004271A JP2019004271A (ja) | 2019-01-10 |
JP6979290B2 true JP6979290B2 (ja) | 2021-12-08 |
Family
ID=65006961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017116481A Active JP6979290B2 (ja) | 2017-06-14 | 2017-06-14 | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6979290B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7382186B2 (ja) * | 2019-09-10 | 2023-11-16 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
JP7417388B2 (ja) * | 2019-09-10 | 2024-01-18 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
US20230283763A1 (en) * | 2020-06-30 | 2023-09-07 | Sony Group Corporation | Image generation apparatus, image generation method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100754205B1 (ko) * | 2006-02-07 | 2007-09-03 | 삼성전자주식회사 | 다시점 동영상 부호화 장치 및 방법 |
JP5029062B2 (ja) * | 2007-02-26 | 2012-09-19 | 富士通株式会社 | 多視点動画像伝送システム |
WO2011036761A1 (ja) * | 2009-09-25 | 2011-03-31 | 株式会社東芝 | 多視点画像生成方法および装置 |
JP6031260B2 (ja) * | 2012-05-31 | 2016-11-24 | 日本放送協会 | 画像符号化装置および画像復号装置 |
-
2017
- 2017-06-14 JP JP2017116481A patent/JP6979290B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019004271A (ja) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106068645B (zh) | 用于全视差压缩光场3d成像***的方法 | |
CN109691110B (zh) | 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置 | |
KR102014240B1 (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 | |
JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
JP5300258B2 (ja) | 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム | |
CN111527752B (zh) | 图像编码和解码的方法和装置以及存储比特流的记录介质 | |
KR20140004209A (ko) | 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 | |
JP2008257686A (ja) | 3次元シーンのライトフィールドを処理するための方法およびシステム | |
Graziosi et al. | Depth assisted compression of full parallax light fields | |
KR20140147043A (ko) | 3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스 | |
JP6979290B2 (ja) | 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム | |
CN110870307A (zh) | 同步影像的处理方法及其装置 | |
EP2373046A2 (en) | Super resolution based n-view + n-depth multiview video coding | |
JP6341598B2 (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
KR20180107007A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR102537024B1 (ko) | 프레임 패킹을 제공하는 가상 현실 영상의 부호화/복호화 방법 및 그 장치 | |
KR20200052763A (ko) | 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치 | |
KR20190113655A (ko) | 비디오 신호 처리 방법 및 장치 | |
JP7382186B2 (ja) | 符号化装置、復号装置、及びプログラム | |
JP7417388B2 (ja) | 符号化装置、復号装置、及びプログラム | |
KR20180028298A (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치 | |
KR20190101930A (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 | |
KR20200052762A (ko) | 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치 | |
KR20190007254A (ko) | 동기화된 영상의 처리 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6979290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |