JPWO2012114975A1 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JPWO2012114975A1 JPWO2012114975A1 JP2013500985A JP2013500985A JPWO2012114975A1 JP WO2012114975 A1 JPWO2012114975 A1 JP WO2012114975A1 JP 2013500985 A JP2013500985 A JP 2013500985A JP 2013500985 A JP2013500985 A JP 2013500985A JP WO2012114975 A1 JPWO2012114975 A1 JP WO2012114975A1
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- base
- depth
- warping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本技術は、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにする画像処理装置および画像処理方法に関する。ワーピング処理部は、基点デプス画像に対して、左視点への前景優先のワーピング処理を行う。オクルージョン判定処理部は、ワーピング処理の結果得られる左視点の基点デプス画像を用いて、視点を基点から左視点に変換する際に生じる左視点オクルージョン領域を検出する。本技術は、例えば、3D画像の画像処理装置に適用することができる。
Description
本技術は、画像処理装置および画像処理方法に関し、特に、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにした画像処理装置および画像処理方法に関する。
近年、3D画像が注目されている。この3D画像の視聴方式としては、2視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される2視点の画像を見る方式(以下、メガネ有り方式という)が一般的である。
しかしながら、このようなメガネ有り方式では、視聴者は、3D画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに3D画像を視聴可能な視聴方式(以下、メガネ無し方式という)の需要が高まっている。
メガネ無し方式では、3視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。
また、メガネ無し方式の3D画像については、MPEG(Moving Picture Experts Group phase)3DVとして規格化が始まろうとしている。MPEG 3DVでは、多視点のカラー画像とデプス画像を伝送する方式が規格されることになっている。デプス画像とは、所定の視点のカラー画像の各画素のデプス値(デプス情報)を表す画像であり、デプス値(デプス情報)とは、被写体の奥行方向の位置を表す値である。
ところで、多視点のカラー画像とデプス画像を復号するためには、高い性能の復号装置が必要である。例えば、3視点のカラー画像とデプス画像を復号するためには、6視点分の画像の復号処理能力を有する復号装置が必要である。しかしながら、現在、2視点のカラー画像を復号可能な復号装置しか存在しない。
また、多視点のカラー画像とデプス画像をベースバンドとして伝送するためには、広帯域の伝送が必要である。例えば、3視点のカラー画像とデプス画像をベースバンドとして伝送するためには、6視点分の画像の伝送が必要である。しかしながら、現在、2視点のカラー画像を伝送可能な装置しか存在しない。
従って、多視点のカラー画像とデプス画像をそのままベースバンドとして符号化し、伝送して復号することは困難であり、ベースバンドのデータ量を削減する必要がある。
そこで、LDV(Layered Depth Video)をベースバンドとして生成することにより、ベースバンドのデータ量を削減する方法がある。この方法では、基準の視点(以下、基点という)のカラー画像およびデプス画像、並びに、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域(詳細は後述する)からなるLDVが生成され、ベースバンドとされる。
具体的には、多視点のカラー画像およびデプス画像は、同一の場面の視点の異なる画像である。従って、多視点のカラー画像のオクルージョン領域以外の領域は重複し、多視点のデプス画像のオクルージョン領域以外の領域は重複する。よって、基点のカラー画像およびデプス画像、並びに、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域からなるLDVが生成され、多視点のカラー画像およびデプス画像の代わりに、ベースバンドとされる。
なお、オクルージョン領域とは、視点の変化に伴って前景と背景の位置関係が変化することによって生じる、ある視点の画像には存在するが、他の視点の画像には存在しない領域である。即ち、オクルージョン領域は、変化前の視点の画像では前景によって隠されていたが、変化後の視点の画像では前景によって隠されなくなった背景である。
多視点のカラー画像およびデプス画像からLDVを生成する方法は、非特許文献1で提案されている。また、LDVから多視点のカラー画像およびデプス画像を復元する方法は、非特許文献2で提案されている。
図1は、多視点のカラー画像とデプス画像からLDVを生成して符号化し、復号して多視点のカラー画像とデプス画像を復元する画像処理システムの構成の一例を示すブロック図である。
図1の画像処理システム10は、フォーマット変換装置11、多視点画像符号化装置12、多視点画像復号装置13、およびフォーマット逆変換装置14により構成される。
画像処理システム10のフォーマット変換装置11には、多視点のカラー画像とデプス画像が入力される。フォーマット変換装置11は、ベースバンド変換処理を行う。具体的には、フォーマット変換装置11は、多視点のカラー画像とデプス画像からLDVを生成してベースバンドとする。これにより、ベースバンドのデータ量が削減される。フォーマット変換装置11は、LDVのうちの基点のカラー画像を基点カラー画像として多視点画像符号化装置12に供給し、基点のデプス画像を基点デプス画像として多視点画像符号化装置12に供給する。
また、フォーマット変換装置11は、LDVのうちの基点以外の視点のカラー画像のオクルージョン領域を1画面に多重化し、その結果得られる画像を背景カラー画像として多視点画像符号化装置12に供給する。フォーマット変換装置11は、LDVのうちの基点以外の視点のデプス画像のオクルージョン領域を1画面に多重化し、その結果得られる画像を背景デプス画像として多視点画像符号化装置12に供給する。
多視点画像符号化装置12は、フォーマット変換装置11から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像を、MVC(Multiview Video Coding)方式等で符号化する。多視点画像符号化装置12は、その結果得られるビットストリームを多視点画像復号装置13に伝送する。
多視点画像復号装置13は、多視点画像符号化装置12から伝送されてくるビットストリームを受信し、MVC方式等に対応する方式で復号する。多視点画像復号装置13は、その結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像をフォーマット逆変換装置14に供給する。
フォーマット逆変換装置14は、多視点画像復号装置13から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置11のベースバンド変換処理に対応するベースバンド逆変換処理を行う。
そして、フォーマット逆変換装置14は、ベースバンド逆変換処理の結果得られた基点以外の視点のカラー画像と基点カラー画像を、多視点カラー画像として出力する。また、フォーマット逆変換装置14は、ベースバンド逆変換処理の結果得られた基点以外の視点のデプス画像と基点デプス画像を、多視点デプス画像として出力する。
図2は、図1のフォーマット変換装置11の構成の一例を示すブロック図である。
なお、以下では、多視点が3視点であるものとし、基点以外の2視点の一方を左視点といい、他方を右視点という。
図2のフォーマット変換装置11は、ワーピング処理部21、オクルージョン判定処理部22、ワーピング処理部23、オクルージョン判定処理部24、画面多重化処理部25、および出力部26により構成される。
フォーマット変換装置11のワーピング処理部21は、多視点のデプス画像のうちの左視点のデプス画像である左デプス画像に対して、基点への背景優先のワーピング処理を行い、その結果得られる基点のデプス画像を基点の左デプス画像とする。
なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、背景優先のワーピング処理とは、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その複数の画素のうち、奥行き方向の位置がより奥側である被写体に対応する画素を選択して対応付ける処理である。ここで、奥行き方向の位置がより奥側である被写体に対応する画素とは、デプス値がより小さい画素である。
また、ワーピング処理部21は、多視点のカラー画像のうちの左視点のカラー画像である左カラー画像に対して、基点の左デプス画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる基点のカラー画像を基点の左カラー画像とする。そして、ワーピング処理部21は、基点の左デプス画像と基点の左カラー画像を、オクルージョン判定処理部22に供給する。
オクルージョン判定処理部22は、ワーピング処理部21から供給される基点の左デプス画像と、外部から入力される多視点のカラー画像のうちの基点デプス画像に基づいて、視点を基点から左視点に変換する際のオクルージョン領域(以下、左視点オクルージョン領域という)を検出する。具体的には、オクルージョン判定処理部22は、基点デプス画像のデプス値から基点の左デプス画像のデプス値を減算した値が所定値以上である画素からなる領域を、左視点オクルージョン領域として検出する。
即ち、ワーピング処理部21は、左デプス画像に対して背景優先のワーピング処理を行うので、基点の左デプス画像における、基点デプス画像では前景であるが、左デプス画像では背景である左視点オクルージョン領域は、背景のデプス値となる。一方、基点デプス画像の左視点オクルージョン領域は、前景のデプス値である。従って、基点デプス画像のデプス値から基点の左デプス画像のデプス値を減算した値が、背景のデプス値と前景のデプス値の差分として想定される最小値以上である画素が、左視点オクルージョン領域内の画素であるとされる。
オクルージョン判定処理部22は、基点の左カラー画像の左視点オクルージョン領域を、左カラーのオクルージョン画像として画面多重化処理部25に供給する。また、オクルージョン判定処理部22は、基点の左デプス画像の左視点オクルージョン領域を、左デプスのオクルージョン画像として画面多重化処理部25に供給する。
ワーピング処理部23は、多視点のカラー画像のうちの右カラー画像および右デプス画像に対して、ワーピング処理部21と同様に、基点への背景優先ワーピング処理を行う。ワーピング処理部23は、その結果得られる基点のカラー画像を基点の右カラー画像とし、基点のデプス画像を基点の右デプス画像として、オクルージョン判定処理部24に供給する。
オクルージョン判定処理部24は、ワーピング処理部23から供給される基点の右デプス画像と基点デプス画像に基づいて、オクルージョン判定処理部22と同様に、視点を基点から右視点に変換する際のオクルージョン領域(以下、右視点オクルージョン領域という)を検出する。
また、オクルージョン判定処理部24は、基点の右カラー画像の右視点オクルージョン領域を、右カラーのオクルージョン画像として画面多重化処理部25に供給する。また、オクルージョン判定処理部24は、基点の右デプス画像の右視点オクルージョン領域を、右デプスのオクルージョン画像として画面多重化処理部25に供給する。
画面多重化処理部25は、オクルージョン判定処理部22から供給される左カラーのオクルージョン画像と、オクルージョン判定処理部24から供給される右カラーのオクルージョン画像を1画面に多重化する。具体的には、画面多重化処理部25は、左カラーのオクルージョン画像と右カラーのオクルージョン画像のいずれか一方にのみ画素値が存在する画素の画素値を、その一方の画素値とする。また、画面多重化処理部25は、左カラーのオクルージョン画像と右カラーのオクルージョン画像の両方に画素値が存在する画素の画素値を、いずれか一方の画素値とする。画面多重化処理部25は、左カラーのオクルージョン画像と右カラーのオクルージョン画像の多重化画像を、背景カラー画像として多視点画像符号化装置12(図1)に供給する。
同様に、画面多重化処理部25は、オクルージョン判定処理部22から供給される左デプスのオクルージョン画像と、オクルージョン判定処理部24から供給される右デプスのオクルージョン画像を1画面に多重化する。画面多重化処理部25は、その結果得られる多重化画像を背景デプス画像として多視点画像符号化装置12に供給する。
出力部26は、外部から入力される多視点のカラー画像のうちの基点カラー画像と基点デプス画像を、多視点画像符号化装置12に供給する。
図3は、図1のフォーマット逆変換装置14の構成の一例を示すブロック図である。
図3のフォーマット逆変換装置14は、ワーピング処理部31、画面合成処理部32、ワーピング処理部33、画面合成処理部34、および出力部35により構成される。
フォーマット逆変換装置14のワーピング処理部31は、多視点画像復号装置13から供給される基点デプス画像と基点デプス画像を受け取る。ワーピング処理部31は、第1基点外視点ワーピング処理部として機能し、基点デプス画像に対して左視点への前景優先のワーピング処理を行い、その結果得られる左視点のデプス画像を左視点の基点デプス画像とする。
なお、前景優先のワーピング処理とは、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その複数の画素のうち、奥行方向の位置がより手前側である被写体に対応する画素を選択して対応付ける処理である。ここで、奥行き方向の位置がより手前側である被写体に対応する画素とは、デプス値がより大きい画素である。
また、前景優先のワーピング処理は、通常のワーピング処理である。なぜなら、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その画素は、前景と背景が重なり、前景が背景を隠す画素であるからである。
ワーピング処理部31は、多視点画像復号装置13から供給される基点カラー画像に対して、左視点の基点デプス画像を用いて左視点への前景優先のワーピング処理を行い、その結果得られる左視点のカラー画像を左視点の基点カラー画像とする。そして、ワーピング処理部31は、左視点の基点カラー画像と左視点の基点デプス画像を、画面合成処理部32に供給する。
同様に、ワーピング処理部31は、多視点画像復号装置13から供給される基点カラー画像および基点デプス画像に対して右視点への前景優先のワーピング処理を行う。ワーピング処理部31は、ワーピング処理の結果得られる右視点のカラー画像を右視点の基点カラー画像とし、右視点のデプス画像を右視点の基点デプス画像として、画面合成処理部34に供給する。
画面合成処理部32は、ワーピング処理部31から供給される左視点の基点カラー画像と、ワーピング処理部33から供給される左視点の背景カラー画像とを合成する。具体的には、画面合成処理部32は、左視点の基点カラー画像と左視点の背景カラー画像のいずれか一方にのみ画素値が存在する画素の画素値を、その一方の画素値とする。また、画面合成処理部32は、左視点の基点カラー画像と左視点の背景カラー画像の両方に画素値が存在する画素の画素値を、左視点の基点カラー画像の画素値とする。なぜなら、基点カラー画像に対応する被写体の奥行方向の位置は、常に、背景カラー画像に対応する被写体の奥行方向の位置よりも手前側にあるからである。
同様に、画面合成処理部32は、ワーピング処理部31から供給される左視点の基点デプス画像と、ワーピング処理部33から供給される左視点の背景デプス画像とを合成する。画面合成処理部32は、合成の結果得られるカラー画像を左カラー画像として出力し、デプス画像を左デプス画像として出力する。
ワーピング処理部33は、多視点画像復号装置13から供給される背景カラー画像および背景デプス画像に対して、ワーピング処理部31と同様に、左視点および右視点への前景優先のワーピング処理を行う。ワーピング処理部33は、ワーピング処理の結果得られる左視点のカラー画像を左視点の背景カラー画像とし、左視点のデプス画像を左視点の背景デプス画像として、画面合成処理部32に供給する。また、ワーピング処理部33は、ワーピング処理の結果得られる右視点のカラー画像を右視点の背景カラー画像とし、右視点のデプス画像を右視点の背景デプス画像として、画面合成処理部34に供給する。
画面合成処理部34は、画面合成処理部32と同様に、ワーピング処理部31から供給される右視点の基点カラー画像と、ワーピング処理部33から供給される右視点の背景カラー画像とを合成する。同様に、画面合成処理部34は、ワーピング処理部31から供給される右視点の基点デプス画像と、ワーピング処理部33から供給される右視点の背景デプス画像とを合成する。画面合成処理部32は、合成の結果得られるカラー画像を右カラー画像として出力し、デプス画像を右デプス画像として出力する。
出力部35は、多視点画像復号装置13から供給される基点カラー画像および基点デプス画像を出力する。
Fons Bruls,Lincoln Lobo,Rene Klein Gunnewiek,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2008/M15590,Jul 2008,Hannover
Fons Bruls,Chris Varekamp, Rene Klein Gunnewiek,Lincoln Lobo,Yin Zhao,Lu Yu,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2009/M16034,Feb 2009,Lausanne
上述した画像処理システム10において、例えば、基点デプス画像の精度が悪い場合、フォーマット逆変換装置14で復元される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が悪い場合がある。
以下に、図4を参照して、具体例について説明する。なお、図4の例では、基点デプス画像は、所定の背景の中央に球状の物体が前景として存在する場面を撮影したときに得られたデプス画像である。
図4に示すように、フォーマット変換装置11では、左デプス画像から基点の左デプス画像が生成されて左視点オクルージョン領域41が検出され、右デプス画像から基点の右デプス画像が生成されて右視点オクルージョン領域42が検出される。そして、基点の左デプス画像の左視点オクルージョン領域41と、基点の右デプス画像の右視点オクルージョン領域42が1画面に多重化されて背景デプス画像が生成される。フォーマット逆変換装置14では、基点デプス画像から左視点の基点デプス画像が生成され、その際に発生する左視点オクルージョン領域43が、背景デプス画像の左視点オクルージョン領域41により補間される。
しかしながら、基点デプス画像のデプス値が実際の値と異なる場合、例えば、図4に示すように、左視点の基点デプス画像上の、デプス値が0以外の所定値である円形の領域の位置が、左デプス画像内の位置に比べて所定の距離だけ右に位置する。その結果、左視点の基点デプス画像で発生する左視点オクルージョン領域43が、背景デプス画像の左視点オクルージョン領域41より大きくなり、背景デプス画像による補間が行われた後の左視点の基点デプス画像内にデプス値の存在しない領域が発生してしまう。即ち、左視点の基点デプス画像が破綻する。左視点のカラー画像、右視点の基点デプス画像、右視点のカラー画像についても同様である。
本技術は、このような状況に鑑みてなされたものであり、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにするものである。
本技術の第1の側面の画像処理装置は、基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理部と、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出部と、前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送部とを備える画像処理装置である。
本技術の第1の側面の画像処理方法は、本技術の第1の側面の画像処理装置に対応する。
本技術の第1の側面においては、基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理が行われ、前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域が検出され、前記基点外視点のデプス画像の前記オクルージョン領域が伝送される。
本技術の第2の側面の画像処理装置は、基点の視点である基点視点以外の視点である第1の基点外視点のデプス画像の、視点を前記基点視点から前記第1の基点外視点に変換する際に生じる第1のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第1のオクルージョン領域と、前記基点視点および前記第1の基点外視点以外の視点である第2の基点外視点のデプス画像の、視点を前記基点視点から前記第2の基点外視点に変換する際に生じる第2のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第2のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取り部と、前記基点視点のデプス画像に対して、前記第1の基点外視点へのワーピング処理を行う第1基点外視点ワーピング処理部と、前記基点視点のデプス画像に対して、前記第2の基点外視点へのワーピング処理を行う第2基点外視点ワーピング処理部と、前記第1基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第1の基点外視点のデプス画像と、前記デプス多重化画像の前記第1のオクルージョン領域とを合成する第1の合成処理部と、前記第2基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第2の基点外視点のデプス画像と、前記デプス多重化画像の前記第2のオクルージョン領域とを合成する第2の合成処理部とを備える画像処理装置である。
本技術の第2の側面の画像処理方法は、本技術の第2の側面の画像処理装置に対応する。
本技術の第2の側面においては、基点の視点である基点視点以外の視点である第1の基点外視点のデプス画像の、視点を前記基点視点から前記第1の基点外視点に変換する際に生じる第1のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第1のオクルージョン領域と、前記基点視点および前記第1の基点外視点以外の視点である第2の基点外視点のデプス画像の、視点を前記基点視点から前記第2の基点外視点に変換する際に生じる第2のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第2のオクルージョン領域とを多重化した結果得られるデプス多重化画像が受け取られ、前記基点視点のデプス画像に対して、前記第1の基点外視点へのワーピング処理が行われ、前記基点視点のデプス画像に対して、前記第2の基点外視点へのワーピング処理が行われ、前記ワーピング処理によって得られる前記第1の基点外視点のデプス画像と、前記デプス多重化画像の前記第1のオクルージョン領域とが合成され、前記ワーピング処理によって得られる前記第2の基点外視点のデプス画像と、前記デプス多重化画像の前記第2のオクルージョン領域とが合成される。
本技術の第1の側面によれば、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。
また、本技術の第2の側面によれば、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
<本明細書におけるデプス画像の説明>
図19は、視差と奥行きについて説明する図である。
図19は、視差と奥行きについて説明する図である。
図19に示すように、被写体Mのカラー画像が、位置C1に配置されたカメラc1と位置C2に配置されたカメラc2により撮影される場合、被写体Mの、カメラc1(カメラc2)からの奥行方向の距離である奥行きZは、以下の式(a)で定義される。
なお、Lは、位置C1と位置C2の水平方向の距離(以下、カメラ間距離という)である。また、dは、カメラc1で撮影された撮影画像上の被写体Mの位置の、撮影画像の中心からの水平方向の距離u1から、カメラc2で撮影された撮影画像上の被写体Mの位置の、撮影画像の中心からの水平方向の距離u2を減算した値、即ち視差である。さらに、fは、カメラc1の焦点距離であり、式(a)では、カメラc1とカメラc2の焦点距離は同一であるものとしている。
式(a)に示すように、視差dと奥行きZは、一意に変換可能である。従って、本明細書では、カメラc1とカメラc2により撮影された2視点のカラー画像の視差dを表す画像と奥行きZを表す画像とを総称して、デプス画像とする。
なお、デプス画像は、視差dまたは奥行きZを表す画像であればよく、デプス画像の画素値としては、視差dまたは奥行きZそのものではなく、視差dを正規化した値、奥行きZの逆数1/Zを正規化した値等を採用することができる。
視差dを8bit(0〜255)で正規化した値Iは、以下の式(b)により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
また、奥行きZの逆数1/Zを8bit(0〜255)で正規化した値yは、以下の式(c)により求めることができる。なお、奥行きZの逆数1/Zの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差dを正規化した値Iを画素値とする画像と、奥行きZの逆数1/Zを正規化した値yを画素値とする画像とを総称して、デプス画像とする。ここでは、デプス画像のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
<第1実施の形態>
[画像処理システムの一実施の形態の構成例]
図5は、本技術を適用した画像処理装置としての送信装置と受信装置を備える画像処理システムの一実施の形態の構成例を示すブロック図である。
[画像処理システムの一実施の形態の構成例]
図5は、本技術を適用した画像処理装置としての送信装置と受信装置を備える画像処理システムの一実施の形態の構成例を示すブロック図である。
図5に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図5の画像処理システム50の構成は、主に、フォーマット変換装置11の代わりにフォーマット変換装置51が設けられている点、および、フォーマット逆変換装置14の代わりにフォーマット逆変換装置52が設けられている点が図1の構成と異なる。画像処理システム50は、フォーマット変換装置51において、フォーマット逆変換装置52で発生する左視点オクルージョン領域および右視点オクルージョン領域を検出する。
具体的には、画像処理システム50のフォーマット変換装置51と多視点画像符号化装置12は、送信装置として機能する。フォーマット変換装置51には、図1のフォーマット変換装置11と同様に、多視点のカラー画像とデプス画像が入力される。フォーマット変換装置51は、ベースバンド変換処理を行う。
詳細には、フォーマット変換装置51は、入力された多視点のデプス画像のうちの基点デプス画像に対して、左視点および右視点への前景優先のワーピング処理を行う。フォーマット変換装置51は、その結果得られる左視点および右視点の基点デプス画像から、それぞれ、左視点オクルージョン領域と右視点オクルージョン領域を検出する。また、フォーマット変換装置51は、入力された多視点のデプス画像のうちの左デプス画像の左視点オクルージョン領域と右デプス画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行い、1画面に多重化して背景デプス画像の輝度成分を生成する。さらに、フォーマット変換装置51は、入力された多視点のカラー画像のうちの左カラー画像の左視点オクルージョン領域と右カラー画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行い、1画面に多重化して背景カラー画像を生成する。
なお、フォーマット変換装置51における多重化では、多重化対象が重なる場合、いずれか一方の多重化対象が残される。本実施の形態では、左デプス画像および左カラー画像が残されるものとする。
また、フォーマット変換装置51は、背景デプス画像(または背景カラー画像)の各画素のデプス値(または画素値)が、基点の左デプス画像(または左カラー画像)のデプス値、基点の右デプス画像(または右カラー画像)のデプス値、または、基点の左デプス画像(または左カラー画像)および右デプス画像(または右カラー画像)の共有のデプス値(または画素値)のいずれであるかを表す左右特定情報(識別情報)を生成する。そして、フォーマット変換装置51は、画素ごとに、左右特定情報を表す値を、背景デプス画像の色差成分(クロマ成分)とする。
フォーマット変換装置51は、デプス値を輝度成分として有し、左右特定情報を表す値をクロマ成分として有する背景デプス画像、背景カラー画像、基点カラー画像、および基点デプス画像からなるLDVを、ベースバンドして、多視点画像符号化装置12に供給する。
多視点画像復号装置13とフォーマット逆変換装置52は、受信装置として機能する。フォーマット逆変換装置52は、多視点画像復号装置13による復号の結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置51のベースバンド変換処理に対応するベースバンド逆変換処理を行う。
具体的には、フォーマット逆変換装置52は、背景デプス画像のクロマ成分である左右特定情報に基づいて、基点デプス画像と背景デプス画像の輝度成分から、左デプス画像および右デプス画像を生成する。また、フォーマット逆変換装置52は、左右特定情報と左デプス画像に基づいて、基点カラー画像および背景カラー画像から左カラー画像を生成し、左右特定情報と右デプス画像に基づいて、基点カラー画像および背景カラー画像から右カラー画像を生成する。
そして、フォーマット逆変換装置52は、左カラー画像、右カラー画像、および基点カラー画像を多視点カラー画像として出力する。また、フォーマット逆変換装置52は、左デプス画像、右デプス画像、および基点デプス画像を多視点デプス画像として出力する。
[画像処理システムの処理]
図6は、図5の画像処理システム50による画像処理を説明するフローチャートである。この画像処理は、例えば、多視点のカラー画像とデプス画像が画像処理システム50に入力されたとき、開始される。
図6は、図5の画像処理システム50による画像処理を説明するフローチャートである。この画像処理は、例えば、多視点のカラー画像とデプス画像が画像処理システム50に入力されたとき、開始される。
図5のステップS11において、画像処理システム50のフォーマット変換装置51は、画像処理システム50に入力される多視点のカラー画像を取得する。ステップS12において、フォーマット変換装置51は、画像処理システム50に入力される多視点のデプス画像を取得する。
ステップS13において、フォーマット変換装置51は、入力された多視点のカラー画像とデプス画像に対してベースバンド変換処理を行う。このベースバンド変換処理の詳細は、後述する図12を参照して説明する。フォーマット変換装置51は、ベースバンド変換処理の結果得られる、背景カラー画像および背景デプス画像、並びに、基点カラー画像および基点デプス画像からなるLDVをベースバンドして、多視点画像符号化装置12に供給する。
ステップS14において、多視点画像符号化装置12は、フォーマット変換装置51から供給されるLDVである基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像を、MVC方式等で符号化する。多視点画像符号化装置12は、その結果得られるビットストリームを多視点画像復号装置13に伝送する。
ステップS15において、多視点画像復号装置13は、多視点画像符号化装置12から伝送されてくるビットストリームを受信し、MVC方式等に対応する方式で復号する。多視点画像復号装置13は、その結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像をフォーマット逆変換装置52に供給する。
ステップS16において、フォーマット逆変換装置52は、多視点画像復号装置13から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置51のベースバンド変換処理に対応するベースバンド逆変換処理を行う。このベースバンド逆変換処理の詳細は、後述する図14を参照して説明する。
ステップS17において、フォーマット逆変換装置52は、ベースバンド逆変換処理の結果得られた左カラー画像、右カラー画像、および基点カラー画像を多視点カラー画像として出力する。
ステップS18において、フォーマット逆変換装置52は、ベースバンド逆変換処理の結果得られた左デプス画像、右デプス画像、および基点デプス画像を多視点デプス画像として出力する。そして、処理は終了する。
[フォーマット変換装置の第1の詳細構成例]
図7は、図5のフォーマット変換装置51の第1の詳細構成例を示すブロック図である。
図7は、図5のフォーマット変換装置51の第1の詳細構成例を示すブロック図である。
図7に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図7のフォーマット変換装置51の構成は、出力部26を備える点を除いて図2の構成と異なる。
フォーマット変換装置51のワーピング処理部71は、基点外視点ワーピング処理部として機能する。ワーピング処理部71は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部72に供給する。
オクルージョン判定処理部72は、検出部として機能し、ワーピング処理部71から供給される左視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を左視点オクルージョン領域として検出する。また、オクルージョン判定処理部72は、左視点の基点デプス画像のうち、孤立点除去法などにより、周辺画素が左視点オクルージョン領域内にあり、デプス値が存在する画素のデプス値を除去する。そして、オクルージョン判定処理部72は、デプス値が除去された画素を左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。
即ち、オクルージョン判定処理部72は、左視点オクルージョン領域として検出されない画素のうち、その画素の周辺の画素が左視点オクルージョン領域として検出された画素を、左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。これにより、基点デプス画像の精度が悪く、左視点の基点デプス画像の本来の左視点オクルージョン領域内にデプス値が誤って配置された場合であっても、より正確に左視点オクルージョン領域を検出することができる。
また、オクルージョン判定処理部72は、補正後の左視点オクルージョン領域を特定する情報を、左視点のオクルージョン情報としてワーピング処理部73に供給する。
ワーピング処理部73は、オクルージョン判定処理部72から供給される左視点のオクルージョン情報に基づいて、入力される左デプス画像の左視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部73は、ワーピング処理の結果得られる画像を左デプスのオクルージョン画像として画面多重化処理部77に供給する。
また、ワーピング処理部73は、左視点のオクルージョン情報に基づいて、入力される左カラー画像の左視点オクルージョン領域に対して、左デプスのオクルージョン画像を用いて基点への背景優先のワーピング処理を行う。ワーピング処理部73は、ワーピング処理の結果得られる画像を左カラーのオクルージョン画像として画面多重化処理部77に供給する。
ワーピング処理部74、オクルージョン判定処理部75、およびワーピング処理部76は、右視点について、ワーピング処理部71、オクルージョン判定処理部72、およびワーピング処理部73と同様の処理を行う。
具体的には、ワーピング処理部74は、基点外視点ワーピング処理部として機能し、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部75に供給する。
オクルージョン判定処理部75は、検出部として機能し、ワーピング処理部74から供給される右視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を右視点オクルージョン領域として検出する。また、オクルージョン判定処理部75は、右視点の基点デプス画像のうち、孤立点除去法などにより、周辺画素が右視点オクルージョン領域内にあり、デプス値が存在する画素のデプス値を除去する。そして、オクルージョン判定処理部75は、デプス値が除去された画素を右視点オクルージョン領域に追加することにより、右視点オクルージョン領域を補正する。これにより、基点デプス画像の精度が悪く、右視点の基点デプス画像の本来の右視点オクルージョン領域内にデプス値が誤って配置された場合であっても、より正確に右視点オクルージョン領域を検出することができる。
また、オクルージョン判定処理部75は、補正後の右視点オクルージョン領域を特定する情報を、右視点のオクルージョン情報としてワーピング処理部76に供給する。
ワーピング処理部76は、オクルージョン判定処理部75から供給される右視点のオクルージョン情報に基づいて、入力される右デプス画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部76は、ワーピング処理の結果得られる画像を右デプスのオクルージョン画像として画面多重化処理部77に供給する。
また、ワーピング処理部76は、右視点のオクルージョン情報に基づいて、入力される右カラー画像の右視点オクルージョン領域に対して、右デプスのオクルージョン画像を用いて基点への背景優先のワーピング処理を行う。ワーピング処理部76は、ワーピング処理の結果得られる画像を右カラーのオクルージョン画像として画面多重化処理部77に供給する。
画面多重化処理部77は、多重化部として機能し、ワーピング処理部73から供給される左デプスのオクルージョン画像と、ワーピング処理部76から供給される右デプスのオクルージョン画像を1画面に多重化する。そして、画面多重化処理部77は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。なお、所定値としては、例えば、0や基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部77は、設定部としても機能し、各画素の左右特定情報を生成(設定)し、クロマ成分変換処理部78に供給する。
また、画面多重化処理部77は、ワーピング処理部73から供給される左カラーのオクルージョン画像と、ワーピング処理部76から供給される右カラーのオクルージョン画像を1画面に多重化する。画面多重化処理部77は、伝送部としても機能し、多重化の結果得られる画像を背景カラー画像として、多視点画像符号化装置12および多視点画像復号装置13を介してフォーマット逆変換装置52に伝送する。
クロマ成分変換処理部78は、画面多重化処理部77から供給される背景デプス画像のクロマ成分を、画素ごとに、所定値から左右特定情報を表す値に変更する。クロマ成分変換処理部78は、伝送部として機能し、変更後の背景デプス画像を、多視点画像符号化装置12および多視点画像復号装置13を介してフォーマット逆変換装置52に伝送する。
また、フォーマット変換装置51に入力される基点デプス画像と基点カラー画像は、そのまま多視点画像符号化装置12に供給される。
[デプス画像のワーピング処理の説明]
図8は、デプス画像のワーピング処理を説明する図である。
図8は、デプス画像のワーピング処理を説明する図である。
デプス画像のワーピング処理では、まず、図8に示すように、処理対象の位置t(tx,ty,tz)の視点のデプス画像の各画素の位置m(x,y,z)と、位置t'(t'x,t'y,t'z)の視点のワーピング処理後のデプス画像の位置m'(x',y',z')が、3次元空間を介して対応付けられる。
具体的には、以下の式(1)により、位置t(tx,ty,tz)の視点のデプス画像の、デプス値Zの画素の位置m(x,y,z)に対応する3次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'(t'x,t'y,t'z)の視点のワーピング処理後のデプス画像の位置m'(x',y',z')が求められる。
(X,Y,Z)T=RA−1(x,y,1)TZ+(tx,ty,tz)T
s(x',y',1)T=A’R'−1[(X,Y,Z)T-(t'x,t'y,t'z)T]
・・・(1)
s(x',y',1)T=A’R'−1[(X,Y,Z)T-(t'x,t'y,t'z)T]
・・・(1)
なお、式(1)において、Rは、デプス画像を撮影する図示せぬカメラのワーピング処理用の回転行列であり、以下の式(2)で表される。
なお、式(2)において、r_11乃至r_13,r_21乃至r_23、およびr_31乃至r_33は、所定値である。
また、式(1)において、Aは、デプス画像を撮影する図示せぬカメラの内部パラメータを含む行列であり、以下の式(3)で表される。
なお、式(3)において、focal_length_x,focal_length_yは、それぞれ、内部パラメータのうちのx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータのうちの主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータのうちの半径方向の歪み係数を表す。
さらに、式(1)において、R’は、Rと同様に表されるワーピング処理後のデプス画像を撮影する仮想のカメラのワーピング処理用の回転行列であり、A’は、Aと同様に表されるワーピング処理後のデプス画像を撮影する仮想のカメラの内部パラメータを含む行列である。また、式(1)においてsは、スケーリングファクタ(scaling factor)である。
以上のようにして対応付けが行われた後、各画素の位置m(x,y,z)に対応する位置m'(x',y',z')に基づいて、処理対象のデプス画像の各画素に対応するワーピング処理後のデプス画像の画素が決定される。そして、処理対象のデプス画像の各画素のデプス値が、その画素に対応するワーピング処理後のデプス画像の画素のデプス値とされる。
[左デプスのオクルージョン画像の生成の説明]
図9は、図7のフォーマット変換装置51による左デプスのオクルージョン画像の生成について説明する図である。
図9は、図7のフォーマット変換装置51による左デプスのオクルージョン画像の生成について説明する図である。
なお、図9の例では、基点デプス画像は、所定の背景の中央に球状の物体が前景として存在する場面を撮影したときに得られたデプス画像である。
図9に示すように、ワーピング処理部71により、基点デプス画像に対して左視点への前景優先のワーピング処理が行われると、左視点の基点デプス画像が生成される。そして、オクルージョン判定処理部72により、左視点の基点デプス画像においてデプス値が存在しない領域が左視点オクルージョン領域101として検出される。なお、周辺画素が左視点オクルージョン領域内にあり、デプス値が存在する画素が存在する場合、その画素も左視点オクルージョン領域101に含められる。
そして、ワーピング処理部73により、左デプス画像の左視点オクルージョン領域101に対応する領域102に対して基点への背景優先のワーピング処理が行われる。これにより、左デプス画像の領域102の背景が、その領域102に対応する基点デプス画像上の領域103の画像に変換され、左デプスのオクルージョン画像とされる。
なお、図9の例では、基点デプス画像の精度が悪く、左視点の基点デプス画像で発生する左視点オクルージョン領域101は、実際の左視点オクルージョン領域に比べて大きくなっている。従って、左デプス画像の領域102には、デプス値が0以外の円形の領域も含まれるが、ワーピング処理時には、領域102のデプス値は全て0とされる。即ち、領域102のうちの前景の画素のデプス値は、ワーピング処理時には、背景のデプス値に変更される。
[左右特定情報の配置例]
図10は、背景デプス画像の各成分の値に対応する画素を示す図である。
図10は、背景デプス画像の各成分の値に対応する画素を示す図である。
なお、図10の例では、背景デプス画像は、いわゆるYCbCr420の4×4画素からなる画像である。また、図10において、丸、四角、および三角は、それぞれ、輝度成分(Y成分)、クロマ成分のうちのCb成分、クロマ成分のうちのCr成分に対応する画素を表している。
図10に示すように、背景デプス画像のY成分は、画素ごとに値を有しており、Cb成分およびCr成分は、2×2画素ごとに値を有している。
図11は、Cb成分とCr成分の値のビット列の例を示す図である。
図11の例では、Cb成分とCr成分の値のビット数が8となっている。
この場合、図11に示すように、Cb成分の8ビットの値のうちのMSB(Most Significant Bit)である8ビット目のビットの値は、そのCb成分の値に対応する2×2画素のうちの上側の2画素のいずれか一方を表す。具体的には、8ビット目のビットの値は、左上の画素(例えば、図10の1が付された丸で表される画素)を表す場合0であり、右上の画素(例えば、図10の2が付された丸で表される画素)を表す場合1である。
また、Cb成分の7ビット目のビットおよび6番目のビットの値は、8ビット目のビットの値が表す画素の左右特定情報を表す。具体的には、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像(または背景カラー画像)の各画素のデプス値(または画素値)が、基点の左デプス画像(または左カラー画像)のデプス値であることを表す場合、7ビット目のビットの値は0となる。なお、以下では、この場合を左右特定情報が左を表す場合という。
また、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像(または背景カラー画像)の各画素のデプス値(または画素値)が、基点の右デプス画像(または右カラー画像)のデプス値であることを表す場合、7ビット目のビットの値は1となる。なお、以下では、この場合を左右特定情報が右を表す場合という。
さらに、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像(または背景カラー画像)の各画素のデプス値(または画素値)が、基点の左デプス画像(または左カラー画像)および右デプス画像(または右カラー画像)の共有のデプス値(または画素値)であることを表す場合、6ビット目のビットの値は1となる。なお、以下では、この場合を左右特定情報が左右を表す場合という。また、Cb成分の5ビット目のビットは空き領域である。
Cb成分の2乃至4ビット目のビットの値は、そのCb成分の値に対応する2×2画素の上側の2画素のうちの、8ビット目のビットが表す画素ではない画素についての情報を、6乃至8ビット目のビットと同様に表す。LSB(Least Significant Bit)である1ビット目のビットは空き領域である。
また、Cr成分の8ビットは、そのCb成分の値に対応する2×2画素のうちの下側の2画素(例えば、図10の3および4が付された丸で表される画素)についての情報を、Cb成分と同様に表す。
[フォーマット変換装置の処理の第1の例の説明]
図12は、図7のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図12は、図7のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図12のステップS31において、フォーマット変換装置51のワーピング処理部71は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部72に供給する。
ステップS32において、ワーピング処理部74は、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部75に供給する。
ステップS33において、オクルージョン判定処理部72は、ワーピング処理部71から供給される左視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を左視点オクルージョン領域として検出する。
ステップS34において、オクルージョン判定処理部72は、左視点の基点デプス画像のうち、周辺画素が左視点オクルージョン領域であり、デプス値が存在する画素を左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。そして、オクルージョン判定処理部72は、補正後の左視点オクルージョン領域を特定する左視点のオクルージョン情報を、ワーピング処理部73に供給する。
ステップS35において、オクルージョン判定処理部75は、ワーピング処理部74から供給される右視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を右視点オクルージョン領域として検出する。
ステップS36において、オクルージョン判定処理部75は、右視点の基点デプス画像のうち、周辺画素が右視点オクルージョン領域であり、デプス値が存在する画素を右視点オクルージョン領域に追加することにより、右視点オクルージョン領域を補正する。そして、オクルージョン判定処理部75は、補正後の右視点オクルージョン領域を特定する右視点のオクルージョン情報を、ワーピング処理部76に供給する。
ステップS37において、ワーピング処理部73は、オクルージョン判定処理部72かの左視点のオクルージョン情報に基づいて、入力される左デプス画像と左カラー画像の左視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部73は、ワーピング処理の結果得られる左デプスのオクルージョン画像と左カラーのオクルージョン画像を、画面多重化処理部77に供給する。
ステップS38において、ワーピング処理部76は、オクルージョン判定処理部75からの右視点のオクルージョン情報に基づいて、入力される右デプス画像と右カラー画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部76は、ワーピング処理の結果得られる右デプスのオクルージョン画像と右カラーのオクルージョン画像を、画面多重化処理部77に供給する。
ステップS39において、画面多重化処理部77は、ワーピング処理部73から供給される左カラーのオクルージョン画像と、ワーピング処理部76から供給される右カラーのオクルージョン画像を1画面に多重化し、図5の多視点画像符号化装置12に供給する。
ステップS40において、画面多重化処理部77は、ワーピング処理部73から供給される左デプスのオクルージョン画像と、ワーピング処理部76から供給される右デプスのオクルージョン画像を1画面に多重化する。そして、画面多重化処理部77は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。
ステップS41において、画面多重化処理部77は、各画素の左右特定情報を生成し、クロマ成分変換処理部78に供給する。
ステップS42において、クロマ成分変換処理部78は、画面多重化処理部77から供給される背景デプス画像のクロマ成分を、画素ごとに、所定値から左右特定情報を表す値に変更し、変更後の背景デプス画像を多視点画像符号化装置12に供給する。
ステップS43において、出力部26は、入力される基点デプス画像と基点カラー画像を、そのまま多視点画像符号化装置12に出力する。そして、ベースバンド変換処理は終了する。
以上のように、図7のフォーマット変換装置51は、左視点および右視点の基点デプス画像を用いて、左視点オクルージョン領域および右視点オクルージョン領域を検出する。従って、フォーマット変換装置51は、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置52で発生する左視点オクルージョン領域と右視点オクルージョン領域を正確に検出することができる。
その結果、フォーマット逆変換装置52は、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
[フォーマット逆変換装置の第1の詳細構成例]
図13は、図5のフォーマット逆変換装置52の第1の詳細構成例を示すブロック図である。
図13は、図5のフォーマット逆変換装置52の第1の詳細構成例を示すブロック図である。
図13に示す構成のうち、図3の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図13のフォーマット逆変換装置52の構成は、主に、画面合成処理部32、ワーピング処理部33、画面合成処理部34の代わりに画面合成処理部123、ワーピング処理部121、画面合成処理部124が設けられている点、および、クロマ成分変換処理部122が新たに設けられている点が図3の構成と異なる。
フォーマット逆変換装置52のワーピング処理部121は、受け取り部として機能し、多視点画像復号装置13から供給される背景カラー画像を受け取る。ワーピング処理部121は、背景カラー画像に対して、画素ごとに、クロマ成分変換処理部122から供給される、その画素の左右特定情報に対応する左視点または右視点への前景優先のワーピング処理を行う。
具体的には、所定の画素の左右特定情報が左を表す0である場合、ワーピング処理部121は、その画素に対して左視点への前景優先のワーピング処理を行う。また、所定の画素の左右特定情報が右を表す1である場合、ワーピング処理部121は、その画素に対して右視点への前景優先のワーピング処理を行う。さらに、所定の画素の左右特定情報が左右を表す2である場合、ワーピング処理部121は、その画素の左視点および右視点への前景優先のワーピング処理を行う。
また、ワーピング処理部121は、クロマ成分変換処理部122から供給される背景デプス画像に対して、背景カラー画像と同様に、画素ごとに、その画素の左右特定情報に対応する左視点または右視点への前景優先のワーピング処理を行う。
このように、左右特定情報に対応する視点への前景優先のワーピング処理が行われることにより、背景カラー画像および背景デプス画像のうちの左視点オクルージョン領域のみからなる左視点の画像と、右視点オクルージョン領域のみからなる右視点の画像が生成される。
そして、ワーピング処理部121は、背景カラー画像の左視点オクルージョン領域のみからなる左視点の画像を左視点の背景カラー画像とし、背景デプス画像の左視点オクルージョン領域のみからなる左視点の画像を左視点の背景デプス画像として、画面合成処理部123に供給する。また、ワーピング処理部121は、背景カラー画像の右視点オクルージョン領域のみからなる右視点の画像を右視点の背景カラー画像とし、背景デプス画像の右視点オクルージョン領域のみからなる右視点の画像を右視点の背景デプス画像として、画面合成処理部123に供給する。
クロマ成分変換処理部122は、受け取り部として機能し、多視点画像復号装置13から供給される背景デプス画像を受け取る。クロマ成分変換処理部122は、背景デプス画像のクロマ成分から、左右特定情報を生成する。
具体的には、クロマ成分変換処理部122は、背景デプス画像のクロマ成分の3または7ビット目のビットが0である場合、4または8ビット目のビットが表す画素の左右特定情報として0を生成する。また、クロマ成分変換処理部122は、背景デプス画像のクロマ成分の3または7ビット目のビットが1である場合、4または8ビット目のビットが表す画素の左右特定情報として1を生成する。さらに、クロマ成分変換処理部122は、背景デプス画像のクロマ成分の2または6ビット目のビットが1である場合、4または8ビット目のビットが表す画素の左右特定情報として2を生成する。
また、クロマ成分変換処理部122は、背景デプス画像のクロマ成分を、左右特定情報を表す値から所定値に変更し、ワーピング処理部121に供給する。
画面合成処理部123は、第1の合成処理部として機能する。画面合成処理部123は、ワーピング処理部31により生成される左視点の基点カラー画像と、ワーピング処理部121から供給される左視点の背景カラー画像を合成し、その結果得られる画像を左カラー画像として出力する。また、画面合成処理部123は、ワーピング処理部31により生成される左視点の基点デプス画像と、ワーピング処理部121から供給される左視点の背景デプス画像を合成し、その結果得られる画像を左デプス画像として出力する。
画面合成処理部124は、第2の合成処理部として機能する。画面合成処理部124は、ワーピング処理部31により生成される右視点の基点カラー画像と、ワーピング処理部121から供給される右視点の背景カラー画像を合成し、その結果得られる画像を右カラー画像として出力する。また、画面合成処理部124は、ワーピング処理部31により生成される右視点の基点デプス画像と、ワーピング処理部121から供給される右視点の背景デプス画像を合成し、その結果得られる右デプス画像として出力する。
なお、画面合成処理部123および画面合成処理部124における合成では、基点カラー画像と背景カラー画像の両方に画素値がある場合には、背景カラー画像の画素値が合成後の画素値として選択される。同様に、基点デプス画像と背景デプス画像の両方に画素値がある場合には、背景デプス画像の画素値が合成後の画素値として選択される。一方、基点カラー画像と背景カラー画像のいずれか一方に画素値がある場合には、その画素値が合成後の画素値とされる。
このように、画面合成処理部123および画面合成処理部124は、合成時に背景カラー画像および背景デプス画像を、左視点および右視点の背景カラー画像および背景デプス画像に比べて、優先的に選択する。従って、フォーマット変換装置51において、左視点オクルージョン領域と右視点オクルージョン領域が補正された場合、補正後の左視点オクルージョン領域と右視点オクルージョン領域が、背景カラー画像および背景デプス画像によって補間される。よって、合成の結果得られる左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質を向上させることができる。
なお、上述したように、左視点の背景カラー画像および背景デプス画像は、背景カラー画像および背景デプス画像の左視点オクルージョン領域のみから生成される。従って、合成時に左視点の背景カラー画像および背景デプス画像が優先的に選択されても、左カラー画像および左デプス画像に、右視点オクルージョン領域の画像が存在することはない。同様に、右カラー画像および右デプス画像に、左視点オクルージョン領域の画像が存在することはない。
[フォーマット逆変換装置の処理の第1の例の説明]
図14は、図13のフォーマット逆変換装置52による図6のステップS16のベースバンド逆変換処理の詳細を説明するフローチャートである。
図14は、図13のフォーマット逆変換装置52による図6のステップS16のベースバンド逆変換処理の詳細を説明するフローチャートである。
図14のステップS61において、フォーマット逆変換装置52のクロマ成分変換処理部122は、多視点画像復号装置13から背景デプス画像を受け取り、その背景デプス画像のクロマ成分から、左右特定情報を生成する。また、クロマ成分変換処理部122は、背景デプス画像のクロマ成分を、左右特定情報を表す値から所定値に変更し、ワーピング処理部121に供給する。
ステップS62において、ワーピング処理部31は、多視点画像復号装置13から供給される基点デプス画像および基点カラー画像に対して、左視点への前景優先のワーピング処理を行う。そして、ワーピング処理部31は、その結果得られる左視点の基点デプス画像および基点カラー画像を画面合成処理部123に供給する。
ステップS63において、ワーピング処理部31は、多視点画像復号装置13から供給される基点デプス画像および基点カラー画像に対して、右視点への前景優先のワーピング処理を行う。そして、ワーピング処理部31は、右視点の基点デプス画像および基点カラー画像を画面合成処理部124に供給する。
ステップS64において、ワーピング処理部121は、左右特定情報に基づいて、背景デプス画像と背景カラー画像のうちの、左右特定情報が左または左右を表す画素に対して、左視点への前景優先のワーピング処理を行う。そして、ワーピング処理部121は、その結果得られる左視点の背景デプス画像および背景カラー画像を、画面合成処理部123に供給する。
ステップS65において、ワーピング処理部121は、左右特定情報に基づいて、背景デプス画像と背景カラー画像のうちの、左右特定情報が右または左右を表す画素に対して、右視点への前景優先のワーピング処理を行う。そして、ワーピング処理部121は、その結果得られる右視点の背景デプス画像および背景カラー画像を、画面合成処理部124に供給する。
ステップS66において、画面合成処理部123は、ワーピング処理部31から供給される左視点の基点カラー画像と、ワーピング処理部121から供給される左視点の背景カラー画像を合成し、その結果得られる左カラー画像を出力する。
ステップS67において、画面合成処理部124は、ワーピング処理部31から供給される右視点の基点カラー画像と、ワーピング処理部121から供給される右視点の背景カラー画像を合成し、その結果得られる右カラー画像を出力する。
ステップS68において、画面合成処理部123は、ワーピング処理部31から供給される左視点の基点デプス画像と、ワーピング処理部121から供給される左視点の背景デプス画像を合成し、その結果得られる左デプス画像を出力する。
ステップS69において、画面合成処理部124は、ワーピング処理部31から供給される右視点の基点デプス画像と、ワーピング処理部121から供給される右視点の背景デプス画像を合成し、その結果得られる右デプス画像を出力する。
ステップS70において、出力部35は、多視点画像復号装置13から供給される基点カラー画像と基点デプス画像をそのまま出力する。そして、ベースバンド逆変換処理は終了する。
以上のように、フォーマット逆変換装置52には、左視点および右視点の基点デプス画像を用いて検出された左視点オクルージョン領域および右視点オクルージョン領域の背景カラー画像および背景デプス画像が、フォーマット変換装置51から供給される。従って、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置52が、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
[フォーマット変換装置の第2の構成例]
図15は、図5のフォーマット変換装置51の第2の詳細構成例を示すブロック図である。
図15は、図5のフォーマット変換装置51の第2の詳細構成例を示すブロック図である。
図15に示す構成のうち、図7の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図15のフォーマット変換装置51の構成は、主に、ワーピング処理部71、ワーピング処理部73、ワーピング処理部74、ワーピング処理部76、画面多重化処理部77の代わりにワーピング処理部151、ワーピング処理部153、ワーピング処理部154、ワーピング処理部156、画面多重化処理部157が設けられている点、および、カラー相関判定処理部152および155が新たに設けられている点が図7の構成と異なる。
図15のフォーマット変換装置51は、左視点オクルージョン領域を含む領域の左カラー画像と右視点オクルージョン領域を含む領域の右カラー画像を1画面に多重化することにより、背景カラー画像を生成する。また、図15のフォーマット変換装置51は、左視点オクルージョン領域を含む領域の左デプス画像と右視点オクルージョン領域を含む領域の右デプス画像を1画面に多重化することにより、背景デプス画像を生成する。
具体的には、図15のフォーマット変換装置51のワーピング処理部151は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点デプス画像を生成する。そして、ワーピング処理部151は、基点外視点ワーピング処理部として機能し、入力されるカラー画像に対して、左視点の基点デプス画像を用いて、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。なお、このとき、左視点の基点カラー画像のうちの左視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部151は、生成された左視点の基点カラー画像をカラー相関判定処理部152に供給する。
カラー相関判定処理部152は、検出部として機能し、入力される左カラー画像と、ワーピング処理部151から供給される左視点の基点カラー画像の差分を画素ごとに求める。そして、カラー相関判定処理部152は、画素ごとに、求められた差分に基づいて、相関が高いか、または低いかを表すカラー相関情報を生成する。
具体的には、カラー相関判定処理部152は、求められた差分が所定の閾値以上である場合、その画素を低相関領域として検出し、カラー相関情報として、相関が低いことを表す情報を生成する。これにより、例えば、左視点オクルージョン領域に対応するカラー相関情報は、相関が低いことを表す情報となる。一方、求められた差分が所定の閾値より小さい場合、カラー相関判定処理部152は、カラー相関情報として、相関が高いことを表す情報を生成する。そして、カラー相関判定処理部152は、生成されたカラー相関情報を、左視点のカラー相関情報としてワーピング処理部153に供給する。
ワーピング処理部153は、カラー相関判定処理部152から供給される左視点のカラー相関情報に基づいて、左デプス画像および左カラー画像のうちの、相関が低いことを表すカラー相関情報に対応する画素からなる領域(以下、低相関領域という)を検出する。即ち、ワーピング処理部153は、左デプス画像および左カラー画像のうちの、左視点の基点カラー画像および基点デプス画像において発生する左視点オクルージョン領域を含む低相関領域を検出する。
そして、ワーピング処理部153は、左デプス画像の低相関領域に対して、基点への背景優先のワーピング処理を行い、その結果得られる画像を、左デプスの低相関画像として画面多重化処理部157に供給する。また、ワーピング処理部153は、入力される左カラー画像のうちの低相関領域に対して、左デプスの低相関画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる画像を、左カラーの低相関画像として画面多重化処理部157に供給する。
ワーピング処理部154、カラー相関判定処理部155、およびワーピング処理部156は、右視点について、ワーピング処理部151、カラー相関判定処理部152、およびワーピング処理部153と同様の処理を行う。
具体的には、ワーピング処理部154は、基点デプス画像を用いて、基点カラー画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。なお、右視点の基点カラー画像のうちの右視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部154は、生成された右視点の基点カラー画像をカラー相関判定処理部155に供給する。
カラー相関判定処理部155は、入力される右カラー画像と、ワーピング処理部154から供給される右視点の基点カラー画像の差分を画素ごとに求める。そして、カラー相関判定処理部155は、カラー相関判定処理部152と同様に、画素ごとに、求められた差分に基づいてカラー相関情報を生成する。カラー相関判定処理部155は、生成されたカラー相関情報を、右視点のカラー相関情報としてワーピング処理部156に供給する。
ワーピング処理部156は、カラー相関判定処理部155から供給される右視点のカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの低相関領域を検出する。即ち、ワーピング処理部156は、右デプス画像および右カラー画像のうちの、右視点の基点カラー画像および基点デプス画像において発生する右視点オクルージョン領域を含む低相関領域を検出する。
そして、ワーピング処理部156は、右デプス画像の低相関領域に対して、基点への背景優先のワーピング処理を行い、その結果得られる画像を、右デプスの低相関画像として画面多重化処理部157に供給する。また、ワーピング処理部156は、入力される右カラー画像のうちの低相関領域に対して、右デプスの低相関画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる画像を、右デプスの低相関画像として画面多重化処理部157に供給する。
画面多重化処理部157は、ワーピング処理部153から供給される左デプスの低相関画像と、ワーピング処理部156から供給される右デプスの低相関画像を1画面に多重化する。そして、画面多重化処理部157は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。なお、所定値としては、例えば、0、基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部157は、各画素の左右特定情報を生成し、クロマ成分変換処理部78に供給する。
また、画面多重化処理部157は、ワーピング処理部153から供給される左カラーの低相関画像と、ワーピング処理部156から供給される右カラーの低相関画像を1画面に多重化する。画面多重化処理部157は、伝送部として機能し、多重化の結果得られる画像を背景カラー画像として、図5の多視点画像符号化装置12および多視点画像復号装置13を介して、フォーマット逆変換装置52に伝送する。
図15のフォーマット変換装置51に入力される基点デプス画像と基点カラー画像は、そのまま多視点画像符号化装置12に供給される。
[フォーマット変換装置の処理の第2の例の説明]
図16は、図15のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図16は、図15のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図16のステップS101において、フォーマット変換装置51のワーピング処理部151は、入力される基点デプス画像を用いて、基点カラー画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。ワーピング処理部151は、生成された左視点の基点カラー画像をカラー相関判定処理部152に供給する。
ステップS102において、ワーピング処理部154は、入力される基点デプス画像を用いて、基点カラー画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。ワーピング処理部154は、生成された右視点の基点カラー画像をカラー相関判定処理部155に供給する。
ステップS103において、カラー相関判定処理部152は、入力される左カラー画像と、ワーピング処理部151から供給される左視点の基点カラー画像の各画素の差分を求める。
ステップS104において、カラー相関判定処理部152は、画素ごとに、ステップS103で求められた差分に基づいて左視点のカラー相関情報を生成し、ワーピング処理部153に供給する。
ステップS105において、カラー相関判定処理部155は、入力される右カラー画像と、ワーピング処理部154から供給される右視点の基点カラー画像の各画素の差分を求める。
ステップS106において、カラー相関判定処理部155は、カラー相関判定処理部152と同様に、画素ごとに、ステップS105で求められた差分に基づいて右視点のカラー相関情報を生成し、ワーピング処理部156に供給する。
ステップS107において、ワーピング処理部153は、カラー相関判定処理部152から供給される左視点のカラー相関情報に基づいて、左デプス画像と左カラー画像のうちの低相関領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部153は、ワーピング処理の結果得られる左デプスの低相関画像および左カラーの低相関画像を、画面多重化処理部157に供給する。
ステップS108において、ワーピング処理部156は、カラー相関判定処理部155から供給される右視点のカラー相関情報に基づいて、右デプス画像と右カラー画像のうちの低相関領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部156は、ワーピング処理の結果得られる右デプスの低相関画像と右カラーの低相関画像を、画面多重化処理部157に供給する。
ステップS109において、画面多重化処理部157は、ワーピング処理部153から供給される左カラーの低相関画像と、ワーピング処理部156から供給される右カラーの低相関画像を1画面に多重化する。そして、画面多重化処理部157は、多重化の結果得られる背景カラー画像を、図5の多視点画像符号化装置12に供給する。
ステップS110において、画面多重化処理部157は、ワーピング処理部153から供給される左デプスの低相関画像と、ワーピング処理部156から供給される右デプスの低相関画像を1画面に多重化する。そして、画面多重化処理部157は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。
ステップS111乃至S113の処理は、図12のステップS41乃至S43の処理と同様であるので、説明は省略する。ステップS113の処理後、ベースバンド変換処理は終了する。
以上のように、図15のフォーマット変換装置51は、左視点の基点カラー画像を用いて、左視点の基点カラー画像と左カラー画像の各画素の差分を求め、その差分に基づいて左視点オクルージョン領域を含む低相関領域を検出する。同様に、フォーマット変換装置51は、右視点の基点カラー画像を用いて右視点オクルージョン領域を含む低相関領域を検出する。
従って、フォーマット変換装置51は、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置52で発生する左視点オクルージョン領域と右視点オクルージョン領域を正確に検出することができる。その結果、フォーマット逆変換装置52は、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
なお、図5の画像処理システム10が図15のフォーマット変換装置51を備える場合のフォーマット逆変換装置52の構成は、図13のフォーマット逆変換装置52の構成と同様である。
この場合、画面合成処理部123および124が、背景カラー画像および背景デプス画像を優先的に選択することにより、合成後の画像として、図15のフォーマット変換装置51に入力される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の低相関領域が用いられる。その結果、フォーマット逆変換装置52により生成される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が向上する。例えば、基点カラー画像が、角度によって光の反射が異なる被写体のカラー画像である場合、フォーマット逆変換装置52により生成される左カラー画像や右カラー画像の画質が向上する。
[フォーマット変換装置の第3の詳細構成例]
図17は、図5のフォーマット変換装置51の第3の詳細構成例を示すブロック図である。
図17は、図5のフォーマット変換装置51の第3の詳細構成例を示すブロック図である。
図17に示す構成のうち、図7の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図17のフォーマット変換装置51の構成は、主に、ワーピング処理部71、ワーピング処理部73、ワーピング処理部74、ワーピング処理部76、画面多重化処理部77の代わりに、ワーピング処理部201、ワーピング処理部203、ワーピング処理部204、ワーピング処理部206、画面多重化処理部207が設けられている点、および、新たにカラー相関判定処理部202および205が設けられている点が、図7の構成と異なる。
図17のフォーマット変換装置51は、背景デプス画像および背景カラー画像内の、左視点オクルージョン領域と右視点オクルージョン領域以外の領域に、その領域に対応する左デプス画像または右デプス画像の低相関領域を配置する。
具体的には、図17のフォーマット変換装置51のワーピング処理部201は、基点外視点ワーピング処理部として機能し、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点デプス画像を生成する。そして、ワーピング処理部201は、入力されるカラー画像に対して、左視点の基点デプス画像を用いて、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。なお、左視点の基点カラー画像のうちの左視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部201は、生成された左視点の基点デプス画像をオクルージョン判定処理部72に供給し、左視点の基点カラー画像をカラー相関判定処理部202に供給する。
カラー相関判定処理部202は、オクルージョン判定処理部72により生成される左視点のオクルージョン情報に基づいて、入力される左カラー画像と左視点の基点カラー画像の左視点オクルージョン領域外の各画素の差分を求める。そして、カラー相関判定処理部202は、画素ごとに、求められた差分に基づいてカラー相関情報を生成し、左視点のカラー相関情報としてワーピング処理部203に供給する。
ワーピング処理部203は、オクルージョン判定処理部72により生成される左視点のオクルージョン情報に基づいて、左デプス画像および左カラー画像のうちの左視点オクルージョン領域を検出する。また、ワーピング処理部203は、カラー相関判定処理部202から供給される左視点のカラー相関情報に基づいて、左デプス画像および左カラー画像のうちの左視点オクルージョン領域外の低相関領域(以下、左視点オクルージョン外低相関領域という)を検出する。そして、ワーピング処理部153は、左デプス画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部203は、その結果得られる左デプスのオクルージョン画像と、左視点オクルージョン外低相関領域の画像である左デプスのオクルージョン外低相関画像を、画面多重化処理部207に供給する。
また、ワーピング処理部203は、入力される左カラー画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、左デプスのオクルージョン画像とオクルージョン外低相関画像を用いて、基点への背景優先のワーピング処理を行う。ワーピング処理部203は、その結果得られる左カラーのオクルージョン画像と、左視点オクルージョン外低相関領域の画像である左カラーのオクルージョン外低相関画像を画面多重化処理部207に供給する。
ワーピング処理部204は、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点デプス画像を生成する。そして、ワーピング処理部204は、入力されるカラー画像に対して、右視点の基点デプス画像を用いて、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。なお、右視点の基点カラー画像のうちの右視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部204は、生成された右視点の基点デプス画像をオクルージョン判定処理部75に供給し、右視点の基点カラー画像をカラー相関判定処理部205に供給する。
カラー相関判定処理部205は、オクルージョン判定処理部75により生成される右視点のオクルージョン情報に基づいて、入力される右カラー画像と右視点の基点カラー画像の右視点オクルージョン領域外の各画素の差分を求める。そして、カラー相関判定処理部205は、画素ごとに、求められた差分に基づいてカラー相関情報を生成し、右視点のカラー相関情報としてワーピング処理部206に供給する。
ワーピング処理部206は、オクルージョン判定処理部72により生成される右視点のオクルージョン情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域を検出する。また、ワーピング処理部206は、カラー相関判定処理部205から供給される右視点のカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域外の低相関領域(以下、右視点オクルージョン外低相関領域という)を検出する。そして、ワーピング処理部206は、右デプス画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部206は、その結果得られる右デプスのオクルージョン画像と、右視点オクルージョン外低相関領域の画像である右デプスのオクルージョン外低相関画像を、画面多重化処理部207に供給する。
また、ワーピング処理部206は、入力される右カラー画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、右デプスのオクルージョン画像とオクルージョン外低相関画像を用いて、基点への背景優先のワーピング処理を行う。ワーピング処理部206は、その結果得られる右カラーのオクルージョン画像と、右視点オクルージョン外低相関領域の画像である右カラーのオクルージョン外低相関画像を画面多重化処理部207に供給する。
画面多重化処理部207は、ワーピング処理部203から供給される左デプスのオクルージョン画像およびオクルージョン外低相関画像と、ワーピング処理部206から供給される右デプスのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部207は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。なお、所定値としては、例えば、0、基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部207は、各画素の左右特定情報を生成し、クロマ成分変換処理部78に供給する。
また、画面多重化処理部207は、ワーピング処理部203から供給される左カラーのオクルージョン画像およびオクルージョン外低相関画像と、ワーピング処理部206から供給される右カラーのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。画面多重化処理部207は、伝送部として機能し、多重化の結果得られる画像を背景カラー画像として、図5の多視点画像符号化装置12および多視点画像復号装置13を介して、フォーマット逆変換装置52に供給する。
[フォーマット変換装置の処理の第3の例の説明]
図18は、図17のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図18は、図17のフォーマット変換装置51による図6のステップS13のベースバンド変換処理の詳細を説明するフローチャートである。
図18のステップS121において、図17のフォーマット変換装置51のワーピング処理部201は、入力される基点カラー画像および基点デプス画像に対して、左視点への前景優先のワーピング処理を行う。ワーピング処理部201は、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部72に供給し、左視点の基点カラー画像をカラー相関判定処理部202に供給する。
ステップS122において、ワーピング処理部204は、入力される基点カラー画像および基点デプス画像に対して、右視点への前景優先のワーピング処理を行う。ワーピング処理部204は、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部75に供給し、右視点の基点カラー画像をカラー相関判定処理部205に供給する。
ステップS123乃至S126の処理は、図12のステップS33乃至S36の処理と同様であるので、説明は省略する。
ステップS127において、カラー相関判定処理部202は、オクルージョン判定処理部72により生成される左視点のオクルージョン情報に基づいて、入力される左カラー画像と、左視点の基点カラー画像の左視点オクルージョン領域外の各画素の差分を求める。
ステップS128において、カラー相関判定処理部202は、ステップS127で画素ごとに求められた差分に基づいて、左視点のカラー相関情報を生成し、ワーピング処理部203に供給する。
ステップS129において、カラー相関判定処理部205は、オクルージョン判定処理部75により生成される右視点のオクルージョン情報に基づいて、入力される右カラー画像と、右視点の基点カラー画像の右視点オクルージョン領域外の各画素の差分を求める。
ステップS130において、カラー相関判定処理部205は、ステップS129で画素ごとに求められた差分に基づいて、右視点のカラー相関情報を生成し、ワーピング処理部206に供給する。
ステップS131において、ワーピング処理部203は、左視点のオクルージョン情報とカラー相関情報に基づいて、左デプス画像と左カラー画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部203は、その結果得られる左デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、左カラーのオクルージョン画像およびオクルージョン外低相関画像を画面多重化処理部207に供給する。
ステップS132において、ワーピング処理部206は、右視点のオクルージョン情報とカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部206は、その結果得られる右デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、右カラーのオクルージョン画像およびオクルージョン外低相関画像を画面多重化処理部207に供給する。
ステップS133において、画面多重化処理部207は、左カラーのオクルージョン画像およびオクルージョン外低相関画像、並びに、右カラーのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部207は、多重化の結果得られる背景カラー画像を、図5の多視点画像符号化装置12に供給する。
ステップS134において、画面多重化処理部207は、左デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、右デプスのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部207は、多重化の結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部78に供給する。
ステップS135乃至S137の処理は、図12のステップS41乃至S43の処理と同様であるので、説明は省略する。ステップS137の処理後、ベースバンド変換処理は終了する。
以上のように、図17のフォーマット変換装置51は、図7のフォーマット変換装置51と同様に、左視点および右視点の基点デプス画像を用いて、左視点オクルージョン領域および右視点オクルージョン領域を検出する。その結果、フォーマット逆変換装置52は、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
なお、図5の画像処理システム10が図17のフォーマット変換装置51を備える場合のフォーマット逆変換装置52の構成は、図13のフォーマット逆変換装置52の構成と同様である。
この場合、画面合成処理部123および124が、背景カラー画像および背景デプス画像を優先的に選択することにより、合成後の画像として、図17のフォーマット変換装置51に入力される左カラー画像および左デプス画像の左視点オクルージョン領域と左視点オクルージョン外低相関領域が用いられる。また、図17のフォーマット変換装置51に入力される右カラー画像および右デプス画像の右視点オクルージョン領域と右視点オクルージョン外低相関領域が用いられる。その結果、フォーマット逆変換装置52により生成される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が向上する。
なお、本実施の形態では、フォーマット変換装置51における多重化時に多重化対象が重なる場合、左デプス画像および左カラー画像が残されるものとしたが、図15および図17のフォーマット変換装置51では、相関がより低い方の多重化対象が残されるようにしてもよい。また、優先度が高い方の多重化対象が残されるようにしてもよい。
また、上述した説明では、左右特定情報は、図11に示すように、クロマ成分の所定のビットの値で表されたが、数値で表されてもよい。この場合、各クロマ成分の8ビットで表される0乃至255の値が9分割され、28おきの値で、そのクロマ成分に対応する2画素の左右特定情報が表される。
例えば、2画素の左右特定情報が左を表す場合、クロマ成分の値は0であり、2画素のうちの左側の画素の左右特定情報が左を表し、右側の画素の左右特定情報が右を表す場合、その値は28である。また、2画素のうちの左側の画素の左右特定情報が左を表し、右側の画素の左右特定情報が左右を表す場合、その値は56である。
また、2画素の左右特定情報が右を表す場合、クロマ成分の値は84であり、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が左を表す場合、その値は112である。また、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が左右を表す場合、その値は140である。
さらに、2画素の左右特定情報が左右を表す場合、クロマ成分の値は168であり、2画素のうちの左側の画素の左右特定情報が左右を表し、右側の画素の左右特定情報が左を表す場合、その値は196である。また、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が右を表す場合、その値は224である。
以上のようにして左右特定情報がクロマ成分の数値で表される場合、その数値のとり得る値の間隔が最大となるため、圧縮による歪みの影響を受けにくくすることができる。
また、左右特定情報は、背景デプス画像のクロマ成分で表されず、背景デプス画像とは別に伝送されるようにしてもよい。この場合、左右特定情報は、符号化されずに、ビットストリームとは別系統で伝送されるようにしてもよい。また、左右特定情報は、符号化されて、ビットストリームとは別系統で伝送されるようにしてもよい。
<第2実施の形態>
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図20は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部808やROM(Read Only Memory)802に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア811に格納(記録)しておくことができる。このようなリムーバブルメディア811は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア811としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア811からドライブ810を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部808にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)801を内蔵しており、CPU801には、バス804を介して、入出力インタフェース805が接続されている。
CPU801は、入出力インタフェース805を介して、ユーザによって、入力部806が操作等されることにより指令が入力されると、それに従って、ROM802に格納されているプログラムを実行する。あるいは、CPU801は、記憶部808に格納されたプログラムを、RAM(Random Access Memory)803にロードして実行する。
これにより、CPU801は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU801は、その処理結果を、必要に応じて、例えば、入出力インタフェース805を介して、出力部807から出力、あるいは、通信部809から送信、さらには、記憶部808に記録等させる。
なお、入力部806は、キーボードや、マウス、マイク等で構成される。また、出力部807は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルTV(テレビジョン)、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
また、上述した画像処理システムは、任意の電子機器に適用することができる。以下にその例について説明する。
<第3実施の形態>
[テレビジョン装置の構成例]
図21は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
[テレビジョン装置の構成例]
図21は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。
映像信号処理部905は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。
表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。
音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ908に供給することで音声出力を行う。
外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。
制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。
このように構成されたテレビジョン装置では、デコーダ904に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
<第4実施の形態>
[携帯電話機の構成例]
図22は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
[携帯電話機の構成例]
図22は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。
携帯電話機920は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ924に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。
なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部927に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、画像データの通信において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。また、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
<第5実施の形態>
[記録再生装置の構成例]
図23は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
[記録再生装置の構成例]
図23は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。
チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。
外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。
HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−rayディスク等である。
セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。
デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。
OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。
制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。
制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ943に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。
<第6実施の形態>
[撮像装置の構成例]
図24は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
[撮像装置の構成例]
図24は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。
光学ブロック961は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。
カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。
画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。
OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。
外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メモリ部967から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。
メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部970は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置960の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部964に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。また、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
31 ワーピング処理部, 51 フォーマット変換装置, 52 フォーマット逆変換装置, 71 ワーピング処理部, 72 オクルージョン判定処理部, 73,74 ワーピング処理部, 75 オクルージョン判定処理部, 76 ワーピング処理部, 77 画面多重化処理部, 78 クロマ成分変換処理部, 121 ワーピング処理部, 122 クロマ成分変換処理部, 123,124 画面合成処理部, 151 ワーピング処理部, 152 カラー相関判定処理部, 154 ワーピング処理部, 155 カラー相関判定処理部, 157 画面多重化処理部, 201 ワーピング処理部, 202 カラー相関判定処理部, 204 ワーピング処理部, 205 カラー相関判定処理部, 207 画面多重化処理部
Claims (24)
- 基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理部と、
前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出部と、
前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送部と
を備える画像処理装置。 - 第1の前記基点外視点のデプス画像の、視点を前記基点視点から前記第1の基点外視点に変換する際に生じる第1の前記オクルージョン領域と、第2の前記基点外視点のデプス画像の、視点を前記基点視点から前記第2の基点外視点に変換する際に生じる第2の前記オクルージョン領域とを多重化してデプス多重化画像を生成する多重化部と
をさらに備え、
前記伝送部は、前記多重化部により生成された前記デプス多重化画像を伝送する
請求項1に記載の画像処理装置。 - 前記多重化部は、前記第1の基点外視点のデプス画像の前記第1のオクルージョン領域と前記第2の基点外視点のデプス画像の前記第2のオクルージョン領域とを1画面に多重化する
請求項2に記載の画像処理装置。 - 前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域の値であるか、前記第2のオクルージョン領域の値であるか、前記第1のオクルージョン領域および前記第2のオクルージョン領域に共通の値であるかを識別する識別情報を設定する設定部
をさらに備え、
前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
請求項3に記載の画像処理装置。 - 前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域の値であるか、前記第2のオクルージョン領域の値であるかを識別する識別情報を設定する設定部
をさらに備え、
前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
請求項3に記載の画像処理装置。 - 前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域および前記第2のオクルージョン領域に共通の値であるかを識別する識別情報を設定する設定部
をさらに備え、
前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
請求項3に記載の画像処理装置。 - 前記多重化部は、前記第1の基点外視点のカラー画像の前記第1のオクルージョン領域と、前記第2の基点外視点のカラー画像の前記第2のオクルージョン領域とを多重化してカラー多重化画像を生成し、
前記伝送部は、前記多重化部により生成された前記カラー多重化画像を伝送する
請求項2に記載の画像処理装置。 - 前記多重化部は、前記第1の基点外視点のカラー画像の前記第1のオクルージョン領域と、前記第2の基点外視点のカラー画像の前記第2のオクルージョン領域とを1画面に多重化する
請求項7に記載の画像処理装置。 - 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像を対象として、デプス値が存在しない画素を、前記オクルージョン領域として検出する
請求項1に記載の画像処理装置。 - 前記検出部は、前記オクルージョン領域として検出されない画素のうち、その画素の周辺の画素が前記オクルージョン領域として検出された画素を、前記オクルージョン領域に追加することにより、前記オクルージョン領域を補正し、
前記伝送部は、前記基点外視点のデプス画像の補正後の前記オクルージョン領域を伝送する
請求項9に記載の画像処理装置。 - 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のカラー画像と、前記基点外視点のカラー画像との差分が閾値以上である場合、その差分に対応する領域を、前記オクルージョン領域を含む低相関領域として検出し、
前記伝送部は、前記基点外視点のデプス画像の前記低相関領域を伝送する
請求項1に記載の画像処理装置。 - 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像を対象として、デプス値が存在しない画素を、前記オクルージョン領域として検出し、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のカラー画像の前記オクルージョン領域以外の領域と、前記基点外視点のカラー画像の前記オクルージョン領域以外の領域との差分が閾値以上である場合、その差分に対応する領域を低相関領域として検出し、
前記伝送部は、前記基点外視点のデプス画像の前記オクルージョン領域と前記低相関領域を伝送する
請求項1に記載の画像処理装置。 - 画像処理装置が、
基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理ステップと、
前記基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出ステップと、
前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送ステップと
を含む画像処理方法。 - 基点の視点である基点視点以外の視点である第1の基点外視点のデプス画像の、視点を前記基点視点から前記第1の基点外視点に変換する際に生じる第1のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第1のオクルージョン領域と、前記基点視点および前記第1の基点外視点以外の視点である第2の基点外視点のデプス画像の、視点を前記基点視点から前記第2の基点外視点に変換する際に生じる第2のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第2のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取り部と、
前記基点視点のデプス画像に対して、前記第1の基点外視点へのワーピング処理を行う第1基点外視点ワーピング処理部と、
前記基点視点のデプス画像に対して、前記第2の基点外視点へのワーピング処理を行う第2基点外視点ワーピング処理部と、
前記第1基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第1の基点外視点のデプス画像と、前記デプス多重化画像の前記第1のオクルージョン領域とを合成する第1の合成処理部と、
前記第2基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第2の基点外視点のデプス画像と、前記デプス多重化画像の前記第2のオクルージョン領域とを合成する第2の合成処理部と
を備える画像処理装置。 - 前記デプス多重化画像は、前記基点視点のデプス画像の前記第1のオクルージョン領域と、前記基点視点のデプス画像の前記第2のオクルージョン領域とを1画面に多重化した結果得られる
請求項14に記載の画像処理装置。 - 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域の値であるか、前記第2のオクルージョン領域の値であるか、前記第1のオクルージョン領域および前記第2のオクルージョン領域に共通の値であるかを識別する識別情報を受け取る
請求項15に記載の画像処理装置。 - 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域の値であるか、前記第2のオクルージョン領域の値であるかを識別する識別情報を受け取る
請求項15に記載の画像処理装置。 - 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第1のオクルージョン領域および前記第2のオクルージョン領域に共通の値であるかを識別する識別情報を受け取る
請求項15に記載の画像処理装置。 - 前記受け取り部はまた、前記第1の基点外視点のカラー画像の前記第1のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のカラー画像の前記第1のオクルージョン領域と、前記第2の基点外視点のカラー画像の前記第2のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のカラー画像の前記第2のオクルージョン領域とを多重化した結果得られるカラー多重化画像を受け取り、
前記第1基点外視点ワーピング処理部はまた、前記基点視点のカラー画像に対して、前記第1の基点外視点へのワーピング処理を行い、
前記第2基点外視点ワーピング処理部はまた、前記基点視点のカラー画像に対して、前記第2の基点外視点へのワーピング処理を行い、
前記第1の合成処理部はまた、前記第1基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第1の基点外視点のカラー画像と、前記カラー多重化画像の前記第1のオクルージョン領域とを合成し、
前記第2の合成処理部はまた、前記第2基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第2の基点外視点のカラー画像と、前記カラー多重化画像の前記第2のオクルージョン領域とを合成する
請求項14に記載の画像処理装置。 - 前記カラー多重化画像は、前記基点視点のカラー画像の前記第1のオクルージョン領域と、前記基点視点のカラー画像の前記第2のオクルージョン領域とを1画面に多重化した結果得られる
請求項19に記載の画像処理装置。 - 前記第1の合成処理部は、前記第1基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第1の基点外視点のデプス画像に比べて、前記デプス多重化画像の前記第1のオクルージョン領域を優先して合成し、
前記第2の合成処理部は、前記第2基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第2の基点外視点のデプス画像に比べて、前記デプス多重化画像の前記第2のオクルージョン領域を優先して合成する
請求項14に記載の画像処理装置。 - 前記デプス多重化画像は、前記第1の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第1の基点外視点へのワーピング処理結果と前記第1の基点外視点のカラー画像との差分が閾値以上である前記第1のオクルージョン領域を含む第1の低相関領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第1の低相関領域と、前記第2の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第2の基点外視点へのワーピング処理結果と前記第2の基点外視点のカラー画像との差分が閾値以上である前記第2のオクルージョン領域を含む第2の低相関領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第2の低相関領域とを多重化した結果得られる
請求項14に記載の画像処理装置。 - 前記デプス多重化画像は、前記第1の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第1の基点外視点へのワーピング処理結果と前記第1の基点外視点のカラー画像の前記第1のオクルージョン領域以外の領域との差分が閾値以上である第1の低相関領域および前記第1のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第1の低相関領域および前記第1のオクルージョン領域と、前記第2の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第2の基点外視点へのワーピング処理結果と前記第2の基点外視点のカラー画像の前記第2のオクルージョン領域以外の領域との差分が閾値以上である第2の低相関領域および前記第2のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第2の低相関領域および前記第2のオクルージョン領域とを多重化した結果得られる
請求項14に記載の画像処理装置。 - 基点の視点である基点視点以外の視点である第1の基点外視点のデプス画像の、視点を前記基点視点から前記第1の基点外視点に変換する際に生じる第1のオクルージョン領域と、前記基点視点および前記第1の基点外視点以外の視点である第2の基点外視点のデプス画像の、視点を前記基点視点から前記第2の基点外視点に変換する際に生じる第2のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取りステップと、
前記基点視点のデプス画像に対して、前記第1の基点外視点へのワーピング処理を行う第1基点外視点ワーピング処理ステップと、
前記基点視点のデプス画像に対して、前記第2の基点外視点へのワーピング処理を行う第2基点外視点ワーピング処理ステップと、
前記第1基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記第1の基点外視点のデプス画像と、前記デプス多重化画像の前記第1のオクルージョン領域とを合成する第1の合成処理ステップと、
前記第2基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記第2の基点外視点のデプス画像と、前記デプス多重化画像の前記第2のオクルージョン領域とを合成する第2の合成処理ステップと
を含む画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011038670 | 2011-02-24 | ||
JP2011038670 | 2011-02-24 | ||
PCT/JP2012/053685 WO2012114975A1 (ja) | 2011-02-24 | 2012-02-16 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012114975A1 true JPWO2012114975A1 (ja) | 2014-07-07 |
Family
ID=46720756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013500985A Pending JPWO2012114975A1 (ja) | 2011-02-24 | 2012-02-16 | 画像処理装置および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9235749B2 (ja) |
JP (1) | JPWO2012114975A1 (ja) |
CN (1) | CN103404156A (ja) |
WO (1) | WO2012114975A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150350624A1 (en) * | 2012-07-02 | 2015-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for generating 3d image data stream, method and apparatus for playing 3d image data stream |
WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
CN105247860B (zh) * | 2013-06-05 | 2017-12-19 | 索尼公司 | 图像处理设备及图像处理方法 |
KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US9924132B2 (en) * | 2014-09-04 | 2018-03-20 | Sony Corporation | Video data processing device and video data processing method |
US9412153B2 (en) * | 2014-12-11 | 2016-08-09 | Sony Corporation | Using depth for recovering missing information in an image |
CN104766363B (zh) * | 2015-02-04 | 2016-05-25 | 浙江工商大学 | 基于深度图绘制的多方向参考视点的warping方法 |
WO2017043258A1 (ja) * | 2015-09-09 | 2017-03-16 | シャープ株式会社 | 計算装置および計算装置の制御方法 |
DE112017005318T5 (de) * | 2016-10-19 | 2019-08-01 | Sony Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
KR102608466B1 (ko) * | 2016-11-22 | 2023-12-01 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
WO2018123801A1 (ja) * | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
US10645360B2 (en) * | 2017-05-31 | 2020-05-05 | Verizon Patent And Licensing Inc. | Methods and systems for transmitting data in a virtual reality system |
CN110326028A (zh) * | 2018-02-08 | 2019-10-11 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置、计算机***和可移动设备 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3551467B2 (ja) | 1994-04-13 | 2004-08-04 | 松下電器産業株式会社 | 視差演算装置、視差演算方法及び画像合成装置 |
US5604856A (en) * | 1994-10-13 | 1997-02-18 | Microsoft Corporation | Motion compensated noise reduction method and system for computer generated images |
US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
US6064393A (en) * | 1995-08-04 | 2000-05-16 | Microsoft Corporation | Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline |
JP3745117B2 (ja) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
FR2779257B1 (fr) * | 1998-05-27 | 2000-08-11 | France Telecom | Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images |
US6417850B1 (en) * | 1999-01-27 | 2002-07-09 | Compaq Information Technologies Group, L.P. | Depth painting for 3-D rendering applications |
US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US6930681B2 (en) * | 2001-08-14 | 2005-08-16 | Mitsubishi Electric Research Labs, Inc. | System and method for registering multiple images with three-dimensional objects |
US20040222987A1 (en) * | 2003-05-08 | 2004-11-11 | Chang Nelson Liang An | Multiframe image processing |
US7362918B2 (en) * | 2003-06-24 | 2008-04-22 | Microsoft Corporation | System and method for de-noising multiple copies of a signal |
KR100714068B1 (ko) * | 2004-10-16 | 2007-05-02 | 한국전자통신연구원 | 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치 |
KR101362941B1 (ko) * | 2006-11-01 | 2014-02-17 | 한국전자통신연구원 | 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치 |
US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
CN100576934C (zh) * | 2008-07-03 | 2009-12-30 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
CN101312542B (zh) * | 2008-07-07 | 2010-09-08 | 浙江大学 | 一种自然三维电视*** |
TWI376645B (en) * | 2008-07-29 | 2012-11-11 | Sonix Technology Co Ltd | Image processing methof of noise reduction and apparatus thereof |
KR101619448B1 (ko) * | 2008-11-18 | 2016-05-10 | 엘지전자 주식회사 | 영상 신호 처리 방법 및 장치 |
JP2010157823A (ja) | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
US8643701B2 (en) * | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
KR101702948B1 (ko) * | 2010-07-20 | 2017-02-06 | 삼성전자주식회사 | 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법 |
KR101729924B1 (ko) * | 2010-08-03 | 2017-04-26 | 삼성전자주식회사 | 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법 |
KR101676830B1 (ko) * | 2010-08-16 | 2016-11-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US20120170841A1 (en) * | 2011-01-05 | 2012-07-05 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
-
2012
- 2012-02-16 CN CN2012800093113A patent/CN103404156A/zh active Pending
- 2012-02-16 US US13/984,316 patent/US9235749B2/en not_active Expired - Fee Related
- 2012-02-16 JP JP2013500985A patent/JPWO2012114975A1/ja active Pending
- 2012-02-16 WO PCT/JP2012/053685 patent/WO2012114975A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US9235749B2 (en) | 2016-01-12 |
CN103404156A (zh) | 2013-11-20 |
US20130315473A1 (en) | 2013-11-28 |
WO2012114975A1 (ja) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6365635B2 (ja) | 画像処理装置および画像処理方法 | |
WO2012114975A1 (ja) | 画像処理装置および画像処理方法 | |
US9716873B2 (en) | Image processing device and image processing method | |
US10055814B2 (en) | Image processing device and image processing method | |
US9979961B2 (en) | Image processing device and image processing method | |
JP6206559B2 (ja) | 復号装置、復号方法、プログラム、および記録媒体 | |
US10122986B2 (en) | Image processing device and image processing method | |
US9338430B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
US9762884B2 (en) | Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints |