JP5431393B2 - 立体画像生成装置及び方法 - Google Patents
立体画像生成装置及び方法 Download PDFInfo
- Publication number
- JP5431393B2 JP5431393B2 JP2011044128A JP2011044128A JP5431393B2 JP 5431393 B2 JP5431393 B2 JP 5431393B2 JP 2011044128 A JP2011044128 A JP 2011044128A JP 2011044128 A JP2011044128 A JP 2011044128A JP 5431393 B2 JP5431393 B2 JP 5431393B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- viewpoints
- parallax
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000011156 evaluation Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
本実施形態の立体画像生成装置は、少なくとも1枚の入力画像と、入力画像に対応する奥行き情報から、入力画像とは異なる視点の視差画像を生成する。本実施形態の立体画像生成装置が生成する視差画像は、立体表示可能であればいずれの方式のいずれであっても構わない。フィールドシーケンシャル、フレームシーケンシャルのどちらでも構わないが、本実施形態では、フレームシーケンシャル場合について例示する。また、入力画像は、二次元画像だけでなく立体画像であっても構わない。
Ω={ (-0.5, 0.5), (-1.0, 0.0), (0.0, 1.0)}
3つの視点の組を候補とする例を述べたが、複数であれば任意の数でよい。なお、候補の数が多くなるほど演算量が必要になる。そのため、許容される演算量に応じて候補の数を設定するのが好ましい。また、視点の組の要素の1つに入力画像が撮影された視点と同じ視点を含めることで、後段の視差画像生成においての演算量を削減することが可能である。例えば、前述の例の(-1.0, 0.0),(0.0, 1.0)は、入力画像が撮影された視点と同じ視点を含む。
図11は、算出部101が行う評価値の算出方法の別の例について述べる図である。図10の処理においては、陰面領域画素数を単純に算出していた。陰面領域画素の周辺に画素値が割り当てられている場合は、内挿補間が行える。そのため陰面領域の画素が大きな画質劣化を引き起こさない場合がある。逆に、陰面領域画素が集中した場合は内挿補間などの手段がとれないために、陰面領域の画素値の推定が困難となる。この困難さを考慮した評価値の算出方法を図11に示す。図10のS9025〜S9028のステップをS1101〜S1108に置き換えて算出部101が処理すればよい。
また、視点の組は時間的に不連続であると、それによる映像の時間的つながりがなくなるために、主観的に大きな画質劣化につながる。そこで、時間的に1フレーム前において視差画像を作成した場合の視点の組ωt-1となるべく近い視点の組が後述する選択部102において選択されるようにするような評価値E(ω)の導出法も考えられる。具体的には、図10のS9026におけるE(ω)++の代わりに、E(ω)+=(1-exp(-(Norm(ω-ωt-1))))として、視点の組ωが前フレーム作成時に選択された視点の組ωt-1に近ければ近いほど評価値を小さくすることも可能である。Norm()は、先に述べたように、一般的なL1ノルムやL2ノルムを使用する。同様に、図11のS1103におけるE(ω)+=weightの代わりにE(ω)+=weight*(1-exp(-(Norm(ω-ωt-1))))のようにして、同様の効果を持たせてもよい。
第1の実施形態では、あらかじめ設定した複数の第2の視点の組から視差画像を生成した場合に現れる陰面領域の画素数が大きくなればなるほど大きくなる評価値を算出し、評価値が最小になる第2の視点の組を選択していた。その場合、視点が時系列に急激な変化を起こす可能性がある。動画像が入力されている場合において、視点の急激な変化が起こると、立体映像の時間的なつながりがなくなり、視聴者に違和感を与える。本実施形態では、視点の変化を緩やかにすることで、上記問題を解消する。
ω_cor = h*ω(0)+(1-h)ω(1)
hは時定数を表している。その範囲は、0<h<1である。
第2の実施形態では、陰面領域に属する画素数が小さくなる視点の組になるまでは緩やかに変化するため、この遷移の間は陰面領域に属する画素数が必ずしも小さくならない。一方で、シーンチェンジのタイミングにおいては、視差位置を急激に変化させても視聴者に違和感を与えることはない。そこで、本実施形態では、動画のシーンが変化するタイミングにおいては、視差位置の変化を大きくすることで、より適切な視点の組による立体映像生成方法を提供する。
201、302…視点制御部、
301…検出部
Claims (5)
- 少なくとも1枚の画像と、前記画像に対応する奥行き情報から、前記画像とは異なる視点の視差画像を生成する装置において、
2つ以上の視点を含む組毎に、視差画像を作成した場合に生じる陰面領域が大きくなる程、大きな値となる評価値を、前記奥行き情報から算出する算出部と、
前記視点の組に対して算出された前記評価値が最小となる前記視点の組を選択する選択部と、
前記画像が動画像である場合に動画像でない場合に比べて時間軸上での視点の変化を抑制するように、選択された前記視点の組と、前記画像の少なくとも前のフレームを含む前記画像より前の連続した複数フレームにおいてそれぞれ選択された複数の視点の組とを用いて、前記画像に対する修正された視点の組を生成して出力する視点制御部と、
前記視点制御部から出力された前記修正された視点の組に対応する視点の視差画像を、前記画像から生成する生成部と、
を備える立体画像生成装置。 - 前記視点制御部は、前記画像が動画像である場合に、前記画像の少なくとも前のフレームを含む前記画像より前の連続した複数フレームにおいてそれぞれ選択された複数の視点の組と、前記画像に対して選択された前記視点の組との線形和を前記修正された視点の組として導出する請求項1記載の立体画像生成装置。
- 前記線形和の係数はローパスフィルタになる特性を有している請求項2記載の立体画像生成装置。
- 前記画像が動画像である場合に、シーンチェンジを検出する検出部をさらに備え、
検出された前記シーンチェンジの前後における視点の変化を大きくする請求項1乃至3のいずかに1項に記載の立体画像生成装置。 - 少なくとも1枚の画像と、前記画像に対応する奥行き情報から、前記画像とは異なる視点の視差画像を生成する方法において、
2つ以上の視点を含む組毎に、視差画像を作成した場合に生じる陰面領域が大きくなる程、大きな値となる評価値を、前記奥行き情報から算出するステップと、
前記視点の組に対して算出された前記評価値が最小となる前記視点の組を選択するステップと、
前記画像が動画像である場合に動画像でない場合に比べて時間軸上での視点の変化を抑制するように、選択された前記視点の組と、前記画像の少なくとも前のフレームを含む前記画像より前の連続した複数フレームにおいてそれぞれ選択された複数の視点の組とを用いて、前記画像に対する修正された視点の組を生成して出力するステップと、
前記修正された視点の組に対応する視点の視差画像を、前記画像から生成するステップと、
を有する立体画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011044128A JP5431393B2 (ja) | 2010-07-08 | 2011-03-01 | 立体画像生成装置及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156136 | 2010-07-08 | ||
JP2010156136 | 2010-07-08 | ||
JP2011044128A JP5431393B2 (ja) | 2010-07-08 | 2011-03-01 | 立体画像生成装置及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011027420A Division JP5627498B2 (ja) | 2010-07-08 | 2011-02-10 | 立体画像生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012034339A JP2012034339A (ja) | 2012-02-16 |
JP5431393B2 true JP5431393B2 (ja) | 2014-03-05 |
Family
ID=45847170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011044128A Active JP5431393B2 (ja) | 2010-07-08 | 2011-03-01 | 立体画像生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5431393B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2941139B2 (ja) * | 1993-03-11 | 1999-08-25 | 凸版印刷株式会社 | 視差画像作成方法および装置 |
JP3485764B2 (ja) * | 1997-09-18 | 2004-01-13 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する装置および方法 |
JP2001320731A (ja) * | 1999-11-26 | 2001-11-16 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する装置及びその方法 |
JP4242318B2 (ja) * | 2004-04-26 | 2009-03-25 | 任天堂株式会社 | 3次元画像生成装置および3次元画像生成プログラム |
JP2006041811A (ja) * | 2004-07-26 | 2006-02-09 | Kddi Corp | 自由視点画像ストリーミング方式 |
JP2006191357A (ja) * | 2005-01-06 | 2006-07-20 | Victor Co Of Japan Ltd | 再生装置および再生プログラム |
-
2011
- 2011-03-01 JP JP2011044128A patent/JP5431393B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012034339A (ja) | 2012-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP4056154B2 (ja) | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 | |
JP5750505B2 (ja) | 立体映像エラー改善方法及び装置 | |
US8116557B2 (en) | 3D image processing apparatus and method | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
US20110304708A1 (en) | System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image | |
KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
JP5879713B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI493505B (zh) | 影像處理方法以及影像處理裝置 | |
JP2013527646A5 (ja) | ||
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
TW201242335A (en) | Image processing device, image processing method, and program | |
JP6128442B2 (ja) | 立体画像および画像シーケンスのステレオベース拡張のための方法および装置{method and device for stereo base extension of stereoscopic images and image sequences} | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5431393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |