JP6195076B2 - 別視点画像生成装置および別視点画像生成方法 - Google Patents
別視点画像生成装置および別視点画像生成方法 Download PDFInfo
- Publication number
- JP6195076B2 JP6195076B2 JP2014513852A JP2014513852A JP6195076B2 JP 6195076 B2 JP6195076 B2 JP 6195076B2 JP 2014513852 A JP2014513852 A JP 2014513852A JP 2014513852 A JP2014513852 A JP 2014513852A JP 6195076 B2 JP6195076 B2 JP 6195076B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint image
- viewpoint
- hole
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000004364 calculation method Methods 0.000 claims description 58
- 239000000203 mixture Substances 0.000 claims description 58
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 238000004590 computer program Methods 0.000 description 15
- 239000002131 composite material Substances 0.000 description 8
- 238000005429 filling process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
3D映画や3DTV等の立体映像を表示する方法としては様々な技術が存在する。これらの技術は、視聴者の左右の目に対して視差のあるステレオ画像を表示することにより、視聴者に平面映像を立体映像として知覚させる点において共通している。視聴者の左右の目に表示するステレオ画像の間の視差量が大きい程、視聴者の感じる立体感は強くなる。逆に、ステレオ画像の視差量が小さい場合は、視聴者の感じる立体感は弱まる。
図1は、実施の形態に係る別視点画像生成装置100の全体構成図である。
・・・(式2)
α=0 : Den(L)−Den(R)≧T
α=1−((Den(L)−Den(R))/T) :
0<Den(L)−Den(R)<T
・・・(式3)
・・・(式4)
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
101 左別視点画像生成部
102 右別視点画像生成部
103 穴密度算出部
104 合成比率算出部
105、105a 穴領域補間部
106 別視点画像合成部
201、202 被写体
210 左視点位置
211 左視点画像
212 左デプスマップ
220 右視点位置
221 右視点画像
222 右デプスマップ
301 仮想視点位置
302 左別視点画像
303 右別視点画像
310、311、409 穴領域
401、402、408 穴マップ
403、404、405、410a、410b ウィンドウ
406、407 穴密度マップ
500 グラフ
510 合成比率マップ
511 領域
600 左補間後画像
610 右補間後画像
601、611 被補間領域
700 出力画像
701 右側領域
800 テレビ
810 Blu−Ray(登録商標)プレーヤ
820 セットトップボックス
Claims (11)
- 画像内の各画素の奥行きを示す距離情報に基づいて、2以上の視点位置それぞれにおいて取得された2以上の画像の各々から、前記2以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を1つずつ生成する別視点画像生成部と、
生成された2以上の別視点画像の各々について、1以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の穴領域の割合である穴密度を算出する穴密度算出部と、
前記2以上の別視点画像の各々の前記穴密度に基づいて、前記2以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、
前記2以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える
別視点画像生成装置。 - さらに、前記2以上の別視点画像の各々の穴領域を当該別視点画像内の画素値を用いて補間する穴領域補間部を備え、
前記別視点画像合成部は、穴領域が補間された前記2以上の別視点画像を、算出された合成比率に基づいて合成する
請求項1に記載の別視点画像生成装置。 - さらに、前記別視点画像合成部が合成した画像内の穴領域を当該画像内の画素値を用いて補間する穴領域補間部を備える
請求項1に記載の別視点画像生成装置。 - 前記穴密度算出部は、前記2以上の別視点画像の各々について、処理単位ごとに、当該処理単位を中心とした前記所定領域であるウィンドウ内に占める穴領域の割合を前記穴密度として算出する
請求項1〜3のいずれか1項に記載の別視点画像生成装置。 - 前記穴密度算出部は、前記ウィンドウ内の中央部に位置する穴領域と、前記ウィンドウ内の周辺部に位置する穴領域とにそれぞれ異なる重みを与えて前記穴密度を算出する
請求項4に記載の別視点画像生成装置。 - 前記合成比率算出部は、前記穴密度の大きさが小さい別視点画像ほど合成比率が大きくなるように、前記2以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する
請求項1〜5のいずれか1項に記載の別視点画像生成装置。 - 前記合成比率算出部は、穴密度の大きさが等しい場合には、視点位置が前記仮想視点位置と近い別視点画像ほど合成比率が大きくなるように、前記2以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する
請求項1〜6のいずれか1項に記載の別視点画像生成装置。 - 前記処理単位は、画素であり、
前記穴密度算出部は、前記2以上の別視点画像の各々について、画素ごとに穴密度を算出し、
前記合成比率算出部は、前記2以上の別視点画像の各々の合成比率を画素ごとに算出する
請求項1〜7のいずれか1項に記載の別視点画像生成装置。 - 画像内の各画素の奥行きを示す距離情報に基づいて、2以上の視点位置それぞれにおいて取得された2以上の画像の各々から、前記2以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を1つずつ生成する別視点画像生成ステップと、
生成された2以上の別視点画像の各々について、1以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の前記穴領域の割合である穴密度を算出する穴密度算出ステップと、
前記2以上の別視点画像の各々の前記穴密度に基づいて、前記2以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出ステップと、
前記2以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成ステップとを含む
別視点画像生成方法。 - 請求項9に記載の別視点画像生成方法をコンピュータに実行させるためのプログラム。
- 画像内の各画素の奥行きを示す距離情報に基づいて、2以上の視点位置それぞれにおいて取得された2以上の画像の各々から、前記2以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を1つずつ生成する別視点画像生成部と、
生成された2以上の別視点画像の各々について、1以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の前記穴領域の割合である穴密度を算出する穴密度算出部と、
前記2以上の別視点画像の各々の前記穴密度に基づいて、前記2以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、
前記2以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える
集積回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012263627 | 2012-11-30 | ||
JP2012263627 | 2012-11-30 | ||
PCT/JP2013/006141 WO2014083752A1 (ja) | 2012-11-30 | 2013-10-16 | 別視点画像生成装置および別視点画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014083752A1 JPWO2014083752A1 (ja) | 2017-01-05 |
JP6195076B2 true JP6195076B2 (ja) | 2017-09-13 |
Family
ID=50827417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014513852A Expired - Fee Related JP6195076B2 (ja) | 2012-11-30 | 2013-10-16 | 別視点画像生成装置および別視点画像生成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9596445B2 (ja) |
JP (1) | JP6195076B2 (ja) |
CN (1) | CN104081768B (ja) |
WO (1) | WO2014083752A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6000520B2 (ja) * | 2011-07-25 | 2016-09-28 | キヤノン株式会社 | 撮像装置およびその制御方法およびプログラム |
JP2015129846A (ja) * | 2014-01-07 | 2015-07-16 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6381266B2 (ja) * | 2014-04-15 | 2018-08-29 | キヤノン株式会社 | 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 |
TWI573433B (zh) * | 2014-04-30 | 2017-03-01 | 聚晶半導體股份有限公司 | 優化深度資訊的方法與裝置 |
JP6555056B2 (ja) * | 2015-09-30 | 2019-08-07 | アイシン精機株式会社 | 周辺監視装置 |
CN105847782A (zh) * | 2016-04-15 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种三维图像生成方法和装置 |
US10482619B2 (en) * | 2017-07-27 | 2019-11-19 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
US10521963B1 (en) * | 2018-06-08 | 2019-12-31 | Verizon Patent And Licensing Inc. | Methods and systems for representing a pre-modeled object within virtual reality data |
US10510155B1 (en) * | 2019-06-11 | 2019-12-17 | Mujin, Inc. | Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2327224A2 (en) | 2008-08-29 | 2011-06-01 | Thomson Licensing | View synthesis with heuristic view blending |
US8395642B2 (en) | 2009-03-17 | 2013-03-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for virtual image synthesis |
JP4939639B2 (ja) | 2010-09-28 | 2012-05-30 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
CN102918861A (zh) | 2011-04-28 | 2013-02-06 | 松下电器产业株式会社 | 立体视觉强度调整装置、立体视觉强度调整方法、程序、集成电路、记录介质 |
US9111389B2 (en) | 2011-05-12 | 2015-08-18 | Panasonic Intellectual Property Management Co., Ltd. | Image generation apparatus and image generation method |
US9401039B2 (en) | 2011-07-01 | 2016-07-26 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, image processing method, program, and integrated circuit |
CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
CN102447925B (zh) * | 2011-09-09 | 2014-09-10 | 海信集团有限公司 | 一种虚拟视点图像合成方法及装置 |
-
2013
- 2013-10-16 WO PCT/JP2013/006141 patent/WO2014083752A1/ja active Application Filing
- 2013-10-16 US US14/374,379 patent/US9596445B2/en active Active
- 2013-10-16 JP JP2014513852A patent/JP6195076B2/ja not_active Expired - Fee Related
- 2013-10-16 CN CN201380006913.8A patent/CN104081768B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104081768B (zh) | 2017-03-01 |
US9596445B2 (en) | 2017-03-14 |
US20150109409A1 (en) | 2015-04-23 |
JPWO2014083752A1 (ja) | 2017-01-05 |
WO2014083752A1 (ja) | 2014-06-05 |
CN104081768A (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6195076B2 (ja) | 別視点画像生成装置および別視点画像生成方法 | |
US8488869B2 (en) | Image processing method and apparatus | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP4939639B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
WO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP2012227797A (ja) | 立体視画像生成方法および立体視画像生成システム | |
WO2012056685A1 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
JP2012244396A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2019050038A1 (ja) | 画像生成方法および画像生成装置 | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
US10506177B2 (en) | Image processing device, image processing method, image processing program, image capture device, and image display device | |
JP5861114B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP5691965B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
US20210304494A1 (en) | Image processing apparatus, 3d data generation apparatus, control program, and recording medium | |
WO2013108295A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2013150249A (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
US20150334364A1 (en) | Method and device for generating stereoscopic video pair | |
JP6217486B2 (ja) | 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム | |
US20140055579A1 (en) | Parallax adjustment device, three-dimensional image generation device, and method of adjusting parallax amount |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6195076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |