JP5655862B2 - 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム - Google Patents
立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム Download PDFInfo
- Publication number
- JP5655862B2 JP5655862B2 JP2012548604A JP2012548604A JP5655862B2 JP 5655862 B2 JP5655862 B2 JP 5655862B2 JP 2012548604 A JP2012548604 A JP 2012548604A JP 2012548604 A JP2012548604 A JP 2012548604A JP 5655862 B2 JP5655862 B2 JP 5655862B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- predetermined
- moving image
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
それぞれ時刻情報と対応付けられる複数の画像を含む第1動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第2動画像、所定画像、および、所定値を格納する格納部と、
第1時刻情報と対応付けられる第1動画像の第1画像および第2動画像の第2画像と、前記所定画像とを前記格納部から抽出し、前記第1画像における前記所定画像の存在位置である第1位置を算出し、前記第2画像における前記所定画像の存在位置である第2位置を算出し、前記第1位置と前記第2位置との差分である第1差分量を算出し、
前記第1動画像における前記第1時刻情報の次の時刻である第2時刻情報と対応付けられる第1動画像の第3画像および第2動画像の第4画像と、前記所定値を前記格納部から抽出し、前記第3画像における前記所定画像の存在位置である第3位置を算出し、前記第4画像における前記所定画像の存在位置である第4位置を算出し、前記第3位置と前記第4位置との差分である第2差分量を算出し、
前記第2差分量の大きさが前記所定値以上である場合、前記第2画像、前記第3画像、および、前記第1差分量に基づいて、新たな第4画像を生成する演算部と、
を備える立体視動画像生成装置とする。
(視差)
図2は、立体視画像における視差を説明する図である。図2において、例えば、同一の対象物に対して、隣接する2つのカメラで撮影された画像のうち、左眼用画像を画像10、右眼用画像を画像20とする。図2の例では、画像10及び画像20に、同一の対象物である、物体1が含まれている。ここで、点P1は、画像10において物体1の位置を代表する点とする。点P2は、画像20において、物体1の位置を代表する点とする。物体1の位置を代表する点は、例えば、物体1の中心点としてもよいし、物体1の右端かつ下端の点としてもよい。物体1の位置を代表する点は、これらに限定されない。点P1及び点P2は、それぞれ、物体1において同一位置を示す点である。点P1および点P2は、それぞれ、画像10における物体1の位置および画像20における物体1の位置ともいう。
〈MPEG2〉
ここでは、MPEG2フォーマットについて説明する。
ここでは、AVIフォーマットについて説明する。
図5は、立体視画像生成装置の例を示す図である。立体視画像生成装置100は、取得部110、演算部120、格納部130を含む。
立体視動画像生成装置100の動作例について説明する。以下の説明では、左眼用動画像および右眼用動画像が使用されるが、左眼用動画像と右眼用動画像との間には、優劣はなく、互いに入れ替えることができる。同様に、左眼用画像および右眼用画像が使用されるが、左眼用画像と右眼用画像との間には、優劣はなく、互いに入れ替えることができる。
立体視動画像生成装置100は、移動するオブジェクトの左眼用画像と右眼用画像との間の視差量を算出する。立体視動画像生成装置100は、算出した視差量の大きさが所定値未満でない場合、直前に処理した画像、直前に処理した画像における視差量、及び、移動するオブジェクトに基づいて、新たな画像を生成する。
110 取得部
120 演算部
130 格納部
140 表示部
150 受信部
300 情報処理装置
302 CPU
304 メモリ
306 記憶部
308 入力部
310 出力部
312 通信部
Claims (9)
- それぞれ時刻情報と対応付けられる複数の画像を含む第1動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第2動画像、所定画像、および、所定値を格納する格納部と、
第1時刻情報と対応付けられる第1動画像の第1画像および第2動画像の第2画像と、前記所定画像とを前記格納部から抽出し、前記第1画像における前記所定画像の存在位置である第1位置を算出し、前記第2画像における前記所定画像の存在位置である第2位置を算出し、前記第1位置と前記第2位置との差分である第1差分量を算出し、
前記第1動画像における前記第1時刻情報の次の時刻である第2時刻情報と対応付けられる第1動画像の第3画像および第2動画像の第4画像と、前記所定値を前記格納部から抽出し、前記第3画像における前記所定画像の存在位置である第3位置を算出し、前記第4画像における前記所定画像の存在位置である第4位置を算出し、前記第3位置と前記第4位置との差分である第2差分量を算出し、
前記第2差分量の大きさが前記所定値以上である場合、前記第4画像における前記所定画像の存在位置が前記第3位置から前記第1差分量だけ平行移動した位置になるように、新たな第4画像を生成する演算部と、
を備える立体視動画像生成装置。 - 前記所定画像は、前記第1画像上で、前記第1画像と前記第3画像との間で、各画素の差分が0でない領域の画像、または、前記第2画像上で、前記第2画像と前記第4画像との間で、各画素の差分が0でない領域の画像である、
請求項1に記載の立体視画像生成装置。 - 前記所定値は、前記第1画像の横幅に対する所定の割合の大きさとする、
請求項1または2に記載の立体視画像生成装置。 - コンピュータが、
それぞれ時刻情報と対応付けられる複数の画像を含む第1動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第2動画像、所定画像、および、所定値を格納する記憶装置から、第1時刻情報と対応付けられる第1動画像の第1画像および第2動画像の
第2画像と、前記所定画像とを抽出し、前記第1画像における前記所定画像の存在位置である第1位置を算出し、前記第2画像における前記所定画像の存在位置である第2位置を算出し、前記第1位置と前記第2位置との差分である第1差分量を算出し、
前記記憶装置から、前記第1動画像における前記第1時刻情報の次の時刻である第2時刻情報と対応付けられる第1動画像の第3画像および第2動画像の第4画像と、前記所定値を抽出し、前記第3画像における前記所定画像の存在位置である第3位置を算出し、前記第4画像における前記所定画像の存在位置である第4位置を算出し、前記第3位置と前記第4位置との差分である第2差分量を算出し、
前記第2差分量の大きさが前記所定値以上である場合、前記第4画像における前記所定画像の存在位置が前記第3位置から前記第1差分量だけ平行移動した位置になるように、新たな第4画像を生成することを実行する、
立体視動画像生成方法。 - 前記所定画像は、前記第1画像上で、前記第1画像と前記第3画像との間で、各画素の差分が0でない領域の画像、または、前記第2画像上で、前記第2画像と前記第4画像との間で、各画素の差分が0でない領域の画像である、
請求項4に記載の立体視画像生成方法。 - 前記所定値は、前記第1画像の横幅に対する所定の割合の大きさとする、
請求項4または5に記載の立体視画像生成方法。 - コンピュータが、
それぞれ時刻情報と対応付けられる複数の画像を含む第1動画像、それぞれ前記時刻情報と対応付けられる複数の画像を含む第2動画像、所定画像、および、所定値を格納する記憶装置から、第1時刻情報と対応付けられる第1動画像の第1画像および第2動画像の第2画像と、前記所定画像とを抽出し、前記第1画像における前記所定画像の存在位置である第1位置を算出し、前記第2画像における前記所定画像の存在位置である第2位置を算出し、前記第1位置と前記第2位置との差分である第1差分量を算出し、
前記記憶装置から、前記第1動画像における前記第1時刻情報の次の時刻である第2時刻情報と対応付けられる第1動画像の第3画像および第2動画像の第4画像と、前記所定値を抽出し、前記第3画像における前記所定画像の存在位置である第3位置を算出し、前記第4画像における前記所定画像の存在位置である第4位置を算出し、前記第3位置と前記第4位置との差分である第2差分量を算出し、
前記第2差分量の大きさが前記所定値以上である場合、前記第4画像における前記所定画像の存在位置が前記第3位置から前記第1差分量だけ平行移動した位置になるように、新たな第4画像を生成することを実行するための、
立体視動画像生成プログラム。 - 前記所定画像は、前記第1画像上で、前記第1画像と前記第3画像との間で、各画素の差分が0でない領域の画像、または、前記第2画像上で、前記第2画像と前記第4画像との間で、各画素の差分が0でない領域の画像である、
請求項7に記載の立体視画像生成プログラム。 - 前記所定値は、前記第1画像の横幅に対する所定の割合の大きさとする、
請求項7または8に記載の立体視画像生成プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/072814 WO2012081127A1 (ja) | 2010-12-17 | 2010-12-17 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012081127A1 JPWO2012081127A1 (ja) | 2014-05-22 |
JP5655862B2 true JP5655862B2 (ja) | 2015-01-21 |
Family
ID=46244254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012548604A Expired - Fee Related JP5655862B2 (ja) | 2010-12-17 | 2010-12-17 | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20130278717A1 (ja) |
JP (1) | JP5655862B2 (ja) |
KR (1) | KR101512255B1 (ja) |
CN (1) | CN103262545B (ja) |
WO (1) | WO2012081127A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10201510773PA (en) * | 2015-12-30 | 2017-07-28 | Creative Tech Ltd | A method for creating a stereoscopic image sequence |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164328A (ja) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2003018619A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
JP2010086228A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 3次元表示装置および方法並びにプログラム |
JP2011055421A (ja) * | 2009-09-04 | 2011-03-17 | Canon Inc | 映像処理装置及びその制御方法 |
JP2012054836A (ja) * | 2010-09-02 | 2012-03-15 | Olympus Imaging Corp | 撮像装置および画像通信システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3150446B2 (ja) * | 1992-09-29 | 2001-03-26 | 富士通株式会社 | 画像高能率符号化方式 |
JP2000209614A (ja) * | 1999-01-14 | 2000-07-28 | Sony Corp | 立体映像システム |
JP4148811B2 (ja) * | 2003-03-24 | 2008-09-10 | 三洋電機株式会社 | 立体画像表示装置 |
JP4027268B2 (ja) * | 2003-05-29 | 2007-12-26 | 株式会社ソフィア | 遊技機 |
KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
JP4877090B2 (ja) * | 2007-06-18 | 2012-02-15 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20090146961A1 (en) * | 2007-12-05 | 2009-06-11 | David Shun-Chi Cheung | Digital image editing interface |
WO2010038412A1 (ja) * | 2008-09-30 | 2010-04-08 | パナソニック株式会社 | 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi |
JP4995854B2 (ja) * | 2009-03-11 | 2012-08-08 | 富士フイルム株式会社 | 撮像装置、画像補正方法および画像補正プログラム |
JP5293463B2 (ja) * | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
-
2010
- 2010-12-17 CN CN201080070733.2A patent/CN103262545B/zh not_active Expired - Fee Related
- 2010-12-17 WO PCT/JP2010/072814 patent/WO2012081127A1/ja active Application Filing
- 2010-12-17 KR KR1020137015568A patent/KR101512255B1/ko not_active IP Right Cessation
- 2010-12-17 JP JP2012548604A patent/JP5655862B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-13 US US13/917,530 patent/US20130278717A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164328A (ja) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2003018619A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
JP2010086228A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 3次元表示装置および方法並びにプログラム |
JP2011055421A (ja) * | 2009-09-04 | 2011-03-17 | Canon Inc | 映像処理装置及びその制御方法 |
JP2012054836A (ja) * | 2010-09-02 | 2012-03-15 | Olympus Imaging Corp | 撮像装置および画像通信システム |
Also Published As
Publication number | Publication date |
---|---|
KR101512255B1 (ko) | 2015-04-14 |
US20130278717A1 (en) | 2013-10-24 |
KR20130117816A (ko) | 2013-10-28 |
JPWO2012081127A1 (ja) | 2014-05-22 |
CN103262545A (zh) | 2013-08-21 |
WO2012081127A1 (ja) | 2012-06-21 |
CN103262545B (zh) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5406269B2 (ja) | 奥行き検知装置及び方法 | |
US9210398B2 (en) | Method and apparatus for temporally interpolating three-dimensional depth image | |
US9049336B2 (en) | Auto-detect method for detecting image format and playback method applying the same | |
JP5638974B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20120307023A1 (en) | Disparity distribution estimation for 3d tv | |
WO2016047073A1 (ja) | 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム | |
WO2011061973A1 (ja) | 立体映像表示装置および動きベクトル導出方法 | |
JP5644862B2 (ja) | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム | |
JP5655862B2 (ja) | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム | |
WO2012120880A1 (ja) | 立体画像出力装置及び立体画像出力方法 | |
WO2012153378A1 (ja) | 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム | |
JP6021063B2 (ja) | 動画編集装置、動画編集方法、プログラムおよび集積回路 | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP4892105B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2012182678A (ja) | 立体映像処理装置および立体映像処理方法 | |
JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2011142410A (ja) | 画像処理装置 | |
JP2017005480A (ja) | 立体動画像処理装置、立体動画像処理方法、立体動画像処理プログラム、および記録媒体 | |
JP6056459B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
JP5395884B2 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2007019796A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2005234680A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2011146830A (ja) | 映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム | |
JP2012222373A (ja) | 立体映像表示装置、立体映像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5655862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |