JP5891424B2 - 立体映像作成装置および立体映像作成方法 - Google Patents
立体映像作成装置および立体映像作成方法 Download PDFInfo
- Publication number
- JP5891424B2 JP5891424B2 JP2012502347A JP2012502347A JP5891424B2 JP 5891424 B2 JP5891424 B2 JP 5891424B2 JP 2012502347 A JP2012502347 A JP 2012502347A JP 2012502347 A JP2012502347 A JP 2012502347A JP 5891424 B2 JP5891424 B2 JP 5891424B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- stereoscopic
- video
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
図1は、本発明の実施の形態1における立体映像作成装置の構成を示すブロック図である。図2は、本発明の実施の形態1における安定化部の詳細構成を示すブロック図である。図3は、本発明の実施の形態1における立体映像作成部の詳細構成を示すブロック図である。
図16は、本発明の実施の形態2における立体映像作成装置の構成を示すブロック図である。図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
実施の形態3では、実施の形態1および実施の形態2と異なる装置に、上述の立体映像変換部が構成される場合の例について説明する。
101、201 受信部
102 記憶媒体リーダ
104 ビデオデコーダ
106 立体映像変換部
108 映像出力部
110 内部バッファ
112、223 表示部
114 送信装置
116 安定化部
118 立体映像作成部
121 検出部
122 算出部
123 選択部
124 決定部
125 立体対生成部
126 変換部
202 ロウメディア
204 ユーザフィードバック部
220 動き分析部
222 フィードバック部
502 シーン
506、508、606、608、618 矩形
522 ビデオサンプルポイント
524 仮想ビデオサンプルポイント
542 ビデオカメラ
544、746 仮想ビデオカメラ
562 軌道
566、766 仮想軌道
582 ビデオフレーム
584 仮想ビデオフレーム
602 対象フレーム
604、712 立体パートナーフレーム候補
636 垂直差
638 水平差
716 共通領域
718、720、722、724、728、730、732、734 点
726、736 角
767 仮想立体映像サンプルポイント
786 立体映像フレーム対
1200 画像装置
1202 光学系
1204 ビデオセンサ
1208 ビデオプロセッサ
1210 マイクロコンピュータ
1212 外部メモリ
1214 表示装置
1216 送信装置
1220 ドライバコントローラ
1222 操作部
1240 内部メモリ
1242 原画像プロセッサ
1244 カラー映像プロセッサ
Claims (16)
- 2D映像から3D映像を作成する立体映像作成装置であって、
2D映像を受信する受信部と、
前記2D映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する選択部と、
前記立体パートナーフレーム候補から、所定の基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する決定部と、
前記対象フレームと、前記立体パートナーフレームとを用いて、前記対象フレームに対応する立体画像を構成する立体対を生成する立体対生成部と、
前記対象フレームと前記選択部により選択された前記立体パートナーフレーム候補とから、前記立体パートナーフレーム候補をワープさせるための変換行列を生成し、前記立体対に、生成した前記変換行列を適用することにより、前記立体対を変換する変換部とを備える、
立体映像作成装置。 - さらに、
前記2D映像を構成する複数のフレームから、当該複数のフレーム間のゆれを補正することで、当該複数のフレームを安定化させる安定化部を備え、
前記選択部は、前記安定化部により安定化された前記2D映像を構成する複数のフレームから、立体パートナーフレーム候補を選択する、
請求項1に記載の立体映像作成装置。 - 前記立体映像作成装置は、
前記変換部により変換された立体対を記憶するための記憶部と、
前記記憶部に記憶された当該変換された立体対を出力する出力部とを備え、
前記出力部は、前記2D映像を構成する複数のフレームそれぞれに対応する立体対であって、前記変換部により変換された立体対を出力することで、前記2D映像から3D映像を生成する、
請求項1または2に記載の立体映像作成装置。 - 前記選択部は、前記立体パートナーフレーム候補として、前記2D映像を構成する複数のフレームから、前記対象フレームと同一シーンに撮影された複数のフレームを選択する、
請求項1〜3のいずれか1項に記載の立体映像作成装置。 - 前記選択部は、前記対象フレームに占める前記共通領域の大きさの割合と前記立体パートナーフレーム候補に占める前記共通領域の大きさの割合とがそれぞれ前記予め定めた値以上の場合に、前記立体パートナーフレーム候補が前記対象フレームと同一シーンに撮影されたフレームであると判断し、
前記共通領域は、前記対象フレームと前記立体パートナーフレーム候補との間で対応するフレーム上の特徴的な点である特徴点に基づき算出される、
請求項4に記載の立体映像作成装置。 - 前記選択部は、前記2D映像を構成する複数のフレームにおいて、前記対象フレームと時間的に近いフレームである近隣フレームを、前記立体パートナーフレーム候補として、選択する、
請求項4または5に記載の立体映像作成装置。 - 前記所定の基準は、垂直方向差基準と、水平視差基準と、円滑化基準と、歪低減基準とで構成され、
前記垂直方向差基準では、前記対象フレームの前記共通領域と垂直方向の位置の差がゼロに略等しいフレームを前記立体パートナーフレームとする旨が規定され、
前記水平視差基準では、前記対象フレームの前記共通領域と水平方向の位置の差が所定の範囲に含まれるフレームを前記立体パートナーフレームとする旨が規定され、
前記円滑化基準では、時間的に連続する立体対間において、前記共通領域の変位が滑らかとなるフレームを前記立体パートナーフレームとする旨が規定され、
前記歪低減基準では、前記共通領域が占める領域の大きさが前記対象フレームとともに前記予め定めた値以上であるフレームを前記立体パートナーフレームとする旨が規定されている、
請求項1〜6のいずれか1項に記載の立体映像作成装置。 - 前記決定部は、画像処理を施すことによって検出可能なフレーム上の特徴的な点である特徴点を用いて、前記所定の基準を満たすか否かを判定することにより、前記立体パートナーフレームを決定する、
請求項7に記載の立体映像作成装置。 - 前記変換部は、前記変換行列を、フレーム上の特徴的な点である特徴点であって、前記対象フレームと前記立体パートナーフレームとの間で対応する特徴点に基づいて生成する、
請求項1または2に記載の立体映像作成装置。 - 前記変換部は、前記変換行列を、算出した射影変換行列と斜傾変換行列と並進変換行列とを組み合わせて生成して、前記立体対に適用し、
前記変換部は、前記対象フレームと前記立体パートナーフレーム候補との間で基本行列を算出し、
前記変換部は、前記立体対における対象フレームと前記立体パートナーフレーム候補との間の垂直方向差を最小化するように、前記基本行列に基づいて前記斜傾変換行列を算出し、
前記変換部は、前記射影変換行列を、前記射影変換行列により変換される前記立体パートナーフレームにおける前記共通領域を、変換前と同じ直交性とアスペクト比とを維持させるように、前記射影変換行列を算出し、
前記変換部は、前記対象フレームと、前記射影変換行列および前記斜傾変換行列が適用された立体パートナーフレームとの間の視差が、前記対象フレームより以前の対象フレームと立体パートナーフレームとの間の視差と同じになるように、前記並進変換行列を算出する、
請求項1または2に記載の立体映像作成装置。 - 前記安定化部は、フレーム上の特徴的な点である特徴点であって、所定フレームと、前記所定フレームと時間的に近いフレームである複数の近隣フレームとの間で対応する特徴点に基づいて算出する射影変換行列を用いることにより、当該複数のフレーム間のゆれを補正する、
請求項2に記載の立体映像作成装置。 - 前記安定化部は、
所定フレームと、前記所定フレームに隣接するフレームである近隣フレームとの間で対応する特徴的な点である複数の特徴点を検出する検出部と、
前記所定フレームの複数の特徴点と、対応する前記近隣フレームの重みづけされた複数の特徴点とが同じ座標値を有するように、前記所定フレームをワープさせる射影変換行列を算出する算出部とを備え、
前記射影変換行列を前記所定フレームに適用することで、当該複数のフレームを安定化させる、
請求項2に記載の立体映像作成装置。 - 前記複数の近隣フレームは、前記所定フレームと時間的に近いフレームである、
請求項12に記載の立体映像作成装置。 - 前記算出部は、前記複数の近隣フレームの重みを、重み関数を用いて算出し、
前記算出部は、
前記対応する近隣フレームが前記所定フレームに時間的に最も近いフレームである場合、前記重み関数を用いて1により近い値の重みを算出し、
前記対応する近隣フレームが前記所定フレームから時間的に遠いフレームである場合、前記重み関数を用いて1より小さい値の重みを算出する、
請求項12に記載の立体映像作成装置。 - 前記受信部は、ユーザが撮影装置で撮影した2D映像を受信し、
前記立体映像作成装置は、さらに、
前記撮影装置の動きを分析して、安定化した2D映像を撮影するように前記ユーザを導くための情報を生成する分析部と、
前記分析部により生成された情報に基づいて、前記ユーザにフィードバックするためのフィードバック情報を生成するフィードバック部と、
生成された前記フィードバック情報と、前記2D映像とを表示する表示部とを備える、
請求項2に記載の立体映像作成装置。 - 2D映像から3D映像を作成する立体映像作成方法であって、
2D映像を受信する受信ステップと、
前記2D映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する選択ステップと、
前記立体パートナーフレーム候補から、所定の基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する決定ステップと、
前記対象フレームと、前記立体パートナーフレームとを用いて、立体画像を構成する立体対を生成する立体対生成ステップと、
前記対象フレームと前記選択ステップにおいて選択された前記立体パートナーフレーム候補とから、前記立体パートナーフレーム候補をワープさせるための変換行列を生成し、前記立体対に、生成した前記変換行列を適用することにより、前記立体対を変換する変換ステップとを含む、
立体映像作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012502347A JP5891424B2 (ja) | 2010-09-17 | 2011-09-16 | 立体映像作成装置および立体映像作成方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010210138 | 2010-09-17 | ||
JP2010210138 | 2010-09-17 | ||
JP2012502347A JP5891424B2 (ja) | 2010-09-17 | 2011-09-16 | 立体映像作成装置および立体映像作成方法 |
PCT/JP2011/005250 WO2012035783A1 (ja) | 2010-09-17 | 2011-09-16 | 立体映像作成装置および立体映像作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012035783A1 JPWO2012035783A1 (ja) | 2014-01-20 |
JP5891424B2 true JP5891424B2 (ja) | 2016-03-23 |
Family
ID=45831268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012502347A Active JP5891424B2 (ja) | 2010-09-17 | 2011-09-16 | 立体映像作成装置および立体映像作成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8908011B2 (ja) |
EP (1) | EP2618584B1 (ja) |
JP (1) | JP5891424B2 (ja) |
CN (1) | CN102598683B (ja) |
WO (1) | WO2012035783A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104054333A (zh) * | 2011-12-19 | 2014-09-17 | 富士胶片株式会社 | 图像处理装置、方法以及程序及其记录介质 |
JP5977591B2 (ja) * | 2012-06-20 | 2016-08-24 | オリンパス株式会社 | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
KR20140104121A (ko) * | 2013-02-20 | 2014-08-28 | 주식회사 카몬 | 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일 |
US9967549B2 (en) * | 2013-03-20 | 2018-05-08 | Mediatek Inc. | 3D image capture method with 3D preview of preview images generated by monocular camera and related electronic device thereof |
US9842423B2 (en) | 2013-07-08 | 2017-12-12 | Qualcomm Incorporated | Systems and methods for producing a three-dimensional face model |
LU92357B1 (en) * | 2014-01-21 | 2015-07-22 | Evolution & Dev Technology S A | 2D/3D Video conversion method |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
US10275863B2 (en) * | 2015-04-03 | 2019-04-30 | Cognex Corporation | Homography rectification |
US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
SG10201510773PA (en) | 2015-12-30 | 2017-07-28 | Creative Tech Ltd | A method for creating a stereoscopic image sequence |
US10321122B2 (en) * | 2016-04-14 | 2019-06-11 | Gentex Corporation | Vehicle display system providing depth information |
US9887497B1 (en) * | 2016-06-10 | 2018-02-06 | Amazon Technologies, Inc. | Device connector with reduced electromagnetic noise |
US9961261B2 (en) * | 2016-06-20 | 2018-05-01 | Gopro, Inc. | Image alignment using a virtual gyroscope model |
US10002284B2 (en) * | 2016-08-11 | 2018-06-19 | Ncku Research And Development Foundation | Iterative matching method and system for partial fingerprint verification |
US10967266B2 (en) * | 2018-02-21 | 2021-04-06 | Roblox Corporation | Cinematic game camera in a gaming platform |
CN108712643B (zh) * | 2018-04-27 | 2020-02-21 | 苏州新光维医疗科技有限公司 | 二维图像转换成三维图像的方法、装置及三维成像*** |
GB2575843A (en) * | 2018-07-25 | 2020-01-29 | Sony Interactive Entertainment Inc | Method and system for generating an image |
WO2020123722A1 (en) | 2018-12-14 | 2020-06-18 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
CN111212278B (zh) * | 2020-01-07 | 2021-08-03 | 电子科技大学 | 一种预测位移帧的方法与*** |
CN113905147B (zh) * | 2021-09-30 | 2023-10-03 | 桂林长海发展有限责任公司 | 一种船用监控视频画面去抖方法、装置以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
JP2007316982A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム |
WO2010024479A1 (en) * | 2008-08-26 | 2010-03-04 | Enhanced Chip Technology Inc. | Apparatus and method for converting 2d image signals into 3d image signals |
JP2010515303A (ja) * | 2006-12-22 | 2010-05-06 | クゥアルコム・インコーポレイテッド | 複雑適応2D−to−3Dビデオシーケンス変換 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0703716B1 (en) | 1994-09-22 | 2002-11-27 | Sanyo Electric Co. Ltd | Method of converting two-dimensional images into three-dimensional images |
IL150131A (en) | 2002-06-10 | 2007-03-08 | Rafael Advanced Defense Sys | A method for turning a series of monoscopic images into a series of stereoscopic images |
IL166305A0 (en) | 2005-01-14 | 2006-01-15 | Rafael Armament Dev Authority | Automatic conversion from monoscopic video to stereoscopic video |
JP5284048B2 (ja) | 2008-11-12 | 2013-09-11 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US9124874B2 (en) * | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
US8421847B2 (en) * | 2010-05-21 | 2013-04-16 | Mediatek Inc. | Apparatus and method for converting two-dimensional video frames to stereoscopic video frames |
-
2011
- 2011-09-16 JP JP2012502347A patent/JP5891424B2/ja active Active
- 2011-09-16 EP EP11824796.4A patent/EP2618584B1/en not_active Not-in-force
- 2011-09-16 CN CN201180004478.6A patent/CN102598683B/zh active Active
- 2011-09-16 US US13/509,809 patent/US8908011B2/en active Active - Reinstated
- 2011-09-16 WO PCT/JP2011/005250 patent/WO2012035783A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
JP2007316982A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム |
JP2010515303A (ja) * | 2006-12-22 | 2010-05-06 | クゥアルコム・インコーポレイテッド | 複雑適応2D−to−3Dビデオシーケンス変換 |
WO2010024479A1 (en) * | 2008-08-26 | 2010-03-04 | Enhanced Chip Technology Inc. | Apparatus and method for converting 2d image signals into 3d image signals |
Also Published As
Publication number | Publication date |
---|---|
US20120229609A1 (en) | 2012-09-13 |
WO2012035783A1 (ja) | 2012-03-22 |
EP2618584A4 (en) | 2014-05-14 |
JPWO2012035783A1 (ja) | 2014-01-20 |
US8908011B2 (en) | 2014-12-09 |
CN102598683B (zh) | 2015-06-17 |
CN102598683A (zh) | 2012-07-18 |
EP2618584A1 (en) | 2013-07-24 |
EP2618584B1 (en) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5891424B2 (ja) | 立体映像作成装置および立体映像作成方法 | |
JP5679978B2 (ja) | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム | |
JP5414947B2 (ja) | ステレオ撮影装置 | |
US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
JP5140210B2 (ja) | 撮影装置および画像処理方法 | |
JP5204350B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
JP5320524B1 (ja) | ステレオ撮影装置 | |
KR101824439B1 (ko) | 모바일 스테레오 카메라 장치 및 그 촬영방법 | |
US20070081716A1 (en) | 3D image processing apparatus and method | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP2011188004A (ja) | 立体映像撮像装置、立体映像処理装置および立体映像撮像方法 | |
WO2012029299A1 (ja) | 撮影装置、再生装置、および画像処理方法 | |
JP5420075B2 (ja) | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 | |
WO2012056685A1 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
US11415935B2 (en) | System and method for holographic communication | |
JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
CN102478756B (zh) | 用来拍摄立体影片的方法与装置 | |
JP2012220603A (ja) | 3d映像信号撮影装置 | |
JP2005072674A (ja) | 三次元画像生成装置および三次元画像生成システム | |
KR101206298B1 (ko) | 단일 카메라를 이용한 입체영상 제작 방법 | |
JP2012191608A (ja) | 立体撮像装置および立体撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140806 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5891424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |