JP4963124B2 - 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム - Google Patents
映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP4963124B2 JP4963124B2 JP2009047795A JP2009047795A JP4963124B2 JP 4963124 B2 JP4963124 B2 JP 4963124B2 JP 2009047795 A JP2009047795 A JP 2009047795A JP 2009047795 A JP2009047795 A JP 2009047795A JP 4963124 B2 JP4963124 B2 JP 4963124B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- area
- shadow
- foreground
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
入力映像を取得する映像取得部と、撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得部と、前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として2つに分割する映像分割部と、前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成部と、前記前景領域の影領域を生成する影領域生成部と、前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成部と、を備え、前記映像合成部は、前記距離感知覚オブジェクトと重なる領域のみに前記影領域を合成し、前記影領域生成部は、影領域の位置座標を、前景領域の位置座標のx軸、y軸に、予め設定した値を加えて求めることを特徴とする。
ここで、前記映像処理は、透過処理あるいはぼかし処理である。
入力映像を取得する映像取得ステップと、撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得ステップと、前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として2つに分割する映像分割ステップと、前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成ステップと、前記前景領域の影領域を生成する影領域生成ステップと、前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成ステップと、を備え、前記映像合成ステップは、前記距離感知覚オブジェクトと重なる領域のみに前記影領域を合成し、前記影領域生成ステップでは、影領域の位置座標を、前景領域の位置座標のx軸、y軸に、予め設定した値を加えて求めることを特徴とする。
図1は、本発明の第1の実施の形態による映像処理装置の一構成例を示す機能ブロック図である。
図1に示すように、本実施形態による映像処理装置10は、奥行き情報を取得する奥行き情報取得部11と、入力映像を取得する映像取得部12と、奥行き情報取得部11で得られた奥行き情報を基に映像取得部12から得た映像を分割する映像分割部13と、分割された映像に合わせて映像内に擬似的な平面を定義するオブジェクトを生成する距離感知覚オブジェクト生成部14と、影領域を生成する影領域生成部15と、これら生成された距離感知覚オブジェクト、影並びに分割された映像を合成し、立体感、奥行き感を強調した映像を出力部17に出力する映像合成部16と、を含んで構成される。
まず、奥行き情報取得部11について説明を行う。映像処理装置10は、映像取得部12から得られる入力画像に対応した奥行き情報を取得する奥行き情報取得部11を有する。ここで、奥行き情報とは、入力映像に映っている各オブジェクト(例えば、人、車、木、壁など)と、撮影者(カメラ)との距離を示す情報である。本実施例では、奥行き情報は撮影時に取得され、映像処理装置10に送信されるものとする。撮影時の奥行き情報取得方法としては、たとえばステレオ法を応用し、位置をずらした2つのカメラで同一オブジェクトを撮影した際の撮像面での位置のずれを基に距離を求めることとしても良いし、カメラに備えられた赤外線照射装置からオブジェクトに照射された赤外線の反射光の強弱を測定することで取得するものとしても良い。
映像取得部12について説明する。映像取得部12は立体感、奥行き感を向上させる映像処理を行う元となる映像を取得する。ここでの映像は、静止画像でも動画像でも良く、何らかの符号化方式、例えばJPEG(Joint Photographic Experts Group)やMPEG−2(Moving Picture Expert Group phase2)などで圧縮されたものであっても、非圧縮のものであっても良い。入力映像が符号化されたものであった場合は、本ブロックで適切に復号(例えばRGB形式やYUV形式)される。以下、本実施例では、復号後の画像について処理を行うものとする。また、本実施例で行われる映像処理については、説明を簡単にするため、静止画または1フレームに対して処理を行うものとして説明を行っているが、入力映像が動画である場合、連続する各フレームに対して同様の処理を行うものとする。
次に、映像分割部13について説明する。映像分割部13は、映像取得部12で取得した入力映像を、奥行き情報取得部11で取得した奥行き情報に基づき、距離感知覚オブジェクト生成部14(詳細は後述)で生成する距離感知覚オブジェクトの前に表示する前景と、同距離感知覚オブジェクトの後ろに表示する背景とに分離する。
Px(n)=背景
}else{
Px(n)=前景
}
距離感知覚オブジェクト生成部14について説明を行う。距離感知覚オブジェクト生成部14は、映像分割部A4で決定された前景部領域と背景部領域に基づき、入力映像に合成する距離感知覚オブジェクトを生成する。ここで距離感知覚オブジェクトとは、入力映像中の前景と背景との間の奥行き位置に挿入することで前景または背景との相対的な距離感を与え、視聴者に立体感、奥行き感を知覚させるためのオブジェクトである。ここでいう挿入する奥行き位置とは、前述の奥行き情報の閾値とした位置をいう。本実施例では、図7に示すように、距離感知覚オブジェクトとして、映像の外周を囲う枠オブジェクトである額縁37を生成する。ここでは、額縁の形状、色などはあらかじめ映像処理装置10で決定されているものとするが、ユーザが任意の形状、色の額縁を登録できるようにし、これを合成することとしても良い。
次に影領域生成部15について説明を行う。影領域生成部15は、主に映像分割部13で決定された前景部領域から、影領域を生成する。図6に示したような、前景領域34が取得される時、この領域をあらかじめ映像処理装置10に設定されている色で塗りつぶした影領域64(図11参照)を得る。
最後に映像合成部16について説明する。映像合成部16では図10(b)映像63に示すように、映像分割部13で得られた背景領域36、距離感知覚オブジェクト生成部14で生成された額縁37、影領域生成部15で生成された影64、映像分割部13で得られた前景領域34を順に合成する。まず、背景領域34に額縁37を重畳する。次に影領域64を重畳する。この時、影領域64の重畳する位置(x,y)は、前景オブジェクトの位置(u,v)から相対的に下記式2で求められる。
y=v+b …(式2)
次に、本発明の第2の実施の形態について説明する。本実施の形態では、入力映像に額縁ではなく壁を合成する点において第1の実施の形態とは異なる。
次に、本発明の第3の実施の形態について説明する。本実施の形態では、入力映像を奥行き情報に基づき変形させる点を特徴とする。
11,21 奥行き情報取得部
12 映像取得部
13 映像分割部
14 距離感知覚オブジェクト生成部
15 影領域生成部
16 映像合成部
17 出力部
41,51 影方向取得部
101 映像変形部
Claims (8)
- 入力される映像の立体感、奥行き感を高める映像処理装置であって、
入力映像を取得する映像取得部と、
撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得部と、
前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として2つに分割する映像分割部と、
前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成部と、
前記前景領域の影領域を生成する影領域生成部と、
前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて、前記距離感値合成した映像を作成する映像合成部と、
を備え、
前記映像合成部は、前記距離感知覚オブジェクトと重なる領域のみに前記影領域を合成し、
前記影領域生成部は、影領域の位置座標を、前景領域の位置座標のx軸、y軸に、予め設定した値を加えて求めることを特徴とする映像処理装置。 - 前記映像合成部は、前記前景領域の奥行き情報に応じて、前記影領域に加える映像処理を変化させることを特徴とする請求項1に記載の映像処理装置。
- 前記映像処理は、透過処理あるいはぼかし処理であることを特徴とする請求項2に記載の映像処理装置。
- 前記前景領域の拡大変形をしあるいは変形せず、且つ前記背景領域の縮小変形をする映像変形部を備え、
前記影領域生成部は、前記映像変形部の処理後の前記前景領域に基づいて前景領域の影を生成することを特徴とする請求項1から3のいずれかに記載の映像処理装置。 - 入力される映像の立体感、奥行き感を高める映像処理方法であって、
入力映像を取得する映像取得ステップと、
撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得ステップと、
前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として2つに分割する映像分割ステップと、
前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成ステップと、
前記前景領域の影領域を生成する影領域生成ステップと、
前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成ステップと、
を備え、
前記映像合成ステップは、前記距離感知覚オブジェクトと重なる領域のみに前記影領域を合成し、
前記影領域生成ステップでは、影領域の位置座標を、前景領域の位置座標のx軸、y軸に、予め設定した値を加えて求めることを特徴とする映像処理方法。 - 前記映像合成ステップでは、前記前景領域の奥行き情報に応じて、前記影領域に加える映像処理を変化させることを特徴とする請求項5に記載の映像処理方法。
- 前記前景領域の拡大変形をしあるいは変形せず、且つ前記背景領域の縮小変形をする映像変形ステップを備え、
前記影領域生成ステップは、前記映像変形ステップの処理後の前記前景領域に基づいて前景領域の影を生成することを特徴とする請求項5又は6に記載の映像処理方法。 - 請求項5乃至7のいずれかに記載の映像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047795A JP4963124B2 (ja) | 2009-03-02 | 2009-03-02 | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047795A JP4963124B2 (ja) | 2009-03-02 | 2009-03-02 | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010206362A JP2010206362A (ja) | 2010-09-16 |
JP4963124B2 true JP4963124B2 (ja) | 2012-06-27 |
Family
ID=42967432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009047795A Expired - Fee Related JP4963124B2 (ja) | 2009-03-02 | 2009-03-02 | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4963124B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11398007B2 (en) * | 2018-04-11 | 2022-07-26 | Nippon Telegraph And Telephone Corporation | Video generation device, video generation method, program, and data structure |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5254297B2 (ja) * | 2010-09-27 | 2013-08-07 | 株式会社東芝 | 画像処理装置 |
JP5036088B2 (ja) * | 2011-01-14 | 2012-09-26 | シャープ株式会社 | 立体画像処理装置、立体画像処理方法およびプログラム |
JP5377537B2 (ja) * | 2011-02-10 | 2013-12-25 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
JP2012215852A (ja) | 2011-03-25 | 2012-11-08 | Semiconductor Energy Lab Co Ltd | 画像処理方法、表示装置 |
WO2012153475A1 (ja) * | 2011-05-11 | 2012-11-15 | パナソニック株式会社 | 描画合成装置 |
WO2013011608A1 (ja) * | 2011-07-19 | 2013-01-24 | パナソニック株式会社 | 画像符号化装置とその集積回路、および画像符号化方法 |
JP5711634B2 (ja) * | 2011-09-22 | 2015-05-07 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6024110B2 (ja) * | 2012-01-26 | 2016-11-09 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
US9838669B2 (en) | 2012-08-23 | 2017-12-05 | Stmicroelectronics (Canada), Inc. | Apparatus and method for depth-based image scaling of 3D visual content |
KR101671739B1 (ko) * | 2015-05-27 | 2016-11-02 | 연세대학교 산학협력단 | 가상 프레임을 이용한 2차원 영상의 입체 효과 생성 장치 및 그 방법 |
KR20170024275A (ko) * | 2015-08-25 | 2017-03-07 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템 |
JP6645371B2 (ja) * | 2016-07-15 | 2020-02-14 | オムロン株式会社 | 光デバイス及び立体表示方法 |
CN115314698A (zh) * | 2022-07-01 | 2022-11-08 | 深圳市安博斯技术有限公司 | 一种立体拍摄及显示装置、方法 |
CN115334296A (zh) * | 2022-07-01 | 2022-11-11 | 深圳市安博斯技术有限公司 | 一种立体图像显示方法和显示装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6157733A (en) * | 1997-04-18 | 2000-12-05 | At&T Corp. | Integration of monocular cues to improve depth perception |
JPH11259682A (ja) * | 1997-10-22 | 1999-09-24 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP3790760B2 (ja) * | 2003-03-11 | 2006-06-28 | 独立行政法人科学技術振興機構 | 共存在空間コミュニケーションシステム |
JP2007110360A (ja) * | 2005-10-13 | 2007-04-26 | Ntt Comware Corp | 立体画像処理装置およびプログラム |
-
2009
- 2009-03-02 JP JP2009047795A patent/JP4963124B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11398007B2 (en) * | 2018-04-11 | 2022-07-26 | Nippon Telegraph And Telephone Corporation | Video generation device, video generation method, program, and data structure |
Also Published As
Publication number | Publication date |
---|---|
JP2010206362A (ja) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4963124B2 (ja) | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム | |
JP4903240B2 (ja) | 映像処理装置、映像処理方法及びコンピュータプログラム | |
JP5654138B2 (ja) | 3dヒューマンマシンインターフェースのためのハイブリッドリアリティ | |
TWI523488B (zh) | 處理包含在信號中的視差資訊之方法 | |
KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
JP5521913B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI428007B (zh) | 視訊處理裝置及方法 | |
JP2010063083A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
WO2014083752A1 (ja) | 別視点画像生成装置および別視点画像生成方法 | |
JP2012120057A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5521608B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP4214529B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
KR19990057669A (ko) | 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 | |
KR101028342B1 (ko) | 2차원 플래시 애니메이션을 입체 3차원 플래시 애니메이션으로 변환하는 방법 | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP3091644B2 (ja) | 2次元画像の3次元化方法 | |
JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
JP2011176822A (ja) | 画像処理装置、立体表示装置及び画像処理方法 | |
JP2012142800A (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
JP4419139B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
JP2014203017A (ja) | 画像処理装置、画像処理方法、表示装置、および電子機器 | |
Priya et al. | 3d Image Generation from Single 2d Image using Monocular Depth Cues | |
TWI502960B (zh) | 二維轉三維轉換裝置及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111007 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120131 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120321 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |