JP5422538B2 - 画像処理装置、表示装置、方法およびそのプログラム - Google Patents
画像処理装置、表示装置、方法およびそのプログラム Download PDFInfo
- Publication number
- JP5422538B2 JP5422538B2 JP2010251267A JP2010251267A JP5422538B2 JP 5422538 B2 JP5422538 B2 JP 5422538B2 JP 2010251267 A JP2010251267 A JP 2010251267A JP 2010251267 A JP2010251267 A JP 2010251267A JP 5422538 B2 JP5422538 B2 JP 5422538B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- region
- dimensional object
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また、実施の形態によるさらに他の画像処理装置は、画像の奥行きを表現するデプスマップを生成する画像処理装置であって、画像に含まれる立体物の領域を検出する領域検出部と、奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得するデプス取得部と、前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、を備える。
また、実施の形態によるさらに他の画像処理装置は、画像の奥行きを表現するデプスマップを生成する画像処理装置であって、画像に含まれる立体物の領域を検出する領域検出部と、奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの最大値または最小値を前記立体物の領域の奥行きとして取得するデプス取得部と、前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、を備える。
また、実施の形態によるさらに他の画像処理装置は、画像の奥行きを表現するデプスマップを生成する画像処理装置であって、画像に含まれる立体物の領域を検出する領域検出部と、奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの最小値から最大値までの範囲の中央値を前記立体物の領域の奥行きとして取得するデプス取得部と、前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、を備える。
まず、実施の形態1にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。以降の説明では、以下の事項(1)〜(4)を前提とする。ただし、本開示は、これらの事項に限定されるものではない。
(1)立体物領域103内の画素に対応するベースデプス151内の画素の画素値Zを立体物奥行値とする方法
(2)立体物領域103内の画素に対応するベースデプス151内の画素の画素値Zの平均値を立体物奥行値とする方法
(3)立体物領域103内の画素に対応するベースデプス151内の画素の画素値Zの最大値を立体物奥行値とする方法
(4)立体物領域103内の画素に対応するベースデプス151内の画素の画素値Zの最小値を立体物奥行値とする方法
(5)立体物領域103内の画素に対応するベースデプス151内の画素の画素値Zの最小値から最大値までの範囲の中央値を立体物奥行値とする方法
(1)立体物奥行値を立体物領域103内の画素の縦ラインごとの奥行値Zとして設定する方法
(2)立体物奥行値を各立体物領域103の奥行値Zとして設定する方法
(3)立体物奥行値を入力画像100中の全ての立体物領域103の奥行値Zとして設定する方法
つぎに、実施の形態2にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、実施の形態1と同様の構成には、同一の符号を付し、その重複する説明を省略する。
(1)入力画像100の中心を通る水平線分(y=y_max/2:y_maxは入力画像100のy座標の最大値)を仮想境界線204に設定する方法
(2)入力画像100の上端(y=0)を仮想境界線204に設定する方法
(3)入力画像100から地平線または水平線を検出し、この地平線または水平線を仮想境界線204に設定する方法
(4)入力画像100から消失線を検出して消失点を求め、この消失点を通る水平線分を仮想境界線204に設定する方法
(5)入力画像100から検出した地面領域102の最上端を通る水平線分を仮想境界線204に設定する方法
(6)入力画像100から検出した地面領域102の上端線を仮想境界線204に設定する方法
(7)入力画像100から検出した地面領域102と空領域101との重心の真中を通る水平線分を仮想境界線204に設定する方法
Claims (15)
- 画像の奥行きを表現するデプスマップを生成する画像処理装置であって、
画像に含まれる立体物の領域を検出する領域検出部と、
奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
前記立体物の領域の最下底のエッジを含む領域であって該エッジを中心として縦横が所定サイズの領域の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得するデプス取得部と、
前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、
を備える、画像処理装置。 - 画像の奥行きを表現するデプスマップを生成する画像処理装置であって、
画像に含まれる立体物の領域を検出する領域検出部と、
奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得するデプス取得部と、
前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、
を備える、画像処理装置。 - 画像の奥行きを表現するデプスマップを生成する画像処理装置であって、
画像に含まれる立体物の領域を検出する領域検出部と、
奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの最大値または最小値を前記立体物の領域の奥行きとして取得するデプス取得部と、
前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、
を備える、画像処理装置。 - 画像の奥行きを表現するデプスマップを生成する画像処理装置であって、
画像に含まれる立体物の領域を検出する領域検出部と、
奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
前記立体物の領域内の画素に対応するベースデプス内の画素の奥行きの最小値から最大値までの範囲の中央値を前記立体物の領域の奥行きとして取得するデプス取得部と、
前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、
を備える、画像処理装置。 - 前記画像に仮想境界線を設定する設定部と、
前記仮想境界線が設定された画像に基づいて前記ベースデプスを生成するベースデプス生成部と、
をさらに備え、
前記ベースデプスは、前記仮想境界線が最奥となる構造である、請求項1〜4のいずれか一つに記載の画像処理装置。 - 前記設定部は、前記画像に含まれる地平線近傍に前記仮想境界線を設定する、請求項5に記載の画像処理装置。
- 前記設定部は、前記画像における消失点を通るように前記仮想境界線を設定する、請求項5に記載の画像処理装置。
- 前記領域検出部は、前記画像に含まれる地面の領域を検出する地面領域検出部を含み、
前記設定部は、前記地面の領域の分布に応じて前記仮想境界線を設定する、請求項5に記載の画像処理装置。 - 前記領域検出部は、前記画像に含まれる地面の領域を検出する地面領域検出部と、該画像に含まれる空の領域を検出する空領域検出部と、を含み、
前記設定部は、前記地面の領域と前記空の領域とに応じて前記仮想境界線を設定する、請求項5に記載の画像処理装置。 - 前記デプスマップ生成部は、前記地面の領域の奥行きを、前記画像に対して前記仮想境界線が設定された位置に基づいて算出する、請求項8または9に記載の画像処理装置。
- 前記デプスマップ生成部は、前記空領域の奥行きに前記仮想境界線の奥行きを設定する、請求項9に記載の画像処理装置。
- 前記ベースデプスは、前記画像の下端に近づくほど浅い奥行きとなる構造である、請求項1〜4のいずれか一つに記載の画像処理装置。
- 画像の奥行きを表現するデプスマップを生成する画像処理方法において、
画像に含まれる立体物の領域を検出し、
奥行きの基本構造であるベースデプスを前記画像に付与し、
前記立体物の領域の最下底のエッジを含む領域であって該エッジを中心として縦横が所定サイズの領域の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得し、
取得した前記奥行きを前記立体物の領域の奥行きとして前記ベースデプスに設定する、画像処理方法。 - 画像の奥行きを表現するデプスマップを画像処理装置に生成させるためのプログラムであって、
画像に含まれる立体物の領域を検出する領域検出処理と、
奥行きの基本構造であるベースデプスを前記画像に付与する付与処理と、
前記立体物の領域の最下底のエッジを含む領域であって該エッジを中心として縦横が所定サイズの領域の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得するデプス取得処理と、
前記デプス取得処理で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成処理と、
を前記画像処理装置に実行させる、プログラム。 - 画像の奥行きを表現するデプスマップを用いて生成される多視点画像を表示する表示装置であって、
前記画像に含まれる立体物の領域を検出する領域検出部と、
奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
前記立体物の領域の最下底のエッジを含む領域であって該エッジを中心として縦横が所定サイズの領域の画素に対応するベースデプス内の画素の奥行きの平均値を前記立体物の領域の奥行きとして取得するデプス取得部と、
前記デプス取得部で取得された前記立体物の領域の奥行きを前記ベースデプスに設定するデプスマップ生成部と、
前記画像と前記デプスマップとに基づいて、2つ以上の視点それぞれから観測した多視点画像を生成する画像生成部と、
前記多視点画像を表示する画像表示部と、
を備える、表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251267A JP5422538B2 (ja) | 2010-11-09 | 2010-11-09 | 画像処理装置、表示装置、方法およびそのプログラム |
US13/051,571 US20120113094A1 (en) | 2010-11-09 | 2011-03-18 | Image processing apparatus, image processing method, and computer program product thereof |
TW100129969A TWI457857B (zh) | 2010-11-09 | 2011-08-22 | 影像處理裝置,影像處理方法,及其電腦程式產品 |
CN2011102663354A CN102467743A (zh) | 2010-11-09 | 2011-09-09 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010251267A JP5422538B2 (ja) | 2010-11-09 | 2010-11-09 | 画像処理装置、表示装置、方法およびそのプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012105019A JP2012105019A (ja) | 2012-05-31 |
JP2012105019A5 JP2012105019A5 (ja) | 2012-08-23 |
JP5422538B2 true JP5422538B2 (ja) | 2014-02-19 |
Family
ID=46019192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010251267A Expired - Fee Related JP5422538B2 (ja) | 2010-11-09 | 2010-11-09 | 画像処理装置、表示装置、方法およびそのプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120113094A1 (ja) |
JP (1) | JP5422538B2 (ja) |
CN (1) | CN102467743A (ja) |
TW (1) | TWI457857B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5703255B2 (ja) * | 2012-04-27 | 2015-04-15 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
JP6818471B2 (ja) | 2016-08-31 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP3396949A1 (en) | 2017-04-26 | 2018-10-31 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
JP7191514B2 (ja) * | 2018-01-09 | 2022-12-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN111311674B (zh) * | 2020-01-13 | 2021-05-28 | 青岛市市立医院(青岛市临床医学研究所、青岛市医学影像中心) | 医院淋浴间房顶喷淋头数量解析平台 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185712A (ja) * | 1995-12-28 | 1997-07-15 | Kazunari Era | 三次元画像データ作成方法 |
JP2000316086A (ja) * | 1998-11-06 | 2000-11-14 | Seiko Epson Corp | 画像データ生成プログラムを記録した媒体、画像データ生成装置および画像データ生成方法 |
JP2001241947A (ja) * | 2000-02-28 | 2001-09-07 | Telecommunication Advancement Organization Of Japan | 画像における奥行き算出方法 |
JP2002159022A (ja) * | 2000-11-17 | 2002-05-31 | Fuji Xerox Co Ltd | 視差画像生成装置および視差画像生成方法 |
US7068815B2 (en) * | 2003-06-13 | 2006-06-27 | Sarnoff Corporation | Method and apparatus for ground detection and removal in vision systems |
JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
CN1296873C (zh) * | 2004-07-15 | 2007-01-24 | 浙江大学 | 基于相对深度计算的画中游方法 |
ES2623158T3 (es) * | 2006-08-16 | 2017-07-10 | Asahi Kasei Kabushiki Kaisha | Copolímero de bloques o producto hidrogenado del mismo |
CN1945629A (zh) * | 2006-10-20 | 2007-04-11 | 北京交通大学 | 一种图像物体大小恒常性计算方法 |
JP5615552B2 (ja) * | 2006-11-21 | 2014-10-29 | コーニンクレッカ フィリップス エヌ ヴェ | 画像の深度マップの生成 |
MX2009006405A (es) * | 2006-12-19 | 2009-06-23 | Koninkl Philips Electronics Nv | Metodo y sistema para codificar una señal de imagen, señal de imagen codificada, metodo y sistema para decodificar una señal de imagen. |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
CN101291415B (zh) * | 2008-05-30 | 2010-07-21 | 华为终端有限公司 | 一种三维视频通信的方法、装置及*** |
EP2194504A1 (en) * | 2008-12-02 | 2010-06-09 | Koninklijke Philips Electronics N.V. | Generation of a depth map |
JP5453796B2 (ja) * | 2008-12-17 | 2014-03-26 | 株式会社ニコン | 画像処理装置、電子カメラ及び画像処理プログラム |
KR101547151B1 (ko) * | 2008-12-26 | 2015-08-25 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
-
2010
- 2010-11-09 JP JP2010251267A patent/JP5422538B2/ja not_active Expired - Fee Related
-
2011
- 2011-03-18 US US13/051,571 patent/US20120113094A1/en not_active Abandoned
- 2011-08-22 TW TW100129969A patent/TWI457857B/zh not_active IP Right Cessation
- 2011-09-09 CN CN2011102663354A patent/CN102467743A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
TW201225006A (en) | 2012-06-16 |
CN102467743A (zh) | 2012-05-23 |
US20120113094A1 (en) | 2012-05-10 |
JP2012105019A (ja) | 2012-05-31 |
TWI457857B (zh) | 2014-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
JP5132754B2 (ja) | 画像処理装置、方法およびそのプログラム | |
CN102938844B (zh) | 利用立体成像生成自由视点视频 | |
US11663778B2 (en) | Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display | |
KR101288971B1 (ko) | 모델링 방법 및 장치 | |
JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
KR101055411B1 (ko) | 입체 영상 생성 방법 및 그 장치 | |
IL291685B2 (en) | Methods and systems for discovering and integrating structural features in 3D reconstruction | |
US20120169722A1 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
KR20110090958A (ko) | 이미지 속성들에 대한 오클루젼 데이터의 생성 | |
US20200202611A1 (en) | Image generation method and image generation device | |
JP5422538B2 (ja) | 画像処理装置、表示装置、方法およびそのプログラム | |
KR101713875B1 (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
JP5366258B2 (ja) | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム | |
US20200177868A1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
US9171393B2 (en) | Three-dimensional texture reprojection | |
US20150145861A1 (en) | Method and arrangement for model generation | |
KR20110112143A (ko) | Ldi 기법 깊이맵을 참조한 2d 동영상의 3d 동영상 전환방법 | |
KR101817756B1 (ko) | 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법 | |
US20170214880A1 (en) | Method for helping a person to select a furnishing covering surface | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
JP2015033047A (ja) | 複数カメラを用いた奥行き推定装置 | |
WO2014001062A2 (en) | Device for generating a depth map | |
KR101590114B1 (ko) | 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
KR101993961B1 (ko) | 임의시점 영상의 홀 채움 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131125 |
|
LAPS | Cancellation because of no payment of annual fees |