JP5988068B2 - 適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法 - Google Patents
適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法 Download PDFInfo
- Publication number
- JP5988068B2 JP5988068B2 JP2015503228A JP2015503228A JP5988068B2 JP 5988068 B2 JP5988068 B2 JP 5988068B2 JP 2015503228 A JP2015503228 A JP 2015503228A JP 2015503228 A JP2015503228 A JP 2015503228A JP 5988068 B2 JP5988068 B2 JP 5988068B2
- Authority
- JP
- Japan
- Prior art keywords
- kernel
- aperture
- asymmetric
- filter
- design procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
式中、
=水平テストページ及び[161]カーネルを用いた繰り返し回数
=垂直テストページ及び[161]カーネルを用いた繰り返し回数
=[161]カーネルの分散
=水平(X)方向に沿ったボケのガウス近似
=垂直(Y)方向に沿ったボケのガウス近似
[式1]
112 ターゲット
114 取り込みサブシステム
116 システムバス
118 制御モジュール
Claims (13)
- 深度推定手順を支援するためのシステムであって、
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムと、
前記絞りの対称特性に基づきカーネル設計手順で設計される適応的カーネルと、
前記適応的カーネルを用いて前記深度推定手順を実行する深度推定器と、
を備え、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、周波数領域カーネル設計手順で設計され、
前記周波数領域カーネル設計手順は、
前記絞りの点像分布関数に高速フーリエ変換を適用するステップと、
前記高速フーリエ変換の水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計するステップと、
を含み、その後、前記水平フィルタと前記垂直フィルタとを組み合わせて組み合わせフィルタが生成され、該組み合わせフィルタに逆高速フーリエ変換を行って前記適応的カーネルが生成される、
ることを特徴とするシステム。 - 深度推定手順を支援するためのシステムであって、
写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムと、
前記絞りの対称特性に基づきカーネル設計手順で設計される適応的カーネルと、
前記適応的カーネルを用いて前記深度推定手順を実行する深度推定器と、
を備え、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、空間領域カーネル設計手順で設計され、
前記空間領域カーネル設計手順は、
前記絞りの水平点像分布関数及び垂直点像分布関数に対し空間領域解析を行って、前記絞りの垂直分散値と水平分散値の間の数学的関係を定めるステップと、
前記数学的関係に基づいて、水平フィルタカーネル及び垂直フィルタカーネルを生成するステップと、
を含み、前記水平フィルタカーネルと前記垂直フィルタカーネルをフィルタ組み合わせ処理で組み合わせて前記適応的カーネルが生成される、
ることを特徴とするシステム。 - 前記深度推定器及び前記取り込みサブシステムは、デジタルカメラ装置に実装される、ことを特徴とする請求項1に記載のシステム。
- 前記深度推定手順から得られる深度値は、前記デジタルカメラのオートフォーカス手順で利用される、
ことを特徴とする請求項3に記載のシステム。 - 前記画像は、前記写真ターゲットの焦点ずれしたボケ画像を含む、
ことを特徴とする請求項1に記載のシステム。 - 前記深度推定器は、前記深度推定手順の実行中に、前記適応的カーネルを利用して1又はそれ以上の畳み込み手順を実行する、
ことを特徴とする請求項5に記載のシステム。 - 前記絞りの対称特性は絞りの形状を含む、
ことを特徴とする請求項1に記載のシステム。 - 前記絞りの対称特性は絞りの寸法を含む、
ことを特徴とする請求項1に記載のシステム。 - 前記絞りの対称特性は、前記絞りの水平特性を前記絞りの垂直特性と比較することにより解析される、
ことを特徴とする請求項1に記載のシステム。 - 前記深度推定器は、前記絞りの前記対称特性に応じて前記ローカル記憶装置から最適なカーネルを選択する、
ことを特徴とする請求項1に記載のシステム。 - 前記深度推定器は、前記最適なカーネルを利用して前記深度推定手順を実行する、
ことを特徴とする請求項10に記載のシステム。 - 写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムを利用するステップと、
前記絞りの対称特性に基づきカーネル設計手順で適応的カーネルを設計するステップと、
前記適応的カーネルを利用して深度推定手順を実行するステップと、
を含み、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、周波数領域カーネル設計手順で設計され、
前記周波数領域カーネル設計手順は、
前記絞りの点像分布関数に高速フーリエ変換を適用するステップと、
前記高速フーリエ変換の水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計するステップと、
を含み、その後、前記水平フィルタと前記垂直フィルタとを組み合わせて組み合わせフィルタが生成され、該組み合わせフィルタに逆高速フーリエ変換を行って前記適応的カーネルが生成される、
方法。 - 写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムを利用するステップと、
前記絞りの対称特性に基づきカーネル設計手順で適応的カーネルを設計するステップと、
前記適応的カーネルを利用して深度推定手順を実行するステップと、
を含み、
前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含み、
前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶され、
前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶され、
前記非対称カーネル係数は、空間領域カーネル設計手順で設計され、
前記空間領域カーネル設計手順は、
前記絞りの水平点像分布関数及び垂直点像分布関数に対し空間領域解析を行って、前記絞りの垂直分散値と水平分散値の間の数学的関係を定めるステップと、
前記数学的関係に基づいて、水平フィルタカーネル及び垂直フィルタカーネルを生成するステップと、
を含み、前記水平フィルタカーネルと前記垂直フィルタカーネルをフィルタ組み合わせ処理で組み合わせて前記適応的カーネルが生成される、
方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/432,065 | 2012-03-28 | ||
US13/432,065 US9208570B2 (en) | 2012-03-28 | 2012-03-28 | System and method for performing depth estimation by utilizing an adaptive kernel |
PCT/US2013/029279 WO2013148089A2 (en) | 2012-03-28 | 2013-03-06 | System and method for performing depth estimation by utilizing an adaptive kernel |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015521394A JP2015521394A (ja) | 2015-07-27 |
JP5988068B2 true JP5988068B2 (ja) | 2016-09-07 |
Family
ID=48047815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015503228A Active JP5988068B2 (ja) | 2012-03-28 | 2013-03-06 | 適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9208570B2 (ja) |
EP (1) | EP2645334B1 (ja) |
JP (1) | JP5988068B2 (ja) |
CN (1) | CN103369233B (ja) |
WO (1) | WO2013148089A2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6245885B2 (ja) * | 2013-08-02 | 2017-12-13 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US9519956B2 (en) * | 2014-02-28 | 2016-12-13 | Nokia Technologies Oy | Processing stereo images |
US9292926B1 (en) | 2014-11-24 | 2016-03-22 | Adobe Systems Incorporated | Depth map generation |
US9530214B2 (en) | 2014-12-04 | 2016-12-27 | Sony Corporation | Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof |
US9639946B2 (en) | 2015-03-11 | 2017-05-02 | Sony Corporation | Image processing system with hybrid depth estimation and method of operation thereof |
US9723197B2 (en) | 2015-03-31 | 2017-08-01 | Sony Corporation | Depth estimation from image defocus using multiple resolution Gaussian difference |
JP6608763B2 (ja) | 2015-08-20 | 2019-11-20 | 株式会社東芝 | 画像処理装置及び撮影装置 |
US10382684B2 (en) * | 2015-08-20 | 2019-08-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
US9646225B2 (en) * | 2015-08-21 | 2017-05-09 | Sony Corporation | Defocus estimation from single image based on Laplacian of Gaussian approximation |
WO2017034046A1 (ko) * | 2015-08-24 | 2017-03-02 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치 |
US10282623B1 (en) * | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
US10097777B2 (en) | 2016-06-03 | 2018-10-09 | Recognition Robotics, Inc. | Depth map from multi-focal plane images |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US6012458A (en) * | 1998-03-20 | 2000-01-11 | Mo; Larry Y. L. | Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation |
JP2000152064A (ja) * | 1998-11-16 | 2000-05-30 | Ricoh Co Ltd | 自動焦点制御装置 |
JP4288461B2 (ja) | 2002-12-17 | 2009-07-01 | 日本電気株式会社 | 対称型画像フィルタ処理装置、プログラム、及びその方法 |
US20130190736A1 (en) * | 2003-04-18 | 2013-07-25 | Amo Manufacturing Usa, Llc | Systems and methods for correcting high order aberrations in laser refractive surgery |
US7221793B2 (en) * | 2003-05-27 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing spatially-varied demosaicing |
US7773111B2 (en) | 2005-03-16 | 2010-08-10 | Lc Technologies, Inc. | System and method for perceived image processing in a gaze tracking system |
CN1862358B (zh) | 2005-05-11 | 2012-03-21 | 华移联科(沈阳)技术有限公司 | 一种自动调焦装置 |
EP1892666A1 (en) | 2006-08-16 | 2008-02-27 | Toyota Motor Europe NV | A method, an apparatus and a computer-readable medium for processing an image dataset |
US8417759B2 (en) * | 2007-04-09 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Efficient implementations of kernel computations |
US8306348B2 (en) * | 2007-04-24 | 2012-11-06 | DigitalOptics Corporation Europe Limited | Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal |
US8310587B2 (en) * | 2007-12-04 | 2012-11-13 | DigitalOptics Corporation International | Compact camera optics |
US8462213B2 (en) | 2008-03-27 | 2013-06-11 | Kyocera Corporation | Optical system, image pickup apparatus and information code reading device |
US8922700B2 (en) | 2008-04-03 | 2014-12-30 | Omnivision Technologies, Inc. | Imaging system including distributed phase modification and associated methods |
JP5361546B2 (ja) | 2009-06-03 | 2013-12-04 | キヤノン株式会社 | レンズ装置、及びその制御方法 |
US8502864B1 (en) * | 2009-07-28 | 2013-08-06 | Robert Watkins | Systems, devices, and/or methods for viewing images |
US8045046B1 (en) * | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
DE102010023344A1 (de) * | 2010-06-10 | 2012-01-19 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Kameraobjektiv und Kamerasystem |
CN102314683B (zh) * | 2011-07-15 | 2013-01-16 | 清华大学 | 一种非平面图像传感器的计算成像方法和成像装置 |
-
2012
- 2012-03-28 US US13/432,065 patent/US9208570B2/en active Active
-
2013
- 2013-03-05 CN CN201310068570.XA patent/CN103369233B/zh active Active
- 2013-03-06 JP JP2015503228A patent/JP5988068B2/ja active Active
- 2013-03-06 WO PCT/US2013/029279 patent/WO2013148089A2/en active Application Filing
- 2013-03-25 EP EP13160753.3A patent/EP2645334B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2645334B1 (en) | 2016-05-18 |
WO2013148089A2 (en) | 2013-10-03 |
WO2013148089A3 (en) | 2015-06-18 |
US9208570B2 (en) | 2015-12-08 |
CN103369233A (zh) | 2013-10-23 |
US20130258096A1 (en) | 2013-10-03 |
JP2015521394A (ja) | 2015-07-27 |
CN103369233B (zh) | 2016-12-28 |
EP2645334A1 (en) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5988068B2 (ja) | 適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法 | |
JP5454821B2 (ja) | 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法 | |
US9066002B2 (en) | System and method for utilizing enhanced scene detection in a depth estimation procedure | |
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
US20170256036A1 (en) | Automatic microlens array artifact correction for light-field images | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP5459523B2 (ja) | 焦点ずれしたピルボックス画像を利用して深度推定を行うためのシステム及び方法 | |
WO2016160093A1 (en) | Depth estimation from image defocus using multiple resolution gaussian difference | |
US9262833B2 (en) | Methodology for performing depth estimation with defocused images under extreme lighting conditions | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
JP6239985B2 (ja) | 画像処理装置、画像処理プログラム及び撮像装置 | |
US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP2014110624A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160726 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5988068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |