JP2009505104A - 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム - Google Patents

深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム Download PDF

Info

Publication number
JP2009505104A
JP2009505104A JP2008527125A JP2008527125A JP2009505104A JP 2009505104 A JP2009505104 A JP 2009505104A JP 2008527125 A JP2008527125 A JP 2008527125A JP 2008527125 A JP2008527125 A JP 2008527125A JP 2009505104 A JP2009505104 A JP 2009505104A
Authority
JP
Japan
Prior art keywords
blur
picture
pictures
lens
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008527125A
Other languages
English (en)
Other versions
JP5161087B2 (ja
Inventor
真備 中村
イエール クォン ウォン
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2009505104A publication Critical patent/JP2009505104A/ja
Application granted granted Critical
Publication of JP5161087B2 publication Critical patent/JP5161087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

【課題】 ３次元空間シーンの２つのピクチャから深度マップを生成すること。
【解決手段】 ３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。本発明の一態様によれば、システムは、２つのピクチャ間の相対的ぼけと、システムに由来する絶対的ぼけとに基づいて深度マップを生成する。本発明の別の態様によれば、システムは、２つのピクチャ間の相対的ぼけから直接、深度マップを演算する。
【選択図】 図４

Description

本発明は、包括的にはイメージングに関し、より具体的には、複数の画像から深度マップを生成することに関する。
［関連出願］
本特許出願は、「全焦点ピクチャと２次元尺度空間とのマッチングを用いてオートフォーカス用の深度マップを作成する新規方法」と題する同時係属中の米国特許出願に関連する。
［著作権表示／許可］
本特許文書の開示の一部は、著作権保護の対象となるものを含む。著作権者は、本特許文書又は本特許の開示が特許商標庁の書類又は記録に記載されている限り、いかなる者によるそれらの複製にも異存はないが、その他の場合には、一切の著作権を留保する。以下の表示は、後述され、添付の図面において説明されるソフトウェア及びデータに適用される。著作権（ｃ）２００４、全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright(c)2004, Sony Electronics, Incorporated, All Rights Reserved）。
深度マップは、３次元空間シーンに含まれた物体から、その空間シーンの画像を取得するカメラのレンズまでの距離のマップである。３次元空間シーン内の物体間の距離を求めることは、限定はしないが、デジタルカメラ及びビデオカメラにおけるオートフォーカス、コンピュータ／ロボットにおけるビジョン及び監視において重要な問題である。
通常、深度マップを求めるためには２種類の方法、すなわち能動的方法及び受動的方法がある。能動システムは対象物の照度を制御し、一方、受動システムは周辺照度に依存する。受動システムは通常、（ｉ）形状分析、（ｉｉ）複数視野（例えば、ステレオ）分析、又は（ｉｉｉ）被写界深度／光学分析のいずれかを使用する。被写界深度分析カメラは、焦点勾配から深度情報が得られることに依存する。カメラレンズのそれぞれの焦点設定において、その空間シーンのいくつかの物体には焦点が合っており、いくつかの物体には合っていない。焦点設定を変更することにより、いくつかの物体に焦点が合うようになり、他の物体は焦点が合わなくなる。複数の異なる焦点により、シーン内の物体に対する焦点が変化することが焦点勾配である。ほとんどのカメラシステムに内在する限られた被写界深度によってこの焦点勾配が生じる。
一つの形態においては、この焦点勾配を測定して深度マップを演算することにより、シーン内の或る点からカメラレンズまでの深度が以下のように求められる。
Figure 2009505104
 （１）
式中、ｆはカメラのレンズの焦点距離であり、Ｄはカメラの内部の像平面とレンズとの距離であり、ｒは像平面上の像のぼけ半径であり、ｋはスケール係数であり、ｆｎｕｍｂｅｒｆはカメラのレンズのＦナンバーである。Ｆナンバーはカメラレンズの焦点距離をレンズの口径で割った数に等しい。ぼけ半径を除き、式（１）の右辺のすべてのパラメータは画像が取得される時点で分かっている。よって、シーン内の点からカメラレンズまでの距離は、その画像における点のぼけ半径を測定することによって演算される。
同じシーンの２つの画像を、各画像に対して異なる口径を使用して取得することが、ぼけ半径の変化を演算する方法である。２つの画像間で口径を変えることにより、焦点勾配が生じる。シーン内の或る点のぼけ半径は、画像のマッチングされた部分のフーリエ変換を演算すること、及び取得された画像のうちの１つの画像のぼけ半径をゼロと仮定することによって演算される。
米国特許第６，２２９，９１３号 米国特許第６，６７７，９４８号 米国特許公開第２００４／０１２５２２８号 米国特許第５，７９３，９００号
３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。
［発明の概要］
３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。本発明の一態様によれば、システムは、２つのピクチャ間の相対的ぼけと、システムに由来する絶対的ぼけとに基づいて深度マップを生成する。本発明の別の態様によれば、システムは、２つのピクチャ間の相対的ぼけから直接、深度マップを演算する。
本発明は、様々な範囲のシステム、クライアント、サーバ、方法、及び機械読み取り可能な媒体に関して説明される。当該発明の概要に記載される本発明の態様に加えて、図面を参照し、以下の詳細な説明を読むことによって本発明のさらなる態様が明らかになるであろう。
本発明は例示によって説明され、添付の図面に限定されない。図面において、同様の参照符号は同様の要素を示す。
［詳細な説明］
以下の本発明の実施形態の詳細な説明において、添付の図面が参照され、図面において、同様の参照符号は同様の要素を示し、本発明を実施し得る具体的な実施形態が例示として示される。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。なお、他の実施形態を使用してもよく、本発明の範囲から逸脱することなく、論理的変更、機械的変更、電気的変更、機能的変更及び他の変更を行ってもよいことが理解されるべきである。したがって、以下の詳細な説明は、限定の意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ規定される。
図１は、３次元空間シーン１１０の画像を取得する撮像システム１００の一実施形態を示す。「画像」又は「ピクチャ」とは、撮像システム１００によって取得された３次元シーンの画像のことを指す。撮像システム１００は、画像取得部１０２と、制御部１０４と、画像記憶部１０６と、レンズ１０８とを有する。撮像システム１００は、デジタルスチルカメラ又はフィルムスチルカメラ、ビデオカメラ、監視カメラ、ロボットビジョンセンサ、イメージセンサ等であってもよいが、これらに限定されない。画像取得部１０２は、レンズ１０８を通してシーン１１０の画像を取得する。画像取得部１０２は、デジタルスチルカメラ若しくはフィルムスチルカメラ等によって静止画像を取得することができ、又はビデオカメラ若しくは監視カメラ等によって連続した画像を取得することができる。制御部１０４は通常、画像取得部１０２を自動的に且つ／又はオペレータの入力によって管理する。制御部１０４は、画像取得部１０２及びレンズ１０８の動作パラメータを設定する。動作パラメータはレンズの焦点距離ｆ、レンズの口径Ａ、レンズの焦点、及び（スチルカメラにおける）レンズのシャッタースピード等であるが、これらに限定されない。また、制御部１０４は、シーンの深度マップを生成する深度マップ部１２０（波線で示す）を組み込んでもよい。画像取得部１０２によって取得された画像（複数可）は、画像記憶部１０６に記憶される。
図１において、撮像システム１００はシーン１１０の画像を記録する。一実施形態では、シーン１１０は４つの物体、すなわち車１１２、家１１４、背景の山１１６、及び太陽１１８から成るが、他の実施形態のシーン１１０は、非常に繊細な特徴を有する数百の物体から成ってもよい。撮像システム１００のレンズによって記録されたほとんどの３次元シーンにおいて典型的なことであるが、シーン１１０内の物体１１２〜１１８は、レンズ１０８に対して種々の異なる距離にある。例えば、シーン１１０では、車１１２がレンズ１０８に最も近く、その次に家１１４、背景の山１１６、及び太陽１１８が続く。画像取得部１０２に固有の限られた被写界深度のために、レンズ１０８の焦点設定は、典型的には、シーン１１０のいくつかの物体に焦点が合っており、他の物体には合っていないであろう。画像中の物体について言及したが、画像の部分又は画像ブロックは必ずしも画像の特定の同区画を反映するわけではなく、これらの概念はすべて或る種の画像の区画を指す。
図２は、レンズ２０２を表すのに使用される撮像光学モデル２００の一態様を示す。光学モデル２００は、点２１８に焦点が合っているレンズ２０２を表し、これにより像平面上に像２１０が表示される。レンズ２０２は口径Ａを有する。その開口半径（レンズ半径としても知られる）は、符号２０４にＡ／２として示される。レンズ２０２の焦点を点２１８に合わせることにより、像２１０は、同様に点として像平面２０６上に表示される。一方、レンズ２０２の焦点が点２１８に適切に合っていない場合、像２１０は、ぼけ半径ｒを有するぼけのある像２０８として像平面２０６上に表示される。距離ｄｉ２１６は像２１０とレンズ２０２との距離であり、距離ｄｏ２１４は点２１８とレンズ２０２との距離である。最後に、Ｄ２１２は、レンズ２０２と像平面２０６との距離である。
図３は、前方ぼけ及び後方ぼけを呈する撮像光学モデル３００の一態様を示す。図３において、光学モデル３００は、点３０２に焦点が合っているレンズ３０４を表し、これにより焦点の合った像３０８が得られる。レンズ３０４の焦点が点３０２に適切に合っていない場合、得られる像３０８は焦点が合っていない。レンズ３０４の焦点が、点３０２に対してマイナス方向にｘだけ近過ぎる場合、得られる像は、ぼけ直径Ａ’を有するぼけのある像３０６である。ぼけ直径Ａ’は、対応するぼけ半径ｒの２倍の大きさである。一方、レンズの焦点が点３０２からプラス方向にｘだけ遠過ぎる場合、得られる画像は、ぼけ直径Ａ’を有するぼけのある像３１０である。像３０６及び像３１０の上面図が像３１２である。したがって、レンズ３０４の焦点が等距離だけ近過ぎるか又は遠過ぎる場合は、同じぼけのある像３１２が得られる。前方ぼけか後方ぼけか曖昧であるために、像３１２を見る者は、レンズ３０４の焦点が近過ぎるのか遠過ぎるのかを判別することができない。
図４は、異なる焦点位置で２つのピクチャを取得することによって深度マップを推定するために使用される、２つの撮像光学設定の一実施形態を示す。図４において、画像取得部１０２は、光学設定４０２を使用して、レンズ４０８を通して無限遠の焦点位置（すなわち、レンズ４０８の焦点が、可能な限り最も遠い物体に合っている位置）で、点４１６の第１のピクチャを取得する。図４において、例示として、点４１６はレンズ４０８から４メートル離れている。像平面４１２上に得られる像４１８は、ぼけ直径ａを有する。像４１８の上面図が像４２２で示される。光学設定４０２では、点４１６の適切に焦点の合った像４３０が像平面４１２の右に（すなわち、後方に）ある。
画像取得部１０２は、光学設定４０４で第２のピクチャを取得する。光学設定４０４は、レンズ４０８の焦点が無限遠ではなく１メートルである点で、光学設定４０２と異なる。その結果得られる点４１６の像は、像平面４１２上のぼけ直径ａ’を有するぼけのある像４２０である。レンズ４０８の焦点を１メートルに合わせることにより、点４１６の適切に焦点の合った像が、像平面４１２の左に（すなわち、前方に）ある。適切な像の焦点が像平面４１２の後から前に移ったため、ぼけ直径ａ及びａ’を用いる方式は、前方ぼけ／後方ぼけの特徴を利用することができる。相対的ぼけの差分、及び前方ぼけ／後方ぼけを用いて、以下の図５でさらに示すように、ピクチャの深度マップが演算される。
さらに、図４は、光学設定４０２及び４０４を使用して、無限遠の焦点位置及び１メートルの焦点位置でテスト点４０６のピクチャを取得することを示す。光学設定４０２では、得られる）テスト点４０６の像４１０は、ぼけ直径のない（すなわち、ｂ＝０）点である。これは、レンズ４０８の焦点がテスト点４０６に適切に合わせられているからである。像４１０の上面図が、像４２４として示されている。対照的に、光学設定４０４では、レンズ４０８の焦点が１メートルでテスト点４０６に合わせられ、これによりぼけ直径ｂ’を有するぼけのある像４１４が像平面４１２上に得られる。像４１０にはぼけ直径がないため、ぼけ直径ｂ’は画像取得部１０２に固有の絶対的ぼけである。絶対的ぼけの確定について以下の図６でさらに説明される。
図５は、２つのピクチャ間の絶対的ぼけ及び相対的ぼけの差分を演算することによりピクチャ深度マップを生成する方法５００の一実施形態のフローチャートである。図５では、ブロック５０２において、方法５００は画像取得部１０２に、図４で示した光学設定を用いて２つのピクチャを取得させる。再び図４を参照すると、画像取得部１０２は、光学設定４０２を用いて、無限遠の焦点設定で第１のピクチャｆ１を取得する。第２のピクチャｆ２は、画像取得部１０２によって、光学設定４０４を用いて１メートルの焦点位置で取得される。図５に戻ると、ブロック５０４において、方法５００は、一方のピクチャの鮮明な部分を他方のピクチャのぼけのある部分に畳み込むことにより、２つの取得されたピクチャ間の相対的ぼけを推定する。相対的ぼけの推定は、以下の図６においてさらに説明される。
図５に戻ると、ブロック５０６において、方法５００は、画像取得部１０２に由来する絶対的ぼけを演算する。各レンズは固有のぼけをもたらす。方法５００は、異なる光学設定においてテストパターンの２つのピクチャを取得することにより、その固有のぼけを測定する。レンズの絶対的ぼけの測定は以下の図１０においてさらに説明される。代替的に、レンズの絶対的ぼけは式（８）を使用して演算することができる。
図５に戻ると、ブロック５０８において、方法５００は、２つのピクチャを取得するのに用いられるカメラ設定の絶対的ぼけを調べ、記憶する。ブロック５０８において、方法５００は、分析ブロックのサイズを選択する。一実施形態では、分析ブロックのサイズはｋ×ｋピクセルの正方形ブロックである。一実施形態では、１６×１６又は３２×３２ピクセルのブロックサイズが使用され、代替の実施形態では、より小さい又はより大きいブロックサイズを使用してもよい。ブロックサイズの選択は、取得されたピクチャ内の種々の異なる物体を十分区別できる程度に小さくすべきである。しかしながら、適切なピクチャの細部を取得して演算の精度を保証することができる程度にブロックは大きくすべきである。或いは、他の形状及びサイズを分析ブロックのサイズに使用することができる（例えば、矩形のブロック、画像のエッジによって輪郭付けられたオブジェクト内のブロック等）。
方法５００はさらに、処理ループ（ブロック５１０〜５２０）を実行して、絶対的ぼけ及び相対的ぼけからぼけマップを構築する。ブロック５１２において、方法５００は、或るピクチャブロックについての絶対的ぼけの差分を記憶する。ブロック５１４において、方法５００は、或るピクチャブロックについての相対的ぼけの差分を記憶する。ブロック５１６において、方法５００は、以下の２つの二元方程式を解くことによりそのピクチャブロックについてのぼけを求める。
Ｂｌｕｒabsolute＝ａ−ａ’ （２）
Ｂｌｕｒrelative＝｜ａ｜−｜ａ’｜ （３）
式中、Ｂｌｕｒabsoluteは、レンズ撮像構成に固有の絶対的ぼけであり（上記図４に示すｂ’）、Ｂｌｕｒrelativeは、ブロック５０４において求められる相対的ぼけである。一実施形態では、ａはｆ１のぼけ直径であり且つ正であり、ａ’はｆ２のぼけ直径であり且つ負である。２つのぼけ直径ａ及びａ’は逆の符号を有する。なぜなら、ｆ１及びｆ２を取得するのに使用された光学設定４０２及び４０４からの適切に焦点合わせされた像は、それぞれ像平面の後方及び前方にあるからである。一実施形態では、方法５００は、式２及び式３をａについて解くことによって、ピクチャブロックのぼけ直径ａを求める。或いは、方法５００は、式２及び式３をａ’について解くことによって、ぼけ直径ａ’を求める。ａ’は負であるので、方法５００はａ’の絶対値を使用する。ブロック５１６において、方法５００はａ（又はａ’）からぼけ半径ｒを求め、そのぼけ半径ｒをブロック５１８においてぼけマップの適当な位置に記憶する。これにより、方法５００はｆ１又はｆ２について等しくぼけマップを構築することができる。
図５に戻ると、ブロック５２２において、方法５００は、幾何光学モデルを用いてぼけマップからピクチャ深度マップを生成する。上記で説明したように、幾何光学モデルは、ピクチャ内の物体の距離と、その物体のぼけとを関連付ける。方法５００は、式１を用いて、ぼけマップ内に含まれる関連付けられたぼけ半径の値から距離を演算する。レンズの焦点距離ｆ、カメラのレンズ２０２と像平面２０６との距離Ｄ、及びｆnumberは、限られた被写界深度のピクチャを取得するときに一定であるため、方法５００は、ぼけマップを用いて、関連付けられたぼけ半径から深度マップの距離値を演算する。方法５００は、ぼけマップに記憶された値と整合する式（１）の定数を用いる。
ブロック５２４において、方法は深度マップに対してクラスタリングアルゴリズムを適用する。クラスタリングアルゴリズムは、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する領域を分離するために用いられる。クラスタリングアルゴリズムは当該技術分野において周知である。例えば、一実施形態では、方法５００は、ピクチャ深度マップに最近傍クラスタリングを適用する。
図６は、２つの取得されたピクチャ間の相対的ぼけの差分を演算する方法のフローチャートを示す。図６では、ブロック６０２において、方法６００は取得されたピクチャｆ１及びｆ２を受け取り、取得されたピクチャのそれぞれを１組の離散ガウスカーネルで畳み込み演算して、一連のピクチャｇ１及びｇ２を形成する。１組の離散ガウスカーネルは、取得されたピクチャに種々の量のぼけを適用する。各ガウスカーネルは、得られるピクチャの各部分が同等のぼけとなるように、シーン１１０内の各物体に一様な量のぼけを適用する。これにより、得られる一連のピクチャｇ１及びｇ２は、一連の一様なぼけのピクチャとなり、その一連のピクチャの中の後続のピクチャはそれぞれ、元の取得されたピクチャよりも次第にぼけの大きい表現となる。
図７は、方法６００によってブロック６０２で実施されたように、畳み込みカーネルの族を用いてピクチャｆ１及びｆ２の２Ｄ尺度空間表現を生成する一実施形態を示す。具体的には、図７は、畳み込みガウスカーネル（ｈ（ｘ，ｙ，ｒｉ），ｉ＝１，２，…ｎ）７０４Ａ〜Ｎのパラメータ族を２つのピクチャのうちの１つｆｊ（ｘ，ｙ）７０２に以下のように適用する方法７００を示す。
ｇｊ（ｘ，ｙ，ｒｉ）＝ｆｊ（ｘ，ｙ）×ｈ（ｘ，ｙ，ｒｉ） （４）
式中、ｊは１，２であり、ｒｉはｆｊ（ｘ，ｙ）に対する明確なぼけである。
得られる一連のピクチャｇ（ｘ，ｙ，ｒｉ）７０６Ａ〜Ｎは、取得されたピクチャｆｊ（ｘ，ｙ）の漸進的なぼけを表す。ｉが増加するほど、畳み込みカーネルは、より強いぼけを取得されたピクチャに適用して、よりぼけの大きいピクチャにする。一連のぼけのあるピクチャ７０６Ａ〜Ｎは、ｆｊ（ｘ，ｙ）の２Ｄ尺度空間表現である。ガウスカーネルの半群特性により、ぼけの差分が容易に測定できるため、例示的な実施形態はガウスカーネルを使用する。或いは、当該技術分野において周知の、半群特性を有する任意の他の畳み込みカーネルが、取得されたピクチャの２Ｄ尺度空間表現を生成するのに適している。ピルボックスカーネル等の半群特性を持たないカーネルは、方法６００を用いて正確な解を提供することができない。
図６に戻ると、ブロック６０４において、方法６００は、分析ブロックのサイズを選択する。一実施形態では、分析ブロックのサイズはｋ×ｋピクセルの正方形ブロックである。一方、一実施形態では、１６×１６又は３２×３２ピクセルのブロックサイズが使用され、代替の実施形態では、より小さい又はより大きいブロックサイズを使用してもよい。ブロックサイズの選択は、取得されたピクチャ内の異なるピクチャの物体を十分区別できる程度に小さくすべきである。しかしながら、演算精度のために適切なピクチャの細部を取得することができる程度にブロックは大きくすべきである。或いは、他の形状及びサイズを分析ブロックのサイズに使用することができる（例えば、矩形のブロック、像のエッジによって輪郭付けられたオブジェクト内のブロック等）。一実施形態では、方法６００は、方法５００がブロック５０８において使用したものと同じブロックサイズを使用する。代替の実施形態では、方法６００は別のブロックサイズを使用する。
方法６００はさらに、処理ループ（６０６〜６２０）を実行して、２つの取得されたピクチャからの各組のピクチャブロック間の相対的ぼけを求める。ブロック６０８において、方法６００は、ピクチャブロックの組中の各ピクチャブロック毎に画像の輝度分散を演算する。所与のピクチャ又はシーンについて、鮮明なピクチャは、ぼけのあるピクチャよりもピクセル輝度の分散が大きい。なぜなら、鮮明なピクチャは輝度のコントラストが強く、これによりピクセル輝度の分散が大きくなるからである。一方、ぼけのあるピクチャは、弱いコントラストで相殺された輝度を有し、これによりピクセル輝度の分散が低くなる。代替の実施形態では、データの２次元ＦＦＴを演算すること、パワースペクトルにおいて周波数エネルギーが最も高いブロックを選択すること、Tenengrad尺度を適用すること、合計係数の差分が最も大きいブロックを見つけること等を含むがこれらに限定されない種々の鮮明度の測定法を用いる。
図８は、方法６００によって使用される、対応するピクチャブロックの組の一実施形態を示す。図８では、ピクチャブロック８０４Ａ、８０４Ｂはそれぞれ、輝度分散Ｖ１８０６Ａ及びＶ２８０６Ｂを有する。さらに、ピクチャブロック８０４Ａ、８０４Ｂは、取得されたピクチャｆ１及びｆ２の一部である。方法６００は、輝度分散Ｖ１８０６Ａ及びＶ２８０６Ｂを分散の比較のために用いる。
図６に戻ると、ブロック６１０において、方法６００は、ピクチャｆ１におけるピクチャブロックの輝度分散が、ピクチャｆ２における対応するピクチャブロックの輝度分散よりも大きいかどうかを判定する。そうである場合、ブロック６１２において、方法６００は、一連のピクチャｇ１の中で、ｆ２からのピクチャブロックに最も一致する、対応するピクチャブロックを決定する。方法６００は、より鮮明なピクチャブロックをよりぼけの大きいピクチャブロックに畳み込むことによって、２つのピクチャブロック間のぼけの差分を求める。ｆ１のピクチャブロックの分散はｆ２のピクチャブロックよりも大きいので、ｆ１のピクチャブロックはｆ２のピクチャブロックよりも鮮明である。この場合、ｆ１のピクチャブロックはｆ２のピクチャブロックよりも鮮明なので、方法６００は、ｇ１の一連のピクチャを用いる。これは、より鮮明なｆ１のピクチャブロックをよりぼけの大きいｆ２のピクチャブロックに畳み込むことを示す。より鮮明なピクチャブロックをぼけのあるピクチャブロックに畳み込むことにより、方法６００は、ｆ１及びｆ２の２つのピクチャブロック間のぼけの差分を推定する。
図９は、尺度空間表現を使用して相対的なぼけマップのためのブロックを見つける一実施形態を示す。具体的には、図９は、方法６００が、ｇ１の一連のピクチャ９０４Ａ〜Ｎの対応するピクチャブロック９０８Ａ〜Ｎのうち、ピクチャｆ２９０２のブロック９０６と最も一致するピクチャブロックを決定するために用いるプロセスを示す。上述のように、ｇ１の一連のピクチャ９０４Ａ〜Ｎは、ｆ１から徐々にぼけが大きくなる一連のピクチャである。方法６００は、ブロック９０６とブロック９０８Ａ〜Ｎのそれぞれとの間の誤差９１０Ａ〜Ｎを最小化することにより、最も一致するピクチャブロックを選択する。ピクチャブロックの対間の誤差は以下のように推定される：
Figure 2009505104
 （５）
式中、ｆ２（ｉ，ｊ）及びｇ１（ｉ，ｊ，ｒｌ）は、ピクチャｆ２及びｇ１のピクセル輝度であり、ピクセルｉ，ｊ及びｌ＝１，２，…，Ｎ（Ｎは一連のピクチャ内のピクチャの番号）である。ｒｌは、増大するぼけのカーネルのパラメータ族を意味する。一実施形態では、ｒｌは、増大するぼけのガウスカーネルのパラメータ族を意味する。誤差は、ｆ２のピクチャブロックと、一連のピクチャｇ１中の１つのピクチャの同様の位置にあるピクチャブロックとの差分を測定する。或いは、誤差測定法として、画像の当該技術分野において周知の、差分を測定する他の測定法を用いることができる（例えば、上記の１ノルムの代わりに、２ノルム（二乗誤差ノルム）又はより一般的には、ｐノルム（ここで、ｐ≧１）等を用いることができる）。図９に示す例では、誤差２９１０Ｂが誤差値の組９１０Ａ〜Ｎの中で最も小さい誤差であるため、ブロック２９０８Ｂがブロック９０６に最も一致する。
図６に戻ると、ｆ２のピクチャブロックのほうが鮮明である場合、方法６００はブロック６１４において、一連のピクチャｇ２の中で、ｆ１からのピクチャブロックに最も一致する、対応するピクチャブロックを決定する。ブロック６１２と同様に、方法６００は、最も誤差が小さいピクチャブロックを決定することにより、最も一致するピクチャブロックを決定する。ブロック６１４において、方法６００はそれぞれの誤差値を以下のように求める：
Figure 2009505104
 （６）
ブロック６１６において、方法６００は、対応するピクチャブロックからのぼけの差分の値を相対的ぼけマップに記憶する。図９に示される例を参照すると、方法６００は、ブロック２９０８Ｂに対応付けられたぼけの差分の値を、相対的ぼけマップ９１２中のエントリ９１４にコピーする。
図１０は、図１に示すようなレンズ１０８に由来する絶対的ぼけを測定及び記録する方法１０００の一実施形態のフローチャートである。方法１０００は、口径と焦点距離との各組み合わせ毎の絶対的ぼけ値をルックアップテーブルに記憶するために、プロセス処理（ブロック１００２〜１００６）を実行する。ブロック１００４において、方法１０００は、口径と焦点距離との一意の組み合わせ設定で、レンズ１０８の焦点を、無限遠に位置する固定されたテストパターンに合わせる。図４を参照すると、方法１０００は、光学設定４０２を使用する。図１０に戻ると、ブロック１００６において、方法１０００は、同じ口径と焦点距離との組み合わせを用いて、レンズの焦点を変更して１メートルに合わせる。焦点を無限遠から１メートルに変更することにより、固定されたテストパターンの像のぼけが生じる。ブロック１００６において、方法１０００はぼけ値をピクセルで記録する。図４を参照すると、方法１０００は光学設定４０４を用いてぼけ直径ｂ’を測定する。或いは、ブロック１００６において、方法１０００は、式１及び図２に示す撮像光学モデルに基づいて、絶対的ぼけを（ピクセルではなく）物理的寸法で分析的に演算する。式（１）に示すようにｄ０について解くかわりに、方法１０００は、式１の書き換えである式（７）及び式（８）を使用する。式（７）及び式（８）は絶対的ぼけｋｒについて解く：
Figure 2009505104
 （７）
ここで、ｄ０＝∞の場合、式（７）は以下のように単純化される：
Figure 2009505104
 （８）
無限遠に焦点を合わせるために、Ｄをカメラによって許容される最大値に設定することにより、方法１０００は、物理的な寸法、つまりマイクロメートル等の物理的な単位でｋｒを演算する。ピクセルと物理的寸法との間の変換はピクセルサイズに基づいており、簡単である。例えば説明のために、（ピクセルでの）ぼけ半径が３ピクセルと演算され、ピクセルサイズが５μｍ×５μｍである場合、物理的寸法でのぼけ半径は１５μｍである。絶対的ぼけの差分を求めるために用いられる実施形態に関わらず、ブロック１００６において、方法１０００は、絶対的ぼけの差分をピクセルでルックアップテーブルに記憶する。
図１１は、ぼけマップから深度マップを演算する一実施形態を示す。具体的には、図１１は、演算１１０８によりぼけマップ１１００を深度マップ１１０２に変換するために方法５００が用いるプロセスを示す。演算１１０８は式１に等しい。ぼけマップ１１００は、Ｎ×Ｎのぼけ半径値を含む。方法６００は、上記図６に示すように、各分析ブロック毎にぼけ半径値を導出する。さらに、深度マップ１１０２はＮ×Ｎの深度値を含み、各深度値は対応するぼけ半径値から演算される。例えば、ぼけマップエントリ１１０４はぼけ半径ｒｉを有し、これは深度マップエントリ１１０６の深度値ｄ０に対応する。
図１２は、口径及び焦点位置の異なる２つのピクチャを取得するために用いられる、画像取得部１０２が用いる２つの撮像光学設定の一実施形態を示す。図１２では、画像取得部１０２は、光学設定１２０２を使用して、レンズ１２０６から距離ｄ０にある点１２０４の第１のピクチャｆ１を取得する。画像取得部１０２はレンズ１２０６に焦点Ｄ３ １２１６、口径Ａ１ １２０８及び焦点距離ｆ（図示せず）を使用させる。焦点距離は、２つの光学設定１２０２及び１２２２の場合に一定である。さらに、光学設定１２０２の場合、ｄ０はｄｉｌよりもはるかに大きいと仮定される。ここでｄｉｌはレンズ１２０６と適切に焦点が合った点の像１２１４との間の距離１２１８である。これらの設定で、画像取得部１０２は、ぼけ半径ｒ１を有する、像平面１２１０上の点１２０４のぼけのある像１２１２を取得する。レンズ１２０６の焦点が適切に点１２０４に合っている場合、取得される像は点の像１２１４である。
さらに、画像取得部１０２は光学設定１２２２を使用して第２のピクチャｆ２を取得する。第２のピクチャの場合、画像取得部１０２はレンズ１２０６をわずかに像平面１２１０の近く（すなわち、Ｄ４＜Ｄ３）、したがって点１２０４の遠くに動かす。レンズ１２０６が点１２０４の近くに動かされたとしても、ｄ０はｄｉｌ及びｄｉ２よりもはるかに大きいので、レンズ１２０６と点１２０４との間の距離は両方の光学設定で同じである（すなわち、ｄ０）と仮定される。さらに、画像取得部１０２は、レンズ１２０６のために、焦点Ｄ４ １２３６、口径Ａ２ １２２８及び焦点距離ｆから成る光学設定１２２２を使用する。光学設定１２２２と１２０２とを比較すると、光学設定１２２２のほうが口径が大きく、焦点位置が近い。その結果、光学設定１２２２でレンズ１２０６を通して取得される点１２０４の第２のピクチャは、像平面１２１０上に表示される、ぼけ半径ｒ２を有する像１２３２をもたらす。さらに、光学設定１２２２の場合、ｄ０はｄｉ２よりもはるかに大きいと仮定される。ここでｄｉ２は、レンズ１２０６と適切に焦点があった点の像１２１４との間の距離１２３８である。
図１２に示すように、光学設定１２２２は、光学設定１２０２を用いた像１２１２の場合のぼけ半径ｒ１と比べて大きいぼけ半径ｒ２を有する像１２３２を像平面１２１０上にもたらす。しかし、光学設定１２０２及び１２２２は単に一空間シーンの設定における一変化（例えば、光学設定１２２２におけるレンズ１２０６の位置は光学設定１２０２におけるレンズ１２０６の位置の右側である）による相対的ぼけの説明にすぎない。或いは、光学設定１２２２におけるレンズ１２０６の位置が、光学設定１２０２におけるレンズ１２０６の位置の左側であることによって、ぼけの変化が得られる。この実施形態では、ぼけ半径ｒ２は、ぼけ半径ｒ１よりも小さい。この大小関係に関わらず、ぼけの変化に関する情報が得られさえすればよい。したがって、ぼけの変化は、第２のレンズ位置が第１のレンズ位置の右側であろうと左側であろうと起こる。上記の実施形態は、レンズ位置の変化に基づくぼけの変化の測定を説明しているが、種々の光学設定を変更する代替の実施形態（口径の設定を変更する等）及び／又はそれらの組み合わせも同様にぼけの変化をもたらす。
一例示的な実施形態では、ｒ１とｒ２との差分は、測定できる程度に大きくされるべきであるが、２つのぼけ半径のぼけ方向が異なるほどに大きくするべきではない。ぼけ方向が異なるぼけ（すなわち、前方ぼけ／後方ぼけ）ぼけ半径は、物体が、シーンにおいていくらかの物理的距離範囲に位置している場合に起こり得る。前方ぼけ／後方ぼけは光学設定および撮像設定に固有の特性であるので、これを回避することは難しい。しかしながら、Ｄ３ １２１６とＤ４ １２３６との差分の絶対値を最小化することにより、この前方ぼけ／後方ぼけが生じるシーンにおける距離の範囲を最小化することができる。Ｄ３ １２１６とＤ４ １２３６との差分の絶対値が最大である極端な場合では、そのシーンにおけるすべての物体（焦点が最も遠い物体、すなわち無限遠にある物体と、焦点が最も近い物体、すなわち撮像システムが焦点を合わせることができる最も近い物体とは除く）が、前方ぼけ／後方ぼけを呈するであろう。
図１３は、図１２に示すような異なる焦点位置及び口径で取得された２つのピクチャから深度マップを演算する方法１３００のフローチャートである。ブロック１３０２において、方法１３００は画像取得部１０２に、図１２の２つの異なる光学設定１２０２及び１２２２をそれぞれ用いて空間シーン１１０の２つの異なるピクチャを取得させる。異なる光学設定は、測定できる程度に大きいが、適切に焦点が合った点の像１２１４の対向する両側に像１２１２及び１２３２が位置するほど大きくはないぼけ半径の差分をもたらすべきである。方法１３００は、口径Ａ１、焦点Ｄ３及び焦点距離ｆを有する第１のピクチャｆ１を取得させる。同様に、方法１３００は、口径Ａ２、焦点Ｄ４及び焦点距離ｆを有する第２のピクチャｆ２を取得させる。ブロック１３０４において、方法１３００は、上記方法７００を用いて２つのピクチャ間のぼけの差分行列を演算する。
ブロック１３０６において、方法１３００は、ぼけの差分行列を用いた直接演算によって深度マップを生成する。図１２から、ピクチャｆ１の場合の物体からレンズまでの距離は以下の通りである。
Figure 2009505104
 （９）
同様に、ピクチャｆ２の場合の物体からレンズまでの距離は
Figure 2009505104
 （１０）
である。式（９）及び式（１０）をｒ１及びｒ２に関して書き換えると以下のようになる。
Figure 2009505104
 （１１）
Figure 2009505104
 （１２）
式１１及び式１２から、ぼけの差分ｋ（ｒ１−ｒ２）は
Figure 2009505104
 （１３）
である。
式（１３）は、ｒ１はｒ２よりも大きいと仮定している。ｆ１の分散のほうが大きい場合、ｒ２はｒ１よりも小さいと仮定されているため、ｆ１におけるぼけ半径はｒ２に対応する。また、ｆ１の分散のほうが小さい場合、ｒ１はｒ２よりも大きいと仮定されているため、ｆ１におけるぼけ半径はｒ１に対応する。Ｆナンバー（ｆnumber＝ｆnumber１＝ｆnumber２）がピクチャｆ１及びｆ２について同じである場合、式１３は以下のように通分される。
Figure 2009505104
 （１４）
式（１３）及び式（１４）は、ぼけの差分をぼけ半径の関数として表す。相対的ぼけの差分のマップは値ｋ（ｒ１−ｒ２）を含む。式（１３）及び式（１４）は距離ｄ０について解くと以下のように書き換えられる。
Figure 2009505104
 （１５）
Figure 2009505104
 （１６）
ピクチャを取得する時点で、ｆnumber１、ｆnumber２、ｆ、Ｄ３及びＤ４（すなわち、ｆnumber、ｆ、Ｄ３及びＤ４）は既知であり、ｋ（ｒ１−ｒ２）はぼけの差分行列に記憶されているため、方法１３００は式（１５）及び式（１６）を用いてぼけの差分行列から深度マップ行列を直接演算する。
ブロック１３０８において、方法１３００は、クラスタリングアルゴリズムを深度マップに適用する。クラスタリングアルゴリズムは、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する領域を分離するために使用される。クラスタリングアルゴリズムは、当該技術分野において周知である。例えば、一実施形態では、方法１３００はピクチャ深度マップに最近傍クラスタリングを適用する。
図１４は、深度マップを演算する画像デバイス制御部の一実施形態を示すブロック図である。一実施形態では、画像制御部１０４は深度マップ部１２０を含む。或いは、画像制御部１０４は深度マップ部１２０を含むのではなく、深度マップ部１２０に結合されている。深度マップ部１２０は、ピクチャ取得モジュール１４０２、２Ｄ尺度空間モジュール１４０４、相対的ぼけモジュール１４０６、ピクチャ深度マップモジュール１４０８、クラスタリングモジュール１４１０、絶対的ぼけモジュール１４１２、及びぼけモジュール１４１４を有する。ピクチャ取得モジュール１４０２は、図５のブロック５０２及び図１３のブロック１３０２に示すように、画像取得部１０２に２つのピクチャを取得させる。２Ｄ尺度空間モジュール１４０４は、図６に示すように、取得したピクチャの２Ｄ尺度空間表現を作成する。相対的ぼけモジュール１４０６は、図６のブロック６０２〜６１８及び図７に示すように、取得したピクチャから相対的なずれを導出する。さらに、ピクチャ深度マップモジュール１４０８は、ぼけモジュール１４１４から深度マップを演算する。一実施形態では、ａ（又はａ’の絶対値）が演算されて格納される場合、ぼけモジュール１４１４は、幾何光学モデル及び式（１）を用いて深度を演算する。別の実施形態では、ｋ（ｒ１−ｒ２）が格納される場合、ぼけモジュール１４１４は式（１５）及び式（１６）を用いて深度を演算する。クラスタリングモジュール１４１０は、図５のブロック５２４及び図１３のブロック１３０８に示すように、深度マップに対してクラスタリングアルゴリズムを適用して、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する深度マップ領域を分離する。絶対的ぼけモジュール１４１２は、図１０に示すように、また式（８）で説明するように、画像取得部１０２に固有の絶対的ぼけを演算する。ぼけモジュール１４１４は、式（２）及び式（３）を使用してぼけの量ａ（又はａ’）又はぼけの量の変化を演算する（図１３のブロック１３０４）。後者が演算される場合、このモジュールにおけるデータは、相対的ぼけモジュール１４０６において見出されるものと同じである。
本明細書に記載される方法は、実際には、機械により実行可能な命令から成る１つ又は複数のプログラムを構成してもよい。図５、図６、図１０及び図１３のフローチャートを参照して方法を説明することにより、当業者は、論理ブロックによって表わされる動作（作用）を実行するための命令を含むこのようなプログラムを、適切に構成された機械（機械読み取り可能な媒体からの命令を実行する機械のプロセッサ）において開発可能である。機械により実行可能な命令は、コンピュータプログラム言語で書かれてもよく、又はファームウェアロジック若しくはハードウェア回路で具現化されてもよい。広く認識されている基準に準拠するプログラム言語で書かれた場合、こうした命令は種々のハードウェアプラットフォームで、また種々のオペレーティングシステムのインタフェースのために実行することができる。さらに、本発明はいかなる特定のプログラム言語も参照して記載されていない。本明細書に記載する本実施形態の内容を実施するために、種々のプログラム言語を使用してもよいことが理解されるであろう。さらに、どのような形にせよ（例えば、プログラム、プロシジャ、プロセス、アプリケーション、モジュール、ロジック等の）ソフトウェアが動作を起こす、又はソフトウェアが結果をもたらすという言い方は、当該技術分野において一般的である。こうした表現は単に、機械によるソフトウェアの実行によってその機械のプロセッサが動作を実行するか又は結果をもたらすということを省略した言い方である。フロー図で示された方法には、本発明の範囲から逸脱することなく、より多くの又はより少ないプロセスが組み込まれてもよく、また、本明細書に示され説明されたブロックの配置はいかなる特定の順序も示唆しないことがさらに理解されるであろう。
図１５は、インターネット等のネットワーク１５０２を介して接続されたいくつかのコンピュータシステム１５００を示す。「インターネット」という用語は、本明細書において用いられる場合、ＴＣＰ／ＩＰプロトコル等、及びワールドワイドウェブ（ｗｅｂ）を構成可能なハイパーテキストマークアップ言語（ＨＴＭＬ）文書用のハイパーテキスト転送プロトコル（ＨＴＴＰ）等の他のプロトコル等のいくつかのプロトコルを用いる複数のネットワークの中の１つのネットワークを指す。インターネットの物理的な接続並びにインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネット１５０２へのアクセスは通常、インターネットサービスプロバイダ（ＩＳＰ）１５０４及び１５０６等のＩＳＰによって提供される。クライアントコンピュータシステム１５１２、１５１６、１５２４及び１５２６等のクライアントシステムのユーザは、ＩＳＰ１５０４及び１５０６等のインターネットサービスプロバイダを介してインターネットへのアクセスを取得する。インターネットへのアクセスにより、クライアントコンピュータシステムのユーザは、情報交換、電子メールの送受信、及びＨＴＭＬ形式で作成された文書等の文書の閲覧が可能になる。これらの文書は、インターネット「上」に存在すると見なされるウェブサーバ１５０８等のウェブサーバによって提供されることが多い。これらのウェブサーバはＩＳＰ１５０４等のＩＳＰによって提供されることが多いが、当該技術分野において周知のように、コンピュータシステムは、ＩＳＰを兼ねるシステムによらなくても、セットアップされインターネットに接続することができる。
ウェブサーバ１５０８は、典型的には、サーバコンピュータシステムとして動作する少なくとも１つのコンピュータシステムであり、ワールドワイドウェブのプロトコルで動作するように構成されており、インターネットに接続される。オプションとして、ウェブサーバ１５０８はクライアントシステムに対してインターネットへのアクセスを提供するＩＳＰの一部であり得る。ウェブサーバ１５０８は、サーバコンピュータシステム１５１０に接続されて示される。サーバコンピュータシステム１５１０自体はウェブコンテンツ１５１５に接続されている。ウェブコンテンツはメディアデータベースの一形態と見なすことができる。図１５には２つのコンピュータシステム１５０８及び１５１０が示されるが、ウェブサーバシステム１５０８及びサーバコンピュータシステム１５１０は、以下でさらに説明されるウェブサーバ機能と、サーバコンピュータシステム１５１０によって提供されるサーバ機能とを提供する、異なるソフトウェアコンポーネントを有する１つのコンピュータであってもよいことが理解されるであろう。
クライアントコンピュータシステム１５１２、１５１６、１５２４、及び１５２６はそれぞれ、適切なウェブブラウザで、ウェブサーバ１５０８によって提供されたＨＴＭＬページを閲覧することができる。ＩＳＰ１５０４は、クライアントコンピュータシステム１５１２の一部と見なすことができるモデムインタフェース１５１４を介してクライアントコンピュータシステム１５１２にインターネット接続を提供する。クライアントコンピュータシステムは、パーソナルコンピュータシステム、ネットワークコンピュータ、ウェブＴＶシステム、携帯端末、又は他のこのようなコンピュータシステムであり得る。同様に、ＩＳＰ１５０６は、クライアントシステム１５１６、１５２４、及び１５２６のためにインターネット接続を提供するが、図１５に示すように、接続形態はこれらの３つのコンピュータシステムについて同じではない。クライアントコンピュータシステム１５１６はモデムインタフェース１５１８を介して接続され、一方、クライアントコンピュータシステム１５２４及び１５２６はＬＡＮの一部である。図１５では、インタフェース１５１４及び１５１８は総称的に「モデム」として示されているが、これらインタフェースのそれぞれはアナログモデム、ＩＳＤＮモデム、ケーブルモデム、衛星伝送インタフェース又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースであり得ることが理解されるであろう。クライアントコンピュータシステム１５２４及び１５２６はネットワークインタフェース１５３０及び１５３２を介してＬＡＮ１５２２に接続される。これらのネットワークインタフェースはイーサネット(登録商標)ネットワーク又は他のネットワークインタフェースであり得る。ＬＡＮ１５２２はまた、ファイアウォール及びローカルエリアネットワーク用の他のインターネット関連サービスを提供可能なゲートウェイコンピュータシステム１５２０に接続される。このゲートウェイコンピュータシステム１５２０は、ＩＳＰ１５０６に接続されて、クライアントコンピュータシステム１５２４及び１５２６にインターネット接続を提供する。ゲートウェイコンピュータシステム１５２０は、従来のサーバコンピュータシステムであり得る。また、ウェブサーバシステム１５０８も、従来のサーバコンピュータシステムであり得る。
或いは、周知のように、サーバコンピュータシステム１５２８は、ゲートウェイシステム１５２０を介してインターネットに接続される必要なしに、ネットワークインタフェース１５３４を介してＬＡＮ１５２２に直接接続されて、ファイル１５３６及び他のサービスをクライアント１５２４、１５２６に提供することができる。さらに、ＬＡＮ１５２２、インターネット１５０２又は通信媒体としての組み合わせを用いて、クライアントシステム１５１２、１５１６、１５２４、１５２６の任意の組み合わせがピアツーピアネットワークで互いに接続されてもよい。概して、ピアツーピアネットワークは、中央サーバ（複数可）を用いることなく、複数の機械のネットワークにわたって、記憶及び検索のためにデータを分配する。したがって、各ピアネットワークノードは、上述したクライアント及びサーバの両方の機能を組み込んでもよい。
以下の図１６の説明は、上述した本実施形態の方法を実行するのに適したコンピュータハードウェア及び他のオペレーティングコンポーネントの概観を提供することを意図している。しかし、この図１６の説明は、適用可能な環境を限定することは意図していない。本発明の実施形態は、セットトップボックス、携帯端末、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等を含む他のコンピュータシステム構成でも実施し得ることを当業者は即座に理解するであろう。本発明の実施形態は、ピアツーピアネットワークのインフラストラクチャ等、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境でも実施し得る。
図１６は、エンコーダ又はデコーダとして用いることができる従来と同様のコンピュータシステムの一例を示す。コンピュータシステム１６００は、モデム又はネットワークインタフェース１６０２を介して外部システムと接続する。モデム又はネットワークインタフェース１６０２は、コンピュータシステム１６００の一部と見なすことができることは理解されるであろう。このインタフェース１６０２は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、トークンリングインタフェース、衛星伝送インタフェース、又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースであり得る。コンピュータシステム１６０２は処理部１６０４を有する。処理部１６０４は、Intel（登録商標） Pentium（登録商標）マイクロプロセッサ又はMotorola（登録商標） Ｐｏｗｅｒ ＰＣマイクロプロセッサ等の従来のマイクロプロセッサであり得る。メモリ１６０８はバス１６０６によってプロセッサ１６０４に接続される。メモリ１６０８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）であってもよく、スタティックＲＡＭ（ＳＲＡＭ）を有してもよい。バス１６０６はプロセッサ１６０４をメモリ１６０８に接続し、不揮発性記憶装置１６１４、ディスプレイコントローラ１６１０、及び入出力（Ｉ／Ｏ）コントローラ１６１６にも接続する。ディスプレイコントローラ１６１０は、従来と同様の方法でディスプレイデバイス１６１２上の表示を制御する。ディスプレイデバイス１６１２は陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）であり得る。入出力デバイス１６１８は、キーボード、ディスクドライブ、プリンタ、スキャナ、及びマウス又は他のポインティングデバイスを含む他の入力及び出力デバイスを有することができる。ディスプレイコントローラ１６１０及びＩ／Ｏコントローラ１６１６は、従来の周知技術で実行され得る。デジタル画像入力デバイス１６２０は、デジタルカメラであり得る。デジタル画像入力デバイス１６２０は、デジタルカメラからの画像をコンピュータシステム１６００に入力可能にするためにＩ／Ｏコントローラ１６１６に接続される。不揮発性記憶装置１６１４は磁気ハードディスク、光ディスク、又は他の形態の大量データ用の記憶装置であることが多い。これらのデータのうちのいくらかは、コンピュータシステム１６００内のソフトウェアの実行中に、ダイレクトメモリアクセスプロセスによってメモリ１６０８に書き込まれることが多い。「コンピュータ読み取り可能な媒体」及び「機械読み取り可能な媒体」という用語は、プロセッサ１６０４によってアクセス可能な任意の種類の記憶装置を含み、また、データ信号を符号化する搬送波も包含することを当業者は即座に認識するであろう。
本発明の実施形態で使用することができる別のタイプのコンピュータシステムは、ネットワークコンピュータである。ネットワークコンピュータは通常、ハードディスク又は他の大容量記憶装置を有さず、プロセッサ１６０４が実行するための実行可能なプログラムがネットワーク接続からメモリ１６０８にロードされる。当該技術分野において周知のウェブＴＶシステムも、本発明の実施形態によるコンピュータシステムと見なされるが、ウェブＴＶシステムは、いくつかの入力又は出力デバイス等、図１６に示される特徴のうちのいくつかを有さなくてもよい。典型的なコンピュータシステムは通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを有する。
コンピュータシステム１６００は、種々の異なる構造を有する多くの可能なコンピュータシステムの一例であることは理解されるであろう。例えば、Intel（登録商標）マイクロプロセッサに基づくパーソナルコンピュータは、複数のバスを有することが多く、そのうちの１つは周辺機器のための入出力（Ｉ／Ｏ）バスであってもよく、１つはプロセッサ１６０４とメモリ１６０８を直接接続するバス（メモリバスと呼ばれることが多い）であってもよい。バスは、バスプロトコルの違いにより必要とされる任意の変換を実行するブリッジコンポーネントを介して互いに接続される。
また、コンピュータシステム１６００は、オペレーティングシステムソフトウェアによって制御されることが理解されるであろう。このオペレーティングシステムソフトウェアは、ディスクオペレーティングシステム等のファイル管理システムを有し、このファイル管理システムはオペレーティングシステムソフトウェアの一部である。オペレーティングシステムソフトウェア及びそれに対応するファイル管理システムソフトウェアの一例は、ワシントン州Redmond所在のMicrosoft（登録商標）社製の、Windows（登録商標）として知られている一群のオペレーティングシステム及びそれらに対応するファイル管理システムである。ファイル管理システムは、典型的には、不揮発性記憶装置１６１４に記憶されており、データを入力及び出力するため、並びに不揮発性記憶装置１６１４へのファイルの記憶を含む、記憶装置へのデータの記憶を行うために、オペレーティングシステムが要求する種々の動作をプロセッサ１６０４に実行させる。
上記明細書において、特定の例示的な実施形態を参照しながら本発明が説明された。添付の特許請求の範囲において記載する本発明の広範な精神及び範囲から逸脱することなく、本発明に種々の変形がなされてもよいことは確かである。したがって、明細書及び図面は、限定的な意味ではなく、説明的な意味で捉えられるべきである。
撮像システムの一実施形態を示す図である。 撮像光学モデルの一実施形態を示す図である。 前方ぼけ及び後方ぼけを呈する撮像光学モデルの一実施形態を示す図である。 異なる焦点で２つのピクチャを取得することによって深度マップを推定するために使用される、撮像光学モデルの一実施形態を示す図である。 ２つのピクチャ間の絶対的ぼけ及び相対的ぼけの差分を演算することによってピクチャ深度マップを生成する方法の一実施形態のフローチャートである。 ２つのピクチャ間の相対的ぼけの差分を演算する方法の一実施形態のフローチャートである。 畳み込みガウスカーネルの族を用いて、取得されたピクチャの２次元（２Ｄ）尺度空間表現を生成する一実施形態を示す図である。 ２つの異なるピクチャにおける１組の対応するピクチャブロックの分散を求める一実施形態を示す図である。 尺度空間表現を用いて相対的ぼけマップのためのブロックを見つける一実施形態を示す図である。 レンズ１０８に由来する絶対的ぼけを測定及び記録するための方法の一実施形態のフローチャートである。 ぼけマップから深度マップを演算する一実施形態を示す図である。 ２つのピクチャを異なる焦点位置及び口径で取得するために用いられる、画像取得部１０２が用いる２つの撮像光学設定の一実施形態を示す図である。 異なる焦点及び口径で取得された２つのピクチャから深度マップを演算する方法のフローチャートである。 深度マップを演算する画像デバイス制御部の一実施形態を示すブロック図である。 本発明を実施するのに適した動作環境の一実施形態の図である。 図６及び図１２の動作環境において使用するのに適したコンピュータシステムの一実施形態の図である。

Claims (40)

  1. ３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算し、
    前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算する
    演算方法。
  2. 請求項１に記載の演算方法であって、
    前記２つのピクチャ間の前記相対的ぼけを演算するステップは、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
    前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせるステップと、
    前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めるステップと
    を含む演算方法。
  3. 請求項２に記載の演算方法であって、
    前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
    演算方法。
  4. 請求項２に記載の演算方法であって、
    前記２次元尺度空間表現を生成するステップは、前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用するステップを含む
    演算方法。
  5. 請求項１に記載の演算方法であって、さらに、
    前記深度マップに対してクラスタリングアルゴリズムを適用する
    演算方法。
  6. 請求項１に記載の演算方法であって、
    前記ピクチャ深度マップを演算するステップは、
    前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算するステップをさらに含む
    演算方法。
  7. 請求項６に記載の演算方法であって、
    前記ピクチャ深度マップを演算するステップは、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
    前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成するステップと、
    前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算するステップと
    をさらに含む
    Figure 2009505104
     （ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
    演算方法。
  8. 請求項１に記載の演算方法であって、
    前記ぼけマップを生成するステップは、
    前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算するステップと、
    最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーするステップと
    を含む
    演算方法。
  9. 請求項１に記載の演算方法であって、
    前記２つのピクチャは、同一のぼけ方向で取得される
    演算方法。
  10. 請求項１に記載の演算方法であって、
    前記ピクチャ深度マップを演算するステップにおいて、以下の式が用いられる
    Figure 2009505104
     （ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
    演算方法。
  11. 請求項１に記載の演算方法であって、
    前記２つのピクチャは、逆のぼけ方向で取得される
    演算方法。
  12. 機械読み取り可能な媒体であって、
    ３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算するステップと、
    前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算するステップと
    をプロセッサに実行させるための実行可能なプログラムを記憶した
    機械読み取り可能な媒体。
  13. 請求項１２に記載の機械読み取り可能な媒体であって、
    前記２つのピクチャ間の前記相対的ぼけを演算するステップは、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
    前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせるステップと、
    前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めるステップと
    を含む
    機械読み取り可能な媒体。
  14. 請求項１３に記載の機械読み取り可能な媒体であって、
    前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
    機械読み取り可能な媒体。
  15. 請求項１３に記載の機械読み取り可能な媒体であって、
    前記２次元尺度空間表現を生成するステップは、
    前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用するステップを含む
    機械読み取り可能な媒体。
  16. 請求項１２に記載の機械読み取り可能な媒体であって、さらに、
    前記深度マップに対してクラスタリングアルゴリズムを適用する
    機械読み取り可能な媒体。
  17. 請求項１２に記載の機械読み取り可能な媒体であって、
    前記ピクチャ深度マップを演算するステップは、
    前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算するステップをさらに含む
    機械読み取り可能な媒体。
  18. 請求項１７に記載の機械読み取り可能な媒体であって、
    前記ピクチャ深度マップを演算するステップは、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
    前記２つのピクチャと、前記２次元尺度空間表現の組とから前記ぼけマップを生成するステップと、
    前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算するステップと
    をさらに含む
    Figure 2009505104
     （ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
    機械読み取り可能な媒体。
  19. 請求項１８に記載の機械読み取り可能な媒体であって、
    前記相対的ぼけマップを生成するステップは、
    前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算するステップと、
    最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーするステップと
    を含む
    機械読み取り可能な媒体。
  20. 請求項１２に記載の機械読み取り可能な媒体であって、
    前記２つのピクチャは同一のぼけ方向で取得される
    機械読み取り可能な媒体。
  21. 請求項１２に記載の機械読み取り可能な媒体であって、
    前記ピクチャ深度マップを演算するステップにおいて、以下の式が用いられる
    Figure 2009505104
     （ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
    機械読み取り可能な媒体。
  22. 請求項１２に記載の機械読み取り可能な媒体であって、
    前記２つのピクチャは逆のぼけ方向で取得される
    機械読み取り可能な媒体。
  23. ３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算する手段と、
    前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算する手段と
    を具備する演算装置。
  24. 請求項２３に記載の演算装置であって、
    前記２つのピクチャ間の前記相対的ぼけを演算する手段は、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成する手段と、
    前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する２次元尺度空間表現の中で最も対応するブロックとマッチングさせる手段と、
    前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求める手段とを有する
    演算装置。
  25. 請求項２３に記載の演算装置であって、
    前記深度マップに対してクラスタリングアルゴリズムを適用する手段
    をさらに具備する演算装置。
  26. 請求項２３に記載の演算装置であって、
    前記ピクチャ深度マップを演算する手段は、
    前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算する手段をさらに有する
    演算装置。
  27. 請求項２６に記載の演算装置であって、
    前記ピクチャ深度マップを演算する手段は、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成する手段と、
    前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成する手段と、
    前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算する手段と
    をさらに有する
    Figure 2009505104
     （ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラの前記レンズのＦナンバーである）
    演算装置。
  28. 請求項２３に記載の演算装置であって、
    前記ぼけマップを生成する手段は、
    前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算する手段と、
    最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーする手段と
    を有する
    演算装置。
  29. 請求項２３に記載の演算装置であって、
    前記ピクチャ深度マップを演算する手段は、以下の式を用いる
    Figure 2009505104
     （ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
    演算装置。
  30. プロセッサと、
    バスを介して前記プロセッサに接続されたメモリと
    を具備する演算システムであって、
    前記プロセッサは、前記メモリ上で、
    ぼけ２つのピクチャの２次元尺度空間表現を用いた、３次元空間シーンの２つのピクチャ間の相対的ぼけの演算と、
    前記相対的ぼけに基づく、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップの演算と
    を実行する
    演算システム。
  31. 請求項３０に記載の演算システムであって、
    前記２つのピクチャ間の前記相対的ぼけの演算は、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成することと、
    前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせることと、
    前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めることと
    を含む
    演算システム。
  32. 請求項３１に記載の演算システムであって、
    前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
    演算システム。
  33. 請求項３１に記載の演算システムであって、
    前記２次元尺度空間表現を生成することは、前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用することを含む
    演算システム。
  34. 請求項３０に記載の演算システムであって、
    前記プロセッサはさらに、前記深度マップに対してクラスタリングアルゴリズムを適用する
    演算システム。
  35. 請求項３０に記載の演算システムであって、
    前記ピクチャ深度マップを演算することは、
    前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算することをさらに含む
    演算システム。
  36. 請求項３５に記載の演算システムであって、
    前記ピクチャ深度マップの演算は、
    前記２つのピクチャのそれぞれから２次元尺度空間表現を生成することと、
    前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成することと、
    前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算することと
    をさらに含む
    Figure 2009505104
     （ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
    演算システム。
  37. 請求項３５に記載の演算システムであって、
    前記ぼけマップを生成することは、
    前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算することと、
    最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーすることと
    を含む
    演算システム。
  38. 請求項３０に記載の演算システムであって、
    前記２つのピクチャは同一のぼけ方向で取得される
    演算システム。
  39. 請求項３０に記載の演算システムであって、
    前記ピクチャ深度マップの演算において、以下の式が用いられる
    Figure 2009505104
     （ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
    演算システム。
  40. 請求項３０に記載の演算システムであって、
    前記２つのピクチャは、逆のぼけ方向で取得される
    演算システム。
JP2008527125A 2005-08-15 2006-08-15 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム Active JP5161087B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/204,942 US7929801B2 (en) 2005-08-15 2005-08-15 Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US11/204,942 2005-08-15
PCT/US2006/032076 WO2007022329A2 (en) 2005-08-15 2006-08-15 Image acquisition system generating a depth map

Publications (2)

Publication Number Publication Date
JP2009505104A true JP2009505104A (ja) 2009-02-05
JP5161087B2 JP5161087B2 (ja) 2013-03-13

Family

ID=37742590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008527125A Active JP5161087B2 (ja) 2005-08-15 2006-08-15 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム

Country Status (4)

Country Link
US (1) US7929801B2 (ja)
JP (1) JP5161087B2 (ja)
CN (1) CN101243458B (ja)
WO (1) WO2007022329A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP2012015799A (ja) * 2010-06-30 2012-01-19 Casio Comput Co Ltd 画像処理装置、画像処理方法、投影装置及びプログラム
JP2013089230A (ja) * 2011-10-13 2013-05-13 General Electric Co <Ge> デプスフロムデフォーカス撮像用のシステムおよび方法
JPWO2011158508A1 (ja) * 2010-06-17 2013-08-19 パナソニック株式会社 画像処理装置および画像処理方法
TWI471677B (zh) * 2013-04-11 2015-02-01 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置
JP5868183B2 (ja) * 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US8077964B2 (en) 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
KR101488655B1 (ko) * 2007-09-14 2015-02-03 삼성전자 주식회사 자동 초점 조절 장치 및 방법
KR101415872B1 (ko) * 2007-09-14 2014-07-11 삼성전기주식회사 영상 획득 장치의 자동초점조절 방법 및 장치
US8086060B1 (en) * 2007-10-11 2011-12-27 Adobe Systems Incorporated Systems and methods for three-dimensional enhancement of two-dimensional images
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
EP2380358B1 (en) * 2008-12-19 2017-08-30 Koninklijke Philips N.V. Creation of depth maps from images
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
TWI457853B (zh) * 2009-03-24 2014-10-21 Ind Tech Res Inst 提供深度資訊之影像處理方法及其影像處理系統
CN102404510B (zh) * 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
JP2011024017A (ja) * 2009-07-16 2011-02-03 Sony Corp 動画抽出装置、プログラム、および動画抽出方法
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101594000B1 (ko) * 2009-12-02 2016-02-26 삼성전자주식회사 포커스 렌즈의 이동 방향을 결정하는 오토포커싱 방법, 상기 방법을 기록한 기록 매체, 오토포커싱 장치
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8335390B2 (en) 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
CN101833759B (zh) * 2010-04-01 2012-05-30 复旦大学 一种基于连续视频的机器人场景深度判别方法
US8045046B1 (en) 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
JP2013030895A (ja) * 2011-07-27 2013-02-07 Sony Corp 信号処理装置、撮像装置、信号処理方法およびプログラム
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9008355B2 (en) * 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
WO2011158515A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
TWI532009B (zh) * 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
JP5832424B2 (ja) * 2010-11-17 2015-12-16 パナソニック株式会社 撮像装置及び距離計測方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8682107B2 (en) * 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US8433187B2 (en) * 2011-01-18 2013-04-30 DigitalOptics Corporation MEMS Distance estimation systems and method based on a two-state auto-focus lens
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
US9262833B2 (en) * 2011-12-01 2016-02-16 Sony Corporation Methodology for performing depth estimation with defocused images under extreme lighting conditions
US9020280B2 (en) * 2011-12-01 2015-04-28 Sony Corporation System and method for evaluating focus direction under various lighting conditions
US8929607B2 (en) * 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
TW201326755A (zh) * 2011-12-29 2013-07-01 Ind Tech Res Inst 測距裝置、測距方法及互動式顯示系統
US9098147B2 (en) 2011-12-29 2015-08-04 Industrial Technology Research Institute Ranging apparatus, ranging method, and interactive display system
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN103426143B (zh) * 2012-05-24 2016-07-27 晨星软件研发(深圳)有限公司 影像编辑方法以及相关的模糊参数建立方法
JP5977591B2 (ja) * 2012-06-20 2016-08-24 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN103634588A (zh) * 2012-08-27 2014-03-12 联想(北京)有限公司 一种影像构成方法及电子设备
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
FR2996925B1 (fr) 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP6152772B2 (ja) 2012-11-29 2017-06-28 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
CN103417176B (zh) * 2013-08-01 2015-02-18 深圳先进技术研究院 胶囊内窥镜及其自动调焦的方法
US9344619B2 (en) 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
EP3108653A4 (en) * 2015-03-16 2016-12-28 Sz Dji Technology Co Ltd DEVICE AND METHOD FOR FIRE ADJUSTMENT AND DEFLECTION TICKET DETECTION
US9723197B2 (en) * 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
AU2015202286A1 (en) 2015-05-01 2016-11-17 Canon Kabushiki Kaisha Method, system and apparatus for determining distance to an object in a scene
US10284835B2 (en) 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
WO2017048927A1 (en) * 2015-09-18 2017-03-23 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
TWI583996B (zh) * 2016-05-27 2017-05-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10277889B2 (en) 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
CN107316293B (zh) * 2017-06-22 2020-07-03 深圳市灵星雨科技开发有限公司 一种led模糊图片识别判断方法及其***
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN109922251B (zh) * 2017-12-12 2021-10-22 华为技术有限公司 快速抓拍的方法、装置及***
CN110378943A (zh) * 2019-06-21 2019-10-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021210887A1 (en) * 2020-04-14 2021-10-21 Samsung Electronics Co., Ltd. Methods and systems for capturing enhanced media in real-time
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11721063B1 (en) * 2023-01-26 2023-08-08 Illuscio, Inc. Systems and methods for dynamic image rendering using a depth map

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200816A (ja) * 1993-12-28 1995-08-04 Daikin Ind Ltd 画像描画方法およびその装置
JPH10508107A (ja) * 1995-06-07 1998-08-04 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
JP2000357223A (ja) * 1999-06-14 2000-12-26 Mitsutoyo Corp 多段分解画像脱焦システム及び方法
JP2005522108A (ja) * 2002-03-25 2005-07-21 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク データ品位を向上する方法及びシステム

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
JPS6476374A (en) * 1987-09-18 1989-03-22 Toshiba Corp Depth map producing device
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US5212516A (en) * 1989-03-28 1993-05-18 Canon Kabushiki Kaisha Automatic focus adjusting device
US5148209A (en) * 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
US5577130A (en) * 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
US5604537A (en) * 1992-09-10 1997-02-18 Canon Kabushiki Kaisha Imaging apparatus having an automatic focusing means
US5365597A (en) * 1993-06-11 1994-11-15 United Parcel Service Of America, Inc. Method and apparatus for passive autoranging using relaxation
US6177952B1 (en) * 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
JPH07135623A (ja) * 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US5432331A (en) * 1994-06-07 1995-07-11 Eastman Kodak Company Method and apparatus for detecting focus of moving images with tilted plane detector and time delay means
US6985168B2 (en) * 1994-11-14 2006-01-10 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
CN1196545A (zh) * 1995-02-28 1998-10-21 伊斯曼柯达公司 由立体图像构成深度图像的中间图像的方法和装置
US6683652B1 (en) * 1995-08-29 2004-01-27 Canon Kabushiki Kaisha Interchangeable lens video camera system having improved focusing
US5793900A (en) 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US5752100A (en) * 1996-01-26 1998-05-12 Eastman Kodak Company Driver circuit for a camera autofocus laser diode with provision for fault protection
JPH10108152A (ja) 1996-09-27 1998-04-24 Sanyo Electric Co Ltd 携帯情報端末
US6219461B1 (en) * 1997-07-29 2001-04-17 Cognex Corporation Determining a depth
JPH1184228A (ja) * 1997-09-08 1999-03-26 Olympus Optical Co Ltd 自動焦点調節装置
US6023056A (en) * 1998-05-04 2000-02-08 Eastman Kodak Company Scene-based autofocus method
JP3803950B2 (ja) * 1999-03-04 2006-08-02 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
CA2418800A1 (en) * 2000-08-09 2002-02-14 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding techniques
US20040131348A1 (en) * 2001-03-30 2004-07-08 Kohtaro Ohba Real-time omnifocus microscope camera
US6925210B2 (en) * 2001-07-09 2005-08-02 Michael Herf Method for blurring images in real-time
US20040125228A1 (en) * 2001-07-25 2004-07-01 Robert Dougherty Apparatus and method for determining the range of remote objects
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2004048644A (ja) 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
US20030222977A1 (en) 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US6876776B2 (en) * 2003-02-14 2005-04-05 Ikonicys, Inc. System and method for auto-focusing an image
FR2857133A1 (fr) * 2003-07-03 2005-01-07 Thomson Licensing Sa Procede de generation de flou
US7751694B2 (en) * 2004-02-13 2010-07-06 Angstrom, Inc. Three-dimensional endoscope imaging and display system
US8049776B2 (en) * 2004-04-12 2011-11-01 Angstrom, Inc. Three-dimensional camcorder
US20070040924A1 (en) * 2005-08-19 2007-02-22 Stereo Display, Inc. Cellular phone camera with three-dimensional imaging function
US20050265580A1 (en) * 2004-05-27 2005-12-01 Paul Antonucci System and method for a motion visualizer
US7303131B2 (en) * 2004-07-30 2007-12-04 Symbol Technologies, Inc. Automatic focusing system for imaging-based bar code reader
US20060285832A1 (en) * 2005-06-16 2006-12-21 River Past Corporation Systems and methods for creating and recording digital three-dimensional video streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200816A (ja) * 1993-12-28 1995-08-04 Daikin Ind Ltd 画像描画方法およびその装置
JPH10508107A (ja) * 1995-06-07 1998-08-04 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
JP2000357223A (ja) * 1999-06-14 2000-12-26 Mitsutoyo Corp 多段分解画像脱焦システム及び方法
JP2005522108A (ja) * 2002-03-25 2005-07-21 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク データ品位を向上する方法及びシステム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP5868183B2 (ja) * 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法
JPWO2011158508A1 (ja) * 2010-06-17 2013-08-19 パナソニック株式会社 画像処理装置および画像処理方法
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
JP2012015799A (ja) * 2010-06-30 2012-01-19 Casio Comput Co Ltd 画像処理装置、画像処理方法、投影装置及びプログラム
JP2013089230A (ja) * 2011-10-13 2013-05-13 General Electric Co <Ge> デプスフロムデフォーカス撮像用のシステムおよび方法
TWI471677B (zh) * 2013-04-11 2015-02-01 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置

Also Published As

Publication number Publication date
WO2007022329B1 (en) 2007-11-15
WO2007022329A3 (en) 2007-09-20
JP5161087B2 (ja) 2013-03-13
WO2007022329A2 (en) 2007-02-22
CN101243458B (zh) 2012-06-27
CN101243458A (zh) 2008-08-13
US7929801B2 (en) 2011-04-19
US20070036427A1 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
JP5161087B2 (ja) 深度マップを作成するための演算方法、機械読み取り可能な媒体、演算装置及び演算システム
US20070019883A1 (en) Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8280194B2 (en) Reduced hardware implementation for a two-picture depth map algorithm
US9900510B1 (en) Motion blur for light-field images
US7616254B2 (en) Simple method for calculating camera defocus from an image scene
US8553093B2 (en) Method and apparatus for super-resolution imaging using digital imaging devices
US8194995B2 (en) Fast camera auto-focus
US8754963B2 (en) Processing images having different focus
US8547443B2 (en) Methods, apparatuses, systems, and computer program products for high dynamic range imaging
JP4782899B2 (ja) 視差検出装置、測距装置及び視差検出方法
US20130321569A1 (en) Content-Aware Wide-Angle Images
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN110602474A (zh) 一种图像视差的确定方法、装置及设备
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
Aslantas A depth estimation algorithm with a single image
CN112381894B (zh) 一种自适应光场成像校准方法、设备及存储介质
Lee et al. Enhancement of three-dimensional image visualization under photon-starved conditions
Marks et al. Cone-beam tomography with a digital camera
CN115272124A (zh) 一种畸变图像校正方法、装置
Hwang et al. Extraction of location coordinates of 3-D objects from computationally reconstructed integral images basing on a blur metric
Chen et al. Adaptive focus stacking for large depth-of-field microscopic structured-light 3D imaging
Tan et al. EDoF-ToF: extended depth of field time-of-flight imaging
CN112995514B (zh) 一种工业相机的拍照物距的获取方法及设备
Rajagopalan et al. Quantitative analysis of error bounds in the recovery of depth from defocused images
JP7320400B2 (ja) 映像演出処理装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111115

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121029

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121213

R150 Certificate of patent or registration of utility model

Ref document number: 5161087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250