JP6650397B2

JP6650397B2 - シーンの画像深度マップの決定

Info

Publication number: JP6650397B2
Application number: JP2016532072A
Authority: JP
Inventors: ジェローム・ディアス; ダヴィッド・アレーソン; ステファーヌ・ジュタン
Original assignee: Centre National de la Recherche Scientifique CNRS
Current assignee: Centre National de la Recherche Scientifique CNRS
Priority date: 2013-11-19
Filing date: 2014-11-17
Publication date: 2020-02-19
Anticipated expiration: 2034-11-17
Also published as: FR3013491A1; EP3072081A1; US9854222B2; JP2016541179A; WO2015075005A1; EP3072081B1; FR3013491B1; US20160301911A1

Description

本発明は、主として、シーンの画像深度マップを決定することに関する。

画像深度マップには、シーン中の対象物の次元解析、またはシーン中の要素のセグメント化を含めて、多くの用途がある。

本発明は、シーンの、拡大した被写界深度を有する画像を決定することにも関する。

本発明によってカバーされる技術分野は数多くあり、人間-コンピュータ相互作用(HCI)、拡張現実(AR)、顕微鏡検査、娯楽産業、自動車産業、ホームオートメーション、寸法検証、セキュリティ、およびビデオ監視は、いくつかの例である。

3D画像化デバイスには2つのカテゴリがある。すなわち、深度を決定するのにシーン上への光の投影を必要としない受動的システム、および能動的システムである。本明細書では、受動的システムにのみ関与する。

文献WO 2009/019362は、被写界深度を増すためのデバイスを備える光学デバイスに関する。

光学システムには、未補正の軸上色収差がある。得られるカラー画像は、軸上色収差によって劣化する。そのような光学デバイスは、それぞれ、「近い」、「中間の」、「遠い」対象物について、これらのカラー画像の青、緑、および赤の成分に焦点を合わせる。これらの画像上の色収差を反転させることによって、鋭い成分が使用されて、デフォーカスされた他の成分を再構築する。再構築されたカラー画像は、こうして、軸上色収差が補正された等価な光学システムでキャプチャされるものよりも深い被写界深度を有する。

この方法は、3つのチャネル、すなわち、赤、緑、および青から構成される画像のみを考慮しており、したがって、3つの深度、すなわち、「近接」、「中間」、および「遠隔」にある対象物のみを取り扱う。

シーンの深度マップおよび拡大した被写界深度を有する画像を決定するための方法が、「International Journal on Computer Vision」中の2011年に出版された、Zhou、Lin、およびNayarによる「Coded aperture pairs for depth from defocus and defocus deblurring」と題する文献に記載される。

この方法は、デプスフロムデフォーカス(depth from defocus: DFD)を推定するための技法の1つである。それは、異なる符号化開口を有する同じシーンの2つのショットを使用する。

深度マップは、2つの画像間の焦点ずれ変化量を分析すること、および画像の各点におけるコスト基準を最小化することにより得られる。シーンの、拡大した被写界深度を有する画像は、次いで、深度マップから推定される。

WO 2009/019362

「International Journal on Computer Vision」中の2011年に出版された、Zhou、Lin、およびNayarによる「Coded aperture pairs for depth from defocus and defocus deblurring」

本発明は、シーンの画像深度マップを推定するための方法を提供することにより、従来技術の問題を解決することを目的とする。方法は、以下のステップ、すなわち、
- 軸上色光学系を使用して、シーンの当該の対象点の深度および波長に焦点が依存する画像を提供するステップと、
- 軸上色光学系によって提供される画像から1組のスペクトル画像を決定するステップと、
- 拡大した被写界深度を有する推定されるスペクトル画像を提供するために、スペクトル画像をデコンボリューションするステップと、
- 推定される深度マップを提供するために、拡大した被写界深度を有する推定されるスペクトル画像に依存するコスト基準を分析するステップと
を含むことを特徴とする。

本発明を用いると、受動的単一センサシステムを用いて、単一のキャプチャされた画像からのシーンの画像深度マップを構築することが可能である。

この実施形態は、実時間での動作を可能にする。

好ましい特徴では、1組のスペクトル画像を決定するステップは、以下のステップ、すなわち
- 複数のスペクトルフィルタを備える画像センサを使用して、軸上色光学系によって形成された画像を受け取り、モザイク画像を形成するステップと、
- 1組のフィルタ処理された画像を提供するために、モザイク画像をデモザイク処理するステップと、
- スペクトル推定を実施して、1組のフィルタ処理された画像を受け取り、1組のスペクトル画像を提供するステップと
を含む。

好ましい特徴では、コスト基準を分析するステップは、
- シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像を形成するステップと、
- 所定の深度ドメイン中の深度について、形成されたモザイク画像と、シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化することによって、画像の各点における深度を推定するステップと
を含む。

好ましい特徴では、方法は、分析ステップ中で提供された、推定される深度マップについて、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップをさらに含む。

好ましい特徴では、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップが、深度上で繰り返すことによって、当該の深度が分析ステップ中で提供された推定される深度マップに対応する、デコンボリューションステップ中で提供された拡大した被写界深度を有するスペクトル画像の値を選択するステップを含む。

本発明の一実施形態では、スペクトル推定ステップとスペクトル画像デコンボリューションステップが、単一のステップへと組み合わされる。

本発明の別の実施形態では、デモザイクステップ、スペクトル推定ステップ、およびスペクトル画像デコンボリューションステップが、単一のステップへと組み合わされ、このステップは、画像のデータベースからの画像を使用して、モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列を計算する。

本発明は、シーンの、画像深度マップを推定するためのデバイスにも関する。デバイスは、
- シーンの当該の対象点の深度および波長に焦点が依存する画像を提供するための、軸上色光学系と、
- 軸上色光学系によって提供された画像を受け取り、1組のスペクトル画像を提供するためのスペクトル画像センサと、
- 拡大した被写界深度を有する推定されるスペクトル画像を提供するために、スペクトル画像をデコンボリューションするためのモジュールと、
- 推定される深度マップを提供するために、拡大した被写界深度を有する推定されるスペクトル画像に依存するコスト基準を分析するためのモジュールと
を備えることを特徴とする。

本発明によるデバイスは、上述のものと類似の利点を有する。

好ましい特徴では、スペクトル画像センサは、
- 軸上色光学系によって提供された画像を受け取り、モザイク画像を提供するための、複数のスペクトルフィルタを備える画像センサと、
- モザイク画像を受け取り、1組のフィルタ処理された画像を提供するための、デモザイクモジュールと、
- 1組のフィルタ処理された画像を受け取り、1組のスペクトル画像を提供するための、スペクトル推定モジュールと
を備える。

好ましい特徴では、コスト基準を分析するためのモジュールは、
- シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像を形成するための手段と、
- 所定の深度ドメイン中の深度について、形成されたモザイク画像と、シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築されるモザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化するように適合される、画像中の各点における深度を推定するための手段と
を備える。

好ましい特徴では、デバイスは、分析モジュールによって提供された推定される深度マップについて、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するためのモジュールをさらに備える。

好ましい特徴では、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するためのモジュールが、深度上で繰り返すことによって、当該の深度が分析モジュールによって提供された推定される深度マップに対応する、デコンボリューションモジュールによって提供された拡大した被写界深度を有するスペクトル画像の値を選択するように適合される。

好ましい特徴では、スペクトル推定モジュールとスペクトル画像デコンボリューションモジュールが、単一のモジュールへと組み合わされる。

別の好ましい特徴では、デモザイクモジュール、スペクトル推定モジュール、およびスペクトル画像デコンボリューションモジュールが、単一のモジュールへと組み合わされ、この単一のモジュールは、画像のデータベースからの画像を使用して、モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列を計算するように適合される。

1つの特定の実施形態では、本発明による方法のステップは、コンピュータプログラムの命令によって実装される。

したがって、本発明は、情報媒体上のコンピュータプログラムにも関する。プログラムは、コンピュータ中で実行するのに好適であり、プログラムは、上に記載されたような方法のステップを実装するように適合される命令を含む。

このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、または部分的にコンパイルされた形式などのソースコードとオブジェクトコードとの間の中間コードの形式、または任意の他の望ましい形式であってよい。

本発明は、コンピュータにより読み取ることができ、上で記載されたような方法のステップを実装するように適合されるコンピュータプログラム命令を含む、情報媒体にも関する。

情報媒体は、プログラムを記憶することができる、任意のエンティティまたはデバイスであってよい。たとえば、媒体は、たとえばCD-ROMもしくはマイクロエレクトロニック回路ROMといったROMなどの記憶媒体、またはディスケットもしくはハードドライブなどの磁気記録媒体からなってよい。

または、情報媒体は、無線もしくは他の手段によって、電気ケーブルもしくは光ケーブルを介して伝えることができる、電気信号もしくは光信号など、伝導できる媒体であってよい。本発明のプログラムは、特に、インターネットタイプのネットワークを介してダウンロードすることができる。

あるいは、情報媒体は、プログラムが組み込まれる集積回路であってよく、回路は、本発明による方法を実行するように、または本発明による方法の実行中で使用されるように適合される。

非限定的な例として与えられ、図を参照して記載される、好ましい実施形態を読めば、他の特徴および利点が明らかとなるであろう。

本発明による、シーンの画像深度マップを推定するためのデバイスを表す図である。本発明による、デバイスの働きを表すフローチャートである。本発明による、デバイス中に備えられるスペクトル画像センサの働きを表すフローチャートである。本発明による、デバイスのデモザイクモジュール中で使用されるフィルタの計算を示す図である。モザイク画像の空間とスペクトル画像の空間との間の変換のための変換行列の計算を示す図である。

図1を参照して記載される好ましい実施形態によれば、本発明による、シーンの画像深度マップを推定するためのデバイスは、軸上色光学系1を備える。

そのような系は、軸上色収差を維持し、他の収差を最小化する特性を有する。

軸上色収差は、材料を通過する光線の真空中の波長に依存する屈折率を材料が有する光学要素が、光学系中に存在することに起因する。したがって、光学系1の焦点距離は、それを進行する波長に依存する。焦点距離は、波長とともに増加する。焦点距離は、青についてよりも、赤についての方が長い。

言い換えれば、所与の対象点および軸上色光学系を通したその画像を考慮すると、焦点距離および画像焦点ずれは、当該の対象点の、深度および真空中の波長に依存する。所与の対象点は、システムの不変の特性、および光学系に対する対象点の距離に固有である、画像焦点に関するスペクトル的特徴を有する。

軸上色光学系は、横または横方向色収差を持たず、したがって、レンズのスペクトル変化に関連する射影歪みを持たないことに留意されたい。焦点距離は、波長の関数として、長手方向にのみ変化する。したがって、所与の対象点は、波長に関わらず、同じ画像点に対応する。

軸上色光学系1がシーンSCの画像をキャプチャするために使用されるとき、軸上色光学系1は、考慮される画像点に対応する対象点の深度および波長にしたがって、画像のスペクトル変調を実行する。

軸上色光学系1は、スペクトル画像センサ2の入力に接続される出力を有し、軸上色光学系1が、スペクトル画像センサ2の入力に、画像のスペクトル変調の結果を送達する。

この入力から、スペクトル画像センサ2は、カラーフィルタ配列22が配置される、行列画像センサ21を備える。カラーフィルタは、着色樹脂であってよいが、当業者は、干渉フィルタまたはナノ構造フィルタなどの他の知られたフィルタを使用することができる。各カラーフィルタの空間位置およびスペクトル応答は、所望のスペクトル画像の再構築を促進するように最適化される。行列画像センサ21およびカラーフィルタ配列22によって、単一の画像キャプチャ中の、シーンのスペクトル組成を推定することが可能になる。

行列画像センサ21およびカラーフィルタ配列22は、モザイク画像

を出力する。

EDOF_s(x,y,λ)として示される、シーンの実際のスペクトル画像は、対象のシーンからの光線の、センサ21の平面上の幾何学的投影である。

画像センサ21の座標系を考慮して、モザイク画像

を、観察されるシーンの実際のスペクトル画像、軸上色光学系の特性、カラーフィルタ配列の特性、および付加的なノイズの関数として、次式にしたがって、数学的に表すことができる。

上式で、
- (x,y)は、画像センサに関連する基準系中の点の座標であり、
- λは、波長であり、
- Z^*(x,y)は、座標(x,y)を有する点に対応する実際の深度であり、
- EDOF_sは、シーンの実際のスペクトル画像であり、EDOF_s(x,y,λ)は、波長λについての座標(x,y)を有する点に対応するスペクトル画像の値であり、
- PSF(Point Spread Function:点拡がり関数)は、軸上色光学系のインパルス応答であり、PSF(x,y,Z^*(x,y),λ)は、実際の深度Z^*(x,y)および波長λについての、座標(x,y)を有する点におけるこのインパルス応答の値であり、
- h_i(λ)は、波長λについての、i番目のカラーフィルタのスペクトル透過であり、
- m_i(x,y)は、i番目のカラーフィルタの空間位置であり、
- η(x,y)は、座標(x,y)を有する点における付加的なノイズの値であり、
-

は、座標(x,y)を有する点において考慮されるコンボリューション演算であり、
- N_fは、カラーフィルタの数である。

本説明を通して、同じ表記法が保たれる。

カラーフィルタ配列22の出力は、デモザイクモジュール23の入力に接続される。カラーフィルタ配列22は、モザイク画像

を前記モジュールに送達する。

デモザイクモジュール23は、モザイク画像

に適用されるフィルタD_Mによってフィルタ処理されるNf個の画像を推定し、ここで、Nfは、配列22中のカラーフィルタの数である。フィルタ処理された画像は、画像センサに関連する基準システム中のモザイク画像

の解像度におけるものである。

図4は、フィルタD_Mの計算を表す。フィルタD_Mを計算するためのモジュールM₂₃は、スペクトル画像のデータベースBDにより提供されるスペクトル画像を使用して、対象のフィルタ配列の空間特性およびスペクトル特性にしたがって、基準のフィルタ処理された画像およびモザイク画像を構築する。

計算モジュールは、最小2乗法で最適化された線形行列フィルタD_Mを決定する。最適な線形行列フィルタD_Mは、基準のフィルタ処理された画像と、対応するモザイク画像にフィルタD_Mを適用することにより推定されるフィルタ処理された画像との間の差の2乗を最小化することによって決定される。

最適な線形行列フィルタD_Mは、モザイク画像の空間から対応するフィルタ処理された画像の空間への変換を可能にする。

こうして、デモザイクモジュール23によって、モザイク画像

からフィルタ処理された画像への変換が可能になる。軸上色光学系および実際の深度Z^*(x,y)における対象についての画像センサ全体の上に置かれることになるi番目のフィルタを通して見られることになるフィルタ処理された画像

は、次式により与えられる。

この式は、実際のフィルタ処理された画像(左の項)とノイズ項(右の項)の合計によって、これらのフィルタ処理された画像が得られると想定している。この場合では、デモザイク処理に関する推定誤差が、追加ノイズのこの項に含まれる。この項は、(表記は同じであるが)考慮されるモザイク画像の式中のノイズ項と、厳密には同一でない。しかし、使用されるデモザイクアルゴリズムは、各フィルタ処理された画像中に、統計的な特性がモザイク画像のノイズのものと同一であるノイズ項を誘起すると考えた。それが、本明細書中で活用される、統計的な特性の保存である。

こうして、デモザイク処理は、1組のNf個のフィルタ処理された画像

をもたらす。

デモザイクモジュール23の出力は、スペクトル推定モジュール24の入力に接続される。デモザイクモジュール23はNf個のフィルタ処理された画像

をモジュール24に送達する。

スペクトル推定モジュール24は、Nf個のフィルタ処理された画像に適用される線形行列逆フィルタF_Sによって、Nλ個のスペクトル画像を決定する。モジュール24の動作は、下に詳細に記載される。

各スペクトル画像は、波長サンプルに関する。スペクトル画像の数Nλは、スペクトル画像化システムの波長の範囲およびスペクトルサンプルのサイズに依存する。

1つの特定の実施形態では、フィルタ配列中のフィルタの数は、所望のスペクトル画像の数と等しい。この場合、スペクトル画像は、デモザイクモジュールによってフィルタ処理された画像である。言い換えれば、デモザイク処理がスペクトル画像を直接提供し、スペクトル推定は必要でない。

スペクトル推定モジュール24の出力は、デコンボリューションモジュール25の入力に接続される。スペクトル推定モジュール24は、Nλ個のスペクトル画像をモジュール25に送達する。

モジュール25は、下に記載されるモジュール26により与えられる検査深度Z^tについて、モジュール24により提供されるNλ個のスペクトル画像に、線形行列逆フィルタ

によってデコンボリューションを適用する。

デコンボリューションモジュール25は、Z^tが観察されたシーンの実際の深度であるという仮定で、拡大した被写界深度を有する推定されるスペクトル画像

を決定する。

デコンボリューションモジュール25からの出力は、考慮されるシーンの実際の深度マップを推定するため、モジュール26の入力に接続される。デコンボリューションモジュール25は、モジュール26中で決定された拡大した被写界深度を有する推定されるスペクトル画像

を送達する。

カラーフィルタ配列22の出力は、モジュール26の入力にも接続される。配列22は、モジュール26にモザイク画像

を送達する。

モジュール26は、配列22により提供されるモザイク画像

およびモジュール25により提供されるNλ個の推定されるスペクトル画像

から計算されるコスト基準の最小化に基づいて、考慮されるシーンの実際の深度マップZ(x,y)の推定

を決定する。

モジュール26の出力は、デコンボリューションモジュール25の入力に接続され、それに検査深度Z^tを提供する。

モジュール26の動作は、下に詳述される。

デコンボリューションモジュール25の出力は、適応型画素選択モジュール27の入力に接続される。デコンボリューションモジュール25は、モジュール27にNλ個の推定されるスペクトル画像

を供給する。

シーンの実際の深度マップを推定するためのモジュール26の出力は、適応型画素選択モジュール27の入力に接続される。モジュール26は、モジュール27に、シーンの実際の深度マップの推定

を供給する。

適応型画素選択モジュール27は、推定される深度マップ

に適合される、拡大した被写界深度を有するNλ個の推定されるスペクトル画像

を決定する。モジュール27の動作は、下に詳述される。

好ましい実施形態では、スペクトル推定モジュール24とスペクトル画像デコンボリューションモジュール25が、単一のモジュールへと組み合わされる。

この場合、検査深度ドメインが考慮される。このドメイン内の所与の検査深度Z^tについて、Nλ個の推定されるスペクトル画像

が決定される。この推定は、たとえば、フィルタ処理された画像を与える数式のフーリエ変換、次いで、得られる表現の線形行列形式での転置の後の、Nf個のフィルタ処理された画像

に基づいて実施される。

この実施形態は、対象シーンが平面であり、使用される系の光軸に垂直であって、対象深度が座標(x,y)から独立であることを意味する仮定に基づく。

こうして、以下の線形行列表現が得られる。

上式で、
-

は、フィルタ処理された画像

のフーリエ変換の行列表現であり、
- Sは、推定したい拡大した被写界深度を有するスペクトル画像EDOF_sのフーリエ変換の行列表現であり、
-

は、実際に考慮される深度Z^*における対象物を仮定した、積h_i.OTFの行列表現であり、OTFは、考慮される光学系のインパルス応答(PSF)のフーリエ変換であり、
- Nは、付加的なノイズηのフーリエ変換の行列表現である。

行列Sの最小2乗推定が、次式にしたがって、次いで一緒に考慮されるモジュール24および25で実施される。

上式で、
- Z^tは、検査ドメイン中の所与の深度であり、
-

は、当該のシーンの深度Z^tを仮定する、拡大した被写界深度を有する推定されるスペクトル画像

のフーリエ変換の行列表現であり、
- iは、フィルタh_iの添字、jは、フィルタh_jの添字であり、
-

は、

の共役転置行列であり、
- Cは、考慮されるスペクトル画像EDOF_sのより良好な推定へと収束することを可能にする、行列調整パラメータである。

拡大した被写界深度を有する推定されるスペクトル画像

が、次いで、行列

の逆フーリエ変換によって得られる。

モジュール24および25の動作が同時に実行される場合、フーリエ空間で表される行列項

は、フィルタ処理された画像

からスペクトル画像

を推定するための、フィルタ

(フィルタF_sと

の積)に等価な、線形行列逆フィルタを表す。

モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Z^tについてモジュール26中で再構築される。

モジュール22により決定されるモザイク画像

と再構築されるモザイク画像

との間の、画素同士の差の2乗が最小化される。言い換えれば、検査深度ドメイン中の各点(x,y)における深度Z^tを見いだすために繰り返しが使われ、このことが、モジュール26中で計算されるコスト基準

を最小化する。

画像の全ての位置(x,y)について、1組の推定される深度値によって、推定される深度マップ

が与えられる。

モジュール27は、次いで、深度Z^t上で繰り返して、当該の深度Z^tが推定される深度マップ

に対応する、拡大した被写界深度を有する推定されるスペクトル画像

の値だけを選択することによって、拡大した被写界深度を有するNλ個の推定されるスペクトル画像

を決定する。

別の好ましい実施形態では、デモザイクモジュール23、スペクトル推定モジュール24、およびスペクトル画像デコンボリューションモジュール25が、単一のモジュールへと組み合わされる。

この実施形態は、モザイク画像空間から別の空間、ここでは、拡大した被写界深度を有するスペクトル画像の空間に変換する法則を、線形行列表現の形で見いだすことが可能であるという事実に基づく。

図5に表されるように、この実施形態では、計算モジュールM₁が画像のデータベースBD₁からの画像を使用して、検査深度Z^tについて、モザイク画像の空間と拡大した被写界深度を有するスペクトル画像の空間との間で変換するための、変換行列

を計算する。

この実施形態は、シーンが対象空間中で平面であり、系の光軸に垂直であるという仮定に基づく。

モザイク画像を、拡大した被写界深度を有するスペクトル画像の空間中の画像EDOF_sのうちの1つに変換するための変換行列

は、次式により与えられる。

上式で、
- Idは、行列

のものと同じサイズの単位行列を表し、
- r0は、推定される行列

についての、スカラー調整要素を表し、
- EDOF_sは、使用される画像データベースからの、拡大した被写界深度を有するスペクトル画像の値を含む行列であり、
-

は、所与の検査深度Z^tについて、モザイク画像の数学表現から再構築されるモザイク画像

の値を含む行列であり、
-

は、行列

の変換行列である。

モザイク画像の空間から拡大した被写界深度を有するスペクトル画像の空間への変換のための変換行列

は、所与の検査深度Z^tについて、使用される画像データベースからの画像の各々で計算される行列の平均によって与えられる。

したがって、複数の変換行列

は、検査深度ドメイン中の複数の深度Z^tについてそれぞれ計算される。

深度Z^tについての拡大した被写界深度を有する推定されるスペクトル画像は、行列

と、実際のモザイク画像

から形成された行列

との行列乗算によって得られる。行列演算は、以下のタイプである。

第1の実施形態中のように、モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Z^tについて、モジュール26中で再構築される。

モジュール22により決定されるモザイク画像

と再構築されるモザイク画像

との間の、画素同士の差の2乗が最小化される。言い換えれば、各点(x,y)における深度Z^tを見いだすために検査深度ドメイン中で繰り返しが使われ、このことが、モジュール26中で計算されるコスト基準

を最小化する。

画像の各位置(x,y)における1組の推定される深度値によって、推定される深度マップ

が与えられる。

最後にモジュール27で、深度Z^t上で繰り返して、当該の深度Z^tが推定される深度マップ

を決定する。

図2は、ステップE1からE5を含む方法の形で、上に提示されたデバイスの機能性のフローチャートを表す。

ステップE1は、上に記載されたデバイスを使用してシーンをキャプチャするステップである。本発明の文脈では、ただ1つの画像キャプチャが必要である。

次いで、軸上色光学系1が、画像の各点についての距離および波長の関数として変調されたスペクトル流束を、スペクトル画像センサ2に送達する。

次のステップE2において、軸上色光学系によって提供された画像が、スペクトル画像センサ2によって受け取られる。このことによって、1組のNλ個のスペクトル画像が提供される。ステップE2は、下に詳述される。

次のステップE3において、Nλ個のスペクトル画像がデコンボリューションされて使用され、Z^tが観察されたシーンの実際の深度に等しいという仮定で、拡大した被写界深度を有する推定されるスペクトル画像

を推定する。

次のステップE4は、配列22により提供されるモザイク画像

を決定する。

次のステップE5は、ステップE4で推定された深度マップ

についての、シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するための、画素の適応型選択である。

図3は、サブステップE21〜E23の形での、ステップE2の詳細を表す。

ステップE21において、軸上色光学系1によって提供される画像は、画像センサ21およびカラーフィルタ配列22によってモザイク画像

へと変換される。

次のステップE22において、モザイク画像

は、Nf個のフィルタ処理された画像

を生成するために、デモザイク処理を受ける。

次のステップE23は、Nf個のフィルタ処理された画像

からNλ個のスペクトル画像を決定するための、スペクトル推定である。

好ましい実施形態では、スペクトル推定ステップE23とスペクトル画像デコンボリューションステップE3が、単一のステップへと組み合わされる。

この場合、検査深度ドメインが考慮される。所与の検査深度Z^tについて、Nλ個の推定されるスペクトル画像

が決定される。

この推定は、たとえば、フィルタ処理された画像を与える数式のフーリエ変換、次いで、得られる表現の線形行列形式での転置の後の、Nf個のフィルタ処理された画像

に基づいて実施される。

この実施形態は、対象深度が座標(x,y)から独立であることを意味し、使用される系の光軸に垂直である、平面の対象シーンという仮定に基づく。

こうして、以下の線形行列表現が得られる。

上式で、
-

は、フィルタ処理された画像

は、実際に考慮される深度Z^*における対象を仮定した、積h_i.OTFの行列表現であり、OTFは、考慮される光学系のインパルス応答(PSF)のフーリエ変換であり、
- Nは、付加的なノイズηのフーリエ変換の行列表現である。

行列Sの最小2乗推定が、ここで、次式により与えられる。

上式で、
- Z^tは、検査ドメイン中の所与の深度であり、
-

のフーリエ変換の行列表現であり、
- iは、フィルタh_iの添字であり、jは、フィルタh_jの添字であり、
-

は、行列

の共役転置であり、
- Cは、考慮されるスペクトル画像EDOF_sのより良好な推定へと収束することを可能にする、行列調整パラメータである。

拡大した被写界深度を有する推定されるスペクトル画像

が、次いで、行列の逆フーリエ変換

によって得られる。

ステップE4において、モザイク画像

は、次式にしたがって、推定されるスペクトル画像から検査深度Z^tについて、モジュール26によって再構築される。

ステップE21において決定されるモザイク画像

と再構築されるモザイク画像

を最小化する。

画像の各位置(x,y)についての1組の推定される深度値によって、推定される深度マップ

が与えられる。

ステップE5は、次いで、深度Z^t上で繰り返して、当該の深度Z^tが推定される深度マップ

を決定する。

別の好ましい実施形態では、デモザイクステップE22、スペクトル推定ステップE23、およびスペクトル画像デコンボリューションステップE3が、単一のステップへと組み合わされる。

この実施形態は、モザイク画像の空間から別の空間、ここでは、拡大した被写界深度を有するスペクトル画像の空間に変換するための変換法則を、線形行列表現の形で見いだすことが可能であるという事実に基づく。

この実施形態は、画像のデータベースからの画像を使用して、検査深度Z^tについて、モザイク画像の空間と拡大した被写界深度を有するスペクトル画像の空間との間で変換するための、変換行列

を計算する(図5)。

モザイク画像を、スペクトル画像の空間中の画像EDOF_sのうちの1つに変換するための変換行列

は、次式により与えられる。

上式で、
- Idは、行列

の値を含む行列であり、
-

は、行列

の転置行列である。

は、所与の検査深度について、使用される画像データベースからの画像の各々で計算される行列の平均によって与えられる。

したがって、複数の変換行列

と、実際のモザイク画像

から形成された行列

第1の実施形態中のように、ステップE4において、モザイク画像は、次式にしたがって、推定されるスペクトル画像から検査深度Z^tについて、モジュール26中で再構築される。

検査深度ドメイン中の深度を見いだすために繰り返しが使われることを意味するが、次いで、モザイク画像

と再構築されるモザイク画像

との間の、画素同士の差の2乗が最小化され、このことが、各位置におけるコスト基準を最小化する。画像の全ての位置(x,y)について、1組の推定される深度値によって、推定される深度マップ

が与えられる。

を決定する(モジュール27)。

1 軸上色光学系
2 スペクトル画像センサ
21 行列画像センサ
22 カラーフィルタ配列
23 デモザイクモジュール
24 スペクトル推定モジュール
25 デコンボリューションモジュール
26 シーンの実際の深度マップを推定するためのモジュール、コスト基準を分析するためのモジュール
27 適応型画素選択モジュール、スペクトル画像を推定するモジュール

Claims

シーンの画像深度マップを推定するための方法であって、
軸上色光学系を使用して、前記シーンの対象点の深度および波長に焦点が依存する画像を提供するステップ(E1)と、
前記軸上色光学系によって提供される前記画像から1組のスペクトル画像を決定するステップ(E2)であって、1組のスペクトル画像を決定する前記ステップが、
画像センサ上に配置された４つ以上のスペクトルフィルタを備える前記画像センサを使用して、前記軸上色光学系によって形成された前記画像を受け取り、モザイク画像を形成するステップ(E21)と、
1組のフィルタ処理された画像を提供するために、スペクトル画像のデータベースにより提供されるスペクトル画像を使用して基準のフィルタ処理された画像とモザイク画像とを構築し、前記基準のフィルタ処理された画像と、前記基準のフィルタ処理された画像に対応するモザイク画像から推定されるフィルタ処理された画像とを比較することによって最適なフィルタを決定し、前記最適なフィルタを使用して前記モザイク画像をデモザイク処理するステップ(E22)と、
スペクトル推定を実施して(E23)、前記1組のフィルタ処理された画像を受け取り、前記1組のスペクトル画像を提供するステップと
を含む、ステップと、
を含み、前記シーンの前記画像深度マップを推定するための方法は、
拡大した被写界深度を有する推定されるスペクトル画像を提供するために、前記スペクトル画像をデコンボリューションするデコンボリューションステップ(E3)と、
推定される深度マップ

を提供するために、拡大した被写界深度を有する前記推定されるスペクトル画像に依存するコスト基準を分析する分析ステップ(E4)と
を更に含むことを特徴とする、方法。
コスト基準を前記分析する分析ステップ(E4)が、
前記シーンの、拡大した被写界深度を有する前記推定されるスペクトル画像から再構築されるモザイク画像を形成するステップと、
所定の深度ドメイン中の深度について、形成された前記モザイク画像と、前記シーンの、拡大した被写界深度を有する推定されるスペクトル画像から再構築される前記モザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化することによって、前記画像の各点における深度を推定するステップと
を含むことを特徴とする、請求項1に記載の方法。
前記分析ステップ中で提供された前記推定される深度マップについて、前記シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するステップ(E5)をさらに含むことを特徴とする、請求項1または2に記載の方法。
前記シーンの、拡大した被写界深度を有する前記1組のスペクトル画像を前記推定するステップが、前記深度上で繰り返すことによって、前記当該の深度が前記分析ステップ中で提供された前記推定される深度マップに対応する、前記デコンボリューションステップ中で提供された拡大した被写界深度を有するスペクトル画像の値を選択するステップを含むことを特徴とする、請求項3に記載の方法。
前記スペクトル推定ステップ(E23)とスペクトル画像の前記デコンボリューションステップ(E3)が、単一のステップへと組み合わされることを特徴とする、請求項1から4のいずれか一項に記載の方法。
前記モザイク画像を前記デモザイク処理するステップ(E22)、前記スペクトル推定ステップ(E23)、およびスペクトル画像の前記デコンボリューションステップ(E3)が、単一のステップへと組み合わされ、このステップが、画像のデータベースからの画像を使用して、前記モザイク画像の空間と前記スペクトル画像の空間との間の変換のための変換行列を計算することを特徴とする、請求項1から4のいずれか一項に記載の方法。
シーンの画像深度マップを推定するためのデバイスであって、
前記シーンの対象点の深度および波長に焦点が依存する画像を提供するための、軸上色光学系(1)と、
前記軸上色光学系によって提供された前記画像を受け取り、1組のスペクトル画像を提供するためのスペクトル画像センサ(2)と、
拡大した被写界深度を有する推定されるスペクトル画像を提供するために、前記スペクトル画像をデコンボリューションするためのモジュール(25)と、
推定される深度マップ

を提供するために、拡大した被写界深度を有する前記推定されるスペクトル画像に依存するコスト基準を分析するためのモジュール(26)と
を備え、
前記スペクトル画像センサ(2)が、
前記軸上色光学系によって提供された前記画像を受け取り、モザイク画像を提供するための、４つ以上のスペクトルフィルタ(22)を備える画像センサ(21)と、
前記モザイク画像を受け取り、1組のフィルタ処理された画像を提供するために、スペクトル画像のデータベースにより提供されるスペクトル画像を使用して基準のフィルタ処理された画像とモザイク画像とを構築し、前記基準のフィルタ処理された画像と、前記基準のフィルタ処理された画像に対応するモザイク画像から推定されるフィルタ処理された画像とを比較することによって最適なフィルタを決定し、前記最適なフィルタを使用して前記モザイク画像をデモザイク処理するデモザイクモジュール(23)と、
前記1組のフィルタ処理された画像を受け取り、前記1組のスペクトル画像を提供するための、スペクトル推定モジュール(24)と
を備える
ことを特徴とする、デバイス。
コスト基準を分析するための前記モジュール(26)が、
前記シーンの拡大した被写界深度を有する前記推定されるスペクトル画像から再構築されるモザイク画像を形成するための手段と、
所定の深度ドメイン中の深度について、形成された前記モザイク画像と、前記シーンの、拡大した被写界深度を有する前記推定されるスペクトル画像から再構築される前記モザイク画像との間の、点同士の差の2乗に依存するコスト基準を最小化するように適合される、前記画像の各点における深度を推定するための手段と
を備えることを特徴とする、請求項7に記載のデバイス。
コスト基準を分析するための前記モジュール(26)によって提供された前記推定される深度マップについて、前記シーンの、拡大した被写界深度を有する1組のスペクトル画像を推定するモジュール(27)をさらに備えることを特徴とする、請求項7または8に記載のデバイス。
前記シーンの拡大した被写界深度を有する前記1組のスペクトル画像を推定するための前記モジュール(27)が、前記深度上で繰り返すことによって、前記当該の深度がコスト基準を分析するための前記モジュール(26)によって提供された前記推定される深度マップに対応する、前記スペクトル画像をデコンボリューションするための前記モジュール(25)によって提供された拡大した被写界深度を有するスペクトル画像の値を選択するように適合されることを特徴とする、請求項9に記載のデバイス。
前記スペクトル推定モジュール(24)と前記スペクトル画像をデコンボリューションするための前記モジュール(25)が、単一のモジュールへと組み合わされることを特徴とする、請求項7から10のいずれか一項に記載のデバイス。
前記デモザイクモジュール(23)、前記スペクトル推定モジュール(24)、および前記スペクトル画像をデコンボリューションするための前記モジュール(25)が、単一のモジュールへと組み合わされ、前記単一のモジュールが、画像のデータベースからの画像を使用して、前記モザイク画像の空間と前記スペクトル画像の空間との間の変換のための変換行列を計算するように適合されることを特徴とする、請求項7から10のいずれか一項に記載のデバイス。
コンピュータによって実行されると、請求項1から6のいずれか一項に記載の方法のステップを実行するための命令を含む、コンピュータプログラム。
請求項1から6のいずれか一項に記載の方法のステップを実行するための命令を含む、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体。