JP7145943B2 - 単一のカメラを使用した深度の推定 - Google Patents

Description

関連出願の相互参照
本出願は、各々の内容全体が参照により本明細書に組み込まれている、2017年10月4日に出願した米国仮特許出願第62/567,888号、および2017年10月16日に出願した米国仮特許出願第62/572,896号の優先権を主張するものである。

デジタルカメラの画像取込みコンポーネント(image capture component)がシーンの写真をとる際、イメージセンサが、カメラの写真レンズを通って到来する光についてのデータを収集する。具体的には、画像を取り込むための信号(例えばボタン押下)を受けると、カメラのシャッタが一時的に開いて、イメージセンサのフォトサイト(photosite)アレイへの光の到達を可能にすることができる。その結果として、各フォトサイトは、光からの光子を収集して、電気信号として記憶することができる。

フォトサイトによって収集される光の量が多いほど、フォトサイトが記録する電気的強度が高くなる。例えば、シーン中の明るい領域からの光を取り込んだイメージセンサのフォトサイトのほうが、シーン中の影からのまたは他の暗い領域からの光を取り込んだフォトサイトによって記録されたより低い強度に比べて、高い強度を記録する。強度を取り込んで測定するように構成されたフォトサイトアレイがあることによって、イメージセンサは、シーンの現在の状態を、後にグレースケール画像として表示できるように記録することができる。

シーンをカラー画像として伝えるために、イメージセンサの付近には、各フォトサイトを特定の色の入射光のみを収集することに制限するカラーフィルタアレイ(CFA)が位置付けられてよい。例えば、ベイヤアレイ(Bayer array)は、一般的なタイプのCFAであり、赤色-緑色フィルタおよび緑色-青色フィルタの交互するロウを使用して、各フォトサイトを原色のうちのただ1つ(赤色、緑色、または青色)に対応する光を取り込むことに制限するものである。ベイヤアレイは、フォトサイトアレイのより多くの部分に緑色光を収集させるために、より多くの緑色フィルタを含む。これは、人間の目には緑色光に対し特定の敏感さがあるためである。したがって、より多くのフォトサイトに緑色光を収集させることにより、大多数の人々の視覚と整合のとれた画像が生み出され得る。

カメラデバイスのシャッタが閉じて、フォトサイトアレイに対する光の露出を終了した後で、個々のフォトサイトからの電荷が測定されて、デジタル数に変換され得る。次いで、フォトサイトアレイからの一連のデジタル数は、スクリーンまたは可能な他のサーフェス(カメラのビューファインダ)上に画像を再形成するのに使用される対応するピクセル(matching pixel)の色および輝度を構成することにより画像を再現するために使用され得る。いくつかの例では、イメージセンサ内の全てのフォトサイトについて、画像取込み中にフォトサイトにおいて受けた電荷および色を反映させる対応するピクセルが表示画像内にあってよい。

生成された画像内の各ピクセルは、「サブピクセル」としても知られる複数のコンポーネントから構成されていてよい。各ピクセルのサブピクセルは、イメージセンサと一緒に使用されるCFAによってフォトサイトアレイに対して課される色制限に応じて決まり得る。例えば、イメージセンサがベイヤアレイと一緒に使用されるとき、取り込まれた画像を構成するピクセルは、2つの緑色サブピクセル、1つの青色サブピクセル、および1つの赤色サブピクセルからなってよい。こうして、イメージセンサのフォトサイトアレイの位置および測定値を表現するようにピクセルがともに配列および表示されるとき、単一の画像取込みコンポーネントによって最初に取り込まれたシーンの色および構成は、2次元(2D)カラー画像として再形成され得る。

しかし、シーンについての3次元(3D)情報を得るためには、追加のコンポーネントが一般に使用される。例として、ステレオカメラでは、2つ以上の画像取込みコンポーネントを使用して、複数の画像を同時に取り込んでおり、これらの画像は、何らかの形で組み合わせて、3D立体視画像を形成または模擬することができる。ステレオカメラは、シーンについての3D情報を決定することができるが、複数の画像取込みコンポーネントを使用すると、ステレオカメラの作製に関連する全体的なコストおよび複雑さが増大する。

本明細書における実施形態は、単一の画像取込みコンポーネントによって画像として取り込まれたシーン中の要素の深度を推定するために使用することのできる、深度推定技法を開示する。シーンの画像を始めに取り込んだ後で、シーンを再形成するように配列された基礎をなすピクセルを構成するサブピクセルによって提供されるデータに基づいて、サブピクセル画像の対が生成され得る。ステレオカメラの複数の画像取込みコンポーネントによって同時に取り込まれた画像と同様に、サブピクセル画像の対も、シーンをわずかに異なる視点から表現することができる。サブピクセル画像間のこの視点の差すなわち「視差」は、画像の各ピクセル内に含まれている緑色サブピクセルの対間に存在する基線距離によるものであり得る。各ピクセル内の緑色サブピクセル間に存在する基線距離は、かなりの極小であるが、その距離は、これらのサブピクセル画像にシーンをわずかに異なる角度から表現させるのに十分である。

したがって、これらのサブピクセル画像は、各サブピクセル画像によってそれぞれ表現されるシーンの同一部分間の視差の決定ができるように位置整合され得る。視差、および各ピクセル内の緑色サブピクセル間の基線距離を考慮に入れることによって、シーンの要素の深度が、三角測量を使用して推定され得る。いくつかの実施形態では、シーン中の要素の深度を描いた深度マップ(depth map)が決定されて、シーンの特定の要素に焦点を合わせるとともにボケ効果と同様に画像の他の部分にぼかしを施しもした、元画像の新たなバージョンを生成するために使用され得る。

したがって、第1の例示的な実施形態では、カメラデバイスが、シーンの画像を取り込むことができる。シーンの画像に基づいて、カメラデバイスは、シーンの第1のサブピクセル画像、およびシーンの第2のサブピクセル画像を生成することができる。第1のサブピクセル画像は、画像からの第1組のサブピクセルによって表現され得、第2のサブピクセル画像は、画像からの第2組のサブピクセルによって表現され得る。シーンの画像の所与のピクセルは、2つの緑色サブピクセルを含むことができ、それらは、第1のサブピクセル画像および第2のサブピクセル画像内にそれぞれ表現される。カメラデバイスは、第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間の視差を決定することができる。場合によっては、視差、および2つの緑色サブピクセル間の基線距離に基づいて、カメラデバイスは、シーンの深度マップを推定することができる。深度マップは、シーンの部分の、シーンの1つまたは複数の他の部分に対する相対的な深度を示すことができる。

第2の例示的な実施形態では、製品が、カメラデバイスによって実行されるとカメラデバイスに第1の例示的な実施形態による動作を実施させるプログラム命令がその上に記憶された、非一時的コンピュータ可読媒体を含むことができる。

第3の例示的な実施形態では、カメラデバイスが、イメージセンサ、プロセッサ、ならびにデータ記憶装置およびプログラム命令を含むことができる。プログラム命令は、データ記憶装置内に記憶され得、少なくとも1つのプロセッサによって実行されるとコンピューティングデバイスに第1の例示的な実施形態による動作を実施させることができる。

第4の例示的な実施形態では、システムが、第1の例示的な実施形態の動作の各々を遂行するさまざまな手段を含むことができる。

これらおよび他の実施形態、態様、利点、および代替形態は、必要に応じて添付の図面を参照して以下の詳細な説明を読むことによって、当業者に明らかとなろう。さらに、本概要、ならびに本明細書において提供する他の説明および図は、実施形態を単なる例として示すことが意図されており、したがって多数の変形形態が可能である、ということを理解されたい。例として、構造要素およびプロセスステップは、特許請求の範囲に記載の実施形態の範囲内に留まりながら、再編成し、組み合わせ、分散させ、削除し、またはその他の形で変更することができる。

例示的な実施形態によるデジタルカメラデバイスの正面図および右側面図である。 例示的な実施形態によるデジタルカメラデバイスの背面図である。 例示的な実施形態による画像取込み能力をもつコンピューティングデバイスのブロック図である。 例示的な実施形態によるピクセルブロック構成を示す図である。 例示的な実施形態による別のピクセルブロック構成を示す図である。 例示的な実施形態に従って単一の画像取込みコンポーネントを使用して取り込まれた画像を修正する様子を示す図である。 例示的な実施形態による物体の画像を取り込む画像取込みコンポーネントの簡略表現を示す図である。 例示的な実施形態に従って物体とカメラとの間の距離を決定する様子を示す図である。 例示的な実施形態に従って単一の画像取込みコンポーネントを使用して取り込まれた画像を修正する様子を示す図である。 例示的な実施形態に従って単一の画像取込みコンポーネントを使用して取り込まれた画像を修正する様子を示す図である。 例示的な実施形態によるフローチャートである。 例示的な実施形態による別のフローチャートである。

例示的な方法、デバイス、およびシステムについて、本明細書において説明する。「例(example)」および「例示的(exemplary)」という語は、本明細書では、「例、実例、または例示としての役割を果たすこと」を意味するために使用されている、ということを理解されたい。「例」または「例示的」であると本明細書において説明する任意の実施形態または特色は、必ずしも他の実施形態または特色に比べて好ましいまたは有利であると解釈すべきであるとは限らない。本明細書において提示する主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。

したがって、本明細書において説明する例示的な実施形態は、限定するものではない。本明細書において一般に説明し図中に示す本開示の態様は、多種多様な異なる構成で編成し、置き換え、組み合わせ、分離し、設計することができ、その全てが、本明細書において企図されている。

さらに、文脈が別段示唆しない限り、図の各々に示す特色は、互いに組み合わせて使用することができる。したがって、図は一般に、図示の全ての特色が各実施形態にとって必要であるとは限らないという理解の下で、1つまたは複数の全体的な実施形態のコンポーネントの態様と見なすべきである。

文脈に応じて、「カメラ」は、個々の画像取込みコンポーネント、または1つもしくは複数の画像取込みコンポーネントを収容したデバイスを指すことがある。一般に、画像取込みコンポーネントは、下で説明するように、開口部、レンズ、記録面、およびシャッタを含む。さらに、いくつかの実装形態では、本明細書において説明する画像処理ステップは、カメラデバイスによって実施され得るが、他の実装形態では、画像処理ステップは、1つまたは複数のカメラデバイスと通信する(かつおそらくはそれを制御する)コンピューティングデバイスによって実施され得る。

1.例示的な画像取込みデバイス
カメラがより一層普及するにつれて、それらは、スタンドアロンのハードウェアデバイスとして用いられる場合もあり、他のタイプのデバイスに統合される場合もある。例として、スチルカメラおよびビデオカメラは、今や、ワイヤレスコンピューティングデバイス(例えばスマートフォンやタブレット)、ラップトップコンピュータ、ウェアラブルコンピューティングデバイス、ビデオゲームインターフェース、ホームオートメーションデバイス内、さらには自動車および他のタイプの車両内にさえ、通常含まれている。

カメラの画像取込みコンポーネントは、光がそれを通って入射する1つまたは複数の開口部、光によって表現される像を取り込むための1つまたは複数の記録面、および像の少なくとも一部の焦点を記録面に合わせるために各開口部の正面に位置付けられた1つまたは複数のレンズを含むことができる。開口部は、固定サイズでもよく、調整可能でもよい。

アナログカメラでは、記録面は、写真フィルムとすることができる。デジタルカメラでは、記録面は、取り込まれた画像をデータ記憶ユニット(例えばメモリ)内に転送および/または記憶するための電子イメージセンサ(例えば電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサ)を含むことができる。イメージセンサは、開口部を通る入射光を取り込むように構成されたフォトサイトアレイを含むことができる。画像を取り込むために露出が行われると、各フォトサイトは、入射光からの光子を収集して、その光子を電気信号として記憶することができる。露出が終わると、カメラは、フォトサイトの各々を閉鎖して、各フォトサイトの電気信号の強度を測定し始めることができる。

次いで、イメージセンサのフォトサイトアレイの信号は、ビット深度によって決まり得る精度でデジタル値として数量化され得る。ビット深度は、各色を指定するために使用される「ビット」または0と1の数という点で、画像のカラーパレット内に一意の色がいくつ利用可能であるかを数量化するために使用され得る。これは、画像がこれらの色を全て必ず使用するということを意味するのではなく、画像が色をそのレベルの精度で指定できるということを意味する。例えば、グレースケール画像の場合、ビット深度は、一意の色調がいくつ利用可能であるかを数量化することができる。したがって、より高いビット深度をもつ画像は、0と1のより多くの組合せが利用可能であるので、より多くの色調または色を符号化することができる。

上で示したように、シーンをカラー画像として取り込むために、イメージセンサの付近に位置付けられたCFAが、光の1つの色だけが各フォトサイトに入射するのを可能にすることができる。例えば、デジタルカメラは、イメージセンサのフォトサイトが3つの原色(赤色、緑色、青色(RGB))のうちの1つだけを取り込めるようにするCFA(例えばベイヤアレイ)を含むことがある。可能な他のCFAは、シアン、マゼンタ、黄色、および黒色(CMYK)など、他の表色系を使用することがある。その結果として、フォトサイトは、シーンの色を、後にカラー画像として表示できるように測定することができる。

いくつかの例では、カメラは、赤色-緑色フィルタおよび緑色-青色フィルタの交互するロウからなるベイヤアレイを利用することがある。ベイヤアレイ内では、各原色が、イメージセンサのフォトサイトアレイの総面積の等分を与えられず、というのも、人間の目は、赤色光および青色光よりも緑色光に敏感なためである。具体的には、緑色ピクセルの冗長性は、それほど雑音がなくより細部にわたって見える画像を生み出すことができる。したがって、カメラは、シーンのカラー画像を構成する際に全てのピクセルにおいてフルカラーを得るために、残りの2つの原色を近似することができる。例えば、カメラは、原色のアレイを、各ピクセルにおいてフルカラー情報を含む画像に変換するために、ベイヤデモザイキングまたは補間法を実施することができる。ベイヤデモザイキングまたは補間は、カメラによって使用される画像のフォーマット、サイズ、および圧縮技法に応じて決まり得る。

1つまたは複数のシャッタが、レンズまたは記録面に結合されてもよく、その付近にあってもよい。各シャッタは、光が記録面に到達するのを阻止する閉位置と、光が記録面に到達することが可能になっている開位置のどちらかにあってよい。各シャッタの位置は、シャッタボタンによって制御され得る。例として、シャッタは、デフォルトでは閉位置にあってよい。シャッタボタンがトリガされる(例えば押下される)と、シャッタは閉位置から開位置に、シャッタサイクルとして知られる時間期間にわたって変化することができる。シャッタサイクルの間、画像が記録面上に取り込まれ得る。シャッタサイクルの終わりに、シャッタが元の閉位置に変化することができる。

あるいは、シャッタリングプロセスは、電子式とすることもできる。例えば、CCDイメージセンサの電子式シャッタが「開かれる」前に、センサは、そのフォトサイト内の残留信号があればそれを除去するためにリセットされ得る。電子式シャッタが開いたままである間、フォトサイトは、電荷を蓄積することができる。シャッタが閉じると、または閉じた後で、これらの電荷は、より長期のデータ記憶装置に転送され得る。機械式シャッタリングと電子式シャッタリングとの組合せも、可能となり得る。

タイプに関わらず、シャッタは、シャッタボタン以外の何らかによってアクティブにされ、かつ/または制御され得る。例として、シャッタは、ソフトキー、タイマ、または他の何らかのトリガによってアクティブにされ得る。本明細書では、「画像取込み」という用語は、シャッタリングプロセスがどのようにしてトリガまたは制御されるかに関わらず、1つまたは複数の画像がその結果として記録されるどんな機械式および/または電子式のシャッタリングプロセスも指すことができる。

取り込まれた画像の露出は、開口部のサイズと、開口部に入射する光の輝度と、シャッタサイクルの長さ(シャッタ長さ(shutter length)または露出長さ(exposure length)とも呼ばれる)との組合せによって決まり得る。それに加えて、画像にデジタルおよび/またはアナログ利得を加え、それにより、露出に影響を及ぼすこともできる。いくつかの実施形態では、「露出長さ」、「露出時間」、または「露出時間間隔」という用語は、シャッタ長さに、特定の開口部サイズの場合の利得を乗じた積を指すことがある。したがって、これらの用語は、ある程度交換可能に使用されることがあり、場合によっては、シャッタ長さ、露出時間、および/または光が記録面に到達する結果として生じる信号応答の量を制御する他の任意の測定基準であると、解釈すべきである。

スチルカメラは、画像取込みがトリガされるたびに、1つまたは複数の画像を取り込むことができる。ビデオカメラは、画像取込みがトリガされたままである限り(例えばシャッタボタンが押し下げられている間)、画像を特定のレート(例えば毎秒24画像またはフレーム)で連続して取り込むことができる。一部のデジタルスチルカメラは、カメラデバイスまたはカメラアプリケーションがアクティブにされたときに、シャッタを開くことができ、シャッタは、カメラデバイスまたはカメラアプリケーションが非アクティブにされるまで、この位置に留まることができる。シャッタが開いている間、カメラデバイスまたはカメラアプリケーションは、シーンの表現物を取り込んで、ビューファインダ上に表示することができる。画像取込みがトリガされると、現在のシーンの1つまたは複数の別個のデジタル画像が取り込まれ得る。

カメラは、開口部サイズ、露出時間、利得などのような、1つまたは複数のカメラ機能および/またはカメラ設定を制御するためのソフトウェアを含むことができる。それに加えて、一部のカメラは、画像が取り込まれている間または取り込まれた後でこれらの画像をデジタル処理する、ソフトウェアを含むこともできる。このソフトウェアは、取り込まれた画像に基づいてサブピクセル画像を生成することができてよい。サブピクセル画像は、取り込まれた画像を構成するピクセルの全てまたはセット内に含まれるサブピクセルの部分を表現することができる。例として、ソフトウェアを使用して、画像の各ピクセル内の緑色サブピクセルのうちの半分からのデータを表現する第1のサブピクセル画像、および画像の各ピクセル内の緑色サブピクセルのうちの残りの半分からのデータを表現する第2のサブピクセル画像を生成することができる。

先に言及したように、デジタルカメラは、スタンドアロンのデバイスである場合もあり、他のデバイスと統合される場合もある。一例として、図1Aは、正面図101Aおよび側面図101Bから見たデジタルカメラデバイス100のフォームファクタを示す。デジタルカメラデバイス100は、例えば、モバイル電話、タブレットコンピュータ、またはウェアラブルコンピューティングデバイスとすることができる。しかし、他の実施形態も可能である。

デジタルカメラデバイス100は、本体102、前面カメラ104、多素子ディスプレイ(multi-element display)106、シャッタボタン108、および他のボタン110などのさまざまな要素を含むことができる。前面カメラ104は、本体102の、一般に動作の際にユーザに面する側、すなわち多素子ディスプレイ106と同じ側に位置付けることができる。

図1Bに示すように、デジタルカメラデバイス100はさらに、背面カメラ112を含むこともできる。カメラ112は、本体102の、前面カメラ104とは反対の側に位置付けることができる。背面図101Cおよび101Dは、背面カメラ112の2つの代替配置を示す。とはいえ、他の配置も可能である。また、カメラを前面または背面と呼ぶことは任意であり、デジタルカメラデバイス100は、本体102のさまざまな側に位置付けられた1つまたは複数のカメラを含むことができる。

多素子ディスプレイ106は、陰極線管(CRT)ディスプレイ、発光ダイオード(LED)ディスプレイ、液晶(LCD)ディスプレイ、プラズマディスプレイ、または当技術分野において知られる他の任意のタイプのディスプレイとすることができる。いくつかの実施形態では、多素子ディスプレイ106は、前面カメラ104および/もしくは背面カメラ112によって取り込まれている現在の画像、またはこれらのカメラのうちのいずれか1つもしくは複数によって取り込まれ得たかもしくは最近取り込まれた画像の、デジタル表現物を表示することができる。したがって、多素子ディスプレイ106は、カメラのビューファインダとしての役割を果たすことができる。多素子ディスプレイ106は、デジタルカメラデバイス100の任意の態様の設定および/または構成の調整を可能にすることのできる、タッチスクリーン機能および/または存在感知(presence-sensitive)機能をサポートすることもできる。

前面カメラ104は、イメージセンサ、およびレンズなどの関連光学素子を含むことができる。前面カメラ104は、ズーム能力を提供してもよく、固定の焦点距離を有してもよい。他の実施形態では、交換可能レンズを前面カメラ104と一緒に使用することもできる。前面カメラ104は、可変な機械式開口部、ならびに機械式シャッタおよび/または電子式シャッタを有することができる。前面カメラ104は、静止画像、ビデオ画像、またはその両方を取り込むように構成することもできる。さらに、前面カメラ104は、例えば平面視カメラとすることもできる。背面カメラ112は、開口部、レンズ、記録面、およびシャッタを含む、画像取込みコンポーネントとすることができる。

前面カメラ104および背面カメラ112の一方または両方は、ターゲット物体を照明するためのライトフィールド(light field)を提供する照明コンポーネントを含むかまたはそれと関連付けることができる。例として、照明コンポーネントは、ターゲット物体のフラッシュまたは連続照明を提供することができる。照明コンポーネントは、構造化光、偏光、および特定のスペクトル成分をもつ光のうちの1つまたは複数を含むライトフィールドを提供するように構成することもできる。物体から3Dモデルを復元させることが知られておりそのために使用される他のタイプのライトフィールドが、本明細書における実施形態の文脈内で可能である。

前面カメラ104および/または背面カメラ112の一方または両方は、カメラが取り込むことのできるシーンの周囲の輝度を連続してまたは時々決定することのできる、周囲光センサを含むかまたはそれと関連付けることができる。一部のデバイスでは、周囲光センサは、カメラに付随するスクリーン(例えばビューファインダ)の表示の輝度を調整するために使用することができる。決定された周囲の輝度が高いとき、スクリーンをより見やすくするように、スクリーンの輝度レベルが上げられ得る。決定された周囲の輝度が低いとき、やはりスクリーンをより見やすくするように、また場合によっては電力を節約するように、スクリーンの輝度レベルが下げられ得る。周囲光センサは、画像取込みの露出時間を決定するために使用することもできる。

デジタルカメラデバイス100は、多素子ディスプレイ106、および前面カメラ104と背面カメラ112のどちらかを使用してターゲット物体の画像を取り込むように、構成することができる。取り込まれる画像は、複数の静止画像とすることもでき、あるいはビデオストリームとすることもできる。画像取込みは、シャッタボタン108をアクティブにすることによって、多素子ディスプレイ106上のソフトキーを押すことによって、または他の何らかの機構によって、トリガされ得る。実装形態に応じて、例えば、シャッタボタン108を押下した時に、ターゲット物体の照明条件が適切な時に、デジタルカメラデバイス100を所定の距離だけ移動させた時に、または所定の取込みスケジュールに従って、画像は特定の時間間隔で自動的に取り込まれ得る。

上で言及したように、デジタルカメラデバイス100または別のタイプのデジタルカメラの機能は、ワイヤレスコンピューティングデバイス、セル式電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス、ロボットデバイス、ラップトップコンピュータなどのようなコンピューティングデバイスに統合されることがある。例として、図2は、カメラコンポーネント224を含むことのできる、例示的なコンピューティングデバイス200のコンポーネントのうちのいくつかを示す、簡略ブロック図である。

限定はしないが例として、コンピューティングデバイス200は、セルラモバイル電話(例えばスマートフォン)、スチルカメラ、ビデオカメラ、ファックス機、(デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、またはハンドヘルドコンピュータなどの)コンピュータ、パーソナルデジタルアシスタント(PDA)、ホームオートメーションコンポーネント、デジタルビデオレコーダ(DVR)、デジタルテレビ、遠隔制御装置、ウェアラブルコンピューティングデバイス、または少なくとも一部の画像取込み能力および/もしくは画像処理能力が装備された他の何らかのタイプのデバイスとすることができる。コンピューティングデバイス200は、デジタルカメラなどの物理的なカメラデバイス、カメラアプリケーションがソフトウェアとしてその上で動作する特定の物理的なハードウェアプラットフォーム、またはカメラ機能を遂行するように構成されたハードウェアとソフトウェアの他の組合せとすることができる、ということを理解されたい。

図2に示すように、コンピューティングデバイス200は、通信インターフェース202、ユーザインターフェース204、プロセッサ206、データ記憶装置208、およびカメラコンポーネント224を含むことができ、それらの全ては、システムバス、ネットワーク、または他の接続機構210によって相互に、通信可能にリンクされ得る。

通信インターフェース202は、コンピューティングデバイス200がアナログ変調またはデジタル変調を使用して他のデバイス、アクセスネットワーク、および/または転送ネットワークと通信することを可能にすることができる。したがって、通信インターフェース202は、プレインオールドテレフォンサービス(plain old telephone service)(POTS)通信および/またはインターネットプロトコル(IP)もしくは他のパケット化通信などの、回線交換通信および/またはパケット交換通信を容易にすることができる。例として、通信インターフェース202は、無線アクセスネットワークまたはアクセスポイントとのワイヤレス通信に合わせて構成されたチップセットおよびアンテナを含むことができる。また、通信インターフェース202は、イーサネット(登録商標)、ユニバーサルシリアルバス(USB)、または高精細マルチメディアインターフェース(HDMI)ポートなどの有線インターフェースの形態をとるか、またはそれを含んでもよい。通信インターフェース202は、Wifi、ブルートゥース(登録商標)、グローバルポジショニングシステム(GPS)、または広域ワイヤレスインターフェース(例えばWiMAXもしくは3GPPロングタームエボリューション(LTE))などのワイヤレスインターフェースの形態をとるか、またはそれを含んでもよい。しかし、他の形態の物理層インターフェースおよび他のタイプの標準または専用の通信プロトコルを、通信インターフェース202を介して使用することもできる。さらに、通信インターフェース202は、複数の物理的通信インターフェース(例えばWifiインターフェース、ブルートゥース(登録商標)インターフェース、および広域ワイヤレスインターフェース)を備えてもよい。

ユーザインターフェース204は、ユーザから入力を受け、ユーザに出力を提供するなどのために、コンピューティングデバイス200が人間のユーザまたは人間以外のユーザと対話するのを可能にするように機能することができる。したがって、ユーザインターフェース204は、キーパッド、キーボード、タッチ感知(touch-sensitive)パネルまたは存在感知パネル、コンピュータマウス、トラックボール、ジョイスティック、マイクロホンなどのような入力コンポーネントを含むことができる。ユーザインターフェース204は、例えば存在感知パネルと組み合わせることのできる表示スクリーンなどの、1つまたは複数の出力コンポーネントを含むこともできる。表示スクリーンは、CRT技術、LCD技術、および/もしくはLED技術、または現在知られているかもしくは後に開発される他の技術に基づいていてよい。ユーザインターフェース204は、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および/または他の類似のデバイスを介して可聴出力を生成するように、構成されてもよい。

いくつかの実施形態では、ユーザインターフェース204は、コンピューティングデバイス200によってサポートされるスチルカメラ機能および/またはビデオカメラ機能用のビューファインダとしての役割を果たすディスプレイを含むことができる。それに加えて、ユーザインターフェース204は、カメラ機能の構成および焦点合わせ、ならびに画像の取込み(例えば写真の取込み)を容易にする、1つまたは複数のボタン、スイッチ、つまみ、および/またはダイヤルを含むこともできる。これらのボタン、スイッチ、つまみ、および/またはダイヤルの一部または全部が存在感知パネルによって実装されることが可能であり得る。

プロセッサ206は、1つもしくは複数の汎用プロセッサ、例えばマイクロプロセッサ、および/または1つもしくは複数の専用プロセッサ、例えばデジタル信号プロセッサ(DSP)、グラフィック処理ユニット(GPU)、浮動小数点演算ユニット(FPU)、ネットワークプロセッサ、または特定用途向け集積回路(ASIC)を備えることができる。いくつかの例では、専用プロセッサが、さまざまな可能性の中でもとりわけ画像処理、画像位置整合、および画像のマージをすることができてよい。データ記憶装置208は、磁気記憶装置、光記憶装置、フラッシュ記憶装置、またはオーガニックストレージなど、1つまたは複数の揮発性記憶コンポーネントおよび/または不揮発性記憶コンポーネントを含むことができ、全部または一部においてプロセッサ206と統合することができる。データ記憶装置208は、リムーバルコ
ンポーネントおよび/または非リムーバルコンポーネントを含むことができる。

プロセッサ206は、本明細書において説明するさまざまな機能を遂行するために、データ記憶装置208内に記憶されたプログラム命令218(例えばコンパイル型もしくは非コンパイル型のプログラムロジック、および/または機械コード)を実行することができてよい。したがって、データ記憶装置208は、コンピューティングデバイス200によって実行されるとコンピューティングデバイス200に本明細書および/または添付の図面において開示する方法、プロセス、または動作のいずれかを遂行させるプログラム命令がその上に記憶された、非一時的コンピュータ可読媒体を含むことができる。プロセッサ206によるプログラム命令218の実行により、プロセッサ206がデータ212を使用するという結果となり得る。

例として、プログラム命令218は、コンピューティングデバイス200上にインストールされたオペレーティングシステム222(例えばオペレーティングシステムカーネル、デバイスドライバ、および/または他のモジュール)ならびに1つまたは複数のアプリケーションプログラム220(例えばカメラ機能、アドレス帳アプリケーション、電子メールアプリケーション、ウェブ閲覧アプリケーション、ソーシャルネットワーキングアプリケーション、および/またはゲームアプリケーション)を含むことができる。同様に、データ212も、オペレーティングシステムデータ216およびアプリケーションデータ214を含むことができる。オペレーティングシステムデータ216は、主としてオペレーティングシステム222にとってアクセス可能であり得、アプリケーションデータ214は、主としてアプリケーションプログラム220のうちの1つまたは複数にとってアクセス可能であり得る。アプリケーションデータ214は、コンピューティングデバイス200のユーザにとって見えるかまたはコンピューティングデバイス200のユーザから秘匿されたファイルシステム内に配置することができる。

アプリケーションプログラム220は、オペレーティングシステム222と、1つまたは複数のアプリケーションプログラミングインターフェース(API)を通じて通信することができる。これらのAPIは、例として、アプリケーションプログラム220が、アプリケーションデータ214を読み出しかつ/または書き込むこと、通信インターフェース202を介して情報を送信または受信すること、ユーザインターフェース204上で情報を受けかつ/または表示することなどを、容易にすることができる。

一部の業界語では、アプリケーションプログラム220は、略して「アプリ(app)」と呼ばれることがある。それに加えて、アプリケーションプログラム220は、1つまたは複数のオンラインアプリケーションストアまたはアプリケーションマーケットを通じてコンピューティングデバイス200にダウンロード可能であってもよい。しかし、アプリケーションプログラムは、ウェブブラウザを介して、またはコンピューティングデバイス200上の物理的インターフェース(例えばUSBポート)を通じて、のような他の方途で、コンピューティングデバイス200上にインストールすることもできる。

カメラコンポーネント224は、それらに限定されないが、開口部、シャッタ、記録面(例えば写真フィルムおよび/もしくはイメージセンサ)、レンズ、ならびに/またはシャッタボタンを含むことができる。カメラコンポーネント224は、少なくとも一部にはプロセッサ206により実行されるソフトウェアによって制御され得る。

2.例示的なピクセル構成
図3Aは、カメラによって取り込まれた画像の一部であり得るピクセルのクラスタからなる、ピクセルブロック300を示す。具体的には、ピクセルブロック300は、イメージセンサのフォトサイトアレイ内の対応するフォトサイトからのデータを表現することのできる、ピクセル302および他のピクセルを含む。

ピクセルブロック300ならびにピクセルブロック300内のピクセルの構成は、他の例では異なる場合がある。例として、ピクセルブロック300内のピクセル302および他のピクセルは、図では、4つのコンポーネントから構成された正方形構成をなす。本明細書ではサブピクセルとも称するこれらの4つのコンポーネントは、画像の所与のロケーションにおける赤色、緑色、または青色の量を表すことができる。ピクセル302は、図では、4つのサブピクセル(緑色サブピクセル304A、304B、青色サブピクセル306、および赤色サブピクセル308)を有しているが、ピクセルは、他の例ではより多くのまたはより少ないサブピクセルから構成することもできる。例として、別の例では、ピクセルは、3つのサブピクセル(例えば赤色、緑色、青色)しか含まない場合もあり、他の色のサブピクセル(例えば緑色、赤色、青色、白色)を含む場合もある。それに加えて、ピクセルは、諸例では他の構成を有することもできる。

ピクセルブロック300内のピクセルを構成するサブピクセルは、画像を取り込んだカメラのイメージセンサと一緒に利用されたCFAに応じて決まり得る。CFAは、どの所与の色の光がどのフォトサイトに入射するかを制限する。したがって、任意の色から構成された光を受ける代わりに、イメージセンサの各フォトサイトは、特定の色(例えば赤色、緑色、または青色)に対応する光を受けることに制限され得る。上で論じたように、一部のカメラは、フォトサイトのより多くの部分がそれにより緑色光を測定する結果となる、ベイヤアレイを使用している。その結果として、カメラによって取り込まれた画像内のピクセルはそれぞれ、ベイヤアレイをイメージセンサと一緒に使用したことを反映して、2つの緑色サブピクセルを含むことができる。他の構成が可能である。

図3Aに示すように、ピクセルブロック300のピクセル302は、緑色サブピクセル304A、304Bと、青色サブピクセル306および赤色サブピクセル308とから構成される。これらのサブピクセルは、ピクセル302内に2サブピクセル×2サブピクセルの正方形として配列されている。緑色サブピクセル304Aは、図では、ピクセル302の左上隅に位置付けられており、緑色サブピクセル304Bは、図では、ピクセル302の右下隅に位置付けられている。緑色サブピクセル304A、304Bは、ピクセル302内で対角配列をなしているが、サブピクセルは、他の配列をなすことができる。

ピクセルブロック300を含む画像は、サブピクセル(例えば緑色サブピクセル304A、304B)によって提供されるデータに基づいてサブピクセル画像を生成するために使用され得る。具体的には、各ピクセルが2つの緑色サブピクセルを含んでいるので、各ピクセル内のこれらの緑色サブピクセルの位置の差が、これらの緑色サブピクセルに、画像内に取り込まれたシーンをわずかに異なる角度から表現させることができる。この異なる角度は、各緑色サブピクセルが、シーンをカメラ内の個々の視点から取り込んだ、緑色フィルタを施したフォトサイトからのデータを表現している、という事実によるものであり得る。

その結果として、緑色サブピクセルからのデータを使用することによって、ステレオカメラの複数の画像取込みコンポーネントがシーンをわずかに異なる視点から取り込む様子と同様に、複数のサブピクセル画像が、各サブピクセルがシーンを異なる視点から表示するような様式で生成され得る。例を用いて示すと、1つのサブピクセル画像が、各ピクセル内で緑色サブピクセル304Aと同じ位置を占めている緑色サブピクセルからのデータに基づいて創出されてよく、別のサブピクセル画像が、各ピクセル内で緑色サブピクセル304Bと同じ位置を占めている緑色サブピクセルからのデータに基づいていてよい。

緑色サブピクセルの異なる組からのデータに基づいて決定されたサブピクセル画像は、各サブピクセル画像によって表現された異なる視点間に存在する視差を決定するためにさらに使用され得る。いくつかの例では、視差は、サブピクセル画像間の差を表す。視差は、サブピクセル画像によって表現された視点の差から生じ得る。したがって、サブピクセル画像間の視差の程度は、さまざまであり得る。

サブピクセル画像同士を位置整合した後で、視差が、一方のサブピクセル画像によって表現されるシーンの部分を他方のサブピクセル画像によって表現されるシーンの同じ部分と比較することに基づいて決定され得る。例えば、画像差分技法を使用して、サブピクセル画像間の視差を決定することができる。画像差分には、各サブピクセル画像内の各ピクセル相互間の差を決定することが関与し得る。他の画像処理技法を使用することもできる。したがって、結果として得られる視差は、各サブピクセル画像が同一部分を表現する様子間の差を示す。いくつかの例では、サブピクセル画像間の視差が、シーンの複数の部分について決定され得る。

各サブピクセル画像がシーンの同一の1つまたは複数の部分を表現する様子間の視差は、最初に取り込まれた画像内のシーンのその部分の深度を推定するためにさらに使用され得る。諸例では、視差を決定するために使用されるシーンの部分は、元画像に取り込まれたシーンの任意の部分とすることができる。いくつかの実装形態では、元画像内の中心位置を占めているシーンの部分が、視差の決定の際に使用され得、というのも、この部分は、画像の焦点を含む可能性があり、サブピクセルデータが、取り込まれた画像の隅に位置付けられたピクセルから取得されたサブピクセルデータよりも正確になり得るためである。具体的には、元画像の中心位置は、画像取込み中にそれほど干渉を受けずに直接光を受けるフォトサイトに起因する。これは、画像取込み中に光を受ける際に干渉に遭遇する可能性のあるフォトサイトに起因する、元画像のエッジとは異なる。

いくつかの実施形態では、サブピクセル画像間の視差が、シーン中の1つまたは複数の要素の深度を推定するために使用され得る。具体的には、視差と、ピクセル内の緑色サブピクセルの位置間の基線差とが、元画像を取り込んだカメラとシーン中の物体との間の、三角測量による距離を推定するために使用され得る。さらなる例では、深度マップが、取り込まれた画像のシーン中の複数の要素の推定された深度に基づいて生成され得る。

図3Bは、別のピクセルブロック310を示す。ピクセルブロック300と同様に、ピクセルブロック310も、緑色サブピクセルがさらに2つのフォーカス面(focus plane)に分割されているピクセルの例(例えばピクセル312)を提供している。具体的には、ピクセル312は、図では、2サブピクセル×2サブピクセルの正方形として配列された、分割面(split-plane)緑色サブピクセル314A、314B、青色サブピクセル316、および赤色サブピクセル318からなる。シーンの異なる視点を表現する2つの緑色サブピクセルを有するのではなく、緑色サブピクセル314A、314Bがそれぞれ、分割されたフォーカス面のため、異なる視点を表現することができる。

焦点面は、カメラ内の、光が合焦する領域を表すことができる。例として、焦点面は、最も絞られた焦点が到達する、カメラからの距離とすることができる。したがって、緑色サブピクセル314A、314Bは、それぞれ、光がイメージセンサのフォトサイトアレイに衝突するという様式のため、複数の焦点面を表すことができる。この結果として、緑色サブピクセル314Aのある部分が、第1の焦点面を表し、緑色サブピクセル314Aの別の部分が、第2の焦点面を表し、それによって、緑色サブピクセル314Aが、分割された焦点面を表すという結果となり得る。

いくつかの例では、ピクセルブロック310内の緑色サブピクセル314A、314Bおよび他のサブピクセルは、シーンをわずかに異なる視点から表現するサブピクセル画像の組を決定するために使用され得る。例えば、各サブピクセル画像は、2つの面の一方のみではあるが両方の緑色サブピクセルからのデータを表現することができる。

3.例示的な深度推定
図4は、単一の画像取込みコンポーネントを使用して取り込まれた画像の新たなバージョンを生成する様子を示す。この図では、カメラ402が、単一の画像取込みコンポーネントを使用してシーン400の画像を取り込んでいる。シーン400は、前景内に位置する人物、および背景内に位置する雲を示しているが、他の例には、異なるシーンの画像を取り込むことが関与し得る。

カメラ402は、開口部、レンズ、シャッタ、および記録面などの、画像取込みコンポーネントを含むことができる。例として、カメラ402は、デジタルカメラデバイス100に対応することができ、背面カメラ112を使用して、シーン400の画像を取り込むことができる。他の例では、カメラ402は、車両、ウェアラブルコンピューティングデバイス、タブレットなどのような、別のデバイスの一部とすることができる。

カメラ402は、シーン400の単一の画像を取り込むことができるが、いくつかの実装形態では、カメラ402は、短期間にわたってシーン400の一連の画像を取り込むことができる。具体的には、カメラ402は、バースト連続画像(a burst of consecutive images)を取り込み、一連の画像の部分同士を比較して、それらの画像のうちのいくつかに取り込まれることのあるノイズの一部を除去した、集約画像を生み出すことができる。画像内のノイズは、画像取込み中に、イメージセンサから、またはカメラの移動から生じることがある。ノイズを低減させるために、カメラ402は、シーン400の一連の画像を利用して、起こり得るノイズを低減させた全体画像を創出することができる。それに加えて、カメラ402は、利用可能な周囲光の量に基づいて、イメージセンサの感度を上下させることもできる。

シーン400の初期画像のピクセルの全部または一部を構成するサブピクセルからの情報を使用して、カメラ402は、第1のサブピクセル画像404および第2のサブピクセル画像406を生成することができる。具体的には、第1のサブピクセル画像404は、初期画像からの第1組のサブピクセルによって表現され得、第2のサブピクセル画像406は、初期画像からの第2組のサブピクセルによって表現され得る。

一例として、第1のサブピクセル画像404は、シーン400を第1の角度から表現するために、青色サブピクセルおよび赤色サブピクセル、ならびに第1組の緑色サブピクセル(例えば各ピクセル内の上部ロウの緑色サブピクセル)から取得されたデータを表現することができる。この例では、第2のサブピクセル画像406は、シーン400を第2の角度から表現するために、青色サブピクセルおよび赤色サブピクセル、ならびに第2組の緑色サブピクセル(例えば各ピクセル内の下部ロウの緑色サブピクセル)から取得されたデータを表現することができる。第2の角度と第1の角度は、各ピクセル内の緑色サブピクセル間の位置の基線差のため、異なる場合がある。例として、第1の角度と第2の角度は、水平軸および/または垂直軸に沿って異なる場合がある。

別の例では、各ピクセルは、図3Bに示すピクセル312と同様にそれぞれが2つの異なるフォーカス面に分割された、2つの緑色サブピクセルを含むことができる。その結果として、第1のサブピクセル画像404は、緑色サブピクセルの第1のフォーカス面を表現することができ、第2のサブピクセル画像406は、緑色サブピクセルの第2のフォーカス面を表現することができる。

第1のサブピクセル画像404および第2のサブピクセル画像406を生成した後で、サブピクセル画像の対によって表現される異なる視点間に存在する視差が決定され得る。いくつかの例では、最初に取り込まれた画像内のサブピクセルからのデータに基づいて、サブピクセル画像の複数の組が抽出され得る。この複数の組は、元画像に取り込まれたシーン中の要素の深度の推定に使用することのできるサブピクセル画像を洗練し、創出するために利用され得る。

さらなる例では、視差を決定する前に、いくつかの実施形態では、カメラ402が、さらなる解析を可能にするために各サブピクセル画像の輝度または他のパラメータを調整すべく、第1のサブピクセル画像404および第2のサブピクセル画像406に対して正規化プロセスを実施することができる。例えば、サブピクセル画像同士を位置整合した後で、カメラ402は、サブピクセル画像内のノイズを除去するためにさらなる画像処理が必要であるとの決定をすることができる。

いくつかの例では、第1のサブピクセル画像404と第2のサブピクセル画像406の両方内に表現される部分408間の視差を決定するために、第1のサブピクセル画像404と第2のサブピクセル画像406が互いに位置整合され得る。画像位置整合には、第1のサブピクセル画像404と第2のサブピクセル画像406を、それらが「マッチする」ように互いに重ねて位置整合するための、コンピュータを利用した方法が関与し得る。画像位置整合のための一技法が、大域的な位置整合であり、大域的な位置整合では、一方のサブピクセル画像内の各サブピクセルに、このサブピクセル画像が他方のサブピクセル画像と実質的に位置整合するように、固定のx軸オフセットおよびy軸オフセットが適用される。

この文脈における実質的な位置整合とは、ピクセル間の誤差係数が最小限に抑えられるかまたはしきい値未満であると判定される位置整合とすることができる。例として、いくつかの位置整合候補について最小二乗誤差を計算することができ、最も小さな最小二乗誤差をもつ位置整合を、実質的な位置整合であると決定することができる。

いくつかの例では、位置整合には、サブピクセル画像をいくつかのピクセル近傍(例えばピクセルブロック)にパーティショニングすることが関与し得、各ピクセル近傍は、それぞれに対応する個々のオフセットに従って別々に位置整合され得る。その結果、一部のブロックが他のものとは別様にオフセットされることがある。ブロックの各位置整合候補について、平行移動されたソースサブピクセル画像内の全てのピクセルとターゲットサブピクセル画像内の全てのピクセルとの間の正味の差が決定されて合計され得る。この正味の誤差が記憶され、最小誤差をもつ平行移動が、実質的な位置整合として選択され得る。本明細書において説明したものに加えてまたはその代わりに、他の画像位置整合技法を使用することもできる。

第1のサブピクセル画像404内に表現されるシーン400の1つまたは複数の部分と第2のサブピクセル画像406内に表現されるシーン400の同一の1つまたは複数の部分との間の視差が、位置整合後に決定され得る。例として、部分408など、シーン400のフィーチャを表現するピクセルブロックが選択され、第1のサブピクセル画像404がそのピクセルブロックを表現する様子と第2のサブピクセル画像406が同じピクセルブロックを表現する様子との間の視差を決定するために使用され得る。

視差、および各ピクセル内の緑色サブピクセル間の距離を規定する基線距離を使用して、カメラ402は、第1のサブピクセル画像404および第2のサブピクセル画像406の部分408内に位置する、シーン400中の人物の深度を推定することができ、この深度は、カメラ402と人物との間の距離を表すものである。画像内に描かれたシーンが多数の物体を含む状況下では、視差および基線距離が、複数の物体の対相互および対カメラ402の深度を推定するために使用され得る。いくつかの例では、シーン400について、推定された深度マップが決定され得る。例として、深度マップは、第1のサブピクセル画像404と第2のサブピクセル画像406の同一の複数の部分を反復的に比較して、シーン400の異なる部分の深度を推定することによって、決定され得る。

推定された深度、または深度マップは、その後、元画像を修正する際に使用され得る。例えば、元画像の部分の深度推定が、画像の1つまたは複数の部分に焦点を合わせるとともに他の部分にぼかしを施しもした、画像の新たなバージョンを生成するために使用され得る。画像のこの新たなバージョンは、カメラのレンズによって生み出された画像の焦点外部分内に生じるぼかしの美的品質である、ボケ効果に似た見た目を有することができる。

さらなる例では、カメラ402は、画像の新たなバージョンを生成する際に、深度推定に加えてエッジ平滑化プロセスを使用することができる。エッジ平滑化プロセスは、画像の新たなバージョン内の焦点を合わされた要素とぼかしを施された部分との間の不連続(disconnection)を改善することができる。例として、エッジ平滑化は、焦点の合った要素のエッジを決定するために使用することができる。その結果として、焦点の合った要素の後ろの背景に、検出されたエッジまでぼかしを施すことができる。

さらなる例では、カメラ402はさらに、シーン400を描いた画像の1つまたは複数の部分の深度を推定するために、空間センサまたは別のセンサを使用することができる。1つまたは複数のセンサからの測定値は、カメラ402によって実施される他の深度推定を補うことができる。

別の例では、カメラ402は、信頼性レベルを深度推定と関連付けることができる。例として、カメラ402は、取り込まれた画像内の中心にあるシーン中の要素の深度推定について、より高い信頼性を割り当て、画像の端付近に位置するシーン中の要素の深度推定について、より低い信頼性を割り当てることができる。この割り当ては、画像取込み中にフォトサイトが光を受ける様式によるものであり得る。

いくつかの実施形態では、カメラ402は、フィーチャを隅部とともに含むシーンの部分の視差を決定することができる。これらの場合には、各サブピクセル画像内に表現されるシーンの同一部分間の視差を決定することには、各サブピクセル画像内の隅部を検出することと、一方のサブピクセル画像を他方に、平行移動に従ってワープさせることとが関与し得る。平行移動により、それらのサブピクセル画像内の隅部同士が実質的にマッチすることができる。その結果として、視差は、平行移動によって表されるピクセル距離に基づくことができる。

図5は、物体の画像を取り込む画像取込みコンポーネントの簡略表現を示す。画像取込みコンポーネントは、レンズ502および記録面504を含む。物体500を表現する光が、レンズ502を通過し、記録面504上に物体500の像を形成する(レンズ502の光学系のため、記録面504上の像は上下反対に現れる)。レンズ502は、それが図5に関して左または右に移動できるという点で、調整可能であってよい。例として、調整は、レンズ502の位置を制御するモータ(図5に図示せず)に電圧を印加することによって行われてよい。モータは、レンズ502を記録面504からさらに遠くに、または記録面504のより近くに、移動させることができる。したがって、画像取込みコンポーネントは、ある範囲の距離にある物体に焦点を合わせることができる。任意の時点でのレンズ502と記録面504との間の距離は、レンズ位置として知られており、通常はミリメートルの単位で測定される。レンズ502とそのフォーカス領域(area of focus)との間の距離は、フォーカス距離(focus distance)として知られており、ミリメートルの単位または他の単位で測定され得る。

焦点距離は、レンズの固有の特性であり、レンズがズームレンズでない場合は、固定である。レンズ位置は、レンズ面と記録面との間の距離を指す。レンズ位置は、物体を鮮鋭に(焦点の合った状態に)見せるように調整することができる。いくつかの実施形態では、レンズ位置は焦点距離によって近似され、レンズが無限遠に焦点を合わせるように動かされる場合、レンズ位置は焦点距離に等しい。したがって焦点距離は既知であり、非ズーム画像取込みコンポーネントでは固定であり、一方レンズ位置は、未知であるが、画像取込みコンポーネントの焦点を物体に合わせるために推定することができる。

オートフォーカスは、ユーザの手をほとんどまたは全く借りずに画像取込みコンポーネントの焦点を合わせるために使用される方法である。オートフォーカスは、焦点を合わせるべきシーンの領域を自動的に選択することもでき、あるいは、シーンの予め選択された領域に焦点を合わせることもできる。オートフォーカスソフトウェアは、画像取込みコンポーネントの焦点が物体に十分によく合わされている、とそれが判定するまで、画像取込みコンポーネントのレンズ位置を自動的に調整することができる。

上で論じたように、画像を取り込んだ後で、取り込まれた画像を構成するピクセルのサブピクセル内のデータに基づいて、サブピクセル画像が抽出され得る。複数の画像取込みコンポーネントを用いて構成されたステレオカメラを使用して2つの画像を同時に取り込むのと同様に、取り込まれた画像に端を発するサブピクセル画像も、画像の各ピクセル内のサブピクセルの間隔のため、わずかに異なる位置からのシーンの視点をもたらすことができる。各ピクセル内の緑色サブピクセルの位置間の基線距離は、極小であるが、この基線距離は、緑色サブピクセルが、ステレオカメラによって取り込まれた画像の対と同様に、わずかに異なる視点から画像内に取り込まれたシーンを伝えることができるようにするのに十分である。

ピクセル内の緑色サブピクセル間の基線距離と、シーン中の物体とに基づく三角測量は、画像取込みコンポーネントから物体までの距離を推定するために使用することができる。図6に移ると、第1の緑色サブピクセル602および第2の緑色サブピクセル604は、画像のピクセル内のサブピクセルを表しており、それらはx軸(水平)上で互いに基線距離bだけ離れているものと仮定する。図6は、第1の緑色サブピクセル602および第2の緑色サブピクセル604を、はっきりと見える距離を間に有するものとして表示しているが、この構成は、例示を目的としたものである。実際には、第1の緑色サブピクセル602と第2の緑色サブピクセル604は、ピクセルが一般にごく小さな類のものであるため、たいていは極小距離だけ離れたところに位置付けられている。

物体の画像を取り込むカメラは、焦点距離fを有する(その位置および大きさは、図6では、例示を目的として誇張してある)。その結果として、第1の緑色サブピクセル602および第2の緑色サブピクセル604は、z軸上の、カメラから距離z(すなわち深度)にある物体を示すデータを有する。bおよびfの値は既知であるが、zの値は推定される。

そうする1つの方途は、物体のサブピクセル画像をそれぞれ、第1の緑色サブピクセル602からのデータおよび第2の緑色サブピクセル604からのデータに基づいて決定する、というものである。取り込まれた画像の各ピクセル内の第1の緑色サブピクセル602と第2の緑色サブピクセル604の位置の差のため、物体は、第1の緑色サブピクセル602に基づくサブピクセル画像内では、わずかに右側に現れ、第2の緑色サブピクセル604に基づくサブピクセル画像内では、わずかに左側に現れる。同一物体がこれらのサブピクセル画像内に現れるときの、それらの間のこのx軸距離が、視差dである。

第1の三角形MNOは、第1の緑色サブピクセル602と、第2の緑色サブピクセル604と、物体との間で描くことができる。また、第2の三角形PQOは、(第1の緑色サブピクセル602に基づくサブピクセル画像内に物体が現れる)点Pから、(第2の緑色サブピクセル604に基づくサブピクセル画像内に物体が現れる)点Q、点Oへと、描くことができる。

形状的には、三角形MNOと三角形PQOは、それらの対応する角度が全て、同じ大きさを有するという点で、相似三角形である。結果として、それらは、幅と高さの比も同じである。したがって、以下の通りである。

このようにして、カメラから物体までの距離zが、直接推定され得る。唯一残っている未知数が、視差dである。しかし、この値は、第1の緑色サブピクセル602および第2の緑色サブピクセル604に基づいて創出されたサブピクセル画像に基づいて推定され得る。

図7は、単一の画像取込みコンポーネントを使用して、焦点を合わされた画像を生成する様子を示す。入力画像700は、単一の画像取込みコンポーネントによって取り込まれ得、図では、おもちゃの犬702が、人物の足704および椅子706の正面のデッキ上に位置するシーンを描いている。図7に示すように、入力画像700は、全ての要素を、ぼかしを施された部分の全くないはっきりとした描写としての2D画像の形で示す。

入力画像700を取り込んだ後で、深度マップ708が決定され得る。具体的には、深度マップ708は、入力画像700のシーン中の要素の推定された深度を描くことができる。深度マップ708を創出するために、入力画像700のピクセルから取得されたサブピクセル情報に基づいて、サブピクセル画像の対が抽出され得る。上で論じたように、入力画像700のピクセル内の緑色サブピクセルの位置の差が極小であるため、サブピクセル画像は、ステレオカメラの複数の画像取込みコンポーネントによって取り込まれた異なる画像と同様に、シーンを異なる視点から表現することができる。その結果として、深度マップ708が、三角測量を使用して創出され得る。

深度マップ708は、入力画像700の部分の推定された深度を示し、より明るい部分(例えばおもちゃの犬702)が、背景内に位置するより暗い部分(例えば足704、椅子706)に比べてカメラのより近くに位置する要素を示している。カメラデバイスは、入力画像700の要素相互の相対的な深度を大まかに推定した深度マップ708を生成することができる。図示のように、深度マップ708内のシェーディングは、おもちゃの犬702が前景(例えばより明るいシェーディング)内に位置し、一方、足704および椅子706が背景(例えばより暗いシェーディング)内に位置を占めているようだ、ということを示しているようである。換言すれば、深度マップ708は、おもちゃの犬702が、画像取込み中に、足704および椅子706に比べてカメラのより近くに位置していた、ということを示す。

修正画像710は、最初に取り込まれた入力画像700の修正バージョンを表す。具体的には、修正画像710は、おもちゃの犬702に焦点を合わせており、さらに、足704および椅子706にボケ効果と同様にぼかしを施している。深度マップ708を推定した後で、最初に取り込まれた入力画像700内の要素の推定された深度に基づいて、修正画像710が創出され得る。

いくつかの例では、修正画像710を生成することには、画像の部分を鮮鋭化して、画像のコントラストを上げることが関与し得る。具体的には、鮮鋭化により、修正画像710内のエッジの鮮鋭度(definition)が向上し得る。例えば、おもちゃの犬702のエッジが鮮鋭化されてよい。鮮鋭化は、1ステップで、または一連の反復として、実施され得る。

さらなる例では、修正画像710を生成することには、画像の1つまたは複数の部分にぼかしを施すことが関与し得る。ぼかしを施すことにより、入力画像700から画像の粒子およびノイズが除去され得る。いくつかの例では、ぼかしを施すことには、ぼかし効果を生み出すように、修正画像710の部分に対してノイズを追加または除去することが関与し得る。ガウスぼかしを使用することができ、これには、画像の部分にガウス関数によってぼかしを施すことが関与する。ボケ効果とは異なり、ガウスぼかしは、画像の部分を半透明のスクリーンを通じて見るのと同様の、スムーズなぼかしを生じさせることができる。したがって、ガウスぼかしは、画像の要素を向上させるために実施することができる。他の例では、他のタイプのぼかし効果(blurring effect)を使用することができる。例として、修正画像710の背景要素にぼかしを施すために、円形のボックスぼかし(circular box blur)を使用することができる。

いくつかの例では、シーンの部分に焦点が合っているとともにシーンの1つまたは複数の他の部分にぼかしを施された、画像の新たなバージョンを生成することには、エッジ認識平滑化を実施することが関与し得る。具体的には、エッジ認識平滑化により、新たなバージョン内の焦点を合わされた部分が、シーンのぼかしを施された1つまたは複数の他の部分に対してスムーズなエッジを有することが可能になり得る。

いくつかの実施形態では、修正画像710内の焦点を合わされた部分およびぼかしを施された部分が、入力画像700を取り込む際に最初に受けたユーザ入力を考慮に入れることができる。例として、入力画像700を取り込む準備をする際に、カメラデバイスは、カメラの可能な画像の視点を、ビューファインダを使用して表示することができる。ビューファインダは、画像取込み中にカメラが焦点を合わせるべきシーンの部分をユーザが選択することを可能にする、タッチスクリーンとすることができる。その結果として、修正画像710を生成するとき、カメラデバイスは、修正画像710内のどの要素(例えばおもちゃの犬702)に焦点を合わせるか、またどの要素にぼかしを施すかの決定の際に、ユーザによるシーンの事前の選択を考慮に入れることができる。

図8は、単一の画像取込みコンポーネントを使用して取り込まれた画像を修正する様子の別の例を示す。入力画像800は、図1Aに示すデジタルカメラデバイス100の前面カメラ104などのカメラによって取り込まれた人物802の画像である。

入力画像800を取り込んだ後で、カメラまたは別のコンピューティングシステムは、画像処理またはコンピュータビジョンソフトウェアを使用して、画像コンテンツの大まかなレビューを実施することができる。大まかなレビューに応答して、カメラは、人物802が入力画像800内に存在する、と判定することができる。

いくつかの例では、入力画像800の大まかなレビューには、ニューラルネットワークプロセスを使用して、入力画像800内の人物802を検出することが関与し得る。例として、ニューラルネットワークプロセスには、入力画像800の層をスキャンして、入力画像800内の人物の存在を示す人物802の顔または他の部分を検出することが関与し得る。人物802を検出した後で、ニューラルネットワークプロセスには、入力画像800をセグメントに分割して、入力画像800の、人物802を含むセグメントと含まないセグメントとをさらに分離することが関与し得る。いくつかの例では、エッジ検出を使用して、人物802のエッジを含む、入力画像800内の物体の境界を見出すことができる。エッジ検出は、輝度の不連続箇所を検出することができ、画像セグメンテーションおよびデータ抽出に使用することができる。

出力画像804内に示すように、ニューラルネットワークプロセスはさらに、入力画像800の人物802を表現する部分を白色に色付けするとともに、入力画像800の人物802を表現していない部分を黒色に色付けすることができる。この二値プロセスを使用して、カメラは、入力画像800の主要な焦点(すなわち人物802)と入力画像800の他の部分とを区別することができる。その結果として、カメラは、出力画像804内に表すように人物802に焦点を合わせるとともに人物802の後ろの背景にぼかしを施すように、入力画像800を修正することができる。さらなる例では、カメラは、人物802の入力画像800に、1つまたは複数の他の画像処理技法を適用することもできる。

いくつかの例では、画像処理を使用した入力画像800の初期解析時に、カメラは、人物802が別の物体(例えばテーブル)に相対的に位置している、と判定することができる。画像内の人物802と他のものとの間の近接さに応じて、カメラは、上で説明した深度推定技法を使用して、解析を補うことができる。例えば、カメラは、入力画像800に基づいてサブピクセル画像を生成し、そのサブピクセル画像を使用して、入力画像800に取り込まれたシーンに対応する深度マップを推定することができる。上で論じたように、カメラデバイスは、全てのピクセル内の第1の緑色サブピクセルからのデータを反映した第1のサブピクセル画像、および画像内の全てのピクセル内の第2の緑色サブピクセルからのデータを反映した第2のサブピクセル画像を生成することができる。ピクセル内の緑色サブピクセルの位置のわずかな差により、生成されたそれらのサブピクセル画像が、わずかに異なる視点からのシーンを伝えることができる。

カメラデバイスは、サブピクセル画像の対を使用して、サブピクセル画像の各々によってそれぞれ表現されるシーンの同一の1つまたは複数の部分間の視差を決定することができる。サブピクセル画像間の決定された視差、およびピクセル内の2つの緑色サブピクセル間に存在する基線距離に基づいて、カメラデバイスは、シーンの粗い深度マップを推定することができる。深度マップは、取り込まれた画像内の物体相互の相対的な深度を大まかに示すことができる。

いくつかの実装形態では、カメラデバイスは、深度マップを使用して、画像の特定の物体または人物(例えば人物802)または部分に合わせた焦点を含むとともにシーンの他の部分にぼかしを施しもした、初期画像の新たなバージョンを生成することができる。カメラデバイスは、焦点を合わせる画像の部分を、画像に取り込まれたシーンの一般的なレイアウトに応じて、または追加情報(例えば画像取込み中の焦点を指定したユーザ入力)に基づいて、特定することができる。したがって、カメラは、セグメント化された画像804と、推定された深度マップとの組合せを使用して、人物802に焦点を合わせるとともにシーンの他の要素にぼかしを施した、入力画像800の新たなバージョンを生成することができる。

さらなる例では、カメラが、画像セグメンテーションプロセスを使用して、画像を複数のセグメントにパーティショニングすることができる。各セグメントは、画像のピクセルのセットを含むことができる。カメラは、それぞれに対応する特徴を共有するセグメントを特定し、それぞれに対応する特徴を共有するセグメントに基づいて、シーン中のフィーチャの境界をさらに特定することができる。シーン中の物体に焦点が合っているとともにシーンの1つまたは複数の他の部分にぼかしを施された、画像の新たなバージョン。これは、画像セグメンテーションプロセスを使用して特定された境界に基づいて、シーンの部分内の物体の境界を決定することによって、生成され得る。

別の実装形態では、カメラが、画像を取り込む際にカメラが焦点を合わせるべきシーンの焦点アスペクト(focal aspect)を指定する入力を受けることができる。例えば、カメラは、カメラの視点からのシーンの光景を表示するタッチスクリーンを介して、入力を受けることができる。したがって、カメラは、各サブピクセル画像がシーンの、焦点アスペクトを含む所与の部分を描く様子間の視差を、決定することができる。この視差が、シーンの深度マップを生成するために使用され得る。

いくつかの実施形態では、各サブピクセル画像によって表現されるシーンの同一部分間の視差が、各サブピクセル画像内のピクセル近傍を特定することによって決定され得る。所与のサブピクセル画像のピクセル近傍は、他方のサブピクセル画像の他のピクセル近傍と実質的に位置整合するまでシフトされ得る。その結果として、視差は、シフトによって表されるピクセル距離に基づくことができる。視差はその後、シーンの深度マップを生成するために使用され得る。

いくつかの例では、サブピクセル画像間のピクセル近傍間の位置整合に基づいて、信頼性が決定され得る。信頼性は、各サブピクセル画像からのピクセル近傍内のピクセル同士が所与のシフト後にいかに十分に位置整合しているか、を示すことができる。したがって、決定された信頼性がしきい値信頼性レベル未満であるとき、しきい値信頼性レベルを上回る信頼性をもたらす、各サブピクセル画像からのピクセル近傍間の後続の位置整合を決定するように、1回または複数回の後続のシフトが実施され得る。決定された信頼性がしきい値信頼性レベルを上回るとき、両方のサブピクセル画像によって表現されるシーンの同一部分間で、視差が決定され得る。

4.例示的な動作
図9は、例示的な一実施形態を示すフローチャートである。図9によって示される実施形態は、デジタルカメラデバイス100などのコンピューティングデバイスによって遂行され得る。しかし、本実施形態は、他のタイプのデバイスまたはデバイスサブシステムによって遂行されてよい。さらに、本実施形態は、本明細書または添付の図面において開示する任意の態様または特色と組み合わされてもよい。

図9のブロック900には、シーンの画像を取り込むことが関与し得る。画像取込みコンポーネントは、1つまたは複数の開口部、レンズ、および記録面を含むことができる。

ブロック902には、シーンの画像に基づいて、シーンの第1のサブピクセル画像、およびシーンの第2のサブピクセル画像を生成することが関与し得る。第1のサブピクセル画像は、画像からの第1組のサブピクセルによって表現され得、第2のサブピクセル画像は、画像からの第2組のサブピクセルによって表現され得る。シーンの画像内の各ピクセルは、2つの緑色サブピクセルを含むことができ、それらは、第1のサブピクセル画像および第2のサブピクセル画像内にそれぞれ表現される。例えば、画像の各ピクセルは、2サブピクセル×2サブピクセルの正方形として配列された4つのサブピクセルを有することができ、第1の緑色サブピクセルが、2サブピクセル×2サブピクセルの正方形の上部ロウ上に位置付けられ、第2の緑色サブピクセルが、2サブピクセル×2サブピクセルの正方形の下部ロウ上に位置付けられる。そのような配列では、第1の緑色サブピクセルと第2の緑色ピクセルが、画像の各ピクセル内で対角配列をなすことができる。

いくつかの実施形態では、シーンの第1のサブピクセル画像が、シーンを第1の角度から表現することができ、シーンの第2のサブピクセル画像が、シーンを第2の角度から表現することができる。第1の角度は、第2の角度とは異なり得る。例えば、シーンを第1の角度から表現するシーンの第1のサブピクセル画像と、シーンを第2の角度から表現するシーンの第2のサブピクセル画像は、水平面に沿って異なり得る。別の例では、シーンを第1の角度から表現するシーンの第1のサブピクセル画像と、シーンを第2の角度から表現するシーンの第2のサブピクセル画像は、垂直面に沿って異なり得る。いくつかの例では、第1のサブピクセル画像と第2のサブピクセル画像が、シーンを、水平面と垂直面の両方に沿って異なる角度から表現し得る。

ブロック904には、第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間の視差を決定することが関与し得る。

ブロック906には、視差、および2つの緑色ピクセル間の基線距離に基づいて、シーンの深度マップを推定することが関与し得る。例として、深度マップは、視差、および2つの緑色サブピクセル間の基線距離に基づく、シーンの部分の、シーンの1つまたは複数の他の部分に対する相対的な深度を示すことができる。例えば、シーンの部分を描いた、画像のピクセルのセットの深度が、シーンの他の部分を描いた、画像のいくつかのピクセル数の深度に対して相対的に推定され得る。

図示していないが、図9の実施形態には、シーンの部分の、シーンの1つまたは複数の他の部分に対する相対的な推定された深度に基づいて、シーンの部分に焦点が合っているとともにシーンの1つまたは複数の他の部分にぼかしを施された、画像の新たなバージョンを生成することがさらに関与し得る。

さらに、図9の実施形態には、画像セグメンテーションプロセスを使用して、画像を複数のセグメントにパーティショニングすることも関与し得る。各セグメントは、画像のピクセルのセットを含むことができる。本実施形態には、それぞれに対応する特徴を共有するセグメントを決定し、それぞれに対応する特徴を共有するセグメントに基づいて、画像内に描かれたシーン中のフィーチャの境界を特定することが関与し得る。いくつかの例では、シーンの部分に焦点が合っているとともにシーンの1つまたは複数の他の部分にぼかしを施された、画像の新たなバージョンを生成することには、画像セグメンテーションプロセスを使用して特定された境界に基づいて、シーンの部分内の物体の境界を決定することと、物体に焦点が合っているとともに物体の後ろに位置する背景にぼかしを施された、画像の新たなバージョンを生成することとが関与し得る。

別の実装形態では、図9の実施形態には、画像を取り込む際にカメラが焦点を合わせるべきシーンの焦点アスペクトを指定する入力を受けることがさらに関与し得る。例えば、入力を受けることには、カメラの視点からのシーンの光景を表示するように構成可能なタッチスクリーンを介して、入力を受けることが関与し得る。第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間の視差を決定することには、第1のサブピクセル画像および第2のサブピクセル画像によって表現される、焦点アスペクトを含むシーンの所与の部分間の視差を決定することが関与し得る。

さらなる一実装形態では、図9の実施形態には、部分の深度を、畳込みニューラルネットワークベースのマスクを使用して決定することがさらに関与し得る。

本実施形態には、ニューラルネットワークベースのマスクを使用して決定された部分の深度に基づいて、シーンの部分に焦点が合っているとともにシーンの1つまたは複数の部分にぼかしを施された、画像の新たなバージョンを修正することがさらに関与し得る。

いくつかの実施形態では、第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間の視差を決定することには、第1のサブピクセル画像内の第1のピクセル近傍を特定することと、第2のサブピクセル画像内の第2のピクセル近傍を特定することとが関与する。第1のピクセル近傍または第2のピクセル近傍は、第1のピクセル近傍と第2のピクセル近傍が実質的に位置整合するまでシフトされ得る。視差は、シフトによって表されるピクセル距離に基づく。

場合によっては、第1のピクセル近傍または第2のピクセル近傍をシフトさせることには、第1のピクセル近傍または第2のピクセル近傍をx軸上でのみシフトさせることが関与し得る。第1のピクセル近傍または第2のピクセル近傍を、第1のピクセル近傍と第2のピクセル近傍が実質的に位置整合するまでシフトさせることには、第1のピクセル近傍または第2のピクセル近傍間の第1のシフトを実施して、第1のピクセル近傍と第2のピクセル近傍との間の第1の位置整合を決定することが関与し得る。第1のピクセル近傍と第2のピクセル近傍との間の位置整合を改善するために、第1のピクセル近傍または第2のピクセル近傍間の1回または複数回の追加のシフトが使用され得る。

第1のピクセル近傍と第2のピクセル近傍との間の第1の位置整合に基づいて、信頼性が決定され得る。例として、信頼性は、第1のピクセル近傍内のピクセルが第2のピクセル近傍内のピクセルといかに十分に位置整合しているかを比較することによって、決定され得る。決定された信頼性がしきい値信頼性レベルを下回るとき、しきい値信頼性レベルを上回る信頼性をもたらす第1のピクセル近傍と第2のピクセル近傍との間の後続の位置整合を決定するように、第1のピクセル近傍と第2のピクセル近傍との間の1回または複数回の後続のシフトが実施され得る。決定された信頼性がしきい値信頼性レベルを上回るとき、第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間で、視差が決定され得る。

本明細書において説明する実質的な位置整合とは、ブロック間の誤差係数が最小限に抑えられるかまたはしきい値未満であると判定される位置整合とすることができる。例として、いくつかの位置整合候補について最小二乗誤差を計算することができ、最も小さな最小二乗誤差をもつ位置整合を、実質的な位置整合であると決定することができる。

いくつかの実施形態では、第1のサブピクセル画像によって表現されるシーンの部分と第2のサブピクセル画像によって表現されるシーンの該部分との間の視差を決定することには、第1のサブピクセル画像内の第1のピクセル近傍と第2のサブピクセル画像内の第2のピクセル近傍との間のいくつかの位置整合候補に対して、最小二乗誤差法を実施することが関与し得る。場合によっては、最小二乗誤差法を実施することに基づいて、第1のピクセル近傍と第2のピクセル近傍が実質的に位置整合するような、第1のピクセル近傍と第2のピクセル近傍との間の位置整合が決定され得る。視差は、第1のピクセル近傍と第2のピクセル近傍との間の決定された位置整合に基づくことができる。

いくつかの実施形態では、シーンの部分の、シーンの1つまたは複数の他の部分に対する相対的な深度を推定することには、シーンの部分の深度を、カメラデバイスの空間センサを使用して推定することが関与し得る。

さらなる実施形態では、シーンの部分に焦点が合っているとともにシーンの1つまたは複数の他の部分にぼかしを施された、画像の新たなバージョンを生成することには、画像の新たなバージョンに対してエッジ認識平滑化を実施し、それによって、画像の新たなバージョン内で、シーンの部分が、シーンのぼかしを施された1つまたは複数の他の部分に対してスムーズなエッジを有するようにすることが関与し得る。

いくつかの実施形態では、シーンの部分が、フィーチャを隅部とともに含むことができる。これらの場合には、第1のサブピクセル画像内に表現されるシーンの部分と第2のサブピクセル画像内に表現されるシーンの該部分との間の視差を決定することには、第1のサブピクセル画像内および第2のサブピクセル画像内の隅部を検出することと、第1のサブピクセル画像または第2のサブピクセル画像を他方に、平行移動に従ってワープさせ、それによって、第1のサブピクセル画像および第2のサブピクセル画像内の隅部同士が実質的にマッチするようにすることとが関与し得る。視差は、平行移動によって表されるピクセル距離に基づくことができる。

図10は、例示的な一実施形態を示す別のフローチャートである。図10によって示される実施形態は、デジタルカメラデバイス100などのコンピューティングデバイスによって遂行され得る。しかし、本実施形態は、他のタイプのデバイスまたはデバイスサブシステムによって遂行されてよい。さらに、本実施形態は、本明細書または添付の図面において開示する任意の態様または特色と組み合わされてもよい。

図10のブロック1000には、シーンの画像を取り込むことが関与し得る。画像取込みコンポーネントは、1つまたは複数の開口部、レンズ、および記録面を含むことができる。例として、画像取込みコンポーネントは、画像を、ポートレートモード、または取り込まれた画像内の全ての要素がそれにより鮮鋭に見える結果となる別のモードを使用して、取り込むことができる。いくつかの例では、画像を取り込む際にカメラが動作しているモードは、最初に取り込まれた画像に基づいて最終レンダリング画像(final rendered image)を生み出すためのプロセスに影響を及ぼすことがある。

いくつかの実装形態では、画像を取り込むことには、取り込まれた画像の質を向上させるための、コンピュータを利用した1つまたは複数の写真技法を実施することが関与し得る。例えば、向上技法には、白飛びさせないように露出不足にしたバースト画像(a burst of images)を取り込み、次いで、画像内のノイズを低減させるためにこれらのフレームを位置整合および平均化することが関与し得る。例として、フレーム同士を位置整合および平均化することにより、影(および画像の他の部分)内のノイズが低減され、それに応じて、大域コントラストを低減させながらも局所コントラストを維持する要領で、影が強調され得る。上記の例示的な技法ならびに他の技法は、薄暗い照明を用いてシーンを取り込んだ画像においてさえ、取り込まれた画像に高ダイナミックレンジ、低ノイズ、および鮮鋭な細部をもたせることができる。

さらに、いくつかの例では、ノイズを低減させるためにフレーム同士を位置整合および平均化したことにより、画像内に二重像(ゴースト)が現れるのを制限するために追加の解析が必要になる場合がある。具体的には、ゴーストは、画像取込み中にカメラデバイスが安定していないときに、または画像取込み中にシーン中のフィーチャが移動したときに、画像内に現れることがある。したがって、画像内のノイズを低減させるためにフレーム同士を位置整合および平均化したにも関わらず、追加で解析し、洗練することにより、取り込まれた画像内にゴーストが現れるのが低減され、防止され得る。

ブロック1002には、機械学習ベースの前景-背景セグメンテーションを実施することが関与し得る。具体的には、前景-背景セグメンテーションは、画像のどのピクセルが前景に属し(例えば、焦点となる被写体である人物)、どのピクセルが背景に属するかを決定するために使用することができる。

いくつかの例では、取り込まれた画像に対して前景-背景セグメンテーションを実施するために、ニューラルネットワークが使用される。ニューラルネットワークは、どのピクセルが前景内の主要な焦点を表し、どのピクセルが表していないかを推定するために、画像を解析することができる。このプロセスは、図8に示す入力画像800および出力画像804に似た結果を生み出すことができる。さらなる例では、画像の前景内に位置する物体に対応するピクセルを検出するように、ニューラルネットワークをトレーニングすることもできる。

いくつかの実装形態では、ニューラルネットワークは、スキップ接続をもつ畳込みニューラルネットワーク(CNN)とすることができる。「畳込み」という用語は、ネットワークの学習されたコンポーネントが、フィルタ(各ピクセルの周囲の近傍ピクセルの加重和)の形態をとる、ということを表すことができる。したがってCNNは、画像をフィルタリングし、次いで、フィルタリングされた画像をさらにフィルタリングすることができる。CNNを使用したこのフィルタリングプロセスは、反復的に繰り返され得る。

それに加えて、CNNに関連するスキップ接続は、CNNが低レベルフィーチャ(例えば色およびエッジ)について推論するCNNプロセス内の初期段階から、CNNが高レベルフィーチャ(例えば顔および身体部位)について推論するCNNの後の段階まで、情報が容易に流れることを可能にすることができる。CNNを使用した処理段階同士を組み合わせると、どのピクセルが所望の物体に対応するか(例えばどのピクセルが人物に対応するか)を特定することを含めて、画像の所望の被写体を特定して、それに焦点を合わせる(例えば人物に焦点を合わせる)ことが可能になる。

さらなる例では、CNNは、CNNによる事前のトレーニング(例えば数百、数千、または数百万の画像の解析)を使用して、CNNの実施を向上させることができる。例として、CNNは、さまざまなシーンの多数の画像を解析することによってトレーニングおよび改良され得る。一例として、人々を含む画像に対して前景-背景セグメンテーションを実施するために使用されるCNNは、人々の新規画像に対するCNNの後続の実施を向上させ、洗練するために、さまざまな位置を占め、さまざまな配向およびアクセサリ(例えば帽子、サングラス、アイスクリームコーン)を有する人々を含む画像を使用してトレーニングされ得る。CNNの他の用法には、画像内の他の物体を検出するようにCNNをトレーニングすることが関与し得る。

いくつかの実装形態では、元画像の前景と背景とをよりはっきりと区別するために、CNN解析の出力が平滑化され得る。例えば、出力は、画像の主要な焦点である人物によって保持された物体を特定して、保持された物体を前景の一部として関連付けることができる。画像に対するCNN解析の結果を使用して、画像の背景全体の一様なぼかしを施すことができる。これにより画像が向上し得るが、背景内のさまざまな深度のところの物体同士を区別して、それらに別様にぼかしを施すために、追加ステップを使用することができる。

さらなる例では、ネットワークを使用した前景-背景セグメンテーションには、画像の焦点となる所望の被写体に直接関連しない画像の前景内の物体を検出することが関与し得る。例えば、最初に取り込まれた画像が、主要な被写体(例えば人物)が一切れのパイを食べているところが関与するシーンを描いているとき、その一切れのパイが、画像内の、カメラに近い全***置を占めていることがある。そのような状況下では、この一切れのパイは、CNNによって背景の一部として特定され得ない。そのため、CNNまたは別の技法は、一切れのパイ(すなわち、または取り込まれた画像内でカメラに近い同様の位置を占めている他の物体)を、後にそのピクセルにぼかしを施して最終レンダリング画像を向上させることができるようにするために、明確に特定することができる。というのも、これらのピクセルは、前景内の物体の一部であるが、直接的には、焦点を合わされた被写体(例えば人物)の一部ではないためである。

ブロック1004には、画像を使用して深度マップを推定することが関与し得る。具体的には、元画像の部分にぼかしを施した最終レンダリング画像を向上させるために、シーン中の各点における深度が決定されて使用され得る。いくつかの例では、深度をコンピュータ計算することには、ステレオプロセスを使用することが関与し得る。上で論じたように、カメラは、サブピクセルに分割することのできるピクセルを含むことができる。例として、カメラは、デュアルピクセルオートフォーカス(DPAF)とも呼ばれる、位相差検出オートフォーカス(PDAF)ピクセルを含むことができる。いくつかの例では、深度情報は、ニューラルネットワークによる、最終画像を向上させて生み出す際の解析を補うために使用され得る。

いくつかの実装形態では、画像の深度を推定することには、カメラのレンズの異なる部分からの視点を画定して使用することが関与し得る。例として、カメラのレンズを2つの半体(例えば左と右、上方と下方)に分割することによって、レンズの一方の半体を通じて見られるシーンの光景が、レンズの他方の側を通じた光景とはわずかに異なる。2つの視点間のわずかな差は、いくつかの例では、1ミリメートル離れている(例えば大まかにレンズの直径)かまたはそれ未満のような、小さいものとすることができる。異なる視点間の差は極小であるが、この差は、シーンの推定された深度マップを生み出すためのステレオプロセスを実施するのに十分となり得る。

イメージレンズの異なる半体からシーンを見ることが関与する上記のプロセスは、イメージセンサ上の全てのピクセルを2つのより小さな横並びのピクセルに分割し、それらをイメージセンサから別々に読み出すことに似た結果を生み出すことができる。したがって、いくつかの例には、深度マップを生み出すための一方または両方の技法を使用することが関与し得る。例えば、一方のプロセスが、他方のプロセスを使用して決定された深度推定をチェックするために使用され得る。さらなる例では、必要な時間およびリソースを低減させるために、画像に関する深度情報が、レンズを2つの部分に分割することが関与するプロセスのみを使用して決定され得る。

上で論じたように、カメラのレンズが、PDAFピクセル、またはサブピクセルに分けることのできる類似のピクセルを含むとき、レンズの異なる半体(例えば左と右)により、1回の画像取込みにおいて、深度マップの推定が可能になり得る。これらの異なる視点が、ステレオプロセスへの入力として使用されて、低解像度の深度マップが生み出され得る。例として、このプロセスは、サブピクセル精度のタイルベースの位置整合を実施して、低解像度の深度マップを生み出すことができ、低解像度の深度マップは、単純なフィルタリングとエッジ認識平滑化とを実施することのできるバイラテラルソルバを使用して、より高解像度の深度マップに補間され得る。いくつかの例では、カメラがポートレート配向に保持されているなどのときに、PDAFピクセル(または類似のピクセル)は、レンズの上方半体および下方半体に対応する分割された光景を可能にすることができる。

さらに、いくつかの例では、レンズをサブピクセルに基づいて分割すると、結果として得られる深度マップは、(赤色ピクセルまたは青色ピクセルを使用せずに)イメージセンサの緑色ピクセルのみが使用されているときのような白黒に見え得る。しかし、他の例には、ピクセルの全ての色を使用することが関与し得る。

いくつかの例では、上記の技法のうちの1つまたは複数を使用して推定された深度情報が、画像内の低照度または高ノイズのため、いくらかの不正確さを含んでいることがある。したがって、不正確さを低減させるために、いくつかの深度推定技法にはさらに、左側および右側のバースト画像を取り込み、次いで、それらの画像を位置整合および平均化してから、ステレオプロセスを使用して深度を推定し始めることが関与し得る。左側および右側(または上方および下方)のバースト画像を位置整合および平均化することにより、ノイズが低減するとともに結果として得られる低解像度深度マップが向上し得る。

ブロック1006には、更新された画像を生成することが関与し得る。具体的には、上記の技法は、最初に取り込まれた画像に比べて向上された点を含む最終画像を生み出すことを目指すものである。例として、最終画像は、ぼかし効果を利用して、浅い被写界深度で取り込まれた画像と同様に、光景の注意を画像内の主要な焦点のほうに引くのを助けることができる。具体的には、浅い被写界深度の画像は、見る人の注意を画像の焦点のほうに向けるのに役立つことができるとともに、複雑背景(cluttered background)を抑えるのにも役立ち、それによって、画像の見た目全体が向上し得る。

いくつかの例では、ブロック1002においてコンピュータ計算されたセグメンテーションマスクとブロック1004において推定された深度マップとの組合せが、向上された最終画像を生み出す際に元画像内の各ピクセルにどれだけぼかしを施すべきかを決定するために使用され得る。具体的には、前景内に存在するシーンの焦点フィーチャ(例えば画像の中心の人物)が鮮鋭なピクセルを維持できるとともに、シーンの背景の一部である他のフィーチャにぼかしを施されて、最終画像が向上し得る。いくつかの例では、画像の背景内のフィーチャのピクセルが、焦点の合った面(in-focus plane)から(例えばカメラから)各背景フィーチャがどれだけ離れているかを元にそれに比例してぼかしを施され得る。推定された深度マップは、背景フィーチャと、焦点の合った面との間の距離を推定するために、使用され得る。

いくつかの実装形態では、背景フィーチャのピクセルにぼかしを施すことには、そのピクセルを、同一色だが可変なサイズの半透明の円板(disk)と置き換えることが関与し得る。これらの全ての円板を、円板同士を平均化するのと同様に、深度順に合成することによって、向上された最終画像内の結果は、大型レンズをもつ一眼レフ(SLR)カメラを使用することから得られる真の光学的ぼかしに類似したものになる。上記の技法を使用して適用される合成焦点ぼけ(synthetic defocus)は、最終画像内に円板形状のボケ効果を、他のカメラがその効果を達成するためにしばしば使用する大きな機器を必要とすることなく、生み出すことができる。さらに、SLRカメラとは異なり、ボケ効果は、上記の技法を使用して最終画像内に他の形状を有するように修正することができ、というのも、ボケ効果は合成的に適用されるためである。

いくつかの例では、上記の方法には、取り込まれた画像に対して深度マップまたはニューラルネットワークのみを使用することが関与し得る。例として、カメラが、ポートレートモードにあり、かつ主要な焦点としての人物を含まない画像を取り込むとき、ニューラルネットワークは、解析中に画像内の人物の存在を検出できず、有用なセグメンテーションマスクの生成を控えることがある。ニューラルネットワークが人物を検出できないにも関わらず、推定された深度情報を引き続き使用して、浅い被写界深度の画像をニューラルネットワークによるセグメンテーションなしでコンピュータ計算するのを助けることが可能である。同様に、いくつかの実装形態には、シーンの深度マップを推定せずにニューラルネットワーク技法のみを使用することが関与し得る。例として、深度情報を得るためのピクセルの分割ができない前面カメラを伴ってデバイスが構成されることがある。そのため、結果として得られる画像は、ニューラルネットワーク解析のみを使用して最終レンダリング画像内でどの背景ピクセルにぼかしを施すべきかを決定することによって、洗練され得る。

5.結び
本開示は、本出願において説明した特定の実施形態という点において限定されるものではなく、それらの実施形態は、さまざまな態様の例示として意図されている。当業者には明らかであるように、本開示の範囲から逸脱することなく、多くの修正および変形を加えることができる。本明細書において挙げたものに加えて、本開示の範囲に含まれる機能的に等価な方法および装置が、先の説明から当業者には明らかとなろう。そのような修正および変形は、添付の特許請求の範囲に記載の範囲に含まれることが意図されている。

上記の詳細な説明では、開示するシステム、デバイス、および方法のさまざまな特色および機能について、添付の図を参照して説明している。本明細書においてまた図中に説明した例示的な実施形態は、限定するものではない。本明細書において提示する主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。本明細書において一般に説明し図中に示す本開示の態様は、多種多様な異なる構成で編成し、置き換え、組み合わせ、分離し、設計することができ、その全てが、本明細書において明確に企図されている、ということが容易に理解されよう。

図中の、また本明細書において論じた、メッセージフロー図、シナリオ、およびフローチャートのいずれかまたは全てに関して、各ステップ、ブロック、および/または通信は、例示的な実施形態による情報の処理および/または情報の伝達を表すことができる。代替実施形態が、これらの例示的な実施形態の範囲内に含まれる。これらの代替実施形態では、例えば、ステップ、ブロック、伝達、通信、要求、応答、および/またはメッセージとして説明される機能は、関与する機能性に応じて、実質的に同時に、または逆順で、を含めて、図示したものまたは論じたものとは順不同で実行することができる。さらに、より多くのまたはより少ないブロックおよび/または機能を、本明細書において論じたラダー図、シナリオ、フローチャートのいずれかと一緒に使用することができ、これらのラダー図、シナリオ、およびフローチャートは、一部または全部において互いに組み合わせることができる。

情報の処理を表すステップまたはブロックは、本明細書において説明した方法または技法の特定の論理機能を実施するように構成することのできる回路に対応することができる。その代わりにまたはそれに加えて、情報の処理を表すステップまたはブロックは、(関連データを含む)プログラムコードのモジュール、セグメント、または部分に対応することもできる。プログラムコードは、方法または技法における特定の論理機能またはアクションを実施するための、プロセッサによって実行可能な1つまたは複数の命令を含むことができる。プログラムコードおよび/または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む記憶デバイスなど、任意のタイプのコンピュータ可読媒体上に記憶させることができる。

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような、データを短時間期間にわたって記憶するコンピュータ可読媒体などの、非一時的コンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、プログラムコードおよび/またはデータをより長い時間期間にわたって記憶する非一時的コンピュータ可読媒体を含むこともできる。したがって、コンピュータ可読媒体は、例えば読出し専用メモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスク読出し専用メモリ(CD-ROM)のような、二次的または永続的な長期記憶装置を含むことができる。コンピュータ可読媒体は、他の任意の揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形記憶デバイスと考えることができる。

さらに、1回または複数回の情報伝達を表すステップまたはブロックは、同じ物理デバイス内のソフトウェアモジュールおよび/またはハードウェアモジュール相互間の情報伝達に対応することができる。しかし、他の情報伝達が、異なる物理デバイス内のソフトウェアモジュールおよび/またはハードウェアモジュール相互間で行われてもよい。

図中に示す特定の編成は、限定するものと見なすべきではない。他の実施形態は、所与の図中に示す各要素よりも多くのまたは少ない要素を含むことができる、ということを理解されたい。さらに、図示の要素の一部は、組み合わされてもよく、除外されてもよい。さらに、例示的な一実施形態は、図中に示していない要素を含むことができる。

それに加えて、本明細書または特許請求の範囲における要素、ブロック、またはステップのどんな列挙も、説明を分かりやすくするためのものである。したがって、そのような列挙は、これらの要素、ブロック、またはステップが特定の編成に従うこと、または特定の順序で遂行されることを、要求または示唆するものと解釈すべきではない。

以上、さまざまな態様および実施形態を、本明細書において開示してきたが、他の態様および実施形態が、当業者には明らかとなろう。本明細書において開示したさまざまな態様および実施形態は、例示を目的としたものであり、限定するものではなく、真の範囲は、添付の特許請求の範囲によって示される。

100 デジタルカメラデバイス
101A 正面図
101B 側面図
101C 背面図
101D 背面図
102 本体
104 前面カメラ
106 多素子ディスプレイ
108 シャッタボタン
110 他のボタン
112 背面カメラ
200 コンピューティングデバイス
202 通信インターフェース
204 ユーザインターフェース
206 プロセッサ
208 データ記憶装置
210 システムバス、ネットワーク、または他の接続機構
212 データ
214 アプリケーションデータ
216 オペレーティングシステムデータ
218 プログラム命令
220 アプリケーションプログラム
222 オペレーティングシステム
224 カメラコンポーネント
300 ピクセルブロック
302 ピクセル
304A 緑色サブピクセル
304B 緑色サブピクセル
306 青色サブピクセル
308 赤色サブピクセル
310 ピクセルブロック
312 ピクセル
314A 緑色サブピクセル
314B 緑色サブピクセル
316 青色サブピクセル
318 赤色サブピクセル
400 シーン
402 カメラ
404 第1のサブピクセル画像
406 第2のサブピクセル画像
408 部分
500 物体
502 レンズ
504 記録面
602 第1の緑色サブピクセル
604 第2の緑色サブピクセル
700 入力画像
702 おもちゃの犬
704 人物の足
706 椅子
708 深度マップ
710 修正画像
800 入力画像
802 人物
804 出力画像、セグメント化された画像
b 基線距離
d 視差
f 焦点距離
O 点
P 点
Q 点
z 距離

Claims (22)

1. カメラデバイスによって、シーンの画像を取り込むステップと、
   前記カメラデバイスによって、前記シーンの前記画像に基づいて、前記シーンの第1のサブピクセル画像、および前記シーンの第2のサブピクセル画像を生成するステップであって、前記第1のサブピクセル画像が、前記画像からの第1組のサブピクセルによって表現され、前記第2のサブピクセル画像が、前記画像からの第2組のサブピクセルによって表現され、前記シーンの前記画像の所与のピクセルが、2つの分割面緑色サブピクセルを含み、前記2つの分割面緑色サブピクセルの各々は、第1の焦点面を表す第１の部分と、前記第１の焦点面とは異なる第2の焦点面を表す第2の部分とを備え、前記2つの分割面緑色サブピクセル双方の前記第１の部分は、前記第1のサブピクセル画像内に表現され、前記2つの分割面緑色サブピクセル双方の前記第2の部分は、前記第2のサブピクセル画像内に表現される、ステップと、
   前記カメラデバイスによって、前記第1のサブピクセル画像によって表現される前記シーンの部分と、前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の視差を決定するステップと、
   前記カメラデバイスによって、前記視差、および前記2つの緑色サブピクセル間の基線距離に基づいて、前記シーンの深度マップを推定するステップであって、前記深度マップが、前記シーンの前記部分の、前記シーンの1つまたは複数の他の部分に対する相対的な深度を示す、ステップとを含む、
   方法。
2. 前記カメラデバイスによって、前記シーンの前記部分の、前記シーンの前記1つまたは複数の他の部分に対する相対的な前記深度に基づいて、前記シーンの前記部分に焦点が合っているとともに前記シーンの前記1つまたは複数の他の部分にぼかしを施された、前記画像の新たなバージョンを生成するステップをさらに含む、
   請求項1に記載の方法。
3. 前記第1のサブピクセル画像によって表現される前記シーンの前記部分と、前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の前記視差を決定するステップが、
   前記第1のサブピクセル画像内の第1のピクセル近傍を特定するステップと、
   前記第2のサブピクセル画像内の第2のピクセル近傍を特定するステップと、
   前記第1のピクセル近傍または前記第2のピクセル近傍を、前記第1のピクセル近傍と前記第2のピクセル近傍が実質的に位置整合するまでシフトさせるステップであって、前記視差が、前記シフトによって表されるピクセル距離に基づく、ステップとを含む、
   請求項1または請求項2に記載の方法。
4. 前記第1のピクセル近傍または前記第2のピクセル近傍を、前記第1のピクセル近傍と前記第2のピクセル近傍が実質的に位置整合するまでシフトさせるステップが、
   前記第1のピクセル近傍または前記第2のピクセル近傍間の第1のシフトを実施して、前記第1のピクセル近傍と前記第2のピクセル近傍との間の第1の位置整合を決定するステップと、
   前記第1のピクセル近傍と前記第2のピクセル近傍との間の前記第1の位置整合に基づいて、信頼性を決定するステップと、
   前記信頼性がそれによりしきい値信頼性レベルを上回る結果となる前記第1のピクセル近傍と前記第2のピクセル近傍との間の後続の位置整合を決定するように、前記信頼性が前記しきい値信頼性レベル未満であることに基づいて、前記第1のピクセル近傍または前記第2のピクセル近傍間の1回または複数回の後続のシフトを実施するステップとを含む、
   請求項3に記載の方法。
5. 前記第1のサブピクセル画像によって表現される前記シーンの前記部分と、前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の前記視差を決定するステップが、
   前記第1のサブピクセル画像内の第1のピクセル近傍と、前記第2のサブピクセル画像内の第2のピクセル近傍との間の複数の位置整合候補の最小二乗誤差値を計算するステップと、
   前記最小二乗誤差値に基づいて、前記第1のピクセル近傍と前記第2のピクセル近傍が実質的に位置整合するような、前記第1のピクセル近傍と前記第2のピクセル近傍との間の位置整合を決定するステップであって、前記視差が、前記第1のピクセル近傍と前記第2のピクセル近傍との間の前記決定された位置整合に基づく、ステップとを含む、
   請求項1から4のいずれか一項に記載の方法。
6. 画像セグメンテーションプロセスを使用して、前記画像を複数のセグメントにパーティショニングするステップであって、前記複数のセグメントの各セグメントが、ピクセルのセットを備える、ステップと、
   前記複数のセグメントのうちの、それぞれに対応する特徴を共有するセグメントを決定するステップと、
   それぞれに対応する特徴を共有するセグメントに基づいて、前記画像内に描かれた前記シーン中のフィーチャの境界を特定するステップと、
   前記特定された境界に基づいて、前記シーンの前記部分内の物体の1つまたは複数の境界を決定するステップと、
   前記シーンの前記深度マップ、および前記物体の前記1つまたは複数の境界に基づいて、前記物体に焦点が合っているとともに前記物体の後ろに位置する背景にぼかしを施された、前記画像の新たなバージョンを生成するステップとをさらに含む、
   請求項1から5のいずれか一項に記載の方法。
7. 前記方法は、
   前記カメラデバイスにおいて、入力インターフェースから、前記画像を取り込む際に前記カメラデバイスが焦点を合わせるべき前記シーンの焦点アスペクトを指定する入力を受けるステップであって、前記入力インターフェースが、前記カメラデバイスの視点からの前記シーンの光景を表示するように構成可能なタッチスクリーンである、ステップをさらに含み、
   前記第1のサブピクセル画像によって表現される前記シーンの前記部分と、前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の前記視差を決定するステップが、
   前記第1のサブピクセル画像および前記第2のサブピクセル画像によって表現される、前記焦点アスペクトを含む前記シーンの所与の部分間の前記視差を決定するステップを含み、
   前記シーンの前記深度マップを推定するステップが、
   前記焦点アスペクトを含む前記シーンの前記所与の部分の深度を推定するステップを含む、
   請求項1から6のいずれか一項に記載の方法。
8. 前記シーンの前記深度マップを推定するステップが、
   前記シーンの前記部分の、前記シーンの前記1つまたは複数の他の部分に対する相対的な前記深度を、前記カメラデバイスの空間センサを使用して推定するステップを含む、
   請求項1から7のいずれか一項に記載の方法。
9. 前記シーンの前記第1のサブピクセル画像が、前記シーンを第1の角度から表現し、
   前記シーンの前記第2のサブピクセル画像が、前記シーンを第2の角度から表現する、
   請求項1から8のいずれか一項に記載の方法。
10. 前記シーンを前記第1の角度から表現する前記シーンの前記第1のサブピクセル画像と、前記シーンを前記第2の角度から表現する前記シーンの前記第2のサブピクセル画像とが、水平面に沿って異なる、
    請求項9に記載の方法。
11. 前記シーンを前記第1の角度から表現する前記シーンの前記第1のサブピクセル画像と、前記シーンを前記第2の角度から表現する前記シーンの前記第2のサブピクセル画像とが、垂直面に沿って異なる、
    請求項9または請求項10に記載の方法。
12. 前記画像の前記所与のピクセルが、2サブピクセル×2サブピクセルの正方形として配列された4つのサブピクセルを備え、
    第1の緑色サブピクセルが、前記2サブピクセル×2サブピクセルの正方形の上部ロウ上に位置付けられ、
    第2の緑色サブピクセルが、前記2サブピクセル×2サブピクセルの正方形の下部ロウ上に位置付けられる、
    請求項1から11のいずれか一項に記載の方法。
13. 前記第1の緑色サブピクセルと前記第2の緑色サブピクセルとが、前記画像の前記所与のピクセルの前記2サブピクセル×2サブピクセルの正方形内で対角配列をなす、
    請求項12に記載の方法。
14. 前記シーンの前記深度マップを推定するステップが、
    前記シーンの前記部分を描いた、前記画像のピクセルのセットの前記深度を、前記シーンの前記1つまたは複数の他の部分を描いた、前記画像の複数のピクセルの深度に対して相対的に推定するステップを含む、
    請求項1から13のいずれか一項に記載の方法。
15. 前記シーンの前記部分の深度を、ニューラルネットワークベースのマスクを使用して決定するステップと、
    前記ニューラルネットワークベースのマスクを使用して決定された前記部分の前記深度、および前記シーンの前記深度マップに基づいて、前記シーンの前記部分に焦点が合っているとともに前記シーンの前記1つまたは複数の他の部分にぼかしを施された、前記画像の新たなバージョンを生成するステップとをさらに含む、
    請求項1から14のいずれか一項に記載の方法。
16. カメラデバイスに以下の動作を実行させるためのプログラム命令を記憶しているコンピュータ可読記憶媒体であって、前記動作が、
    シーンの画像を取り込むことと、
    前記シーンの前記画像に基づいて、前記シーンの第1のサブピクセル画像、および前記シーンの第2のサブピクセル画像を生成することであって、前記第1のサブピクセル画像が、前記画像からの第1組のサブピクセルによって表現され、前記第2のサブピクセル画像が、前記画像からの第2組のサブピクセルによって表現され、前記シーンの前記画像の所与のピクセルが、2つの分割面緑色サブピクセルを含み、前記2つの分割面緑色サブピクセルの各々は、第1の焦点面を表す第１の部分と、前記第１の焦点面とは異なる第2の焦点面を表す第2の部分とを備え、前記2つの分割面緑色サブピクセル双方の前記第１の部分は、前記第1のサブピクセル画像内に表現され、前記2つの分割面緑色サブピクセル双方の前記第2の部分は、前記第2のサブピクセル画像内に表現される、ことと、
    前記第1のサブピクセル画像によって表現される前記シーンの部分と、前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の視差を決定することと、
    前記視差、および前記2つの緑色サブピクセル間の基線距離に基づいて、前記シーンの深度マップを推定することであって、前記深度マップが、前記シーンの前記部分の、前記シーンの1つまたは複数の他の部分に対する相対的な深度を示す、ことと、
    前記シーンの前記部分の、前記シーンの1つまたは複数の他の部分に対する相対的な前記推定された深度に基づいて、前記シーンの前記部分に焦点が合っているとともに前記シーンの前記1つまたは複数の他の部分にぼかしを施された、前記画像の新たなバージョンを生成することとを含む、
    コンピュータ可読記憶媒体。
17. 前記動作が、
    前記シーンの前記部分の、前記シーンの前記1つまたは複数の他の部分に対する相対的な前記推定された深度に基づいて、前記シーンの前記部分に焦点が合っているとともに前記シーンの前記1つまたは複数の他の部分にぼかしを施された、前記画像の新たなバージョンを生成することをさらに含む、
    請求項16に記載のコンピュータ可読記憶媒体。
18. 前記画像の前記所与のピクセルが、2サブピクセル×2サブピクセルの正方形として配列された4つのサブピクセルを備え、
    第1の緑色サブピクセルが、前記2サブピクセル×2サブピクセルの正方形の上部ロウ上に位置付けられ、
    第2の緑色サブピクセルが、前記2サブピクセル×2サブピクセルの正方形の下部ロウ上に位置付けられる、
    請求項16に記載のコンピュータ可読記憶媒体。
19. 前記シーンの前記第1のサブピクセル画像が、前記シーンを第1の角度から表現し、
    前記シーンの前記第2のサブピクセル画像が、前記シーンを第2の角度から表現する、
    請求項16に記載のコンピュータ可読記憶媒体。
20. イメージセンサと、
    プロセッサと、
    メモリと、
    前記プロセッサによって実行された場合、カメラデバイスに以下の動作を実行させるために、前記メモリ内に記憶されたプログラム命令とを備えた、
    カメラデバイスであって、前記動作が、
    前記イメージセンサを用いてシーンの画像を取り込むこと、
    前記シーンの前記画像に基づいて、前記シーンの第1のサブピクセル画像、および前記シーンの第2のサブピクセル画像を生成することであって、前記第1のサブピクセル画像が、前記画像からの第1組のサブピクセルによって表現され、前記第2のサブピクセル画像が、前記画像からの第2組のサブピクセルによって表現され、前記シーンの前記画像の所与のピクセルが、2つの分割面緑色サブピクセルを含み、前記2つの分割面緑色サブピクセルの各々は、第1の焦点面を表す第１の部分と、前記第１の焦点面とは異なる第2の焦点面を表す第2の部分とを備え、前記2つの分割面緑色サブピクセル双方の前記第１の部分は、前記第1のサブピクセル画像内に表現され、前記2つの分割面緑色サブピクセル双方の前記第2の部分は、前記第2のサブピクセル画像内に表現される、こと、
    前記第1のサブピクセル画像によって表現される前記シーンの部分と前記第2のサブピクセル画像によって表現される前記シーンの前記部分との間の視差を決定すること、
    前記視差、および前記2つの緑色サブピクセル間の基線距離に基づいて、前記シーンの深度マップを推定することであって、前記深度マップが、前記シーンの前記部分の、前記シーンの1つまたは複数の他の部分に対する相対的な深度を示す、ことを含む、
    カメラデバイス。
    
21. 請求項1から15のいずれか一項に記載の方法を実行するように構成された装置。
22. コンピューティング装置に請求項1から15のいずれか一項に記載の方法を実行させるための命令を含む、コンピュータプログラム。

Images