JP2018535443A - 位相検出オートフォーカスの算術 - Google Patents
位相検出オートフォーカスの算術 Download PDFInfo
- Publication number
- JP2018535443A JP2018535443A JP2018515051A JP2018515051A JP2018535443A JP 2018535443 A JP2018535443 A JP 2018535443A JP 2018515051 A JP2018515051 A JP 2018515051A JP 2018515051 A JP2018515051 A JP 2018515051A JP 2018535443 A JP2018535443 A JP 2018535443A
- Authority
- JP
- Japan
- Prior art keywords
- phase detection
- diodes
- image
- diode
- subset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 384
- 238000000034 method Methods 0.000 claims abstract description 110
- 238000003384 imaging method Methods 0.000 claims abstract description 99
- 230000008569 process Effects 0.000 claims description 76
- 230000001902 propagating effect Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 7
- 239000004065 semiconductor Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 9
- 230000003936 working memory Effects 0.000 description 9
- 230000005484 gravity Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000005314 correlation function Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/708—Pixels for edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
Abstract
いくつかの態様は、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素(すなわち、非位相検出画素)を使用するためのシステムおよび技法に関する。撮像画素値は、位相検出画素の位置における値を補間するために使用され得る。補間された値および位相差検出画素から受け取られた値は、仮想位相検出画素値を取得するために使用され得る。補間された値、位相差検出画素から受け取られた値、および仮想位相検出画素値は、画像の合焦のずれの方向(非合焦の方向)およびずれの量(非合焦の量)を示す位相差検出信号を取得するために使用され得る。
Description
本明細書において開示されるシステムおよび方法は位相検出オートフォーカスを対象とし、より具体的には、オートフォーカスを計算するために位相検出画素に加えて撮像画素を使用することに関する。
一部の画像捕捉デバイスは、位相差検出センサ(「画素」とも呼ばれ得る)を使用してオートフォーカスを実行する。オンセンサの位相差検出は、通常は「左側」画素および「右側」位相検出画素の繰り返すまばらなパターンとして並べられる撮像画素の間に位相差検出画素を散在させることによって動作する。システムは、異なる位相差検出画素によって生成される信号の間の、たとえば左側画素データから生成される画像と右側画素データから生成される画像との間の位相差を検出する。検出された位相差はオートフォーカスを実行するために使用され得る。
位相検出オートフォーカスは、コントラストベースのオートフォーカスより高速に動作する。多くの現在の実装形態は、イメージセンサの上部に金属マスクを置いて左側および右側の位相検出画素を作り出し、マスクされた画素に達する光がより少なくなる。位相検出画素の出力は通常の画像捕捉画素の出力より明るさが低いので、位相差検出画素は、補正を必要とするような知覚可能なアーティファクトを捕捉された画像の中に作り出す。撮像画素に取り囲まれるように個々に位相検出画素を置くことによって、システムは位相検出画素に対する値を補間することができる。
マスクされた画素はペアで使用される。シーンの焦点が合っていないとき、位相検出画素のマスクは入ってくる光をわずかに位相シフトする。位相検出画素の間の距離は、それらの相対的なシフトとともに、シーンの焦点が合うように光学アセンブリがレンズを大まかにどれだけ動かす必要があるかの決定を与えるために畳み込まれ得る。
通常、位相検出画素は、いくつかの撮像画素により離隔されたペアとして設けられる。いくつかの事例では、補正の後でも、位相検出画素のペアのパターンが得られる画像データにおいて知覚可能であることがある。さらに、ある距離にわたって位相検出画素を離すことによって、位相検出オートフォーカスプロセスは、ペアの位相検出画素がターゲット画像シーンにおけるエッジを挟んで反対側から光を受け取るときに、エラーの影響を受けやすくなる。
とりわけ、前述の問題は、いくつかの実施形態では、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素(すなわち、非位相検出画素)を使用する、本明細書において説明される位相検出オートフォーカスのシステムおよび技法によって対処される。有利には、これは、より少数の位相検出画素を使用した位相検出オートフォーカスを実現でき、補正を必要とするアーティファクトがより少なくなる。さらに、位相検出画素と同じ位置において中心画素値を補間し、中心画素と位相検出画素との相違を計算することによって、エッジの位置が原因の相違の不正確さが、開示されるシステム技法により軽減され得る。
1つの革新は、ターゲットシーンを表す画像情報または位相検出情報のうちの1つを捕捉するように各々構成される複数のダイオードであって、画像情報が複数のダイオードの第1のサブセットから受け取られ、位相検出情報が複数のダイオードの第2のサブセットから受け取られる、複数のダイオードと、複数のダイオードの第2のサブセットの各ダイオードに対して、ダイオードから受け取られた位相検出情報を入手し、画像情報から、ダイオードの位置に対応する中心値を決定し、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定し、複数のダイオードの第2のサブセットの少なくともいくつかからの位相検出情報に基づく位相検出画像、複数のダイオードの第2のサブセットの各々に対する中心値に基づく中心画像、および複数のダイオードの第2のサブセットの少なくともいくつかに対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも2つを生成し、生成された画像のうちの2つの間の位相差を計算し、位相差に基づいてオートフォーカス調整量を決定するための、命令を用いて構成されるプロセッサとを含む、撮像装置を含む。
以下は、そのような撮像装置のいくつかの特徴および実施形態の限定しない例である。たとえば、プロセッサは、その位置におけるダイオードから受け取られた位相検出値を中心値から差し引くことによって、仮想位相検出値を決定するように構成され得る。プロセッサは、その位置の周りの所定の複数のダイオードから受け取られた画像情報を使用して中心値を補間することによって、中心値を決定するように構成され得る。プロセッサは、中心画像と仮想位相検出画像との位相差を計算するように構成され得る。複数のダイオードの第2のサブセットは、対向する位相検出ダイオードの複数のペアを含み得る。プロセッサは、複数のダイオードの第2のサブセットの各ダイオードに対して、対向する位相検出ダイオードを特定し、対向する位相検出ダイオードに対応する対向する位相検出画像および対向する仮想位相画像を特定するように構成され得る。プロセッサは、中心画像、位相検出画像、対向する位相検出画像、仮想位相画像、および対向する仮想位相画像のすべてのあり得るペアの間の位相差を特定するように構成され得る。プロセッサは、位相差に基づいてオートフォーカス調整量を計算するように構成され得る。撮像装置は、複数のダイオードの第2のサブセットの各々のみがターゲットシーンから特定の方向に伝播する光を収集するように、ターゲットシーンから伝播する光の一部分を遮断するための、複数のダイオードの第2のサブセットの各々の上に配置されたマスキング要素を含み得る。撮像装置は、複数のダイオードの第2のサブセットの少なくとも2つの隣り合うダイオードの上に配置されたマイクロレンズを含むことがあり、マイクロレンズは、少なくとも2つの隣り合うダイオードのうちの第1へとターゲットシーンから伝播する光の第1の部分および少なくとも2つの隣り合うダイオードの第2へとターゲットシーンから伝播する光の第2の部分を通すように形成され、第1の部分は第1の方向に伝播し、第2の部分は第2の方向に伝播する。複数のダイオードは、複数のダイオードの二次元行列を有する半導体基板であり得る。複数のダイオードの第2のサブセットの第1の半分と関連付けられる光学素子は、複数のダイオードの第2のサブセットの第1の半分の各ダイオードのみが第1の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第1の半分を生成するように、構成され得る。複数のダイオードの第2のサブセットの第2の半分と関連付けられる光学素子は、複数のダイオードの第2のサブセットの第2の半分の各ダイオードのみが第2の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第2の半分を生成するように、構成され得る。複数のダイオードの第2のサブセットの各々は、光遮断マスクを通ってターゲットシーンから伝播する光を受け取ることができ、中心値を決定するステップは、その位置の周りの複数のダイオードの第1のサブセットの3×3の近隣から受け取られる値に基づいて中心値を補間するステップを含み得る。複数のダイオードの第2のサブセットの各々は、マルチダイオードマイクロレンズを通ってターゲットシーンから入射する光を受け取ることができ、中心値を決定するステップは、その位置の周りの複数のダイオードの第1のサブセットの3×4の近隣から受け取られる値に基づいて中心値を補間するステップを含み得る。マルチダイオードマイクロレンズの下に配置された各ダイオードに対する仮想位相検出値を決定するステップは、マルチダイオードマイクロレンズの下に配置された各ダイオードに対する同じ中心値を使用して行われ得る。
別の革新は、位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサを含み、このプロセスは、複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、位相検出ダイオードから受け取られた位相検出情報を入手する複数の撮像ダイオードの2次元配置内の対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、画像情報から、位相検出ダイオードの位置に対応する中心値を決定するステップと、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するステップと、複数の位相検出ダイオードの各々に対する位相検出情報に基づく位相検出画像、複数の位相検出ダイオードの各々に対する中心値に基づく中心画像、および複数の位相検出ダイオードの各々に対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも2つを生成するステップと、生成された画像のうちの2つの間の位相差を計算するステップと、位相差に基づいてオートフォーカス調整量を決定するステップとを含む。
以下は、そのようなプロセッサのいくつかの特徴および実施形態の非限定的な例である。たとえば、複数の位相検出ダイオードは、複数の撮像ダイオードの2次元配置内の対応する複数の位置において配置されることが可能であり、中心値を決定するステップは、その位置の周りの所定の撮像ダイオードから受け取られた値を使用するステップを含み得る。各位相検出ダイオードは、透明なカラーフィルタを通って、またはカラーフィルタを通らずにターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの所定の撮像ダイオードから受け取られた赤、青、および緑の色値を使用するステップを含み得る。各位相検出ダイオードは、緑のカラーフィルタを通ってターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの所定の撮像ダイオードから受け取られた緑の色値を使用するステップを含み得る。各位相検出ダイオードは、光遮断マスクを通ってターゲットシーンから入射する光を受け取ることができ、その位置の周りの所定の撮像ダイオードは、撮像ダイオードの3×3のアレイを含み得る。各位相検出ダイオードは、マルチダイオードマイクロレンズを通ってターゲットシーンから入射する光を受け取ることができ、その位置の周りの所定の撮像ダイオードは、撮像ダイオードの3×4のアレイを含み得る。マルチダイオードマイクロレンズの下に配置される各ダイオードに対する仮想位相検出値を決定するステップは、中心値を使用するステップを含み得る。
別の革新は、複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、位相検出ダイオードから受け取られた位相検出情報を入手する複数の撮像ダイオードの2次元配置内の位置に対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、画像情報から、位相検出ダイオードの位置に対応する中心値を決定するステップと、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するステップと、各位相検出ダイオードの位相検出情報および仮想位相検出値に基づいて第1の画像および第2の画像を生成するステップと、第1の画像と第2の画像との位相差を計算するステップと、位相差に基づいてオートフォーカス調整量を決定するステップとを含む、位相検出オートフォーカスプロセスを含む。
以下は、そのようなプロセスのいくつかの特徴および実施形態の非限定的な例である。たとえば、プロセスはさらに、複数の位相検出ダイオードの左側サブセットを特定するステップと、複数の位相検出ダイオードの右側サブセットを特定するステップとを含み得る。第1の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットから受け取られた位相検出情報を複数の位相検出ダイオードの右側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを含むことがあり、第2の画像を生成するステップは、複数の位相検出ダイオードの右側サブセットから受け取られた位相検出情報を複数の位相検出ダイオードの左側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを含むことがある。第1の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットから受け取られた位相検出情報に基づくことがあり、第2の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットの位置に対応する複数の仮想位相検出値に基づくことがある。各位相検出ダイオードは、透明なカラーフィルタを通って、またはカラーフィルタを通らずにターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの複数の撮像ダイオードの所定の近隣から受け取られた赤、青、および緑の色値を使用するステップを含み得る。各位相検出ダイオードは、緑のカラーフィルタを通ってターゲットシーンから入射する光を受け取ることができ、中心値を計算するステップは、その位置の周りの複数の撮像ダイオードの所定の近隣から受け取られた緑の色値を使用するステップを含み得る。
別の革新は、ターゲットシーンを表す画像情報を捕捉するための手段と、位相検出情報を捕捉するための複数の手段と、位相捕捉手段から受け取られた位相検出情報を入手する位相検出情報を捕捉するための複数の手段の各位相捕捉手段に対して、画像情報から、位相捕捉手段の位置に対応する中心値を決定し、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するための手段と、位相検出情報を捕捉するための複数の手段の少なくともいくつかの位相検出情報に基づく位相検出画像、複数のダイオードの第2のサブセットの各々に対する中心値に基づく中心画像、および位相検出情報を捕捉するための複数の手段の少なくともいくつかに対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも2つを生成するための手段と、生成された画像のうちの2つの間の位相差を計算するための手段と、位相差に基づいてオートフォーカス調整量を決定するための手段とを含む、撮像装置を含む。
開示される態様は、開示される態様を限定するのではなく例示するために提供される、添付の図面および付録とともに以下で説明され、同様の符号は同様の要素を表す。
序論
本開示の実施形態は、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素(すなわち、非位相検出画素)を使用するためのシステムおよび技法に関する。撮像画素値は、位相検出画素の位置における値を補間するために使用され得る。補間された値および位相差検出画素から受け取られた値は、画像の合焦のずれの方向(非合焦の方向)およびずれの量(非合焦の量)を示す位相差検出信号を取得するために使用され得る。有利には、これは、より少数の位相検出画素を使用した位相検出オートフォーカスを実現でき、補正を必要とするアーティファクトがより少なくなり、かつより正確なオートフォーカスを実現できる。
本開示の実施形態は、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素(すなわち、非位相検出画素)を使用するためのシステムおよび技法に関する。撮像画素値は、位相検出画素の位置における値を補間するために使用され得る。補間された値および位相差検出画素から受け取られた値は、画像の合焦のずれの方向(非合焦の方向)およびずれの量(非合焦の量)を示す位相差検出信号を取得するために使用され得る。有利には、これは、より少数の位相検出画素を使用した位相検出オートフォーカスを実現でき、補正を必要とするアーティファクトがより少なくなり、かつより正確なオートフォーカスを実現できる。
撮像画素から受け取られた画像データは、たとえば、「中心画素」値と本明細書において呼ばれる、位相検出画素と同じ位置における値を補間するために使用され得る。一例では、中心画素値は、4つの隣り合う緑の画素から補間され得る。他の例では、中心値は、たとえば5×5、7×7などの様々なサイズの領域の中の、任意の色の近隣の画素から計算され得る。
1つの手法は、中心画素データから生成された画像と右側画素から生成された画像との相違を計算することができる。この相違は、オートフォーカスを計算するために使用され得る。たとえば、中心画素値が補間された後で、右側画素データから生成される第1の画像と、中心画素データから生成される第2の画像という、2つの画像が構築され得る。これらの画像は、イメージセンサ上の既知の位置におけるいくつかの右側画素および対応する中心画素からの情報に基づいて生成され得る。右側画素画像および補間された中心画素画像は、たとえば、左側画像と右側画像の相互相関を適用し、次いで、相互相関の結果に少なくとも一部基づいてレンズの動きの方向および量を決定することによって、オートフォーカス計算のための位相検出のために使用され得る。同様のプロセスが、右側画素情報、左側画素情報、および中心画素情報を用いて生成される2つの画像の他の組合せに対して使用され得る。
別の手法は、中心画素値および単一の位相検出画素を使用して対応する位相検出画素の値を推定し、次いで、オートフォーカスのために実際の位相検出画素値と推定された仮想位相検出画素値との相違を使用することができる。
たとえば、補間された中心画素値から右側位相検出画素の値を引くと、右側位相検出画素に対応する仮想左側位相検出画素の値が計算される。仮想左側画素値が減算により生成された後で、右側画素データから生成される第1の画像と、仮想左側画素データから生成される第2の画像という、2つの画像が構築され得る。これらの画像は、イメージセンサ上の位相検出画素の位置におけるいくつかの右側画素および対応する仮想左側画素に基づいて生成され得る。右側画素画像および仮想左側画素画像は、たとえば相互相関関数を仮想左側画像および右側画像に適用することによって、オートフォーカス計算のための位相検出のために使用され得る。理解されるように、他の実装形態は、左側画素に実際の値を使用して右側画素の仮想値を計算することができ、または代わりに、左側画素および右側画素が、そのような減算技法のために上側画素および下側画素を使用することができる。
他の実装形態は、位相検出画素からの5つの異なる画像の一部またはすべてと、位相検出画素の各々に対応する近隣画素値とを抽出することができる。
(1)中心画像(位相検出画素の位置における補間された中心画素値からの)、
(2)左側画像(標準的な位相検出オートフォーカスの場合のように、左側位相検出画素値からの)、
(3)右側画像(標準的な位相検出オートフォーカスの場合のように、右側位相検出画素値からの)、
(4)仮想左側画像(補間された中心画素値から右側位相検出画素値を減算することによる)、および
(5)仮想右側画像(補間された中心画素値から左側位相検出画素値を減算することによる)。
そのような実装形態では、位相検出の相関付けが、以下の画像の組合せのいずれかまたはすべてを使用して実行され得る。
(1)右側画像または仮想右側画像および仮想左側画像
(2)左側画像または仮想左側画像および仮想右側画像
(3)中心画像および他の4つの画像のうちのいずれか
(1)右側画像または仮想右側画像および仮想左側画像
(2)左側画像または仮想左側画像および仮想右側画像
(3)中心画像および他の4つの画像のうちのいずれか
いくつかの実装形態は、右側仮想位相検出画素値および実際の右側位相検出画素値に基づいて合成された右側画像を作り出し、また、左側仮想位相検出画素値および実際の左側位相検出画素値に基づいて合成された左側画像を作り出すことができ、そのような実装形態が次いで、合成された画像に対して左側画像と右側画像との相関付けを実行し、これにより、仮想位相検出情報を伴わずに実行される典型的な左側と右側の相関付けと比較して、位相検出情報の量を2倍にすることができる。ロバストな位相検出アルゴリズムの一例では、上で説明された5つの画像のすべての可能な組合せにわたって、相関が探索され得る。
主にマスクされた位相検出画素の文脈で本明細書において論じられるが、本明細書において説明されるマルチ画像位相検出技法は、マスクレス位相検出画素、たとえば、マイクロレンズの形成が原因で位相情報を受け取ることにも適用可能であり得る。
例示を目的として、図面とともに様々な実施形態が下で説明される。開示されている概念の多くの他の実装形態が可能であり、開示されている実装形態によって様々な利点が達成され得ることを理解されたい。参照のため、および様々なセクションを見つけるのを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体にわたって適用可能であり得る。
例示的な位相検出マイクロレンズおよびカラーフィルタ配置の概要
図1Aは、位相データを生成するためのマルチダイオードマイクロレンズ110を含む例示的なセンサ部分100の概略図を示す。センサ部分100は、シングルダイオードマイクロレンズ105、マルチダイオードマイクロレンズ110、複数のカラーフィルタ115を含むフィルタアレイ108、およびセンサアレイ107の中に並べられたフォトダイオード(「ダイオード」)120A〜120Dを含む。マルチダイオードマイクロレンズ110は、ターゲットシーンからの光がセンサアレイ107のダイオード120B、120Cに入射する前にマルチダイオードマイクロレンズ110を通って伝播するようにサイズ決定および配置が行われ、ダイオード120B、120Cは、光がパするようにマルチダイオードマイクロレンズ110によって覆われる。
図1Aは、位相データを生成するためのマルチダイオードマイクロレンズ110を含む例示的なセンサ部分100の概略図を示す。センサ部分100は、シングルダイオードマイクロレンズ105、マルチダイオードマイクロレンズ110、複数のカラーフィルタ115を含むフィルタアレイ108、およびセンサアレイ107の中に並べられたフォトダイオード(「ダイオード」)120A〜120Dを含む。マルチダイオードマイクロレンズ110は、ターゲットシーンからの光がセンサアレイ107のダイオード120B、120Cに入射する前にマルチダイオードマイクロレンズ110を通って伝播するようにサイズ決定および配置が行われ、ダイオード120B、120Cは、光がパするようにマルチダイオードマイクロレンズ110によって覆われる。
ダイオードは、たとえば、半導体基板の中、たとえば相補型金属酸化膜半導体(CMOS)イメージセンサの中に形成されるフォトダイオードであり得る。本明細書では、ダイオードは、入射光を電流に変換する任意の材料、半導体、センサ素子、または他のデバイスの単一の単位を指す。本明細書において使用される「画素」という用語は、カラーフィルタまたはマイクロレンズなどの隣り合う光学素子が原因の検知機能の文脈においては単一のダイオードを指し得る。したがって、「画素」は一般にディスプレイのピクチャ素子を指し得るが、本明細書において使用される「画素」は、光を受け取り、ディスプレイ上でレンダリングされるとセンサ(および複数の他のセンサ)により捕捉される画像の中の点として表示され得る信号を生成する、センサ(たとえば、フォトダイオード)を指し得る。たとえばCMOSまたは電荷結合(CCD)デバイスの中のセンサのアレイの個々の単位または検知素子は、センセルとも呼ばれ得る。
カラーフィルタ115は、波長選択性の通過フィルタとして働き、入来する可視の域の光を赤、緑、および青の域へと分割(またはフィルタリング)する。入来する光は、たとえばターゲットシーンに由来する。光は、ある選択された波長のみがカラーフィルタ115を通過できるようにすることによって「分割」され、光のフィルタリングはカラーフィルタ115の構成に基づく。様々なタイプのカラーフィルタ115が使用され得る。図1Aに示されるように、分割された光は、専用の赤、緑、または青のダイオード120A〜120Dによって受け取られる。赤、青、および緑のカラーフィルタが一般に使用されるが、他の実施形態では、カラーフィルタは、たとえば紫外線、赤外線、または近赤外線通過フィルタを含めて、捕捉された画像データのカラーチャネル要件に従い変化することができる。
各シングルダイオードマイクロレンズ105は、単一のカラーフィルタ115および単一のダイオード120A、120Dを覆って配置される。したがって、ダイオード120A、120Dは撮像画素情報を提供する。マイクロレンズアレイ106の中のシングルダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、ベイヤーパターンに従って配置され得る。マルチダイオードマイクロレンズ110は、2つの隣り合うカラーフィルタ115B、115Cおよび2つの対応する隣り合うダイオード120B、120Cを覆って配置される。したがって、ダイオード120B、120Cは、ダイオード120Bが第1の方向のマルチダイオードマイクロレンズ110に入る光を受け取り、ダイオード120Cが第2の方向のマルチダイオードマイクロレンズ110に入る光を受け取ることによって、位相検出画素情報を提供する。マイクロレンズアレイ106の中のマルチダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、同じ波長の光を通すように選択され得る。
本明細書では、「覆って」および「の上に」は、ターゲットシーンから入射する光がある構造(たとえば、カラーフィルタまたはレンズ)を通って伝播してから別の構造に到達する(または入射する)ような、構造の配置を指す。例示すると、マイクロレンズアレイ106はカラーフィルタアレイの上に配置され、カラーフィルタアレイはダイオード120A〜120Dの上に配置される。したがって、ターゲットシーンからの光は、最初にマイクロレンズアレイを、次いでカラーフィルタアレイを通過し、最終的にダイオード115A〜115Dに入射する。
図1Aは、物理的な構造ではなくマルチダイオードマイクロレンズ110により提供される位相検出能力を説明するために図示されているものと理解されるべき、(破)線130を図示する。線130は、マルチダイオードマイクロレンズ110の光学的な中心を通過し、カラーフィルタ115A〜115Dのカラーフィルタアレイによって形成される平面に直交する。マルチダイオードマイクロレンズ110が2×1のマイクロレンズである場合、マルチダイオードマイクロレンズ110は、第1の方向に入射する、すなわち線130の一方の側からマルチダイオードマイクロレンズ110に入る光L(x)が、第1のダイオード120Bにおいて収集されるように形成される。第2の方向に入射する、すなわち線130の他方の側からマルチダイオードマイクロレンズ110に入る光は、第2のダイオード120Cにおいて収集される。したがって、ダイオード120B、120Cから受け取られるデータは位相検出のために使用されることが可能である。マルチダイオードマイクロレンズが2×2のマイクロレンズである場合、マルチダイオードマイクロレンズ110は、4つの方向に入射する光L(x)が4つのダイオードに入射するように形成され、このとき、1つの方向の光はマルチダイオードマイクロレンズ110の4分の1を通過する光と見なされる。
図1Bおよび図1Cは、位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図を示す。図1Bはカラーフィルタ115の下に配置されたマスク125A、125Bを有する例示的な配置100Bを示し、一方で図1Cはカラーフィルタ115の上に配置されたマスク125A、125Bを有する例示的な配置100Cを示す。ターゲットシーンからの光は、マスク125A、125B、マイクロレンズ115、およびカラーフィルタを通過する前に主集束レンズアセンブリ(図示されず)を通過し、次いで、位相検出ダイオード120E、120Fのペアに入射する。イメージセンサの設計検討事項に応じて、位相検出ダイオード120E、120Fは、互いに隣り合っていることがあり、または、1つまたは複数のダイオードによって離隔されていることがあり、同じ行もしくは列にあることがあり、または異なる行もしくは列にあることがある。
マスク125A、125Bは、特定の方向に(図示されるように、シングルダイオードマイクロレンズ105の光学的な中心を通って破線130の一方の側から)入射する光のみが、ダイオード120E、120Fにおいて選択的に収集されることを可能にする。たとえば、位相差を生成するために、光遮断マスク125A、125Bは、ペアを生み出すために反対方向にある2つのダイオード120E、120Fを覆って配置され、数万のペアが、位相差オートフォーカスのためのデータを取得するために、イメージセンサの2次元行列に並べられ得る。ダイオード120E、120Fに入射する光の量は、シングルダイオードマイクロレンズ105の光学軸に関してマスク125A、125Bにより作り出される半画像によって、撮像ダイオードと比べて50%低減される。
図2A〜図2Cは、位相検出ダイオード120B、120Cのペアに入射する前に、主レンズ250を通り、次いでマルチダイオードマイクロレンズ110を通って進行する例示的な光線の軌跡を図示する。主レンズ250およびマルチダイオードマイクロレンズ110の寸法は一定の縮尺で示されていないことが理解されるだろう。マルチダイオードマイクロレンズ110の直径は、イメージセンサの2つの隣り合うダイオードにわたる距離に概ね等しいことがあり、一方で、主レンズ250の直径は、イメージセンサの幅(ダイオードの行または列に沿った距離)以上であることがある。
具体的には、図2Aは合焦状態の例示的な光線の軌跡を図示し、図2Bは前ピン状態の例示的な光線の軌跡を図示し、図2Cは後ピン状態の例示的な光線の軌跡を図示する。光は、ターゲットシーンの中の点260から進行し、ターゲットシーンを合焦するためのレンズ250を通り位相検出ダイオード120B、120Cを含むイメージセンサへと進み、位相検出ダイオード120B、120Cに入射する前にマルチダイオードマイクロレンズ110を通過する。示されるように、ダイオード120Bは主レンズ250の左方向からの光L(x)を受け取り、ダイオード120Cは主レンズ250の右方向からの光R(x)を受け取る。いくつかの実施形態では、左方向からの光L(x)は、主レンズ250の左半分(図2A〜図1Cの図解においては下半分として示されている)からの光であることがあり、右方向からの光R(x)は、主レンズ250の右半分(図2A〜図1Cの図示においては上半分として示されている)からの光であることがある。したがって、イメージセンサ全体にわたって撮像ダイオードと交互配置される多数の位相検出ダイオードが、撮像ダイオードにより捕捉される中心画像からオフセットしている左側画像および右側画像を抽出するために使用され得る。右側および左側ではなく、他の実施形態は、オートフォーカス調整量を計算するために、上側画像および下側画像、対角線上の画像、または左側/右側、上側/下側、および対角線上の画像の組合せを使用することができる。
画像の焦点が合っているとき、左側光線L(x)および右側光線R(x)は位相検出ダイオード115B、115Cの平面において集束する。図1Cおよび図2Cに示されるように、前方および後方の非合焦場所において、光線はそれぞれ、ダイオードの平面の前および後に集束する。上で説明されたように、位相検出ダイオードからの信号は、前方または後方の非合焦場所において中心画像からオフセットしている左側画像および右側画像を生成するために使用されることが可能であり、オフセットの量が、主レンズ250に対するオートフォーカス調整量を決定するために使用されることが可能である。主レンズ250は、焦点が対象物の前方にある(イメージセンサにより近い)か、または対象物の後方にある(イメージセンサからより離れている)かに応じて、前方(イメージセンサに向かって)または後方(イメージセンサから離れて)に移動され得る。オートフォーカスプロセスは主レンズ250の動きの方向と量の両方を計算できるので、位相差オートフォーカスは非常に高速に焦点を合わせることができる。
図2Dは、位相検出ダイオード120F、120Eのペアに入射する前に、主レンズ(図示されず)を通り、次いで位相検出マスク125A、125Bにより形成される開口を通って進行する、例示的な光線の軌跡を図示する。図2Dは後ピン状態を図示し、それは、主レンズの左側からの光線L(x)および右側からの光線R(x)がイメージセンサの平面の後方で集束するからである。示されるように、主レンズの右側からの光R(x)はダイオード120Fに入射するが、主レンズの左側からの光L(x)は、位相検出マスク125A、125Bにより作り出される半開口によりダイオード120Eに入射する。
例示的な複数画像位相検出オートフォーカスの概要
図3Aは、マスクされた位相検出ダイオードに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。本明細書では、「中心画素値」は、1つまたは複数の近くの撮像ダイオードから受け取られる信号を使用して位相検出ダイオードの位置において補間される色および/または明るさの値を指す。図3Aの例はマスクされた位相検出ダイオードを図示するが、他の実装形態は、上で説明されたマルチダイオードマイクロレンズを使用して位相データを生み出し得る。
図3Aは、マスクされた位相検出ダイオードに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。本明細書では、「中心画素値」は、1つまたは複数の近くの撮像ダイオードから受け取られる信号を使用して位相検出ダイオードの位置において補間される色および/または明るさの値を指す。図3Aの例はマスクされた位相検出ダイオードを図示するが、他の実装形態は、上で説明されたマルチダイオードマイクロレンズを使用して位相データを生み出し得る。
図3Aの図解において示されるように、一実施形態では、中心画素値は、4つの対角方向に隣り合う緑の画素値に基づいて、位相検出ダイオードの位置305において補間され得る。この手法は、位相検出ダイオードを覆って位置305に緑のカラーフィルタを有するいくつかの実装形態において使用され得る。他の例では、中心値は、たとえば5×5、7×7などの様々なサイズの領域の中の、任意の色の近隣の画素から計算され得る。
いくつかの実施形態では、位相検出ダイオードは、ダイオードを覆って配設される透明なカラーフィルタを有することがあり、またはカラーフィルタを有しないことがある。別のフィルタ、たとえば赤外線カットオフフィルタがダイオードを覆って配設されることもあるが、透明なカラーフィルタの下にある、または下にカラーフィルタがない位相検出ダイオードは、カラーフィルタリングされていない可視光を受け取る。したがって、ダイオードに入射する光の明るさを、波長選択性の通過フィルタを有するダイオードと比べて上げることができ、これは、半開口によりダイオードに入射する光が減少することによる弱光の状況において位相データを提供するのに有益であり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえば位相検出ダイオードの位置を囲む3×3の近隣の中のすべての8個のダイオードから受け取られる値に基づいて補間され得る。一例では、線形な加重関数が、3×3の近隣の中の8個のダイオードから中心画素値を決定するために使用され得る。
中心画素は、イメージセンサ全体にわたる多数の位置からの中心画素値から構築され得る。半画像は、イメージセンサ全体にわたる多数の位置における位相検出ダイオードから受け取られる値から構築され得る。
図3Bは、マルチダイオードマイクロレンズ110の下にある位相検出ダイオードのペアに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、マルチダイオードマイクロレンズ110の下にある両方のダイオードが、緑のカラーフィルタの下にある。したがって、マルチダイオードマイクロレンズ110を囲む3×4の近隣の中の5個の緑の画素値が、中心画素値を計算するために使用される。他の実施形態では、異なる近隣からの緑の画素値、たとえば、マルチダイオードマイクロレンズの行に沿った5×1の近隣からの2つの緑の値、5×6の近隣からの緑の値などが使用され得る。
別の実施形態では、マルチダイオードマイクロレンズ110の下にある両方のダイオードが、透明なカラーフィルタの下にあり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえばマルチダイオードマイクロレンズ110の位置を囲む3×4の近隣の中のすべての10個のダイオードから受け取られる値に基づいて決定され得る。一例では、線形加重関数が、3×4の近隣の中の10個のダイオードから中心画素値を決定するために使用され得る。
マルチダイオードマイクロレンズ110の下にある両方のダイオードに対して、同じ中心画素値が使用されることがあり、すなわち、マルチダイオードマイクロレンズ110の下にある両方のダイオードから受け取られる値に一部基づいて生成される半画像は、中心画素値に部分的に基づいて生成される中心画像と比較されることがある。
図3Cは、仮想画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、右側位相検出センセル(集束レンズアセンブリの右側からの光R(x)を受け取る上で説明されたダイオード120C、120Eなどのダイオード)から受け取られた値は、補間された中心画素値から差し引かれて、左側仮想位相検出画素値Lvとして図示される、仮想位相検出画素値を生み出す。右側位相検出画素値Rおよび左側仮想位相検出画素値Lvは、いくつかの他の右側位相検出画素値および左側仮想位相検出画素値とともに半画像を生成するためにいくつかの実施形態では使用され得る、対向する位相検出画素のペアを形成する。これらの半画像は、オートフォーカス調整量を決定するために使用可能な位相差を決定するために、互いに比較され得る。
同様の技法が、ペアの対向する位相検出画素の位置において右側、上側、下側、および対角線上の仮想位相検出画素値を生成するために使用され得る。
図3Dは、画像を捕捉するために使用される撮像システムが非合焦状態であるときの、中心画素値Cに対してオフセットされた様々な位相検出画素値L、Lv、R、およびRvを図示する、オフセット連続体300のグラフィカルな表現を示す。オフセットは、焦点と比較した非合焦の量および非合焦の方向を示す。理解されるように、合焦状態では、オフセットはほとんどまたはまったくなく、画素値C、L、Lv、R、およびRvは、オフセット連続体300上の同じ点に位置する。
非合焦状態および、画素値C、L、Lv、R、およびRvに対する非合焦状態の影響が、オフセット連続体300の上の錯乱円の図301〜305により示されている。ぼけスポットとも呼ばれる錯乱円は、点源を撮像するときにイメージセンサの平面にある焦点へ光錐が来ないことにより引き起こされる光学的なスポットであり、たとえば、図2Bおよび図2Cに示される合焦状態において発生する。中心画素値に対応するぼけスポット301の全体が示されており、これはマスクされていない開口を通ってセンセルに入射する光を表す。ぼけスポット301の形状と対比して示される、三日月形のぼけスポット302は、センセルの上の開口の右半分(またはほぼ半分)を遮断するマスクの下にあるセンセルに入射し、これにより、左側位相検出画素値Lを生み出す。同様に、ぼけスポット301の形状と対比して示される、三日月形のぼけスポット303は、センセルの上の開口の左半分(またはほぼ半分)を遮断するマスクの下にあるセンセルに入射し、これにより、右側位相検出画素値Rを生み出す。画素値Cのぼけスポット301全体から右側位相検出画素の三日月型のぼけスポット303を差し引いたものとして計算されている、仮想左側画素値Lvのぼけスポット304は、ほぼマーキーズ形またはレンズ形である。同様に、画素値Cのぼけスポット301全体から左側位相検出画素の三日月形のぼけスポット302を差し引いたものとして計算されている、仮想右側画素値Rvのぼけスポット305は、ほぼマーキーズ形またはレンズ形である。
上で説明されたように、中心画素値Cは、中心画素を生成するために、いくつかの他の計算された中心画素値とともに使用され得る。位相検出画素値L、Lv、R、およびRvは、位相差を検出するのに使用可能な半画像を生成するために、それぞれいくつかの他の左側、仮想左側、右側、および仮想右側位相検出画素値とともに使用され得る。
中心画像Cは、オフセットを有しない(オフセット連続体300に沿った0の点に位置する)ものとして示されている。左側画素値Lおよび右側画素値Rはそれぞれ、三日月形のぼけスポット302、303のうちの対応する1つの重心に基づいて、中心画素値Cから正または負のオフセットを有するものとして示されている。典型的な位相検出オートフォーカスプロセスは、オートフォーカス調整量を計算するために、左側画素値Lと右側画素値Rとの相違を使用する。しかしながら、本明細書において説明される位相検出オートフォーカスプロセスでは、オートフォーカス調整量は、いくつかの左側画素値Lから生成される画像と中心画素値Cから生成される画像との相違に基づいて、右側画素値Rから生成される画像と中心画素値Cから生成される画像との相違に基づいて、または両方の相違に基づいて計算され得る。
中心画像と、同じセンセル位置に対応する値に基づいて生成された左側画像または右側画像との間の、位相検出を実行することは、異なるセンセル位置(たとえば、いくつかの撮像センセルがそれらの間に配置された左側位相検出センセルおよび右側位相検出センセルのペア)から受け取られた値に基づいて生成される左側画像および右側画像を使用してオートフォーカスを実行することと比較すると、エイリアシングの影響の低減により、よりノイズの少ない位相検出オートフォーカスプロセスをもたらし得る。さらに、いくつかの実施形態では、位相検出プロセスの分解能は、中心画像と左側画像との相違と、中心画像と右側画像との相違との両方を使用することによって、2倍にできる。他の実施形態では、センサ上の位相検出センセルの数を減らすことができ、これにより、捕捉される画像データにおいて生成されるアーティファクトがより少なくなる。
さらに、仮想左側画素値Lvおよび仮想右側画素値Rvが、それぞれ、中心画像Cから負および正のオフセットを有するものとして示されている。中心のぼけスポット301の重心と、実際の左側位相検出画素および右側位相検出画素に対応する三日月形のぼけスポット302、303の重心との間の距離は、中心のぼけスポット301の重心と、仮想左側画素値Lvおよび仮想右側画素値Rvに対応するレンズ形のぼけスポット204、305の重心との間の距離より長い。したがって、中心画素値Cからの仮想左側画素値Lvおよび仮想右側画素値Rvのオフセットは、中心画素値Cからの対応する左側画素値Lおよび右側画素値Rのオフセットより小さいことがある。たとえば、左側画素値Lおよび右側画素値Rを生み出すために使用されるマスクされたセンセルは、たとえば、実効的な低減された開口がマイクロレンズの光学軸と厳密に揃わないようにサイズ決定または配置されることで、マスクされたセンセルの上のマイクロレンズの光学軸に完全に中心がある開口を作り出さないマスクを有することがある。別の例として、左側画素値Lにより生成されるぼけの重心は、対応する仮想右側画素値Rvにより生成されるぼけの重心よりも多く、または少なく、中心画素値Cの重心からオフセットされ得る。
いくつかの実装形態では、位相検出の相関付けが、以下の画像の組合せのいずれかまたはすべてを使用して実行され得る。
(1)右側画像または仮想右側画像および仮想左側画像
(2)左側画像または仮想左側画像および仮想右側画像
(3)中心画像および他の4つの画像のうちのいずれか
(1)右側画像または仮想右側画像および仮想左側画像
(2)左側画像または仮想左側画像および仮想右側画像
(3)中心画像および他の4つの画像のうちのいずれか
いくつかの実装形態は、右側仮想位相検出画素値および実際の右側位相検出画素値に基づいて合成された右側画像を作り出し、また、左側仮想位相検出画素値および実際の左側位相検出画素値に基づいて合成された左側画像を作り出すことができ、そのような実装形態が次いで、合成された画像に対して左側画像と右側画像との相関付けを実行し、これにより、仮想位相検出情報を伴わずに実行される典型的な左側と右側の相関付けと比較して、位相検出情報の量を2倍にすることができる。ロバストな位相検出アルゴリズムの一例では、図3Dにおいて示される5つの画像のすべての可能な組合せにわたって、相関が探索され得る。
一実施形態では、位相検出のための中心画像および半画像の生成は、オンセンサで実行され得る。他の実装形態では、中心画像および半画像は、位相検出ダイオードおよび近くの撮像ダイオードから受け取られる値に基づいて、画像信号プロセッサによって生成され得る。
例示的な位相検出ノイズ低減技法の概要
まばらな位相検出ダイオードのパターンは、位相検出ペアの中のダイオードがエッジを挟んで反対側に位置する可能性があるので、エイリアシングによる問題があり得る。位相検出オートフォーカスは、ターゲットシーンが高周波のパターンを含む状況においては、エイリアシングによるエラーの影響を特に受けやすいことがある。さらに、エイリアシングはオートフォーカスプロセスの監視状態においてはより問題であり得る。すなわち、監視状態において、撮像システムはすでに合焦場所に収束しており、撮像システムを新しい合焦(収束)場所へ再配置することを必要とし得る変化について、ターゲットシーンが監視される。これは、ターゲットシーンがすでに合焦しているとき、または合焦点に近いときにのみ高周波が現れるという事実によるものである。したがって、閾値のレベルのシャープネスを有する高周波のパターンおよび/またはエッジを特定するための撮像画素から受け取られたデータの分析が、さもなければエイリアシングにより位相検出プロセスにもたらされ得るエラーを除去または補償するために使用され得る。
まばらな位相検出ダイオードのパターンは、位相検出ペアの中のダイオードがエッジを挟んで反対側に位置する可能性があるので、エイリアシングによる問題があり得る。位相検出オートフォーカスは、ターゲットシーンが高周波のパターンを含む状況においては、エイリアシングによるエラーの影響を特に受けやすいことがある。さらに、エイリアシングはオートフォーカスプロセスの監視状態においてはより問題であり得る。すなわち、監視状態において、撮像システムはすでに合焦場所に収束しており、撮像システムを新しい合焦(収束)場所へ再配置することを必要とし得る変化について、ターゲットシーンが監視される。これは、ターゲットシーンがすでに合焦しているとき、または合焦点に近いときにのみ高周波が現れるという事実によるものである。したがって、閾値のレベルのシャープネスを有する高周波のパターンおよび/またはエッジを特定するための撮像画素から受け取られたデータの分析が、さもなければエイリアシングにより位相検出プロセスにもたらされ得るエラーを除去または補償するために使用され得る。
図4Aは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセス400Aを実行するためのプロセスの一実施形態のフローチャートを示す。位相検出オートフォーカスプロセス400Aは、撮像画素データの分析に基づいて可能な相違値を制限することによって位相検出の探索範囲を最適化するために使用され得る。位相検出オートフォーカスプロセス400Aのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。
ブロック405において、プロセス400Aは通常の画素を分析することができる。これは、たとえば、位相検出に専用ではないイメージセンサのダイオードにおいて集められた光の値を表すデータを受け取ることを含み得る。ブロック410において、プロセス400Aは最大のぼけを評価することができる。本明細書では、「最大のぼけ」とは、オートフォーカスのための位相検出を制限するために使用され得る、画像データの中のぼけのレベルを指す。最大のぼけは、画像の最も焦点が合っている部分、たとえば関心がある合焦領域内の最も焦点が合っている領域のぼけのレベルであり得る。
いくつかの実施形態では、最大のぼけは、コントラスト焦点統計ブロックを使用して推定され得る。たとえば、コントラストベースのオートフォーカス技法では、分析の一部が、ある関心領域(ROI)における合焦値を出力するためにHWブロックにおいて実施され得る。そのような技法は、たとえば画像の一部もしくは全体にマッピングされる格子として、異なる位置に対する複数の合焦値を得ることができ、または、複数のウィンドウに対して構成される別々の合焦値を得ることができる。
一実装形態では、最大のぼけは、撮像画素からのデータにおいて特定される最も鮮明なエッジのぼけの量を表す値であり得る。したがって、撮像画素からの画像データを分析し、最大のぼけを評価するブロック405、410は、画像データに対してエッジ検出を実行することと、最も鮮明なエッジを特定することと、最も鮮明なエッジのぼけのレベルを決定することとを伴い得る。
一実装形態では、ブロック405および410は、以下のステップを伴い得る。撮像画素からの画像データに対して、水平方向のフーリエ変換または高速フーリエ変換が実行され得る。次に、プロセス400Aは、所定の閾値を超えるエネルギーを有する、得られたデータの中で最高の周波数を探索することができる。プロセス400Aは、2つの線形フィルタ、たとえば有限インパルス応答フィルタまたは無限インパルス応答フィルタを適用することができる。2つのフィルタの各々が、異なる帯域通過を有するように構成され得る。2つのフィルタのうちの第1のフィルタは、高周波の帯域通過(たとえば、0.5〜0.2周期/画素)を用いて構成されることがあり、2つのフィルタのうちの第2のフィルタは、低周波の帯域通過(たとえば、0.2〜0.1周期/画素)を用いて構成されることがある。
一実装形態では、高周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス400Aは、最大のぼけが5個の画素であると推定することができ、そうではなく、低周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス400Aは、最大のぼけが10個の画素であると推定することができ、それら以外の場合、プロセス400Aは最大のぼけにより位相検出を制限することができない。
ブロック415において、プロセス400Aは、評価される最大のぼけに対応する位相差値PD_MAXを評価することができる。この値は境界位相差値を表し、有効な位相差値は、境界位相差値の正の値と負の値との間の範囲に入ることが予想され得る。したがって、位相差は、撮像ダイオードから受け取られたデータの分析によって決定されるような、画像の関心のある合焦領域の非合焦の推定されるレベルを超えないように制限され得る。
ブロック420において、プロセス400Aは、[−PD_MAX, +PD_MAX]として図示される、関心のある合焦領域のぼけに対応する位相差値によって定義される範囲にわたって、位相差検出を実行することができる。図5に関して下で論じられるように、位相差検出は次のステップを含み得る。左側チャネルおよび右側チャネル(本明細書では左側半画像および右側半画像または左側画像および右側画像とも呼ばれる)は、左側位相検出ダイオードおよび右側位相検出ダイオードから受け取られるデータから抽出されることが可能であり、左側チャネルおよび右側チャネルは、たとえば、レンズのシェーディングの補正と同様のゲインマップを使用して、均一性のために補正され得る。プロセス400Aは次いで、左側チャネルと右側チャネルとの間の水平方向の相関を発見することができる。これは、たとえば−3画素から+3画素までの、正および負の画素シフトの範囲内での探索を伴うことがあり、この探索範囲は、上で論じられたような最大のぼけに従って調整され得る。各画素シフトに対して、プロセス400Aは、絶対値差分和(SAD)を測定してSADベクトルを得ることができ、SADベクトルを補間してチャネル間の最適な相関点を見つけることができる。相関により決定される位相検出オフセットは次いで、たとえば線形マッピング、多項式関数、マルチセグメント線形関数、参照テーブル、または任意の他の適切な関数を使用して、非合焦レンズ場所変化nへと変換される。決定された位相差は、たとえば、合焦場所に合焦レンズを配置するための合焦レンズの動きの方向および量を決定するために使用されることにより、オートフォーカス調整を計算するために使用され得る。
図4Bは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセス400Bの別の実施形態のフローチャートを示す。位相検出オートフォーカスプロセス400Bは、撮像画素データの分析に基づいて決定される最大値を超える相違値を無視することによって、オートフォーカスの合焦監視段階において発生し得るエイリアシングエラーを補償するために使用され得る。位相検出オートフォーカスプロセス400Bのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。
ブロック420において、プロセス400Bは、位相検出ダイオードから受け取られた利用可能な差の最大の範囲にわたって、位相差検出を実行する。図4Aに関して上で説明されたブロック405、410、および415は、同時に、または順番に、撮像画素から受け取られたデータの関心のある合焦領域の中のぼけのレベルに対応する位相差範囲を特定するために実行される。
ブロック425において、ブロック420において実行された位相差検出に対する範囲の確認を実行するために、ブロック405、410、および415から導出された位相差範囲が使用される。範囲の確認は、特定された位相差(ブロック420においてPDと図示される)が[−PD_MAX, +PD_MAX]の範囲に入るかどうかを特定する。
特定された位相差が決定された位相差範囲内に入る場合、プロセス400Bはブロック430に移り、特定された位相差を使用してオートフォーカス調整量を計算する。撮像システムのレンズおよび/またはセンサが、決定されたオートフォーカス調整量に対応する合焦場所に移動された後で、プロセス400Bは、オートフォーカスの監視状態への遷移を示す。いくつかの実施形態では、これは、図4Aのプロセス400Aの周期的な繰返しを伴い得る。他の実施形態では、これは、プロセス400Bのブロック420および405を再初期化することを伴い得る。
特定された位相差が決定された位相差範囲内にない場合、プロセス400Bはブロック435に移り、エイリアシングエラーが疑われることを示す。上で説明されたように、エイリアシングにより、特定された位相差値が、画像の合焦部分のぼけの実際のレベルを超えることがある。
ブロック440において、プロセス400Bは、オートフォーカスプロセスが監視状態にあるかどうかを特定する。たとえば、プロセス400Bは、撮像システムが合焦場所にすでに移動されている(またはすでに合焦場所にあると決定された)かどうかを決定することができる。オートフォーカスプロセスが監視状態にない場合、400Bはブロック445に移り、特定された位相差を無視する。この時点で、ブロック420および405が再初期化され得る。
オートフォーカスプロセスが監視状態にある場合、400Bはブロック450に移り、特定された位相差をPD_MAXに縮め、位相差は関心のある合焦領域におけるぼけのレベルに相当するように決定される。プロセス400Bは次いで、ブロック420または405を再初期化することができ、またはいくつかの実施形態では、図4Aの合焦監視プロセス400Aに切り替えることができる。
一部の撮像装置は、プロセス400Aおよび/または400Bを実施して、画像情報の複数の領域に対して別々に境界位相差値を決定することができる。たとえば、画像情報は、視野全体で格子(たとえば、5×5の格子)へと区分され得る。別の例では、撮像装置は、画像データの各線上で境界位相差値を別々に決定し、次いで、境界位相差値を合成し、またはオートフォーカス計算のための有効な位相差範囲を決定するのに使用するために境界位相差値のうちの1つを選択することができる。撮像装置はまた、各領域に対してノイズ(範囲外の相違値を有する位相検出センセルのペア)を別々に除去し、かつ/または、特定の線/領域に対して境界の外にある位相シフト検出センセル値を失格にすることができる。
ノイズ低減位相検出技法の別の実施形態では、撮像装置は、ノイズ低減の計算を実行するためのペアの中の各位相検出画素の位置において、中心画素値を補間することができる。中心画素値は、4つの隣り合う緑の画素から、または、たとえば5×5、7×7などの様々なサイズの領域の中の近隣の画素から補間され得る。いくつかの実施形態では、中心補間プロセスは、たとえば欠陥画素の補正と同様に、最終的な画像において位相検出画素の位置での値を埋め合わせるためのプロセスの一部であり得る。様々な実装形態は、中心補間プロセスを実行するために、中心補間のためのオンセンサ論理回路を含むことがあり、または外部のISPに依存することがある。撮像装置は、ペアの中の位相検出画素の各々に対して、補間された中心画素値と位相検出画像値との間の相違値を計算することができる。これらの相違値の間の差が閾値より大きい場合、これは、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いことを示すことができ、位相検出画素のそのペアはオートフォーカスの計算から除外され得る。
別の実施形態では、撮像装置は、エッジ検出を実行するために、撮像画素、たとえば位相検出画素のペアの周りの所定の近隣にあるすべての撮像画素または撮像画素のサブセットから受け取られたデータを使用することができる。撮像装置は次いで、エッジの位置を位相検出画素の既知の位置と比較して、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いかどうかを決定することができ、位相検出画素のペアはオートフォーカスの計算から除外され得る。ペアの中の位相検出画素が深度の不連続部分を挟んで反対側にあるかどうかを決定するための他の適切な技法、たとえば画素データにおける強度の変動の分析も、位相検出画素のそのようなペアから受け取られるデータをオートフォーカス調整量の計算から除外するために使用され得る。エッジを挟んで反対側に位置する位相検出画素のペアからデータを除外することは、位相差検出に使用可能な半画像のペアを生成するときに、特定されたペアを含まない位相検出画素のサブセットから受け取られるデータを使用することを含み得る。
例示的な位相検出オートフォーカスプロセスの概要
図5は、本明細書において説明される複数画像位相検出およびノイズ低減プロセスを実施できる、例示的な位相検出オートフォーカスプロセス500の高水準の概要を図示する。一実施形態では、プロセス500はオンセンサで実行され得る。他の実装形態では、プロセス500は、1つまたは複数のプロセッサ、たとえば図6の画像信号プロセッサ620を伴い得る。ターゲットシーン505を表す光は、レンズアセンブリ510を通され、イメージセンサによって受け取られ、イメージセンサにおいて、半画像サンプル515が上で説明されたように生み出される。半画像サンプルは、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像を含み得る。
図5は、本明細書において説明される複数画像位相検出およびノイズ低減プロセスを実施できる、例示的な位相検出オートフォーカスプロセス500の高水準の概要を図示する。一実施形態では、プロセス500はオンセンサで実行され得る。他の実装形態では、プロセス500は、1つまたは複数のプロセッサ、たとえば図6の画像信号プロセッサ620を伴い得る。ターゲットシーン505を表す光は、レンズアセンブリ510を通され、イメージセンサによって受け取られ、イメージセンサにおいて、半画像サンプル515が上で説明されたように生み出される。半画像サンプルは、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像を含み得る。
レンズアセンブリ510は、対称的なインパルス応答を伴う線形ローパスフィルタとしてモデル化されることが可能であり、レンズアセンブリ510のインパルス応答(点拡がり関数とも呼ばれる)は、センサと画像平面との間の距離に比例する幅パラメータを伴う、長方形の形状である。シーンは、センサが画像平面の中にあるとき、すなわち、そのシーンにおけるある単一の点からのすべての光線が単一の点へと集束するような平面にあるとき、「焦点が合っている」。図2に示されるように、半画像サンプルは、位相検出画素からの情報だけを含む2つの画像を保存することができる。半画像は、レンズアセンブリ510の左側および右側の(または他の例では、上側および下側の)インパルス応答とのターゲットシーンの畳み込みと見なされ得る。図3A〜図3Dの技法を使用するセンサの実施形態では、より部分的な画像が保存され得る。
焦点関数計算器520は、相互相関関数を部分的な画像に適用して相違を決定する。上で説明されたように、相互相関は、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像から選択される画像の1つまたは複数のペアにわたって探索され得る。さらに、相互相関は、データの関心のある合焦領域の合焦のレベルを推定するために撮像ダイオードから受け取られるデータを分析することによって決定される範囲に限定され得る。
レンズアセンブリ510の左側および右側のインパルス応答の相互相関関数は、概ね対称かつ単峰であり得るが、ターゲットシーン505の性質により、左側および右側の捕捉された画像に適用されるような相互相関関数は、1つまたは複数の誤った極大値を有し得る。相互相関関数の真の最大値を特定するために、様々な手法が使用され得る。相互相関関数の結果は、オートフォーカス制御器525にフィードバックとして提供され、これは、主集束レンズアセンブリ510を所望の合焦場所へ動かすようにレンズアクチュエータを駆動するために使用され得る。他の実施形態は、固定式の主集束レンズアセンブリを使用して、イメージセンサを所望の合焦場所に動かすことができる。したがって、位相検出オートフォーカスプロセス500において、焦点を合わせることは、相互相関関数の最大値を探索することと等価である。これは、典型的なフレームレート、たとえば毎秒30フレームで各フレームに対する合焦の調整を行うのに十分速く行われ得る、したがって、ビデオ捕捉のための滑らかなオートフォーカスを行うために使用され得る、高速なプロセスである。いくつかの実装形態は、たとえば精度を上げるために、位相検出オートフォーカスをコントラストベースのオートフォーカス技法と組み合わせる。
主集束レンズアセンブリおよび/またはイメージセンサが所望の合焦場所にあるとき、イメージセンサは、焦点が合っている撮像画素情報および位相検出画素情報を捕捉し、上で説明されたように、位相検出画素のための色値を計算および補間することができる。撮像画素値および決定された位相検出画素値は、デモザイクのために、かつ任意選択で、ターゲットシーンの最終的な画像を生成するための他の画像処理技法のために出力されることが可能である。
例示的な位相検出オートフォーカスプロセスの概要
図6は、マルチスペクトル虹彩認証能力を有する画像捕捉デバイス600のある実施形態の高水準の概略ブロック図を示し、画像捕捉デバイス600は、位相検出オートフォーカスカメラ615にリンクされた画像信号プロセッサ620を含む構成要素のセットを有する。画像信号プロセッサ620はまた、ワーキングメモリ605、メモリ630、およびデバイスプロセッサ650と通信しており、デバイスプロセッサ650は、記憶モジュール610および任意選択の電子ディスプレイ625と通信している。
図6は、マルチスペクトル虹彩認証能力を有する画像捕捉デバイス600のある実施形態の高水準の概略ブロック図を示し、画像捕捉デバイス600は、位相検出オートフォーカスカメラ615にリンクされた画像信号プロセッサ620を含む構成要素のセットを有する。画像信号プロセッサ620はまた、ワーキングメモリ605、メモリ630、およびデバイスプロセッサ650と通信しており、デバイスプロセッサ650は、記憶モジュール610および任意選択の電子ディスプレイ625と通信している。
画像捕捉デバイス600は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末などの、ポータブル個人用コンピューティングデバイスであり得る。本明細書において説明されているような、位相検出オートフォーカス技法を使用することが利点を提供することになる多くのポータブルコンピューティングデバイスがある。画像捕捉デバイス600はまた、マルチスペクトル虹彩認証技法が有利である固定式のコンピューティングデバイスまたは任意のデバイスであり得る。複数の適用例が画像捕捉デバイス600上でユーザに利用可能であり得る。これらの適用例は、従来の写真およびビデオへの適用例、ならびにデータ記憶への適用例およびネットワークへの適用例を含み得る。
画像捕捉デバイス600は、外部画像を捕捉するための位相検出オートフォーカスカメラ615を含む。位相検出オートフォーカスカメラ615は、上で説明された実施形態に従って並べられた、マルチダイオードマイクロレンズおよびカラーフィルタを有するイメージセンサ、または、マスクされた位相検出画素を含み得る。位相検出オートフォーカスカメラ615はまた、ターゲットシーンの合焦画像を生み出すために、画像信号プロセッサ620から受け取られたデータに少なくとも一部基づいて配置可能な、主合焦機構を有し得る。いくつかの実施形態では、主合焦機構は、ターゲットシーンからセンサに光を通すように配置される可動のレンズアセンブリであり得る。いくつかの実施形態では、主要な合焦機構はセンサを動かすための機構であり得る。
異なる実装形態では、位相検出オートフォーカスカメラ615のセンサは異なる処理機能を有し得る。一実装形態では、センサはいずれのデータも処理しないことがあり、画像信号プロセッサ620がすべての必要なデータ処理を実行することがある。別の実装形態では、センサは、位相検出画素を、たとえば別々のMobile Industry Processor Interface(MIPI)チャネルへと抽出することが可能であり得る。さらに、センサは加えて、たとえばRAWチャネルにおいて、中心画素値を補間することが可能であり得る。いくつかの実装形態では、センサは加えて、たとえばノーマルチャネルにおいて中心画素値を補間することが可能であることがあり、位相検出計算を内部的に(オンセンサで)処理することが可能であることがある。たとえば、センサは、ダイオードから受け取られた値の加算、減算、および/または比較を実行するためのアナログ回路を含み得る。本明細書において説明される撮像装置は、すべての位相検出計算を実行することが可能なイメージセンサ、あるいは、画像信号プロセッサ620および/またはデバイスプロセッサ650とともに一部の処理を実行することが可能な、もしくは処理を実行することが可能ではないイメージセンサを含み得る。
画像信号プロセッサ620は、位相検出オートフォーカスおよび画像処理技法を実行するために、受け取られた画像データに対して様々な処理動作を実行するように構成され得る。画像信号プロセッサ620は、汎用処理ユニットであっても、または撮像用途に特別に設計されたプロセッサであってもよい。画像処理演算の例は、デモザイク、ホワイトバランス、クロストーク低減、クロッピング、スケーリング(たとえば、異なる解像度への)、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーティファクトまたは欠陥補正などを含む。画像信号プロセッサ620はまた、オートフォーカスおよび自動露出などの、画像捕捉パラメータを制御することができる。いくつかの実施形態では、画像信号プロセッサ620は複数のプロセッサを備え得る。画像信号プロセッサ620は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実装形態であり得る。いくつかの実施形態では、画像信号プロセッサ620は、位相検出動作に対しては任意選択であることがあり、それは、位相検出動作の一部またはすべてがイメージセンサ上で実行され得るからである。
示されるように、画像信号プロセッサ620は、メモリ630およびワーキングメモリ605に接続される。図示される実施形態では、メモリ630は、捕捉制御モジュール635、位相検出オートフォーカスモジュール640、およびオペレーティングシステム645を記憶する。メモリ630のモジュールは、様々な画像処理およびデバイス管理のタスクを実行するようにデバイスプロセッサ650の画像信号プロセッサ620を構成する命令を含む。ワーキングメモリ605は、メモリのモジュールに含まれるプロセッサ命令のワーキングセットを記憶するために画像信号プロセッサ620によって使用され得る。代替的に、ワーキングメモリ605はまた、画像捕捉デバイス600の動作の間に作成された動的なデータを記憶するために画像信号プロセッサ620によって使用され得る。
上述のように、画像信号プロセッサ620は、メモリに記憶されたいくつかのモジュールによって構成される。捕捉制御モジュール635は、たとえば位相検出オートフォーカス技法の間に生成された命令に応答して、位相検出オートフォーカスカメラ615の合焦場所を調整するように画像信号プロセッサ620を構成する、命令を含み得る。捕捉制御モジュール635はさらに、画像捕捉デバイス600の全体的な画像捕捉機能を制御する命令を含み得る。たとえば、捕捉制御モジュール635は、位相検出オートフォーカスカメラ615を使用してターゲットシーンの1つまたは複数のフレームを含むマルチスペクトル画像データを捕捉するように画像信号プロセッサ620を構成するためのサブルーチンを呼び出す、命令を含み得る。一実施形態では、捕捉制御モジュール635は、所望のオートフォーカス場所を達成するために必要なレンズまたはセンサの動きを計算し、撮像プロセッサ220に必要な動きを出力するために、位相検出オートフォーカスモジュール240を呼び出し得る。捕捉制御モジュール635は、複数画素マイクロレンズの下に配置された画素に対する色値を補間するために、位相検出オートフォーカスモジュール240を呼び出し得る。
したがって、位相検出オートフォーカスモジュール640は、たとえば図4A、図4B、および図5に関して上で説明されたプロセス400A、400B、および500に従って、位相検出オートフォーカスを実行するための命令を記憶することができる。位相検出オートフォーカスモジュール640はまた、図3A〜図3Cに関して上で説明されたような中心画素値および仮想位相検出画素値を計算するための命令を記憶することができる。
オペレーティングシステムモジュール645は、画像捕捉デバイス600のワーキングメモリ605および処理リソースを管理するように画像信号プロセッサ620を構成する。たとえば、オペレーティングシステムモジュール645は、位相検出オートフォーカスカメラ615などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上で説明された画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用せず、代わりに、オペレーティングシステム構成要素650の中に位置する標準サブルーチンまたはAPIを通じて相互作用することがある。オペレーティングシステム645内の命令は次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール645はさらに、デバイスプロセッサ650と情報を共有するように画像信号プロセッサ620を構成し得る。
デバイスプロセッサ650は、捕捉された画像、または捕捉された画像のプレビューをユーザに表示するようにディスプレイ625を制御するように構成され得る。ディスプレイ625は、撮像デバイス200の外部にあってよく、または撮像デバイス200の一部分であってもよい。ディスプレイ625はまた、画像を捕捉する前に使用するための、たとえばユーザの目と画像センサの視野をユーザが揃えるのを支援するために、プレビュー画像を表示するビューファインダを提供するように構成されることがあり、または、メモリに記憶されるかもしくはユーザによって最近捕捉された、捕捉された画像を表示するように構成されることがある。ディスプレイ625は、LCD、LED、またはOLEDスクリーンを備えることがあり、タッチ検知技術を実装することがある。
デバイスプロセッサ650は、データ、たとえば、撮像された画像を表すデータならびに位相検出および/または画素値計算の間に生成されたデータを、記憶モジュール610に書き込むことができる。記憶モジュール610は従来のディスクデバイスとして概略的に表されているが、記憶モジュール610は任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール610は、光ディスクドライブもしくは光磁気ディスクドライブなどのディスクドライブ、またはフラッシュメモリ、RAM、ROM、および/もしくはEEPROMなどのソリッドステートメモリを含み得る。記憶モジュール610はまた、複数のメモリユニットを含むことがあり、メモリユニットのうちの任意の1つは、画像捕捉デバイス600内にあるように構成されることがあり、または画像捕捉デバイス600の外部にあることがある。たとえば、記憶モジュール610は、画像捕捉デバイス600内に記憶されたシステムプログラム命令を含むROMメモリを含み得る。記憶モジュール610はまた、カメラから取外し可能であり得る、捕捉された画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール610はまた、画像捕捉デバイス600の外部にあることがあり、一例では、画像捕捉デバイス600は、データを記憶モジュール610に、たとえば、ネットワーク接続を通じてワイヤレス送信することがある。そのような実施形態では、記憶モジュール610はサーバまたは他のリモートコンピューティングデバイスであり得る。
図6は、プロセッサ、撮像センサ、およびメモリを含むように別個の構成要素を有する画像捕捉デバイス600を示すが、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わされ得ることを当業者は認識するであろう。たとえば、代替的な実施形態では、メモリ構成要素は、たとえば、コストを節約し、かつ/または性能を改善するために、プロセッサ構成要素と組み合わされ得る。
加えて、図6は、いくつかのモジュールを備えるメモリ630、およびワーキングメモリ605を備える別個のメモリ構成要素を含む2つのメモリ構成要素を示すが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識するであろう。たとえば、ある設計は、メモリ630に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用することがある。プロセッサ命令は、画像信号プロセッサ620による実行を容易にするために、RAM内にロードされ得る。たとえば、ワーキングメモリ605は、RAMメモリを備えることがあり、命令は、画像信号プロセッサ620による実行の前にワーキングメモリ605にロードされる。
システムの実装および用語
本明細書において開示される実装形態は、位相検出オートフォーカスプロセスにおいて使用するための値を計算するために撮像ダイオードから受け取られた値を使用するための、システム、方法、および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを、当業者は認識するであろう。
本明細書において開示される実装形態は、位相検出オートフォーカスプロセスにおいて使用するための値を計算するために撮像ダイオードから受け取られた値を使用するための、システム、方法、および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを、当業者は認識するであろう。
いくつかの実施形態では、上で説明された回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、携帯電話、スマートフォン、携帯情報端末(PDA)、電子リーダー、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
ワイヤレス通信デバイスは、1つまたは複数のイメージセンサ、2つ以上の画像信号プロセッサ、命令を含むメモリ、または、上で論じられたプロセスを実行するためのモジュールを含み得る。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/インターフェースとを有し得る。ワイヤレス通信デバイスはさらに、送信機および受信機を含み得る。送信機および受信機は、併せてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するための1つまたは複数のアンテナに結合され得る。
ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続され得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の業界規格に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、業界規格に従って変化する用語体系を用いて説明されるワイヤレス通信デバイスを含み得る(たとえば、アクセス端末、ユーザ機器(UE)、リモート端末など)。
本明細書において説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または、所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用されかつコンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書において使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常はデータを磁気的に再生し、ディスク(disc)は、レーザを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書では、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指し得る。
本明細書において開示される方法は、説明された方法を実現するための1つまたは複数のステップまたはアクションを備える。方法ステップおよび/または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えられ得る。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正され得る。
「結合する」、「結合すること」、「結合される」という用語、または本明細書において使用される結合という語の他の変形は、間接的な接続または直接的な接続のいずれかを示し得ることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、第2の構成要素に間接的に接続されるか、または第2の構成要素に直接的に接続されるかの、いずれかであり得る。本明細書において使用される「複数の」という用語は2つ以上を示す。たとえば、複数の構成要素は2つ以上の構成要素を示す。
「決定すること」という用語は、様々な行為を包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、探索すること(たとえば、テーブル、データベースまたは別のデータ構造の中で探索すること)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
「〜に基づいて」という句は、別段に明記されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
前述の説明では、例の完全な理解をもたらすように具体的な詳細が与えられている。しかしながら、例がこれらの具体的な詳細なしに実践され得ることを、当業者は理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気的な構成要素/デバイスがブロック図で示されることがある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示されることがある。
開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになり、本明細書において定義される一般的な原理は、本発明の趣旨または範囲を逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書において示される実装形態に限定されることを意図するものではなく、本明細書において開示される原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
100 センサ部分
105 シングルダイオードマイクロレンズ
106 マイクロレンズアレイ
107 センサアレイ
108 フィルタアレイ
110 マルチダイオードマイクロレンズ
115 カラーフィルタ
120 フォトダイオード
125 マスク
130 線
250 主レンズ
260 点
300 オフセット連続体
301 ぼけスポット
302 ぼけスポット
303 ぼけスポット
304 ぼけスポット
305 ぼけスポット
400 位相検出オートフォーカスプロセス
500 位相検出オートフォーカスプロセス
505 ターゲットシーン
510 レンズアセンブリ
515 半画像サンプル
520 焦点関数計算器
525 オートフォーカス制御器
600 画像捕捉デバイス
605 ワーキングメモリ
610 記憶モジュール
615 位相検出オートフォーカスカメラ
620 画像信号プロセッサ
625 ディスプレイ
630 メモリ
635 捕捉制御モジュール
640 位相検出オートフォーカスモジュール
645 オペレーティングシステム
650 デバイスプロセッサ
105 シングルダイオードマイクロレンズ
106 マイクロレンズアレイ
107 センサアレイ
108 フィルタアレイ
110 マルチダイオードマイクロレンズ
115 カラーフィルタ
120 フォトダイオード
125 マスク
130 線
250 主レンズ
260 点
300 オフセット連続体
301 ぼけスポット
302 ぼけスポット
303 ぼけスポット
304 ぼけスポット
305 ぼけスポット
400 位相検出オートフォーカスプロセス
500 位相検出オートフォーカスプロセス
505 ターゲットシーン
510 レンズアセンブリ
515 半画像サンプル
520 焦点関数計算器
525 オートフォーカス制御器
600 画像捕捉デバイス
605 ワーキングメモリ
610 記憶モジュール
615 位相検出オートフォーカスカメラ
620 画像信号プロセッサ
625 ディスプレイ
630 メモリ
635 捕捉制御モジュール
640 位相検出オートフォーカスモジュール
645 オペレーティングシステム
650 デバイスプロセッサ
Claims (30)
- 複数のダイオードであって、
ターゲットシーンを表す画像情報であって、前記画像情報が前記複数のダイオードの第1のサブセットから受け取られる、画像情報と、
位相検出情報であって、前記複数のダイオードの第2のサブセットから受け取られる、位相検出情報と
のうちの1つを捕捉するように各々構成される、複数のダイオードと、
前記複数のダイオードの前記第2のサブセットの各ダイオードに対して、
前記ダイオードから受け取られる前記位相検出情報を入手し、
前記画像情報から、前記ダイオードの位置に対応する中心値を決定し、
前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定し、
前記複数のダイオードの前記第2のサブセットの少なくともいくつかからの前記位相検出情報に基づく位相検出画像、
前記複数のダイオードの前記第2のサブセットの各々に対する前記中心値に基づく中心画像、および
前記複数のダイオードの前記第2のサブセットの前記少なくともいくつかに対する前記仮想位相検出値に基づく仮想位相検出画像
のうちの少なくとも2つを生成し、
前記生成された画像のうちの2つの間の位相差を計算し、
前記位相差に基づいてオートフォーカス調整量を決定する
ための命令を用いて構成されるプロセッサとを備える、撮像装置。 - 前記プロセッサが、前記位置における前記ダイオードから受け取られた位相検出値を前記中心値から差し引くことによって、前記仮想位相検出値を決定するように構成される、請求項1に記載の撮像装置。
- 前記プロセッサが、前記位置の周りの所定の複数のダイオードから受け取られた画像情報を使用して前記中心値を補間することによって、前記中心値を決定するように構成される、請求項1に記載の撮像装置。
- 前記プロセッサが、前記中心画像と前記仮想位相検出画像との前記位相差を計算するように構成される、請求項1に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットが、対向する位相検出ダイオードの複数のペアを備える、請求項1に記載の撮像装置。
- 前記プロセッサが、前記複数のダイオードの前記第2のサブセットの各ダイオードに対して、
対向する位相検出ダイオードを特定し、
前記対向する位相検出ダイオードに対応する対向する位相検出画像および対向する仮想位相画像を特定する
ように構成される、請求項5に記載の撮像装置。 - 前記プロセッサが、前記中心画像、位相検出画像、対向する位相検出画像、仮想位相画像、および対向する仮想位相画像のすべてのあり得るペアの間の位相差を特定するように構成される、請求項6に記載の撮像装置。
- 前記プロセッサが、前記位相差に基づいて前記オートフォーカス調整量を計算するように構成される、請求項7に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの各々のみが前記ターゲットシーンから特定の方向に伝播する光を収集するように、前記ターゲットシーンから伝播する前記光の一部分を遮断するための、前記複数のダイオードの前記第2のサブセットの各々の上に配置されたマスキング要素をさらに備える、請求項1に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの少なくとも2つの隣り合うダイオードの上に配置されたマイクロレンズをさらに備え、前記マイクロレンズが、前記少なくとも2つの隣り合うダイオードのうちの第1へと前記ターゲットシーンから伝播する光の第1の部分および前記少なくとも2つの隣り合うダイオードの第2へと前記ターゲットシーンから伝播する光の第2の部分を通すように形成され、前記第1の部分が第1の方向に伝播し、前記第2の部分が第2の方向に伝播する、請求項1に記載の撮像装置。
- 前記複数のダイオードが、前記複数のダイオードの2次元行列を有する半導体基板を備える、請求項1に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの第1の半分と関連付けられる光学素子が、前記複数のダイオードの前記第2のサブセットの前記第1の半分の各ダイオードのみが第1の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第1の半分を生成するように構成される、請求項1に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの第2の半分と関連付けられる光学素子が、前記複数のダイオードの前記第2のサブセットの前記第2の半分の各ダイオードのみが第2の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第2の半分を生成するように構成される、請求項10に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの各々が、光遮断マスクを通って前記ターゲットシーンから伝播する光を受け取り、前記中心値を決定するステップが、前記位置の周りの前記複数のダイオードの前記第1のサブセットの3×3の近隣から受け取られる値に基づいて前記中心値を補間するステップを備える、請求項1に記載の撮像装置。
- 前記複数のダイオードの前記第2のサブセットの各々が、マルチダイオードマイクロレンズを通って前記ターゲットシーンから入射する光を受け取り、前記中心値を決定するステップが、前記位置の周りの前記複数のダイオードの前記第1のサブセットの3×4の近隣から受け取られる値に基づいて前記中心値を補間するステップを備える、請求項1に記載の撮像装置。
- 前記マルチダイオードマイクロレンズの下に配置される各ダイオードに対する前記仮想位相検出値を決定するステップが、前記中心値を使用するステップを備える、請求項15に記載の撮像装置。
- 位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサであって、前記プロセスが、
複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
前記複数の撮像ダイオードの2次元配置内の対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、
前記位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
前記画像情報から、前記位相検出ダイオードの位置に対応する中心値を決定するステップと、
前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定するステップと、
前記複数の位相検出ダイオードの各々に対する前記位相検出情報に基づく位相検出画像、
前記複数の位相検出ダイオードの各々に対する前記中心値に基づく中心画像、および
前記複数の位相検出ダイオードの各々に対する前記仮想位相検出値に基づく仮想位相検出画像
のうちの少なくとも2つを生成するステップと、
前記生成された画像のうちの2つの間の位相差を計算するステップと、
前記位相差に基づいてオートフォーカス調整量を決定するステップとを備える、プロセッサ。 - 前記複数の位相検出ダイオードが、前記複数の撮像ダイオードの2次元配置内の対応する複数の位置において配置され、前記中心値を決定するステップが、前記位置の周りの所定の撮像ダイオードから受け取られた値を使用するステップを備える、請求項17に記載のプロセッサ。
- 各位相検出ダイオードが、透明なカラーフィルタを通って、またはカラーフィルタを通らずに前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記所定の撮像ダイオードから受け取られた赤、青、および緑の色値を使用するステップを備える、請求項18に記載のプロセッサ。
- 各位相検出ダイオードが、緑のカラーフィルタを通って前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記所定の撮像ダイオードから受け取られた緑の色値を使用するステップを備える、請求項18に記載のプロセッサ。
- 各位相検出ダイオードが、光遮断マスクを通って前記ターゲットシーンから入射する光を受け取り、前記位置の周りの前記所定の撮像ダイオードが、撮像ダイオードの3×3のアレイを備える、請求項18に記載のプロセッサ。
- 各位相検出ダイオードが、マルチダイオードマイクロレンズを通って前記ターゲットシーンから入射する光を受け取り、前記位置の周りの前記所定の撮像ダイオードが、撮像ダイオードの3×4のアレイを備える、請求項17に記載のプロセッサ。
- 前記マルチダイオードマイクロレンズの下に配置される各ダイオードに対する前記仮想位相検出値を決定するステップが、前記中心値を使用するステップを備える、請求項22に記載のプロセッサ。
- 複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
前記複数の撮像ダイオードの2次元配置内の位置に対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、
前記位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
前記画像情報から、前記位相検出ダイオードの位置に対応する中心値を決定するステップと、
前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定するステップと、
各位相検出ダイオードの前記位相検出情報および前記仮想位相検出値に基づいて、第1の画像および第2の画像を生成するステップと、
前記第1の画像と前記第2の画像との間の位相差を計算するステップと、
前記位相差に基づいてオートフォーカス調整量を決定するステップとを備える、位相検出オートフォーカスプロセス。 - 前記複数の位相検出ダイオードの左側サブセットを特定するステップと、前記複数の位相検出ダイオードの右側サブセットを特定するステップとをさらに備える、請求項24に記載のプロセス。
- 前記第1の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットから受け取られた位相検出情報を前記複数の位相検出ダイオードの前記右側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを備え、前記第2の画像を生成するステップが、前記複数の位相検出ダイオードの前記右側サブセットから受け取られた位相検出情報を前記複数の位相検出ダイオードの前記左側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを備える、請求項24に記載のプロセス。
- 前記第1の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットから受け取られた位相検出情報に基づき、前記第2の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットの位置に対応する複数の仮想位相検出値に基づく、請求項24に記載のプロセス。
- 各位相検出ダイオードが、透明なカラーフィルタを通って、またはカラーフィルタを通らずに前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記複数の撮像ダイオードの前記所定の近隣から受け取られた赤、青、および緑の色値を使用するステップを備える、請求項24に記載のプロセス。
- 各位相検出ダイオードが、緑のカラーフィルタを通って前記ターゲットシーンから入射する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記複数の撮像ダイオードの前記所定の近隣から受け取られた緑の色値を使用するステップを備える、請求項24に記載のプロセス。
- ターゲットシーンを表す画像情報を捕捉するための手段と、
位相検出情報を捕捉するための複数の手段と、
位相検出情報を捕捉するための前記複数の手段の各位相捕捉手段に対して、
前記位相捕捉手段から受け取られる前記位相検出情報を入手し、
前記画像情報から、前記位相捕捉手段の位置に対応する中心値を決定し、
前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定する
ための手段と、
位相検出情報を捕捉するための前記複数の手段の少なくともいくつかの前記位相検出情報に基づく位相検出画像、
前記複数のダイオードの前記第2のサブセットの各々に対する前記中心値に基づく中心画像、および
位相検出情報を捕捉するための前記複数の手段の前記少なくともいくつかに対する前記仮想位相検出値に基づく仮想位相検出画像
のうちの少なくとも2つを生成するための手段と、
前記生成された画像のうちの2つの間の位相差を計算するための手段と、
前記位相差に基づいてオートフォーカス調整量を決定するための手段とを備える、撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/865,629 US9804357B2 (en) | 2015-09-25 | 2015-09-25 | Phase detection autofocus using masked and unmasked photodiodes |
US14/865,629 | 2015-09-25 | ||
PCT/US2016/048414 WO2017052923A1 (en) | 2015-09-25 | 2016-08-24 | Phase detection autofocus arithmetic |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018535443A true JP2018535443A (ja) | 2018-11-29 |
Family
ID=56940359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018515051A Pending JP2018535443A (ja) | 2015-09-25 | 2016-08-24 | 位相検出オートフォーカスの算術 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9804357B2 (ja) |
EP (1) | EP3354009B1 (ja) |
JP (1) | JP2018535443A (ja) |
KR (2) | KR20180056754A (ja) |
CN (1) | CN108141527B (ja) |
BR (1) | BR112018006093A2 (ja) |
WO (1) | WO2017052923A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9978154B2 (en) | 2015-07-02 | 2018-05-22 | Pixart Imaging Inc. | Distance measurement device base on phase difference and distance measurement method thereof |
US10148864B2 (en) * | 2015-07-02 | 2018-12-04 | Pixart Imaging Inc. | Imaging device having phase detection pixels and regular pixels, and operating method thereof |
JP2017049318A (ja) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法 |
US10044959B2 (en) * | 2015-09-24 | 2018-08-07 | Qualcomm Incorporated | Mask-less phase detection autofocus |
US10154234B2 (en) * | 2016-03-16 | 2018-12-11 | Omnivision Technologies, Inc. | Image sensor with peripheral 3A-control sensors and associated imaging system |
WO2017209252A1 (ja) * | 2016-06-01 | 2017-12-07 | 富士フイルム株式会社 | 撮像装置、合焦制御方法、及び、合焦制御プログラム |
KR101997863B1 (ko) * | 2017-03-13 | 2019-07-08 | 루미리즈 홀딩 비.브이. | 자동초점 성능이 개선된 촬상 디바이스 |
CN107146797B (zh) * | 2017-04-28 | 2020-03-27 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
US10387477B2 (en) * | 2017-05-30 | 2019-08-20 | Qualcomm Incorporated | Calibration for phase detection auto focus (PDAF) camera systems |
US10848697B2 (en) * | 2018-08-14 | 2020-11-24 | Omnivision Technologies, Inc. | Image sensors with phase detection auto focus pixels |
KR102624107B1 (ko) | 2018-12-06 | 2024-01-12 | 삼성전자주식회사 | 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치 |
US11023994B2 (en) * | 2019-04-05 | 2021-06-01 | Apple Inc. | Auto-focus engine architecture for image signal processor |
US11025842B2 (en) | 2019-04-05 | 2021-06-01 | Apple Inc. | Binner circuit for image signal processor |
US11297219B2 (en) | 2019-06-11 | 2022-04-05 | Samsung Electronics Co., Ltd. | Image sensor |
KR102662032B1 (ko) | 2019-06-19 | 2024-05-03 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 장치 |
GB2586980B (en) | 2019-09-10 | 2023-02-15 | Advanced Risc Mach Ltd | Contrast-based autofocus |
KR20210087809A (ko) | 2020-01-03 | 2021-07-13 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
KR20210101049A (ko) | 2020-02-07 | 2021-08-18 | 삼성전자주식회사 | 전자 장치 및 객체 인식 방법 |
US11765470B2 (en) | 2020-10-26 | 2023-09-19 | Samsung Electronics Co., Ltd. | Pixel array including evenly arranged phase detection pixels and image sensor including the pixel array |
GB2601372B (en) | 2020-11-30 | 2022-12-14 | British Telecomm | Wireless telecommunications network |
US11496728B2 (en) | 2020-12-15 | 2022-11-08 | Waymo Llc | Aperture health monitoring mode |
KR20230014490A (ko) * | 2021-07-21 | 2023-01-30 | 삼성전자주식회사 | 오토 포커스 기능을 제공하는 방법 및 그 전자 장치 |
GB2609911B (en) | 2021-08-10 | 2023-09-20 | British Telecomm | Wireless telecommunications network |
KR20240011793A (ko) | 2021-08-23 | 2024-01-26 | 삼성전자주식회사 | 장면의 자동 초점을 위한 방법 및 전자 디바이스 |
US11539875B1 (en) * | 2021-08-27 | 2022-12-27 | Omnivision Technologies Inc. | Image-focusing method and associated image sensor |
KR20230037382A (ko) * | 2021-09-09 | 2023-03-16 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20230050011A (ko) * | 2021-10-07 | 2023-04-14 | 에스케이하이닉스 주식회사 | 카메라 테스트 장치, 및 카메라의 포커싱 특성을 테스트 하는 방법 |
CN116584104A (zh) * | 2021-12-08 | 2023-08-11 | 梦芯片技术股份有限公司 | 用于处理图像传感器的图像数据的方法及处理单元和程序 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP2003247823A (ja) * | 2002-02-26 | 2003-09-05 | Seiko Precision Inc | 位相差検出方法、位相差検出装置、測距装置および撮像装置 |
JP4324402B2 (ja) | 2003-04-08 | 2009-09-02 | Hoya株式会社 | カメラの自動焦点調節装置 |
JP4042710B2 (ja) | 2004-02-25 | 2008-02-06 | カシオ計算機株式会社 | オートフォーカス装置及びそのプログラム |
JP4967296B2 (ja) | 2005-10-03 | 2012-07-04 | 株式会社ニコン | 撮像素子、焦点検出装置、および、撮像システム |
JP4857877B2 (ja) | 2006-04-11 | 2012-01-18 | 株式会社ニコン | 撮像装置およびカメラ |
US7711261B2 (en) | 2006-04-11 | 2010-05-04 | Nikon Corporation | Imaging device, camera and image processing method |
JP4349407B2 (ja) | 2006-11-17 | 2009-10-21 | ソニー株式会社 | 撮像装置 |
JP5040700B2 (ja) | 2008-02-12 | 2012-10-03 | ソニー株式会社 | 撮像素子および撮像装置 |
JP5219865B2 (ja) | 2008-02-13 | 2013-06-26 | キヤノン株式会社 | 撮像装置及び焦点制御方法 |
JP5161702B2 (ja) | 2008-08-25 | 2013-03-13 | キヤノン株式会社 | 撮像装置、撮像システム、及び焦点検出方法 |
JP5146295B2 (ja) | 2008-12-15 | 2013-02-20 | ソニー株式会社 | 撮像装置および合焦制御方法 |
JP2010252277A (ja) | 2009-04-20 | 2010-11-04 | Panasonic Corp | 固体撮像装置及び電子カメラ |
JP5322783B2 (ja) | 2009-06-05 | 2013-10-23 | キヤノン株式会社 | 撮像装置及び該撮像装置の制御方法 |
US8253832B2 (en) * | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
JP5476810B2 (ja) | 2009-06-23 | 2014-04-23 | 株式会社ニコン | 撮像装置 |
JP5204728B2 (ja) * | 2009-06-25 | 2013-06-05 | ペンタックスリコーイメージング株式会社 | 焦点検出装置 |
JP5381472B2 (ja) | 2009-08-05 | 2014-01-08 | 株式会社ニコン | 撮像装置 |
JP5454223B2 (ja) | 2010-02-25 | 2014-03-26 | 株式会社ニコン | カメラ |
WO2011155297A1 (ja) | 2010-06-09 | 2011-12-15 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP5744556B2 (ja) | 2011-02-10 | 2015-07-08 | オリンパス株式会社 | 撮像素子および撮像装置 |
CN103493484B (zh) | 2011-03-31 | 2015-09-02 | 富士胶片株式会社 | 成像装置和成像方法 |
JP5468178B2 (ja) | 2011-03-31 | 2014-04-09 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP5331945B2 (ja) | 2011-03-31 | 2013-10-30 | 富士フイルム株式会社 | 撮像装置及びその駆動方法 |
WO2012132122A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
JP6029309B2 (ja) | 2011-06-22 | 2016-11-24 | キヤノン株式会社 | 焦点検出装置 |
US20130002936A1 (en) | 2011-06-30 | 2013-01-03 | Nikon Corporation | Image pickup apparatus, image processing apparatus, and storage medium storing image processing program |
KR101853817B1 (ko) * | 2011-07-20 | 2018-05-02 | 삼성전자주식회사 | 촬상 소자 |
JP2013025144A (ja) | 2011-07-22 | 2013-02-04 | Nikon Corp | 焦点調節装置および撮像装置 |
WO2013164937A1 (ja) | 2012-05-01 | 2013-11-07 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
CN104285437B (zh) | 2012-05-10 | 2016-06-29 | 富士胶片株式会社 | 信号处理装置、摄像装置、信号校正方法 |
JP6066593B2 (ja) | 2012-06-13 | 2017-01-25 | キヤノン株式会社 | 撮像システムおよび撮像システムの駆動方法 |
EP2738812B8 (en) | 2012-11-29 | 2018-07-18 | ams Sensors Belgium BVBA | A pixel array |
JP2014153509A (ja) | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置及び撮像方法 |
JP2014160930A (ja) | 2013-02-19 | 2014-09-04 | Sony Corp | 固体撮像素子およびその駆動方法、並びに電子機器 |
JP6172978B2 (ja) | 2013-03-11 | 2017-08-02 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体 |
JP2014179939A (ja) | 2013-03-15 | 2014-09-25 | Sony Corp | 信号処理装置および信号処理方法 |
JP6426890B2 (ja) | 2013-06-11 | 2018-11-21 | キヤノン株式会社 | 焦点検出装置及び方法、及び撮像装置 |
KR102125561B1 (ko) | 2013-12-03 | 2020-06-22 | 삼성전자주식회사 | 촬영 장치 및 이의 제어 방법 |
JP6478457B2 (ja) | 2014-01-23 | 2019-03-06 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
US9432568B2 (en) | 2014-06-30 | 2016-08-30 | Semiconductor Components Industries, Llc | Pixel arrangements for image sensors with phase detection pixels |
JP2016038414A (ja) | 2014-08-05 | 2016-03-22 | キヤノン株式会社 | 焦点検出装置およびその制御方法、並びに撮像装置 |
US10078198B2 (en) | 2014-08-08 | 2018-09-18 | Samsung Electronics Co., Ltd. | Photographing apparatus for automatically determining a focus area and a control method thereof |
US9420164B1 (en) | 2015-09-24 | 2016-08-16 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
-
2015
- 2015-09-25 US US14/865,629 patent/US9804357B2/en active Active
-
2016
- 2016-08-24 CN CN201680054975.XA patent/CN108141527B/zh not_active Expired - Fee Related
- 2016-08-24 KR KR1020187011521A patent/KR20180056754A/ko not_active Application Discontinuation
- 2016-08-24 KR KR1020187011529A patent/KR20180059842A/ko unknown
- 2016-08-24 BR BR112018006093A patent/BR112018006093A2/pt not_active Application Discontinuation
- 2016-08-24 JP JP2018515051A patent/JP2018535443A/ja active Pending
- 2016-08-24 WO PCT/US2016/048414 patent/WO2017052923A1/en active Application Filing
- 2016-08-24 EP EP16766705.4A patent/EP3354009B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108141527A (zh) | 2018-06-08 |
CN108141527B (zh) | 2020-08-07 |
US20170090149A1 (en) | 2017-03-30 |
WO2017052923A1 (en) | 2017-03-30 |
KR20180056754A (ko) | 2018-05-29 |
US9804357B2 (en) | 2017-10-31 |
EP3354009A1 (en) | 2018-08-01 |
BR112018006093A2 (pt) | 2019-03-19 |
KR20180059842A (ko) | 2018-06-05 |
EP3354009B1 (en) | 2019-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946278B2 (ja) | 位相検出オートフォーカスのノイズ低減 | |
EP3354009B1 (en) | Phase detection autofocus arithmetic | |
CN108141571B (zh) | 无掩模相位检测自动聚焦 | |
US11210799B2 (en) | Estimating depth using a single camera | |
US10044926B2 (en) | Optimized phase detection autofocus (PDAF) processing | |
US10397465B2 (en) | Extended or full-density phase-detection autofocus control | |
US20180288306A1 (en) | Mask-less phase detection autofocus | |
JP2016038414A (ja) | 焦点検出装置およびその制御方法、並びに撮像装置 | |
US11245878B2 (en) | Quad color filter array image sensor with aperture simulation and phase detection | |
JP2015018256A (ja) | 撮像装置及び光軸位置算出方法 | |
US20190033555A1 (en) | Phase detection autofocus with diagonal line detection | |
US9503661B2 (en) | Imaging apparatus and image processing method | |
JP6748477B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180327 |