JP2024506248A - スパースカラーイメージセンサシステム - Google Patents
スパースカラーイメージセンサシステム Download PDFInfo
- Publication number
- JP2024506248A JP2024506248A JP2023544146A JP2023544146A JP2024506248A JP 2024506248 A JP2024506248 A JP 2024506248A JP 2023544146 A JP2023544146 A JP 2023544146A JP 2023544146 A JP2023544146 A JP 2023544146A JP 2024506248 A JP2024506248 A JP 2024506248A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- subunit
- wavelength
- subunits
- filtered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 18
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 208000012661 Dyskinesia Diseases 0.000 description 4
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000015592 Involuntary movements Diseases 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
少数の波長フィルタリングされた画素と残りの大多数のパンクロマティック画素とを含むスパースカラーフィルタアレイによって取り込まれた複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせることによってカラー画像を生成するためのシステムおよび技術が記載されている。複数のサブユニットを含むカラーフィルタアレイによる複数の画像フレームのバースト取り込みが開始され、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含む。複数の画像フレームの各々が処理されて、結果として得られるカラー画像が生成される。
Description
背景
色情報を取り込んでカラー画像の作成を可能にするために、モバイルイメージングシステムおよび他のイメージングシステムにおける電子イメージセンサは、一般的に、ベイヤーCFAなどのカラーフィルタアレイ(CFA:Color Filter Array)を含んでおり、このCFAは、電子イメージセンサの個々のピクセル上に繰り返しパターンで配置または形成された波長に特有の別々のフィルタを含んでいる。しかし、そのような色情報の取り込みは、光学効率の相当な犠牲と関係がある。なぜなら、そのような波長に特有のフィルタを通して受け取られる光の量は、大幅に減少するからである。そのような不利点は、光が少ない状況では悪化し、その結果、ノイズの増加、エイリアシングの増加、空間分解能の低下、ならびに、光学非効率の補償に使用され得る事後処理技術によるものを含むその他の画像鮮明度および画像品質の低下を生じさせる可能性がある。
色情報を取り込んでカラー画像の作成を可能にするために、モバイルイメージングシステムおよび他のイメージングシステムにおける電子イメージセンサは、一般的に、ベイヤーCFAなどのカラーフィルタアレイ(CFA:Color Filter Array)を含んでおり、このCFAは、電子イメージセンサの個々のピクセル上に繰り返しパターンで配置または形成された波長に特有の別々のフィルタを含んでいる。しかし、そのような色情報の取り込みは、光学効率の相当な犠牲と関係がある。なぜなら、そのような波長に特有のフィルタを通して受け取られる光の量は、大幅に減少するからである。そのような不利点は、光が少ない状況では悪化し、その結果、ノイズの増加、エイリアシングの増加、空間分解能の低下、ならびに、光学非効率の補償に使用され得る事後処理技術によるものを含むその他の画像鮮明度および画像品質の低下を生じさせる可能性がある。
簡単な概要
一例において、方法は、複数のサブユニットを含むカラーフィルタアレイ(CFA)による複数の画像フレームのバースト取り込みを開始するステップを備え得て、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、上記方法はさらに、上記開始するステップに応答して、上記複数の画像フレームを受信するステップと、上記複数の画像フレームの各々を処理するステップと、上記処理するステップに少なくとも部分的に基づいて画像を生成するステップとを備え得る。
一例において、方法は、複数のサブユニットを含むカラーフィルタアレイ(CFA)による複数の画像フレームのバースト取り込みを開始するステップを備え得て、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、上記方法はさらに、上記開始するステップに応答して、上記複数の画像フレームを受信するステップと、上記複数の画像フレームの各々を処理するステップと、上記処理するステップに少なくとも部分的に基づいて画像を生成するステップとを備え得る。
したがって、提案されている方法は、サブユニットを有するCFAの使用を含み得て、各サブユニットは、大多数のパンクロマティックピクセルと、定められた範囲の波長の光をサンプリングするための1つまたは複数の隣り合うピクセルとを含み、各サブユニットの大多数のピクセルは、パンクロマティックピクセルである。パンクロマティックピクセルは、取り込まれた画像フレームについての輝度情報を提供するのに対して、波長フィルタリングされたピクセルは、例えば赤色光、緑色光または青色光をサンプリングするなど、定められた波長範囲の光をサンプリングするために設けられている。したがって、例示的な実施形態において、設けられた少数の波長フィルタリングされたピクセルは、処理対象の色データをアンダーサンプリングするために波長に従ってフィルタリングされ得るが、CFA内の大多数のパンクロマティックピクセルは、輝度データを提供するが色情報を提供しない。したがって、バースト取り込みで取り込まれた各(成分)画像フレームについての、少数の波長フィルタリングされたピクセルからの色データと大多数のパンクロマティックピクセルからの輝度データとを処理して、単一の(完全な)カラー画像を生成することができる。
この文脈において、サブユニットのピクセルの中で少数を構成する1つまたは複数の波長フィルタリングされたピクセルが隣り合っていることは、特に、波長フィルタリングされていないサブグループのピクセルがいずれもサブグループの2つ以上の波長フィルタリングされたピクセル間に位置しないように、波長に従ってフィルタリングされた2つ以上のピクセルが空間的に配置されていることを含む。本明細書における単一の「隣接する」ピクセルを有するサブユニットへの言及は、言及されているサブユニットが、波長フィルタリングされたピクセルを1つだけ含んでおり、サブユニットの残りのピクセルがパンクロマティックであることを意味する。
各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含み得る。
各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成され得る。
上記複数のサブユニットの各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、上記複数のサブユニットのうちの近接する各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離され得る。
上記複数の画像フレームの各々を処理するステップは、上記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償するために、上記複数の画像フレームの対応する複数のサブユニットを位置合わせするステップを含み得る。それぞれの画像フレーム間の空間オフセットは、例えば、イメージセンサとイメージセンサに結合されたCFAとを含むデバイスの不随意運動に起因し得て、この不随意運動によって、バーストで取り込まれた連続的な画像フレームに描写される少なくとも1つのオブジェクトは空間的にオフセットされる。
上記複数のサブユニットの各サブユニットは、合計ピクセルに対する波長フィルタリングされたピクセルの比率が1:5未満であり得る。
上記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートに関連付けられ得る。
別の例において、イメージングシステムは、イメージセンサと、CFAとを備え得て、上記CFAは、複数のサブユニットを含み、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み得て、上記イメージングシステムはさらに、上記CFAに結合されたイメージセンサと、上記イメージセンサに結合されたプロセッサとを備え得て、上記プロセッサは、上記CFAおよび上記イメージセンサによる複数の画像フレームのバースト取り込みを開始し得て、上記複数の画像フレームの各々を処理することによってカラー画像を生成し得る。
各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、第1の波長に従ってフィルタリングされた少なくとも1つの第1のピクセルと、別の第2の波長に従ってフィルタリングされた少なくとも1つの第2のピクセルとのクラスタを含み得る。例えば、各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、第1の赤色波長に従ってフィルタリングされた少なくとも1つの第1のピクセルと、別の第2の青色または緑色波長に従ってフィルタリングされた少なくとも1つの第2のピクセルとのクラスタを含み得る。例示的な実施形態において、各サブユニットは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む。
各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成され得る。
上記複数のサブユニットの各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、上記複数のサブユニットのうちの近接する各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離され得る。
上記複数の画像フレームの各々を処理することは、上記複数の画像フレームの対応する複数のサブユニットを位置合わせすることによって、上記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償することを含み得る。
上記複数のサブユニットの各サブユニットは、合計ピクセルに対する波長フィルタリングされたピクセルの比率が1:5未満であり得る。
上記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートに関連付けられ得る。
別の例において、コンピューティングデバイスは、イメージセンサと、CFAとを備え得て、上記CFAは、複数のサブユニットを含み、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み得て、上記コンピューティングデバイスはさらに、上記CFAに結合されたイメージセンサと、上記CFAを介して上記イメージセンサ上に光を向けるための1つまたは複数のレンズと、上記イメージセンサに結合された1つまたは複数のプロセッサとを備え得て、上記1つまたは複数のプロセッサは、上記CFAおよび上記イメージセンサによる複数の画像フレームのバースト取り込みを開始し得て、上記複数の画像フレームの各々を処理することによってカラー画像を生成し得る。
各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含み得る。
上記複数のサブユニットの各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、上記複数のサブユニットのうちの近接する各サブユニットの上記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離され得る。
上記カラー画像を生成することは、上記複数の画像フレームの対応する複数のサブユニットを空間的に位置合わせすることによって、上記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償することを含み得る。
上記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートを提供し得る。
上記コンピューティングデバイスは、頭部装着型ディスプレイ(HWD:Head-Wearable Display)をさらに備え得る。
手持ち式カメラまたはユーザの頭部に装着されるカメラなどの非固定式イメージングシステムは、一般的に、連続画像の取り込みの間に「自由な動き」をする。本明細書に記載されている技術は、画像取込装置を保持または着用しているであろうユーザの不随意運動に起因する空間オフセットなどの空間オフセットが小さい、位置合わせされていない画像フレーム全体にわたって色情報をアンダーサンプリングすることによって、(「スパース」)カラーフィルタアレイ(CFA)によって取り込まれたそのような連続画像のバーストを利用して完全なRGB画像を生成することができる。特定の実施形態において、そのような空間オフセットを有する複数の画像フレームのバーストと疎らにサンプリングされた色情報とを取り込んだ後、取り込まれた画像フレームは、次いで、「時間的重ね合わせ」で使用される。各画像フレームは、画像フレームを位置合わせおよび併合するように計算的に処理されて、どのピクセルにも色値(例えば、赤色値、緑色値および青色値)が割り当てられた単一の画像が形成される。他の実施形態では、画像フレームのこの時間的重ね合わせは、ほとんどモノクロの画像において部分(疎)色データを利用することなどによって省略されてもよい。
少数の波長フィルタリングされたピクセルと残りの大多数のパンクロマティックピクセルとを含むスパースカラーフィルタアレイによって取り込まれた複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせることによってカラー画像を生成するためのシステムおよび技術が記載されている。複数のサブユニットを含むカラーフィルタアレイによる複数の画像フレームのバースト取り込みが開始され得て、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含む。次いで、複数の画像フレームの各々が処理されて、結果として得られるカラー画像が生成され得る。
本開示は、添付の図面を参照することによってより適切に理解され、その多数の特徴および利点が当業者に対して明らかにされるであろう。異なる図面で使用される同一の参照符号は、同様または同一のアイテムを示す。
詳細な説明
スマートフォンまたは頭部装着型ディスプレイなどのモバイルデバイスプラットフォーム上の画像取込機構は、一般的に、そのような機構の空間分解能を制限する小さなセンサと、集光能力を制限する小さなアパーチャと、信号対雑音比を低下させる小さなピクセルとを有する。色情報を提供するためのカラーフィルタアレイ(CFA)をデバイスセンサとともに使用することを含む解決策は、一般的に、大量の波長フィルタリングされた画素(ピクセル)による入射光の大幅な遮断に起因する光学非効率と関係があり、この遮断は、分解能をさらに低下させる可能性がある。そのようなフィルタアレイの波長フィルタリングされた各ピクセル(例えば、赤色波長、緑色波長または青色波長のうちの1つについてフィルタリングされたピクセル)は、当該ピクセルを通過する光の一部を遮断することによってピクセルの光学効率を大幅に低下させる。また、色値が誤って割り当てられたピクセル間のクロストークを減少させるための対策がしばしば必要である。
スマートフォンまたは頭部装着型ディスプレイなどのモバイルデバイスプラットフォーム上の画像取込機構は、一般的に、そのような機構の空間分解能を制限する小さなセンサと、集光能力を制限する小さなアパーチャと、信号対雑音比を低下させる小さなピクセルとを有する。色情報を提供するためのカラーフィルタアレイ(CFA)をデバイスセンサとともに使用することを含む解決策は、一般的に、大量の波長フィルタリングされた画素(ピクセル)による入射光の大幅な遮断に起因する光学非効率と関係があり、この遮断は、分解能をさらに低下させる可能性がある。そのようなフィルタアレイの波長フィルタリングされた各ピクセル(例えば、赤色波長、緑色波長または青色波長のうちの1つについてフィルタリングされたピクセル)は、当該ピクセルを通過する光の一部を遮断することによってピクセルの光学効率を大幅に低下させる。また、色値が誤って割り当てられたピクセル間のクロストークを減少させるための対策がしばしば必要である。
本明細書に記載されている技術の実施形態は、画像取込装置を保持または着用しているであろうユーザの不随意運動に起因する空間オフセットを含む空間オフセットが小さい、位置合わせされていない画像全体にわたって色データをサンプリングすることなどによって、「スパースCFA」によって取り込まれた画像のバーストを利用して完全なRGB画像を生成する。本明細書におけるスパースCFAへの言及は、色データをアンダーサンプリングするためにCFA内の比較的少数のピクセルだけが波長に従ってフィルタリングされ、CFA内の残りの大多数のピクセルは、輝度データを提供するが色情報を提供しないパンクロマティック(「白色」と呼ばれることもある)ピクセルを含むことを意味する。特定の実施形態において、そのようなオフセットを有する複数の画像フレームのバーストと疎らにサンプリングされた色情報とを取り込んだ後、取り込まれた画像フレームは、次いで、計算処理(「時間的重ね合わせ」)によって位置合わせおよび併合されて、どのピクセルにも色値(例えば、赤色値、緑色値および青色値)が割り当てられた単一の画像が形成される。特定の実施形態において、そのような技術は、いずれの成分画像フレームよりも高い有効分解能および詳しい詳細を提供し、スパースCFAは、従来の非スパースCFA構成(例えば、ベイヤーCFA構成)よりも、遮断する光が大幅に少ない。したがって、そのような実施形態では、記載されている技術は、複数の成分画像フレームに存在する、色に関してアンダーサンプリングおよびシフトされた情報を計算的に組み合わせて、完全なカラー画像を生成する。
特定の実施形態において、この時間的重ね合わせは、大部分がモノクロの画像において部分色データを利用することなどによって回避することができる。そのような実施形態では、大多数の(モノクロ)ピクセルは、光感度を最大化するのに対して、色の情報を持っているピクセルの疎なサブセットは、例えばさまざまな機械学習技術の結果を向上させるための追加情報を提供する。特に、機械学習の特定のフェーズ(例えば、画像分類および/またはオブジェクト検出)は、一般的に、低解像度の(サブサンプリングされた)画像を使用することができ、本明細書に記載されているスパースカラーCFAからの色情報の入手可能性はピクセルの分類(「ビニング」)により向上させることができるが、解像度は低下し、その結果、一般的に、分類された色情報を有するピクセルは各「ビン」に含まれることになる。これに対して、機械学習の後続のフェーズ(例えば、オブジェクト認識)は、一般的に、高解像度の画像を利用することができるが、詳細な色データの存在にそれほど依存しない。
一般的に、画像信号プロセッサ(ISP:Image Signal Processor)は、各ピクセルが1つの原色のみの強さを表すデータに関連付けられているにもかかわらず、取り込まれた画像内の各ピクセルについて3つの原色のそれぞれの強さを推定するように計算を実行することができる。しかし、本明細書の他の部分で説明するように、そのような原色フィルタは、特定の波長に従って各ピクセルをフィルタリングすることによって、利用可能な光の量を実質的に減少させ得るため、画像のノイズが増加する。これに対して、本明細書に提示されている技術は、ほとんどモノクロのセンサとしてスパースCFAを利用することによって信号対雑音比の強さを大幅に向上させることができ、さらに、少ないデータ処理で、かつ、それに対応して少ない計算要件および電力要件で実行することができる。さらに、(例えば、機械学習の目的で)画像をより低い解像度に調整することによって、高品質の強さデータを利用可能な疎色データと組み合わせて、やはり少ないデータ処理で強さデータの向上も色データの向上も提供することができる。
したがって、本明細書に提供されている例は、時間的重ね合わせを利用して、どのピクセルにも色値が割り当てられた単一の画像を形成する実施形態について論じ得るが、さまざまな実施形態では、スパースカラーCFAによって取り込まれた画像および情報は、そのような時間的重ね合わせなしに多くの用途で利用可能である、ということが理解されるであろう。本開示は、赤色-緑色-青色(RGB)カラーモデルに鑑みてさまざまな技術を記載しているが、そのような技術は、記載されている実施形態から逸脱することなくさまざまなさらなるカラーモデル(例えば、シアン-マゼンタ-黄色(CMY))とともに利用されてもよい、ということがさらに理解されるであろう。
図1は、1つまたは複数の実施形態に係る、イメージングシステム100のブロック図である。特定の実施形態において、イメージングシステム100は、スマートフォン、頭部装着型ディスプレイ(HWD)または他のデバイスなどのモバイルデバイスの一部を含み得る。イメージングシステムは、レンズ105と、カラーフィルタアレイ(CFA)110と、イメージセンサ115と、コントローラ125と、システムメモリ135に結合されたプロセッサ130と、ディスプレイ140とを含む。示されている実施形態では、イメージングシステム100を利用して、ディスプレイ140による表示、後で表示するための記憶、または他の用途などのために、本明細書に記載されている技術に従って完全な画像を生成する目的で、複数の画像フレーム120のバーストを取り込んで処理することができる。特定の実施形態において、本明細書に記載されている構成要素のうちの1つ以上(CFA110、イメージセンサ115、コントローラ125、プロセッサ130およびシステムメモリ135のうちの1つ以上など)は、システムオンチップ(SOC:System-On-Chip)または他の統合システムなどの単一の統合システムの要素としてインスタンス化されてもよい。また、さまざまな実施形態において、CFA110の画素(ピクセル)がイメージセンサ115の表面上に形成または配置される場合などには、CFA110およびイメージセンサ115は統合されてもよい。
動作時、光101は、レンズ105およびCFA110を通過して、イメージセンサ115によって感知され、イメージセンサ115は、受光した光を利用して、複数の画像フレーム120を表す情報を生成する。レンズ105は、任意の好適なレンズを含み得て、非限定的な例として、直線レンズ、広角(または、「魚眼」)レンズ、固定焦点距離レンズ、ズームレンズ、固定アパーチャまたは可変アパーチャレンズなどを含み得る。さまざまな実施形態において、イメージセンサ115は、相補型金属酸化膜半導体(CMOS:Complementary Metal Oxide Semiconductor)イメージセンサ、電荷結合デバイス(CCD:Charge-Coupled Device)イメージセンサ、または他の好適なイメージセンサを含み得る。示されている実施形態では、コントローラ125は、プロセッサ130の指示などで、複数の画像フレーム120の各々に関連付けられた露光時間を調整し得る。さらに、プロセッサ130は、複数の画像フレームの「バースト取り込み」を開始することなどによって、複数の画像フレーム120のうちの1つ以上の取り込みを(自律的に、またはユーザ入力に応答して)開始し得る。
図1に示されるイメージングシステムの多くの変形例および特徴は、例えばオートフォーカスシステム、機械的または電気機械的シャッターシステムなどの1つまたは複数の要素を含むように、本開示の範囲から逸脱することなく利用されてもよい、ということが理解されるであろう。
図2は、1つまたは複数の実施形態に係る、4つの個別の画像フレーム(フレーム1 210、フレーム2 220、フレーム3 230およびフレーム4 240)に関連付けられた画像データの取り込まれたバーストの計算処理を示す図である。各画像フレーム220,230,240は、各々の代表的なピクセルの中央に例示的な点を有する(実際の画像フレームデータには存在しない)ように示されており、関連するイメージングシステム(例えば、図1のイメージングシステム100)の一実施形態を保持または着用しているユーザなどのユーザの不随意運動に起因する事実上ランダム化された空間オフセットによって、前の画像フレームからオフセットされている。特定の実施形態において、フレーム1 210は、残りの画像フレーム240,230および240を位置合わせするための「ベースフレーム」として利用され得る。併合された画像250を生成するために、計算処理を利用して各成分画像フレームの特徴を検出してそのような特徴を位置合わせすることにより、4つの成分画像フレームの各々からの色に関してサンプリングされたデータおよび輝度データを使用してピクセル密度が高められる。
図3は、1つまたは複数の実施形態に係る、ポイントサンプリングカラーフィルタアレイ(CFA)300の一例の一部を示す図である。示されているCFA300の部分は、各々が4×4個のピクセルからなる16個のサブユニットに分割された、256個のピクセルからなる代表的なグリッドを示している。示されている実施形態では、CFA300のサブユニットの各々は、波長フィルタリングされたピクセルを1つだけ含んでいる。例えば、一番左上のサブユニット305は、赤色(R)光をサンプリングするように波長フィルタリングされた1つのピクセル301を含んでおり、当該サブユニットの他の全てのピクセルは、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。同様に、サブユニット310は、緑色(G)光をサンプリングするように波長フィルタリングされた1つのピクセル306を含んでおり、当該サブユニットの他の全てのピクセルは、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。サブユニット315は、青色(B)光をサンプリングするように波長フィルタリングされた1つのピクセル311を含んでおり、当該サブユニットの他の全てのピクセルはやはり、輝度情報を提供するためのパンクロマティックピクセルを含んでいる。明確にするために、CFA300の残りのサブユニットが示されているが、個別に説明することはしない。なぜなら、残りの各サブユニットは、記載されているサブユニット305,310および315のうちの1つと同一であるからである。ポイントサンプリングCFA300の各サブユニットは、サブユニットのそれぞれの16個のピクセルのうち、波長フィルタリングされたピクセルを1つだけ含んでおり、そのため、各サブユニットは、カラーサンプリングレートが6.25%である、ということが理解されるであろう。
図4は、1つまたは複数の実施形態に係る、例示的なクラスタサンプリングCFA400の一部を示す図である。示されているCFA400の部分は、図3のCFA300によって示されたものと同様に、各々が4×4個のピクセルからなる16個のサブユニットに分割された、256個のピクセルからなる別の代表的なグリッドを示している。示されている実施形態では、CFA400の各サブユニットは、波長フィルタリングされた隣り合うピクセルのクラスタを含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。CFA400の16個全てのサブユニットの代表である例示的なサブユニット410は、赤色(R)ピクセル412と緑色(G)ピクセル414と青色(B)ピクセル416とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット410の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。示されている実施形態では、CFA400の「クラスタスペーシング」は、2つのピクセルの距離418を含む。すなわち、波長フィルタリングされたピクセルの各クラスタは、2つのパンクロマティックピクセルによって、近接するサブユニットの対応するクラスタから分離されている。したがって、クラスタサンプリングCFA400は、16個のピクセルのうちの3つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、18.75%というカラーサンプリングレートを提供する。
図5は、1つまたは複数の実施形態に係る、別の例示的なクラスタサンプリングCFA500の一部を示す図である。示されているCFA500の部分は、図4のCFA400によって示されたものと同様に、サブユニットに分割された256個のピクセルからなる別の代表的なグリッドを示している。CFA500の各サブユニットは、やはり、波長フィルタリングされた隣り合うピクセルのクラスタを1つ含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。CFA500の他のサブユニットの代表である例示的なサブユニット510は、赤色(R)ピクセル512と緑色(G)ピクセル514と青色(B)ピクセル516とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット510の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。しかし、示されている実施形態では、図4のCFA400とは対照的に、CFA500は、各々が25個のピクセル(5×5)からなるサブユニットを含んでおり、近接するサブユニットの対応する波長フィルタリングされたクラスタ間の3つのパンクロマティックピクセルのクラスタスペーシング距離518を有する。したがって、クラスタサンプリングCFA500は、25個のピクセルのうちの3つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、わずか12%というカラーサンプリングレートを提供する。
図6は、1つまたは複数の実施形態に係る、別の例示的なクラスタサンプリングCFA600の一部を示す図である。示されているCFA600の部分は、図4のCFA400および図5のCFA500によって示されたものと同様に、サブユニットに分割された256個のピクセルからなる別の代表的なグリッドを示している。CFA600の各サブユニットは、やはり、波長フィルタリングされた隣り合うピクセルのクラスタを1つ含んでおり、それぞれのサブユニットの他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。CFA600の他のサブユニットの代表である例示的なサブユニット610は、赤色(R)ピクセル612と緑色(G)ピクセル614と青色(B)ピクセル616とを含む、波長フィルタリングされたピクセルのクラスタを含む。サブユニット610の他の全てのピクセルは、輝度情報を提供するパンクロマティックピクセルである。示されている実施形態では、それぞれ図4のCFA400および図5のCFA500とは対照的に、CFA600は、各々が36個のピクセル(6×6)からなるサブユニットを含んでおり、近接するサブユニットの対応する波長フィルタリングされたクラスタ間の4つのパンクロマティックピクセルのクラスタスペーシング距離618を有する。したがって、クラスタサンプリングCFA600は、36個のピクセルのうちの3つのピクセルが波長フィルタリングされたピクセルであるサブユニットを含んでおり、そのため、各サブユニットは、わずか8.33%というカラーサンプリングレートを提供する。
さまざまな実施形態において、波長フィルタリングされたピクセルのカラーサンプリングクラスタの配置は、本明細書に記載されている技術から逸脱することなくさまざまな態様で構成されてもよい、ということが理解されるであろう。特に、特定の実施形態において、カラーサンプリングクラスタは、追加の波長フィルタリングされたピクセルを含んでいてもよく(例えば、1つまたは複数の追加の緑色(G)または他の波長に特有のフィルタリングされたピクセルを含んでいてもよく)、上記の実施形態に関して示した態様以外の態様で空間的に配置されてもよい、などである。
図7は、1つまたは複数の実施形態に係る、プロセッサベースのイメージングシステムの動作ルーチン700の概要を示すブロック図である。このルーチンは、例えば図1のイメージングシステム100の実施形態によって、または何らかの他の実施形態によって実行され得る。
このルーチンは、ブロック705において開始し、ブロック705において、プロセッサベースのイメージングシステムは、スパースカラーフィルタアレイによる複数の画像フレームのバースト取り込みを開始する。本明細書の他の部分で説明するように、バースト取り込みの開始は、プロセッサベースのイメージングシステムのプロセッサによって自律的に(例えば、1つまたは複数の定義された基準に基づいて)、1つまたは複数のユーザ入力に応答して、または何らかの他の態様で実行され得る。
ルーチンは、ブロック710に進み、ブロック710において、複数の画像フレームを表す、色に関してサンプリングされた画像データがプロセッサベースのイメージングシステムによって受信される。次いで、ルーチンはブロック715に進む。
ブロック715において、プロセッサベースのイメージングシステムは、複数の画像フレームに関連付けられた、色に関してサンプリングされた画像データを処理する。特定の実施形態において、そのような処理は、複数の画像フレームの連続的な画像フレーム間に(例えば、不随意ユーザ運動によって)生じた空間オフセットを補償するために複数の画像フレームの各々を空間的に位置合わせすることを含み得る。次いで、ルーチンはブロック720に進む。
ブロック720において、プロセッサベースのイメージングシステムは、ディスプレイデバイス上での表示、記憶、または他の目的などのために、複数の処理された画像フレームに基づいて単一のカラー画像を生成する。
いくつかの実施形態において、上述した技術の特定の局面は、ソフトウェアを実行する処理システムの1つまたは複数のプロセッサによって実現されてもよい。ソフトウェアは、非一時的なコンピュータ可読記憶媒体上に格納されるかまたは非一時的なコンピュータ可読記憶媒体上で有形に具体化される実行可能な命令の1つまたは複数のセットを含む。ソフトウェアは、これらの命令と、1つまたは複数のプロセッサによって実行されると、上述した技術の1つまたは複数の局面を実行するように1つまたは複数のプロセッサを操作する特定のデータとを含み得る。非一時的なコンピュータ可読記憶媒体は、例えば、磁気または光学ディスクストレージデバイス、フラッシュメモリなどのソリッドステートストレージデバイス、キャッシュ、ランダムアクセスメモリ(RAM:Random Access Memory)、または、1つまたは複数の他の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ可読記憶媒体上に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または1つまたは複数のプロセッサによって解釈されるかまたは実行可能である他の命令フォーマットの形式であり得る。
コンピュータ可読記憶媒体は、コンピュータシステムに命令および/またはデータを提供するために使用中にコンピュータシステムがアクセスできる任意の記憶媒体または記憶媒体の組み合わせを含み得る。そのような記憶媒体は、光学媒体(例えば、コンパクトディスク(CD:Compact Disc)、デジタル多用途ディスク(DVD:Digital Versatile Disc)、ブルーレイディスク)、磁気媒体(例えば、フロッピー(登録商標)ディスク、磁気テープもしくは磁気ハードドライブ)、揮発性メモリ(例えば、ランダムアクセスメモリ(RAM)もしくはキャッシュ)、不揮発性メモリ(例えば、リードオンリメモリ(ROM:Read-Only Memory)もしくはフラッシュメモリ)、または微小電気機械システム(MEMS:MicroElectroMechanical Systems)ベースの記憶媒体を含み得るが、それらに限定されるものではない。コンピュータ可読記憶媒体は、コンピューティングシステムに組み込まれてもよく(例えば、システムRAMまたはROM)、コンピューティングシステムに固定的に取り付けられてもよく(例えば、磁気ハードドライブ)、コンピューティングシステムに取り外し可能に取り付けられてもよく(例えば、光ディスクまたはユニバーサルシリアルバス(USB:Universal Serial Bus)ベースのフラッシュメモリ)、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されてもよい(例えば、ネットワークアクセス可能ストレージ(NAS:Network Accessible Storage))。
なお、全般的な説明において上述した動作または要素の全てが必要とされるわけではない。特定の動作または装置の一部は、必要とされなくてもよい。上述したものに加えて、1つまたは複数のさらなる動作を実行してもよく、または1つまたは複数の要素を含んでもよい。さらに、動作を列挙する順序は、必ずしもこれらの動作を実行する順序ではない。また、特定の実施形態を参照して概念を説明している。しかしながら、当業者は、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく、さまざまな修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく、例示的な意味で見なされるべきであり、全てのそのような修正は、本開示の範囲内に含まれることが意図される。
特定の実施形態を参照して、上記で利益、他の利点、および問題に対する解決策を説明している。しかしながら、利益、利点、問題に対する解決策、および任意の利益、利点、または解決策を生じさせ得るまたはより顕著にさせ得る任意の特徴は、いずれかの請求項または全ての請求項の重要な特徴、必要な特徴、または本質的な特徴として解釈されるべきではない。さらに、上記で開示された特定の実施形態は、例証にすぎない。開示された主題は、本明細書の教示の利益を有する当業者に明白であり、異なるが同等の方法で修正されてもよく、実行されてもよい。以下の特許請求の範囲に記載されるもの以外に、本明細書に示された構造または設計の詳細への限定は、意図されていない。したがって、上記で開示された特定の実施形態は、変更または修正されてもよく、全ての変形例は、開示された主題の範囲に含まれると見なされることが明らかである。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載される。
Claims (20)
- 方法であって、
複数のサブユニットを含むカラーフィルタアレイ(CFA:Color Filter Array)による複数の画像フレームのバースト取り込みを開始するステップを備え、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記方法はさらに、
前記開始するステップに応答して、前記複数の画像フレームを受信するステップと、
前記複数の画像フレームの各々を処理するステップと、
前記処理するステップに基づいて画像を生成するステップとを備える、方法。 - 各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項1に記載の方法。
- 各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成される、請求項1に記載の方法。
- 前記複数のサブユニットの各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項1~3のいずれか1項に記載の方法。
- 前記複数の画像フレームの各々を処理するステップは、前記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償するために、前記複数の画像フレームのサブユニットを位置合わせするステップを含む、先行する請求項のいずれか1項に記載の方法。
- 前記複数のサブユニットの各サブユニットは、前記CFAの合計ピクセルに対する波長フィルタリングされたピクセルの比率が1:5未満である、先行する請求項のいずれか1項に記載の方法。
- 前記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートに関連付けられる、先行する請求項のいずれか1項に記載の方法。
- イメージングシステムであって、
イメージセンサと、
カラーフィルタアレイ(CFA)とを備え、前記CFAは、複数のサブユニットを含み、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記イメージングシステムはさらに、
前記CFAに結合されたイメージセンサと、
前記イメージセンサに結合されたプロセッサとを備え、前記プロセッサは、前記CFAおよび前記イメージセンサによる複数の画像フレームのバースト取り込みを開始し、前記複数の画像フレームの各々を処理することによってカラー画像を生成する、イメージングシステム。 - 各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項8に記載のイメージングシステム。
- 各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、単一の波長フィルタリングされたピクセルで構成される、請求項8に記載のイメージングシステム。
- 前記複数のサブユニットの各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項8~10のいずれか1項に記載のイメージングシステム。
- 前記複数の画像フレームの各々を処理することは、前記複数の画像フレームのサブユニットを位置合わせすることによって、前記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償することを含む、請求項8~11のいずれか1項に記載のイメージングシステム。
- 前記複数のサブユニットの各サブユニットは、前記CFAの合計ピクセルに対する波長フィルタリングされたピクセルの比率が1:5未満である、請求項8~12のいずれか1項に記載のイメージングシステム。
- 前記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートに関連付けられる、請求項8~13のいずれか1項に記載のイメージングシステム。
- コンピューティングデバイスであって、
イメージセンサと、
カラーフィルタアレイ(CFA)とを備え、前記CFAは、複数のサブユニットを含み、各サブユニットは、少数の1つまたは複数の波長フィルタリングされた隣り合うピクセルと、残りの大多数のパンクロマティックピクセルとを含み、前記コンピューティングデバイスはさらに、
前記CFAに結合されたイメージセンサと、
前記CFAを介して前記イメージセンサ上に光を向けるための1つまたは複数のレンズと、
前記イメージセンサに結合された1つまたは複数のプロセッサとを備え、前記1つまたは複数のプロセッサは、前記CFAおよび前記イメージセンサによる複数の画像フレームのバースト取り込みを開始し、前記複数の画像フレームの各々を処理することによってカラー画像を生成する、コンピューティングデバイス。 - 各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、1つの赤色波長フィルタリングされたピクセルと1つの青色波長フィルタリングされたピクセルと1つまたは複数の緑色波長フィルタリングされたピクセルとのクラスタを含む、請求項15に記載のコンピューティングデバイス。
- 前記複数のサブユニットの各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルは、少なくとも2つのパンクロマティックピクセルによって、前記複数のサブユニットのうちの近接する各サブユニットの前記1つまたは複数の波長フィルタリングされた隣り合うピクセルから分離される、請求項15または16に記載のコンピューティングデバイス。
- 前記カラー画像を生成することは、前記複数の画像フレームのサブユニットを空間的に位置合わせすることによって、前記複数の画像フレームのそれぞれの画像フレーム間の1つまたは複数の空間オフセットを補償することを含む、請求項15~17のいずれか1項に記載のコンピューティングデバイス。
- 前記複数のサブユニットの各サブユニットは、20%未満のカラーサンプリングレートを提供する、請求項15~18のいずれか1項に記載のコンピューティングデバイス。
- 頭部装着型ディスプレイ(HWD:Head-Wearable Display)をさらに備える、請求項15~19のいずれか1項に記載のコンピューティングデバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2021/014359 WO2022159088A1 (en) | 2021-01-21 | 2021-01-21 | Sparse color image sensor system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024506248A true JP2024506248A (ja) | 2024-02-13 |
Family
ID=74595444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023544146A Pending JP2024506248A (ja) | 2021-01-21 | 2021-01-21 | スパースカラーイメージセンサシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240073547A1 (ja) |
EP (1) | EP4281927A1 (ja) |
JP (1) | JP2024506248A (ja) |
KR (1) | KR20230116909A (ja) |
CN (1) | CN116601966A (ja) |
WO (1) | WO2022159088A1 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110080500A1 (en) * | 2009-10-05 | 2011-04-07 | Hand Held Products, Inc. | Imaging terminal, imaging sensor having multiple reset and/or multiple read mode and methods for operating the same |
-
2021
- 2021-01-21 EP EP21705372.7A patent/EP4281927A1/en active Pending
- 2021-01-21 US US18/273,681 patent/US20240073547A1/en active Pending
- 2021-01-21 WO PCT/US2021/014359 patent/WO2022159088A1/en active Application Filing
- 2021-01-21 KR KR1020237022691A patent/KR20230116909A/ko unknown
- 2021-01-21 JP JP2023544146A patent/JP2024506248A/ja active Pending
- 2021-01-21 CN CN202180084528.XA patent/CN116601966A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022159088A1 (en) | 2022-07-28 |
CN116601966A (zh) | 2023-08-15 |
US20240073547A1 (en) | 2024-02-29 |
EP4281927A1 (en) | 2023-11-29 |
KR20230116909A (ko) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5280448B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路 | |
JP4730082B2 (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム | |
JP5012135B2 (ja) | 超深度画像生成装置 | |
JP4427097B2 (ja) | 画像処理装置、撮像装置、方法、およびプログラム | |
JP5845464B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP5901935B2 (ja) | 固体撮像装置及びカメラモジュール | |
US8736743B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
JP4905279B2 (ja) | 撮像回路および撮像装置 | |
US8723992B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
US8928785B2 (en) | Imaging device and storage medium storing an imaging program | |
JP6622481B2 (ja) | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 | |
WO2012147515A1 (ja) | 撮像装置及び撮像方法 | |
US7826658B2 (en) | Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing | |
US11356624B2 (en) | Solid-state imaging element, signal processing circuit, and electronic equipment | |
JP2006049950A (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP5948167B2 (ja) | 撮像装置 | |
JP2024506248A (ja) | スパースカラーイメージセンサシステム | |
JP6069857B2 (ja) | 撮像装置 | |
JP5912586B2 (ja) | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 | |
JP2010010958A (ja) | マルチバンド画像撮像方法および装置 | |
JP4478981B2 (ja) | 色雑音低減手法およびカラー撮像装置 | |
US11988849B2 (en) | Imaging device and method | |
JP6065395B2 (ja) | 撮像装置 | |
JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240117 |