JP5404376B2 - カメラモジュール及び画像処理装置 - Google Patents

カメラモジュール及び画像処理装置 Download PDF

Info

Publication number
JP5404376B2
JP5404376B2 JP2009293283A JP2009293283A JP5404376B2 JP 5404376 B2 JP5404376 B2 JP 5404376B2 JP 2009293283 A JP2009293283 A JP 2009293283A JP 2009293283 A JP2009293283 A JP 2009293283A JP 5404376 B2 JP5404376 B2 JP 5404376B2
Authority
JP
Japan
Prior art keywords
subject
camera module
sub
image
subject distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009293283A
Other languages
English (en)
Other versions
JP2011135359A (ja
Inventor
隆行 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009293283A priority Critical patent/JP5404376B2/ja
Priority to TW099140801A priority patent/TWI456983B/zh
Priority to US12/958,781 priority patent/US8542290B2/en
Priority to CN201010605613.XA priority patent/CN102111544B/zh
Publication of JP2011135359A publication Critical patent/JP2011135359A/ja
Application granted granted Critical
Publication of JP5404376B2 publication Critical patent/JP5404376B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、カメラモジュール及び画像処理装置に関する。
従来、近接距離から無限遠までの広い範囲における撮影には、例えば、オートフォーカス(AF)機能を有するレンズモジュールが使用されている。AF機能の採用には、レンズ枚数及び部品点数の増加や、それに伴うコストの増加が課題となる。特に、デジタルカメラ等に用いられるカメラモジュールは、薄型化や小型化の要請により、レンズと撮像素子との間の距離(焦点距離)をできるだけ短縮させる傾向にある(カメラモジュールに関しては、例えば、特許文献1参照)。
また、近年、固定焦点のレンズと信号処理とを組み合わせて、十分な被写界深度を確保するためのEDoF(Extended Depth of Field)と呼ばれる技術が発展してきている。AF用レンズは、フォーカス位置での解像度が確保可能であれば良いのに対して、EDoF用固定焦点レンズの場合は、被写界深度を確保する分、解像度が不十分になる点が課題となる。例えば、被写界深度と変調伝達関数(Modulation Transfer Function;MTF)との関係をグラフで表した場合に、AF用レンズでは狭いレンジ幅のグラフとなるのに対して、EDoF用固定焦点レンズの場合は、広いレンジ幅のグラフを示すこととなる。EDoF用固定焦点レンズのこのようなレンズ特性に対しては、解像度の不足を信号処理によって補うこととなるため、その過程でS/N(信号対ノイズ比)が悪化する傾向にある。また、被写体深度を補うにも限界があることから、一般に、無限遠での解像度を重視してレンズ設計がなされることとなる。このため、近接距離における十分な解像度を得ることが困難となる。
特開2008−11529号公報
本発明は、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影とを可能とするカメラモジュール及び画像処理装置を提供することを目的とする。
本願発明の一態様によれば、被写体像を撮像する撮像素子と、被写体から取り込まれた光を前記撮像素子へ入射させる撮像レンズと、を備える複数のサブカメラモジュールを有し、前記複数のサブカメラモジュールのうちの少なくとも二つは、ベストフォーカスとなるときの、前記サブカメラモジュール及び前記被写体の間の被写体距離を互いに異ならせた前記撮像レンズを備えることを特徴とするカメラモジュールが提供される。
また、本願発明の一態様によれば、複数のサブカメラモジュールで撮像された被写体像の解像度復元処理を実施する解像度復元手段と、前記サブカメラモジュール及び被写体の間の被写体距離を推定する被写体距離推定手段と、前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、を有し、前記解像度復元手段は、前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記解像度復元処理を実施することを特徴とする画像処理装置が提供される。
本発明によれば、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影が可能となるという効果を奏する。
実施の形態に係るカメラモジュールの斜視概略図。 イメージセンサ部の上面模式図。 各色用サブカメラモジュールの撮像レンズに備わるMTF特性の例を表したグラフ。 カメラモジュールでの撮像により得られた信号の処理のための画像処理装置の構成を示すブロック図。 ブロックマッチング手段による被写体像同士の位置合わせについて説明する図。 FFT手段、被写体距離推定手段、マトリックス選択手段及び解像度復元手段における処理の手順を説明するフローチャート。 実施の形態の変形例に係る画像処理装置の構成を示すブロック図。
以下に添付図面を参照して、本発明の実施の形態に係るカメラモジュール及び画像処理装置を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。
(実施の形態)
図1は、本発明の実施の形態に係るカメラモジュール10の斜視概略図である。カメラモジュール10は、イメージセンサ部11及びレンズレット12を備える。イメージセンサ部11は、被写体像を撮像する四つの撮像素子13を備える。レンズレット12は、撮像素子13に対応するように平面上に配置された四つの撮像レンズ14を備える。
カメラモジュール10は、撮像素子13と撮像レンズ14とを備える四つの独立したサブカメラモジュールから構成されている。各サブカメラモジュールは、被写体像の各色成分を分担して撮像する。撮像レンズ14は、被写体から取り込まれた光を撮像素子13へ入射させる。撮像素子13は、撮像レンズ14により取り込まれた光を信号電荷に変換する。
図2は、イメージセンサ部11の上面模式図である。四つの撮像素子13(13G1、13R、13B、13G2)は、縦横2×2のマトリックス状に配置されている。赤色(R)光用の撮像素子13R、青色(B)光用の撮像素子13B、緑色(G)光用の二つの撮像素子13G1、13G2は、ベイヤー配列と同様に、G光用の二つの撮像素子13G1、13G2が斜向かいとなるように配置されている。
R光用の撮像素子13Rを備えるR用サブカメラモジュールは、被写体像のR成分を撮像する。B光用の撮像素子13Bを備えるB用サブカメラモジュールは、被写体像のB成分を撮像する。G光用の撮像素子13G1を備えるG1用サブカメラモジュールと、G光用の撮像素子13G2を備えるG2用サブカメラモジュールとは、被写体像の同色成分であるG成分を撮像する。なお、同色成分とは、波長領域が同一である色光である場合に限られず、波長領域が互いに近似し略同じ色光と認められる場合も含むものとする。
カメラモジュール10は、レンズレット12を備える構成を採用することにより、撮像レンズ14の焦点距離を短縮させる。これにより、撮像素子13及び撮像レンズ14の間の距離を短縮させることが可能となる。カメラモジュール10は、同一の色成分に対する画素をサブカメラモジュールに持たせることにより、隣接する画素間における、異なる色成分に対する信号同士の干渉を回避できる。これにより、混色を減少させ、感度を大幅に向上させることが可能となる。また、各サブカメラモジュールの撮像レンズ14は、それぞれの色成分に対してレンズ設計を最適化できるため、軸上色収差を大幅に軽減させることが可能となる。カメラモジュール10は、感度を向上させた分、F値を大きくすることが可能となるため、撮像素子内に各色用画素をベイヤー配列させる場合と同等のノイズレベルを保ったまま、被写界深度を大きく広げることが可能となる。
ここで、四つのサブカメラモジュールのうち、G1用サブカメラモジュールを基準サブカメラモジュールとする。図2に示す平面のうち、基準サブカメラモジュールのG光用撮像素子13G1とR用サブカメラモジュールのR光用撮像素子13Rとを並列させた方向をX方向とし、基準サブカメラモジュールのG光用撮像素子13G1とB用サブカメラモジュールのB光用撮像素子13Bとを並列させた方向をY方向とする。X方向及びY方向は、互いに垂直である。
図2に示す破線の交点は、仮に、各色成分の被写体像の結像位置が一致するものとした場合における、各撮像素子13G1、13R、13B、13G2の中心位置を表す。G1用サブカメラモジュールによる被写体像の結像位置が基準であるとすると、R用サブカメラモジュールは、基準に対してX方向へ半画素分、被写体像の結像位置がシフトするように配置されている。B用サブカメラモジュールは、基準に対してY方向へ半画素分、被写体像の結像位置がシフトするように配置されている。G2用サブカメラモジュールは、基準に対してX方向及びY方向へそれぞれ半画素分、被写体像の結像位置がシフトするように配置されている。G用サブカメラモジュールのうちの一つを基準サブカメラモジュールとし、視感度が高いG成分の被写体像を基準とすることで、後述する画像処理における精度差が軽減される。
図3は、各色用サブカメラモジュールの撮像レンズ14に備わるMTF特性の例を表したグラフである。図示するグラフは、G1成分、R成分、G2成分、B成分について、1/2Nyquistでの被写体距離とMTFとの関係を表したものである。グラフの縦軸はMTF、横軸は被写体距離とする。MTFは、空間周波数の増加に対する正弦波物体の像の変調を示す関数である。
G1用、R用、B用の各サブカメラモジュールに設けられた撮像レンズ14は、いずれも、無限遠でベストフォーカスとなるように設計されている。これに対して、G2用サブカメラモジュールに設けられた撮像レンズ14は、例えば30cm程度の近接距離でベストフォーカスとなるように設計されている。このように、四つのサブカメラモジュールのうち被写体像の緑色成分を撮像するG1用サブカメラモジュールとG2用サブカメラモジュールとは、ベストフォーカスとなるときの被写体距離を互いに異ならせた撮像レンズ14を備える。
図4は、カメラモジュール10での撮像により得られた信号の処理のための画像処理装置の構成を示すブロック図である。画像処理装置は、前段のイメージセンサ部11と後段のプロセッサ20とに大別される。イメージセンサ部11は、シェーディング補正手段15、ディストーション補正手段16、マトリックス選択手段17及び解像度復元手段18を備える。シェーディング補正手段15、ディストーション補正手段16、マトリックス選択手段17及び解像度復元手段18は、四つのサブカメラモジュールにより得られたG1、G2、R、BのRAW画像ごとに信号処理を実施する。
シェーディング補正手段15は、撮像レンズ14に起因して生じる輝度ムラ、特に、被写体像の中央部と周辺部との光量差を補正する(シェーディング補正)。ディストーション補正手段16は、撮像レンズ14に起因する位置ずれによる被写体像の歪み(ディストーション)を補正する。
プロセッサ20は、高速フーリエ変換(Fast Fourier Transform;FFT)手段21、被写体距離推定手段22、ブロックマッチング手段23及びデモザイキング手段24を備える。FFT手段21は、G1、G2のRAW画像を取り込み、FFTによる実空間から周波数空間への変換を実行する。被写体距離推定手段22は、カメラモジュール10及び被写体の間の被写体距離を推定する。
イメージセンサ部11のマトリックス選択手段17は、被写体距離推定手段22において推定された被写体距離に基づいて、R、G、B各色に対して最適な解像度復元用マトリックスを選択する。本実施の形態において、解像度復元用マトリックスは、画像復元アルゴリズムと同等の効果が得られるようなデコンボリューションマトリックスとする。マトリックス選択手段17は、予め用意された例えば二つの解像度復元用マトリックスから、最適な解像度復元用マトリックスを選択する。なお、マトリックス選択手段17は、最適な解像度復元用マトリックスを少なくとも二以上の解像度復元用マトリックスから選択するものであれば良い。
解像度復元手段18は、マトリックス選択手段17で選択された解像度復元用マトリックスに基づいて、解像度復元処理を実施する。解像度復元処理は、四つのサブカメラモジュールにより得られたG1、G2、R、Bの画像データごとに実施される。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を用いる。
プロセッサ20のブロックマッチング手段23は、シェーディング補正手段15、ディストーション補正手段16、マトリックス選択手段17及び解像度復元手段18による処理を経たG1、G2、R、Bの各画像データに対して、ブロックマッチング(パターンマッチング)処理を実施する。ブロックマッチング手段23は、各サブカメラモジュールで得られた被写体像同士について、ブロックマッチング処理による位置合わせをする。
図5は、ブロックマッチング手段23による被写体像同士の位置合わせについて説明する図である。ここで、図示する正方形はいずれも画素を表すものとする。R画素、B画素、G2画素については、被写体像の結像位置が一致する場合を破線で表し、G1画素に対して半画素分シフトさせた状態を実線で表している。R画素は、G1画素に対して図中横方向へ半ピクセル分シフトさせる。B画素は、G1画素に対して図中縦方向へ半ピクセル分シフトさせる。G2画素は、G1画素に対して横方向及び縦方向へそれぞれ半ピクセル分シフトさせる。ブロックマッチング手段23は、G1画素の位置を基に、R画素、B画素及びG2画素が所定方向へ半ピクセル分シフトするように、サブピクセル単位での位置合わせをする。
図4に戻って、デモザイキング手段24は、ブロックマッチング処理により得られた画像に対してデモザイキング処理を実施することにより、カラー画像を合成する。デモザイキング手段24は、ブロックマッチング処理により得られた画像をベイヤー配列によるものと見立てた画素補間処理を施すことで、不足色成分の信号値を生成する。本実施の形態では、サブカメラモジュールにより撮像された被写体像をシフトさせてカラー画像を合成することにより、所定の総画素数とする。画像処理装置は、このようにして合成されたカラー画像を出力する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加や、処理の順序の変更などを適宜しても良い。
画像処理装置は、サブカメラモジュールの配置によって被写体像をシフトさせる場合に限られない。例えば、サブピクセル単位でマッピングした後、バイリニア或いはバイキュービック等の補間方法を適用して、ベイヤー配列を生成しても良い。かかる手法は、被写体像のシフト量を物理的にコントロールすることが困難である場合、例えば、撮像素子の取り付け誤差やカメラモジュール1の製造ばらつき等の影響が大きいような場合に有用であって、撮像素子を微細化させる場合に適している。本実施の形態のカメラモジュール10は従来のものに比較して高感度にできることから、サブピクセル単位の精度を得られない場合であっても、例えば、アップサンプリングによって所定の総画素数を得ることとしても良い。
図6は、FFT手段21、被写体距離推定手段22、マトリックス選択手段17及び解像度復元手段18における処理の手順を説明するフローチャートである。FFT手段21は、ステップS1においてG1、G2のRAW画像を取り込むと、ステップS2において、FFTによる実空間から周波数空間への変換を実行する。
ステップS3において、被写体距離推定手段22は、被写体距離を推定する。被写体距離推定手段22は、G1及びG2について数値化された空間周波数特性を比較し、高域成分を多く含むものを、輪郭を持つ正しい被写体像として選択する。被写体距離推定手段22は、高域成分を多く含むものとしてG1を選択した場合、被写体距離が無限遠であると推定する。また、被写体距離推定手段22は、高域成分を多く含むものとしてG2を選択した場合、被写体距離が近接距離であると推定する。
被写体距離推定手段22において、被写体距離が近接距離と推定された場合(ステップS4、Yes)、マトリックス選択手段17は、無限遠でベストフォーカスとなるように撮像レンズ14が設計されているR、G1、Bの各画像データに対して、近接距離での解像度復元を実施するための解像度復元用マトリックスmmacro(R)mmacro(G1)mmacro(B)を選択する。
一方、被写体距離推定手段22において、被写体距離が無限遠と推定された場合(ステップS4、No)、マトリックス選択手段17は、近接距離でベストフォーカスとなるように撮像レンズ14が設計されているG2の画像データに対して、無限遠での解像度復元を実施するための解像度復元用マトリックスminf(G2)を選択する。
解像度復元手段18は、ステップS5或いはステップS6で選択された解像度復元用マトリックスに基づいて、解像度復元処理を実施する。解像度復元用マトリックスとしてmmacro(R)mmacro(G1)mmacro(B)が選択された場合、解像度復元手段18は、R、G1、Bの各画像データについて、近接距離を照準とする解像度復元処理を実施し、ステップS8において出力する。解像度復元手段18は、G2の画像データについては処理を行わず、ステップS8においてそのまま出力することとしても良い。
解像度復元マトリックスとしてminf(G2)が選択された場合、解像度復元手段18は、G2の画像データについて、無限遠を照準とする解像度復元処理を実施し、ステップS8において出力する。解像度復元手段18は、R、G1、Bの各画像データについては処理を行わず、ステップS8においてそのまま出力することとしても良い。
本実施の形態に係るカメラモジュール10は、ベストフォーカスを異ならせた撮像レンズ14を設け、推定された被写体距離に応じて選択された解像度復元用マトリックスによる解像度復元処理を実施することで、被写界深度を確保するとともに、被写体距離に応じた十分な解像度を得ることが可能となる。また、固定焦点の撮像レンズ14を用いることで、カメラモジュール10の薄型化及び小型化も可能となる。これにより、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影とが可能となる。
なお、被写体距離推定手段22は、被写体距離が近接距離及び無限遠のいずれであるかを推定するものに限られない。被写体距離推定手段22は、被写体距離が少なくとも二つの焦点距離範囲のいずれであるかを推定するものであれば良く、三つ以上の焦点距離範囲のいずれであるかを推定するものであっても良い。例えば、被写体距離が近接距離である場合と無限遠である場合との二つの焦点距離範囲に加えて、1mから3mの焦点距離範囲である場合を別に推定可能としても良い。マトリックス選択手段17は、推定される被写体距離の焦点距離範囲に応じて解像度復元用マトリックスを三以上用意することとし、その中から最適な解像度復元用マトリックスを選択することとしても良い。
レンズレット12は、複数の撮像レンズ14のうち少なくとも二つが、ベストフォーカスとなるときの被写体距離を互いに異ならせるものであれば良く、ベストフォーカスとなるときの被写体距離を互いに異ならせた撮像レンズ14を三つ以上としても良い。ベストフォーカスとする被写体距離は、撮影用途や、被写体距離ごとの撮影頻度の高さなどに応じて、任意に選択しても良い。例えば、近接距離におけるベストフォーカス位置は、無限遠での解像度が極端に低下しない範囲で設定されることが望ましい。これにより、十分な被写界深度を確保できる。
カメラモジュール10は、R用及びB用のサブカメラモジュール一つずつと、G用のサブカメラモジュールとにより構成されるものに限られない。カメラモジュール10を構成するサブカメラモジュールは複数であれば良く、四つ以外としても良い。また、ベストフォーカスとなる撮像レンズ14の被写体距離を互いに異ならせるのはG用のサブカメラモジュール同士である場合に限られず、いずれの色光用のサブカメラモジュール同士であっても良い。同色成分を撮像する複数のサブカメラモジュール同士は、被写体距離を互いに異ならせることで、被写体距離の推測に利用可能である。
図7は、本実施の形態の変形例に係る画像処理装置の構成を示すブロック図である。イメージセンサ部11は、シェーディング補正手段15、ディストーション補正手段16、マトリックス選択手段17及び解像度復元手段18に加えて設けられたパラメータ記憶手段19を備える。パラメータ記憶手段19は、イメージセンサ部11での処理に必要なパラメータが書き込まれ、これを保持する。イメージセンサ部11は、カメラモジュール10の個体情報をパラメータとして、パラメータ記憶手段19に保持する。なお、個体情報とは、例えば、レンズ等の部品の製造誤差や、部品同士の組立誤差等、製品ごとの個体差に関する情報とする。
シェーディング補正手段15は、パラメータ記憶手段19に保持されたパラメータを参照して、被写体像をシェーディング補正する。ディストーション補正手段16は、パラメータ記憶手段19に保持されたパラメータを参照して、被写体像のディストーションを補正する。これにより、カメラモジュール10の個体差に応じた画像処理が可能となる。
画像処理装置は、シェーディング処理から解像度復元処理までをイメージセンサ部11内で実施する構成に限られない。画像処理装置は、シェーディング処理から解像度復元処理までの一部或いは全てを、プロセッサ20内で実施することとしても良い。また、画像処理装置は、FFT、被写体距離推定、ブロックマッチング処理及びデモザイキング処理をプロセッサ20内で実施する構成に限られない。画像処理装置は、イメージセンサ部11の回路規模や消費電力が許容可能であれば、FFT、被写体距離推定、ブロックマッチング処理及びデモザイキング処理の一部或いは全てを、イメージセンサ部11内で実施することとしても良い。
10 カメラモジュール、13R R光用撮像素子、13G1、13G2 G光用撮像素子、13B B光用撮像素子、17 マトリックス選択手段、18 解像度復元手段、22 被写体距離推定手段、23 ブロックマッチング手段、24 デモザイキング手段。

Claims (4)

  1. 被写体像を撮像する撮像素子と、被写体から取り込まれた光を前記撮像素子へ入射させる撮像レンズと、を備える複数のサブカメラモジュールと、
    前記サブカメラモジュール及び前記被写体の間の被写体距離を推定する被写体距離推定手段と、
    前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、
    前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記被写体像の解像度復元処理を実施する解像度復元手段と、を有し、
    前記複数のサブカメラモジュールのうちの少なくとも二つは、ベストフォーカスとなるときの被写体距離を互いに異ならせた前記撮像レンズを備え
    前記被写体距離推定手段は、前記被写体距離を互いに異ならせた前記撮像レンズを備える前記サブカメラモジュールにより得られた前記被写体像のいずれかを選択することにより、前記サブカメラモジュール及び前記被写体の間の前記被写体距離を推定することを特徴とするカメラモジュール。
  2. 前記複数のサブカメラモジュールは、前記被写体像の各色成分を分担して撮像し、
    前記複数のサブカメラモジュールのうち前記被写体像の同色成分を撮像する少なくとも二つが、前記ベストフォーカスとなるときの前記被写体距離を互いに異ならせた前記撮像レンズを備えることを特徴とする請求項1に記載のカメラモジュール。
  3. 前記同色成分は、緑色成分であることを特徴とする請求項に記載のカメラモジュール。
  4. 複数のサブカメラモジュールで撮像された被写体像の解像度復元処理を実施する解像度復元手段と、
    前記サブカメラモジュール及び被写体の間の被写体距離を推定する被写体距離推定手段と、
    前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、を有し、
    前記解像度復元手段は、前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記解像度復元処理を実施し、
    前記複数のサブカメラモジュールは、ベストフォーカスとなるときの被写体距離を互いに異ならせた少なくとも二つのサブカメラモジュールを含み、
    前記被写体距離推定手段は、前記少なくとも二つのサブカメラモジュールにより得られた前記被写体像のいずれかを選択することにより、前記サブカメラモジュール及び前記被写体の間の前記被写体距離を推定することを特徴とする画像処理装置。
JP2009293283A 2009-12-24 2009-12-24 カメラモジュール及び画像処理装置 Expired - Fee Related JP5404376B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009293283A JP5404376B2 (ja) 2009-12-24 2009-12-24 カメラモジュール及び画像処理装置
TW099140801A TWI456983B (zh) 2009-12-24 2010-11-25 相機模組、圖像處理裝置及圖像記錄方法
US12/958,781 US8542290B2 (en) 2009-12-24 2010-12-02 Camera module, image processing apparatus, and image recording method
CN201010605613.XA CN102111544B (zh) 2009-12-24 2010-12-24 摄像模块、图像处理装置及图像记录方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009293283A JP5404376B2 (ja) 2009-12-24 2009-12-24 カメラモジュール及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2011135359A JP2011135359A (ja) 2011-07-07
JP5404376B2 true JP5404376B2 (ja) 2014-01-29

Family

ID=44175555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009293283A Expired - Fee Related JP5404376B2 (ja) 2009-12-24 2009-12-24 カメラモジュール及び画像処理装置

Country Status (4)

Country Link
US (1) US8542290B2 (ja)
JP (1) JP5404376B2 (ja)
CN (1) CN102111544B (ja)
TW (1) TWI456983B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520125B2 (en) * 2009-10-27 2013-08-27 Panasonic Corporation Imaging device and distance-measuring device using same
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
CN103108195B (zh) * 2011-11-10 2016-08-24 鸿富锦精密工业(深圳)有限公司 立体摄像装置
US8810712B2 (en) 2012-01-20 2014-08-19 Htc Corporation Camera system and auto focus method
JP5837463B2 (ja) 2012-07-06 2015-12-24 株式会社東芝 画像処理装置および画像処理システム
US9065993B1 (en) 2012-07-31 2015-06-23 Google Inc. Fixed focus camera with lateral sharpness transfer
TWI451344B (zh) * 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
CN102871638B (zh) * 2012-10-16 2014-11-05 广州市盛光微电子有限公司 一种医用近距离成像方法、***以及探头
JP6478511B2 (ja) 2014-08-01 2019-03-06 キヤノン株式会社 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
CN107124547B (zh) * 2017-04-19 2020-10-16 宇龙计算机通信科技(深圳)有限公司 双摄像头拍照方法及装置
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理***
CN112470071B (zh) * 2020-02-28 2021-12-21 深圳市大疆创新科技有限公司 三光相机、云台结构及移动平台

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3938256B2 (ja) 1999-01-12 2007-06-27 株式会社日立国際電気 テレビジョンカメラ装置
JP2005303694A (ja) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
JP2005354610A (ja) 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
JP4418317B2 (ja) 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
US7471453B2 (en) * 2005-11-17 2008-12-30 Panasonic Corporation Zoom lens system, imaging device and camera
JP4940740B2 (ja) * 2006-04-13 2012-05-30 コニカミノルタオプト株式会社 撮像レンズ、撮像レンズを備えた撮像装置及び撮像装置を備えた携帯端末
KR100772910B1 (ko) * 2006-06-26 2007-11-05 삼성전기주식회사 디지털 카메라 모듈
EP1874034A3 (en) 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Apparatus and method of recovering high pixel image
KR100827242B1 (ko) * 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
US7912307B2 (en) * 2007-02-08 2011-03-22 Yu Wang Deconvolution method using neighboring-pixel-optical-transfer-function in fourier domain
CN101548154B (zh) * 2007-07-23 2012-05-02 松下电器产业株式会社 具有测距功能的复眼式摄像装置
JP2009111774A (ja) * 2007-10-30 2009-05-21 Kyocera Corp 撮像装置および画像処理方法
JP2009216600A (ja) * 2008-03-11 2009-09-24 Funai Electric Co Ltd 距離測定装置
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置

Also Published As

Publication number Publication date
US20110157399A1 (en) 2011-06-30
TWI456983B (zh) 2014-10-11
TW201143384A (en) 2011-12-01
US8542290B2 (en) 2013-09-24
JP2011135359A (ja) 2011-07-07
CN102111544A (zh) 2011-06-29
CN102111544B (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5404376B2 (ja) カメラモジュール及び画像処理装置
JP2011044801A (ja) 画像処理装置
JP5173536B2 (ja) 撮像装置及び光軸制御方法
US20180160040A1 (en) High resolution thin multi-aperture imaging systems
JP4427097B2 (ja) 画像処理装置、撮像装置、方法、およびプログラム
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
JP5589146B2 (ja) 撮像素子及び撮像装置
US8717485B2 (en) Picture capturing apparatus and method using an image sensor, an optical element, and interpolation
JP5701785B2 (ja) カメラモジュール
US8780239B2 (en) Image pickup apparatus and signal value correction method
WO2017052893A1 (en) Mask-less phase detection autofocus
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
JP2007304525A (ja) 画像入力装置および電子機器および画像入力方法
CN103444183B (zh) 彩色摄像元件及摄像装置
US8736743B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP2008011532A (ja) イメージ復元方法及び装置
JP5398750B2 (ja) カメラモジュール
JP5159715B2 (ja) 画像処理装置
JP5600812B2 (ja) 撮像装置
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP6051592B2 (ja) 画像処理装置および撮像装置
JP2012044459A (ja) 光学デバイス
JP2009182550A (ja) カメラモジュール
JP2011176584A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131029

LAPS Cancellation because of no payment of annual fees