JP5830186B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5830186B2 JP5830186B2 JP2014560627A JP2014560627A JP5830186B2 JP 5830186 B2 JP5830186 B2 JP 5830186B2 JP 2014560627 A JP2014560627 A JP 2014560627A JP 2014560627 A JP2014560627 A JP 2014560627A JP 5830186 B2 JP5830186 B2 JP 5830186B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- point image
- processing
- image restoration
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 538
- 238000003384 imaging method Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 170
- 230000008569 process Effects 0.000 claims description 155
- 230000004075 alteration Effects 0.000 claims description 97
- 238000010191 image analysis Methods 0.000 claims description 37
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 52
- 230000006870 function Effects 0.000 description 45
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 16
- 239000003086 colorant Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 229910052745 lead Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
図1は、本発明に係る画像処理装置(図1では画像処理部と表示)28を有する撮像装置10の実施形態を示すブロック図である。
図2は、撮像素子22の形態を示す図であり、特に撮像素子22の受光面上に配置されているカラーフィルタ配列に関して示している。尚、各カラーフィルタが設置された各フォトダイオードを画素とし、各フォトダイードから出力されるデータを画素データ(画素信号)とする。
図3は、図1に示す画像処理装置(画像処理部)28の第1実施形態の内部構成を示す要部ブロック図である。
[式2]Y=0.2R+0.7G+0.1B
輝度系画像データ取得部105により取得された輝度系画像データは、点像復元処理実行部110へ送られる。
g(x,y)=h(x,y)*f(x,y)
ただし、*はコンボリューションを示す。
g(x,y)*R(x,y)=f(x,y)
このR(x,y)を復元フィルタという。復元フィルタは、原画像と復元画像との2乗平均誤差を最小にする最小2乗フィルタ(ウィナーフィルタ)、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。尚、本発明において復元フィルタは、点像復元処理実行部110に単数又は複数格納されている。
図12には、点像復元処理制御部120が行う点像復元処理実行部110の制御の例を示した図である。すなわち、A−1〜A−4は、制御情報として点像復元処理を行うとした場合の、輝度系画像データに対して点像復元処理実行例である。又、B−1〜B−4は、制御情報として点像復元処理を行わないとした場合の例である。尚、50、52、54、56、68、及び78は点像復元処理が施された部分を示す。58、60、62、64、及び66は点像復元処理が行われない部分を示す。70、72、74、及び76は、50、52、54、56、68、及び78で実行された点像復元処理よりも弱い点像復元処理が実行された部分(領域)を示す。80は、点像復元処理の強さを段階的に変化させて実行した場合を示す。80においては、色の濃さに応じて、強い点像復元処理が施されていることを示す。
図12のA−1では、情報取得部115により点像復元処理を行うという制御情報が点像復元処理制御部120へ送付され、点像復元処理制御部120は、点像復元処理実行部110に輝度系画像データの全面に対して点像復元処理を行わせている様子が示されている。一方、図12のB−1では、情報取得部115により点像復元処理を行わないという制御情報が点像復元処理制御部120へ送付され、点像復元処理制御部120は、点像復元処理実行部110に輝度系画像データに対する点像復元処理を禁止している様子が示されている。第1点像復元処理制御例では、点像復元処理制御部120は、上述したようにA−1とB−1とのように、制御情報により点像復元処理実行部110の制御を切り換える。
図12のA−2は、情報取得部115により点像復元処理を行うという制御情報が点像復元処理制御部120へ送付され、点像復元処理制御部120は点像復元処理実行部110に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図12のB−2は、情報取得部115により色収差による偽信号が強調される部分(偽信号強調領域)は、点像復元処理を行わないという制御情報が点像復元処理制御部120へ送付される。そして、点像復元処理制御部120は、点像復元処理実行部110に色収差による偽信号が強調される部分(偽信号強調領域)は点像復元処理を禁止し(図12B−2、符号60、符号62、符号64、符号66を参照)、その他の部分(偽信号強調領域以外の領域)には点像復元処理を行わせている(図12B−2符号68を参照)。第2点像復元処理制御例では、点像復元処理制御部120は、上述したようにA−2とB−2とのように、制御情報により点像復元処理実行部110の制御を切り換える。
図12のA−3は、情報取得部115により点像復元処理を行うという制御情報が点像復元処理制御部120へ送付され、点像復元処理制御部120は点像復元処理実行部110に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図12のB−3では、情報取得部115により色収差による偽信号が強調される部分(偽信号強調領域)は弱い点像復元処理を行うという制御情報が点像復元処理制御部120へ送付される。そして、点像復元処理制御部120は、点像復元処理実行部110に色収差による偽信号が強調される部分(偽信号強調領域)は弱い点像復元処理を行わせて(図12B−3、符号70、符号72、符号74、符号76を参照)、その他の部分(偽信号強調領域以外の領域)には弱い点像復元処理より強い点像復元処理を行わせる(図12B−3、符号78を参照)。第3の点像復元処理制御例では、点像復元処理制御部120は、A−3とB−3とのように制御情報により点像復元処理実行部110の制御を切り換える。
図12のA−4は、情報取得部115により点像復元処理を行うという制御情報が点像復元処理制御部120へ送付され、点像復元処理制御部120は点像復元処理実行部110に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図12のB−4では、情報取得部115により色収差による偽信号の強調され度合い(偽信号強調度合い)に応じて点像復元処理の強さを変えるという制御情報が点像復元処理制御部120へ送付される。そして、点像復元処理制御部120は、点像復元処理実行部110に色収差による偽信号の強調され度合いに応じて点像復元処理の強さを変えさせている(図12のB−4)。第4の点像復元処理制御例では、点像復元処理制御部120は、上述したようにA−4とB−4とのように制御情報により点像復元処理実行部110の制御を切り換える。尚、点像復元処理制御部120の制御例は、上述の制御例に限定されるものではなく、色収差による偽信号の発生度合いを考慮して点像復元処理の実行を行うことができる。
図14には、画像処理装置28の第2実施態様を示している。図3における画像処理装置28の第1実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置28の第2実施態様と画像処理装置28の第1実施態様とを比較すると、画像処理装置28の第2実施態様は、画像分析部111が追加されている点、情報取得部115は分析情報も取得して制御情報を生成する点に関して相違している。
図16には、画像処理装置28の第3実施態様を示している。図3における画像処理装置28の第1実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置28の第3実施態様と画像処理装置28の第1実施態様とを比較すると、第1実施態様では輝度系画像データに点像復元処理を行っていたが、第3実施形態では輝度系画像データの具体例である輝度信号Yに対して点像復元処理を行う点で相違する。輝度信号Yに対して点像復元処理を行うことにより、的確に点像復元処理を行うことができる。ここで輝度信号Yとは、輝度信号Y及び色差信号Cb、Crで表される色空間においての輝度信号Yである。
図17には、画像処理装置28の第4実施態様を示している。図3における画像処理装置28の第1実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置28の第4実施態様と画像処理装置28の第1実施態様とを比較すると、第1実施態様では輝度系画像データに点像復元処理を行っていたが、第4実施態様では輝度系画像データの具体例であるG色のデータに点像復元処理を行う点で相違する。G色のデータは、輝度信号Yの値を生成する際に最も寄与する値である(式1、式2参照)ので、G色のデータに対して点像復元処理を行うことにより、より精度の高い点像復元処理を行うことが可能である。
図18には、撮像素子22の変形例を示す図である。特に撮像素子22の受光面上に配置されているカラーフィルタ配列に関して、図2で説明したカラーフィルタ配列の変形例としてのカラーフィルタ配列(「X−trans」(登録商標))を示す。本発明において、撮像素子22には様々なカラーフィルタ配列を採用することが可能であり、図18にはそのうちの一つの変形例を示す。
上述の実施形態における点像復元処理実行部110が行う点像復元処理は、特定の撮影条件(例えば、絞り値、焦点距離、レンズ種類、など)に応じて点拡がり(点像ボケ)を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態で撮影取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の点拡がり関数(PSF、OTF(optical transfer function)、MTF(modulation transfer function, magnitude transfer function)、PTF(phase transfer function)、等)に基づく復元フィルタであって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた点像復元処理が行われる。
Claims (19)
- 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、
前記デモザイク処理手段により得られた前記デモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、
前記輝度系画像データ取得手段により取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得手段と、
前記情報取得手段により取得した前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、
を備える画像処理装置。 - 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、
前記デモザイク処理手段により得られた前記デモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、
前記輝度系画像データ取得手段により取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得手段と、
前記情報取得手段により取得した前記制御情報に基づいて、前記点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、
前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析する画像分析手段と、を備え、
前記情報取得手段は、前記撮影情報及び前記画像分析手段により得られる分析情報に基づいて、前記制御情報を取得する画像処理装置。 - 前記撮影情報は、撮影に使用されたレンズ情報、撮影時の絞り値、撮影時の焦点距離、及び撮影時の被写体距離のうち少なくとも一つを含む請求項1又は2に記載の画像処理装置。
- 前記画像分析手段は、前記モザイク画像データ又は前記デモザイク画像データに基づいてコントラストの大きさを求めることにより、前記点像復元処理を行うと偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと偽信号が強調される前記デモザイク画像データか否かを分析する請求項2に記載の画像処理装置。
- 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
前記点像復元処理制御手段は、前記偽信号が強調されると判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段による前記点像復元処理を禁止する請求項1から4のいずれか1項に記載の画像処理装置。 - 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
前記点像復元処理制御手段は、前記偽信号が強調されると判別した場合には、前記偽信号が強調される領域である偽信号強調領域を特定し、前記点像復元処理実行手段により前記偽信号強調領域に対する前記点像復元処理を禁止し、前記偽信号強調領域以外の領域には前記点像復元処理を行わす請求項1から4のいずれか1項に記載の画像処理装置。 - 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
前記点像復元処理制御手段は、前記偽信号は強調されると判別した場合には、前記偽信号が強調される領域である偽信号強調領域を特定し、前記偽信号強調領域以外の領域には前記点像復元処理実行手段により前記点像復元処理を行わせ、前記偽信号強調領域には前記点像復元処理実行手段により前記点像復元処理に代えて前記点像復元処理よりも効果の弱い点像復元処理を行わせる請求項1から4のいずれか1項に記載の画像処理装置。 - 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
前記点像復元処理制御手段が、前記偽信号は強調されないと判別した場合には、前記輝度系画像データに対して、前記点像復元処理実行手段により前記点像復元処理を行わせ、
前記点像復元処理制御手段が、前記偽信号は強調されると判別した場合には、前記偽信号の強調され度合いである偽信号強調度合いを特定し、前記点像復元処理実行手段により、前記偽信号強調度合いに応じて前記点像復元処理の強さを変えて前記点像復元処理を行わせる請求項1から4のいずれか1項に記載の画像処理装置。 - 前記点像復元処理制御手段により特定される前記偽信号強調領域は、像高が高い領域である請求項6又は7に記載の画像処理装置。
- 前記点像復元処理制御手段により特定される前記偽信号強調度合いは、像高の高さに応じて大きくなる請求項8に記載の画像処理装置。
- 前記輝度系画像データは、輝度信号を得るための寄与率が最も高い前記デモザイク画像データ内の色データ、又は前記デモザイク画像データに基づいて得られる輝度信号である請求項1から10のいずれか1項に記載の画像処理装置。
- 前記輝度系画像データは、輝度信号Yおよび色差信号Cb、Crで表される色空間においての輝度信号Yの値である請求項1から11のいずれか1項に記載の画像処理装置。
- 前記デモザイク処理手段は、輝度信号を得るための寄与率が最も高い前記モザイク画像データ内の色データに基づいて、前記モザイク画像データを構成する複数の画素信号における相関方向を判別する処理を含む請求項1から12のいずれか1項に記載の画像処理装置。
- 前記デモザイク処理手段は、輝度信号を得るための寄与率が最も高い前記モザイク画像データ内の色データに基づいて、前記モザイク画像データにおけるエッジ検出処理を含む請求項1から13のいずれか1項に記載の画像処理装置。
- 請求項1から14のいずれか1項に記載の画像処理装置を含む撮像装置。
- 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
を含む画像処理方法。 - 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析して分析情報を得る画像分析ステップと、を含み、
前記情報取得ステップでは、前記撮影情報及び前記分析情報に基づいて、前記制御情報を取得する画像処理方法。 - 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
をコンピュータに実行させる為のプログラム。 - 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析して分析情報を得る画像分析ステップと、をコンピュータに実行させる為のプログラムであって
前記情報取得ステップでは、前記撮影情報及び前記分析情報に基づいて、前記制御情報を取得するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014560627A JP5830186B2 (ja) | 2013-02-05 | 2013-04-26 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013020490 | 2013-02-05 | ||
JP2013020490 | 2013-02-05 | ||
PCT/JP2013/062466 WO2014122804A1 (ja) | 2013-02-05 | 2013-04-26 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2014560627A JP5830186B2 (ja) | 2013-02-05 | 2013-04-26 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5830186B2 true JP5830186B2 (ja) | 2015-12-09 |
JPWO2014122804A1 JPWO2014122804A1 (ja) | 2017-01-26 |
Family
ID=51299415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014560627A Active JP5830186B2 (ja) | 2013-02-05 | 2013-04-26 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9432643B2 (ja) |
JP (1) | JP5830186B2 (ja) |
CN (1) | CN104969545B (ja) |
DE (1) | DE112013006596B4 (ja) |
WO (1) | WO2014122804A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674431B2 (en) | 2013-02-01 | 2017-06-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
US9424629B2 (en) * | 2013-02-01 | 2016-08-23 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
KR102394277B1 (ko) * | 2014-08-22 | 2022-05-06 | 에스케이하이닉스 주식회사 | 이미지 센서 및 이를 구비하는 전자장치 |
US10115757B2 (en) | 2014-08-22 | 2018-10-30 | SK Hynix Inc. | Image sensor and electronic device having the same |
US9870600B2 (en) * | 2015-01-06 | 2018-01-16 | The Regents Of The University Of California | Raw sensor image and video de-hazing and atmospheric light analysis methods and systems |
CN104581100A (zh) * | 2015-02-12 | 2015-04-29 | 张李静 | 色彩滤镜阵列和图像处理方法 |
JP6663201B2 (ja) * | 2015-10-27 | 2020-03-11 | キヤノン株式会社 | 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体 |
US9866809B2 (en) * | 2015-11-19 | 2018-01-09 | Sony Corporation | Image processing system with aliasing detection mechanism and method of operation thereof |
US10429271B2 (en) * | 2016-07-01 | 2019-10-01 | Microsoft Technology Licensing, Llc | Camera testing using reverse projection |
CN106604001B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
CN111824164B (zh) * | 2019-04-11 | 2021-10-22 | 中能道通物流科技有限责任公司 | 周围信息采集显示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197356A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | 画像復元装置および画像復元方法 |
JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
JP2011193276A (ja) * | 2010-03-15 | 2011-09-29 | Canon Inc | 撮像装置、その制御方法及びプログラム |
JP2012005056A (ja) * | 2010-06-21 | 2012-01-05 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7253836B1 (en) * | 1998-06-30 | 2007-08-07 | Nikon Corporation | Digital camera, storage medium for image signal processing, carrier wave and electronic camera |
US20010008418A1 (en) | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
US20020167602A1 (en) * | 2001-03-20 | 2002-11-14 | Truong-Thao Nguyen | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
JP2002300461A (ja) | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
US6978050B2 (en) * | 2001-07-18 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Electronic image color plane reconstruction |
DE60141901D1 (de) * | 2001-08-31 | 2010-06-02 | St Microelectronics Srl | Störschutzfilter für Bayermusterbilddaten |
EP1641283B1 (en) * | 2003-06-12 | 2019-01-09 | Nikon Corporation | Image processing method, image processing program, image processor |
JP2005354610A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
US7525583B2 (en) * | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
TWI260918B (en) * | 2005-05-30 | 2006-08-21 | Pixart Imaging Inc | Pixel compensation method for an image sensor |
US20070133902A1 (en) * | 2005-12-13 | 2007-06-14 | Portalplayer, Inc. | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts |
JP4501855B2 (ja) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
US8036481B2 (en) | 2006-07-14 | 2011-10-11 | Eastman Kodak Company | Image processing apparatus and image restoration method and program |
US7907791B2 (en) * | 2006-11-27 | 2011-03-15 | Tessera International, Inc. | Processing of mosaic images |
CN101971632B (zh) * | 2008-01-08 | 2013-10-16 | 艾利森电话股份有限公司 | 自适应滤波 |
JP4986965B2 (ja) | 2008-09-30 | 2012-07-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
JP5441652B2 (ja) | 2009-12-09 | 2014-03-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP5546229B2 (ja) * | 2009-12-09 | 2014-07-09 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP5363966B2 (ja) * | 2009-12-18 | 2013-12-11 | 富士フイルム株式会社 | 撮像装置 |
WO2011122283A1 (ja) | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
CN102907082B (zh) * | 2010-05-21 | 2016-05-18 | 松下电器(美国)知识产权公司 | 摄像装置、图像处理装置、图像处理方法 |
JP5693089B2 (ja) * | 2010-08-20 | 2015-04-01 | キヤノン株式会社 | 画像処理装置、及び画像処理装置の制御方法 |
JP5660711B2 (ja) * | 2010-09-16 | 2015-01-28 | 富士フイルム株式会社 | 復元ゲインデータ生成方法 |
RU2551649C2 (ru) * | 2011-02-28 | 2015-05-27 | Фуджифилм Корпорэйшн | Устройство формирования цветного изображения |
EP2683167B1 (en) * | 2011-02-28 | 2018-05-02 | Fujifilm Corporation | Color imaging device |
JP5868076B2 (ja) * | 2011-08-31 | 2016-02-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5818586B2 (ja) * | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5904281B2 (ja) * | 2012-08-10 | 2016-04-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP2014123173A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、撮像装置及び画像処理方法 |
CN104580879B (zh) * | 2013-10-09 | 2018-01-12 | 佳能株式会社 | 图像处理设备、图像拾取设备以及图像处理方法 |
JP6327922B2 (ja) * | 2014-04-25 | 2018-05-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6071966B2 (ja) * | 2014-09-17 | 2017-02-01 | キヤノン株式会社 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
JP6071974B2 (ja) * | 2014-10-21 | 2017-02-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
-
2013
- 2013-04-26 CN CN201380072322.0A patent/CN104969545B/zh active Active
- 2013-04-26 WO PCT/JP2013/062466 patent/WO2014122804A1/ja active Application Filing
- 2013-04-26 DE DE112013006596.7T patent/DE112013006596B4/de not_active Expired - Fee Related
- 2013-04-26 JP JP2014560627A patent/JP5830186B2/ja active Active
-
2015
- 2015-07-27 US US14/810,168 patent/US9432643B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197356A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | 画像復元装置および画像復元方法 |
JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
JP2011193276A (ja) * | 2010-03-15 | 2011-09-29 | Canon Inc | 撮像装置、その制御方法及びプログラム |
JP2012005056A (ja) * | 2010-06-21 | 2012-01-05 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112013006596T5 (de) | 2015-12-03 |
US9432643B2 (en) | 2016-08-30 |
JPWO2014122804A1 (ja) | 2017-01-26 |
WO2014122804A1 (ja) | 2014-08-14 |
DE112013006596B4 (de) | 2019-10-02 |
CN104969545A (zh) | 2015-10-07 |
CN104969545B (zh) | 2018-03-20 |
US20150334359A1 (en) | 2015-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5830186B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US9633417B2 (en) | Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function | |
JP5833794B2 (ja) | 撮像装置 | |
JP5851650B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 | |
JP5752866B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 | |
WO2014155755A1 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 | |
WO2014050190A1 (ja) | 画像処理装置、撮像装置、コンピュータ及びプログラム | |
JP5903529B2 (ja) | 撮像装置、撮像方法及び画像処理装置 | |
JP5870231B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5903528B2 (ja) | 撮像装置及び画像処理方法 | |
JP5933129B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
WO2015156151A1 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6042034B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6342083B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9584801B2 (en) | Image pickup device, calibration system, calibration method, and program | |
JP5702891B2 (ja) | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5830186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |