JP2017091582A - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2017091582A JP2017091582A JP2017021916A JP2017021916A JP2017091582A JP 2017091582 A JP2017091582 A JP 2017091582A JP 2017021916 A JP2017021916 A JP 2017021916A JP 2017021916 A JP2017021916 A JP 2017021916A JP 2017091582 A JP2017091582 A JP 2017091582A
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- noise
- pixel
- filter coefficient
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 241
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000000872 buffer Substances 0.000 claims description 107
- 238000004364 calculation method Methods 0.000 claims description 58
- 230000000694 effects Effects 0.000 abstract description 12
- 238000000034 method Methods 0.000 description 130
- 230000002159 abnormal effect Effects 0.000 description 59
- 230000006870 function Effects 0.000 description 44
- 230000005856 abnormality Effects 0.000 description 27
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 20
- 230000001186 cumulative effect Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】優れたノイズ除去効果を奏する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体を提供する。
【解決手段】画像処理装置は、入力画像に対してノイズを除去する処理を行うものである。画像処理装置は、処理の対象となるノイズ処理対象画素が有する第1の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、を有する。入力画像は、ベイヤーパターン形式で画素値が保持されている。
【選択図】図1
【解決手段】画像処理装置は、入力画像に対してノイズを除去する処理を行うものである。画像処理装置は、処理の対象となるノイズ処理対象画素が有する第1の対象画素値及びノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値を利用して、第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、を有する。入力画像は、ベイヤーパターン形式で画素値が保持されている。
【選択図】図1
Description
本発明の一側面は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。
従来、画像処理装置として、入力画像に対してノイズ除去処理を行う装置が知られている。特許文献1の画像処理装置は、ベイヤー信号の局所成分を特徴量ベクトルとして扱い、ベクトルノルムと周辺のベクトル差分に基づく重み係数を算出する。また、特許文献2の画像処理装置は、YUV信号で示される入力画像に対してノイズ除去処理を行う。
ところで、YUV信号で示される入力画像は、空間的な補完処理がなされた後の画像であり、画素間の空間的な相関が高いためノイズ成分が除去し難い。そこで、本技術分野では、優れたノイズ除去効果を奏する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体が望まれている。
本発明の一側面に係る画像処理装置は、入力画像に対してノイズを除去する処理を行う画像処理装置であって、入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、入力バッファに格納された画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、備え、第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、第1色成分は、ノイズ処理対象画素が有する画素値であり、第2色成分及び第3色成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である。
この画像処理装置では、ベイヤーパターン形式で画素値が保持された入力画像に対してフィルタ処理を実行する。このフィルタ処理では、入力画像の画素値を輝度成分と色差成分とに分離し、それぞれに第1及び第2のフィルタ係数で重み付け加算する。この入力画像は、ベイヤーパターン形式で画素値が保持されているため異なる画素間の空間的な相関が低く、ノイズの発生などを原因として発生しうる異常な画素値の影響が周辺の画素値に影響を及ぼしていない。従って、優れたノイズ除去効果を奏することが可能となる。
一実施形態では、フィルタ設定部は、入力バッファに格納された画素値を利用して、縮小画像を生成する縮小画像生成部と、縮小画像を構成する縮小画素値を格納する縮小画像バッファと、縮小画像バッファに格納された縮小画像から参照画素を選択する参照画素選択部と、を有してもよい。フィルタ処理を実行する場合には、フィルタ処理対象となる画素の周囲に存在する参照画素を利用して処理を行う。ここで、ノイズ除去効果の観点によれば、広い範囲から多数の参照画素を選択することが望ましい。しかし、このような参照画素の選択によれば、処理負荷が増大してしまう。一方、この構成によれば、参照画素として縮小画像を構成する画素を選択する。この縮小画像における参照画素の選択によれば、処理負荷の増加を抑制しつつ、広い範囲から多数の参照画素を選択した場合に得られる効果に近い効果を得ることができる。
一実施形態では、フィルタ設定部は、第1の対象画素値を生成する対象画素値生成部と、参照画素選択部で選択された参照画素の参照画素値と対象画素値生成部で生成された第1の対象画素値とを利用して、画素値差分を算出する差分算出部と、画素値差分を利用して、第1のフィルタ係数及び第2のフィルタ係数を算出する係数算出部と、を有し、画素値差分と第1のフィルタ係数の関係、及び画素値差分と第2のフィルタ係数の関係は、第1の対象画素値に対応して動的に変化してもよい。ここで、入力画像に重畳されたノイズの強度は、シーンの画素値に依存する。この構成によれば、ノイズ処理の対象となる画素の画素値に応じてフィルタ係数が動的に変化するので、入力画像に重畳されたノイズを好適に除去することができる。
一実施形態は、参照画素選択部は、縮小画像バッファに格納された縮小画像における一部の縮小画素を参照画素として選択してもよい。参照画素選択部は、縮小画像バッファに格納された縮小画像における一部の縮小画素を参照画素として選択する。この構成によれば、ノイズ処理に要する処理負荷の増加を一層抑制することが可能になる。
本発明の他の側面に係る画像処理方法は、コンピュータを用いて、入力画像に対してノイズを除去する処理を行う画像処理方法であって、入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、入力バッファに格納された画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定ステップと、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去ステップと、有し、第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、第1色成分は、ノイズ処理対象画素が有する画素値であり、第2色成分及び第3色成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である。
本発明の更に他の側面に係る画像処理プログラムは、コンピュータを用いて、入力画像に対してノイズを除去する処理を行うようにコンピュータを機能させる画像処理プログラムであって、コンピュータを、入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、入力バッファに格納された画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、として機能させ、第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、第1色成分は、ノイズ処理対象画素が有する画素値であり、第2色成分及び第3色成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である。
本発明の更に他の側面に係る記録媒体は、コンピュータを用いて、入力画像に対してノイズを除去する処理を行うようにコンピュータを機能させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、コンピュータを、入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、入力バッファに格納された画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、参照画素値の輝度成分を第1のフィルタ係数で重み付け加算すると共に、参照画素値の色差成分を第2のフィルタ係数で重み付け加算して修正画素値を算出し、修正画素値を利用してノイズ処理対象画素のノイズを除去するノイズ除去部と、として機能させ、第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、第1色成分は、ノイズ処理対象画素が有する画素値であり、第2色成分及び第3色成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である。
上述した画像処理方法、画像処理プログラム及び記録媒体によれば、上述した本発明の一側面に係る画像処理装置と同様の効果を奏する。
本発明の種々の側面及び実施形態によれば、優れたノイズ除去効果を奏する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体が提供される。
以下、添付図面を参照して実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
本実施形態に係る画像処理装置は、例えばノイズが除去されたフレーム画像を出力する装置であって、例えば複数の画像の連続撮影や動画撮影の場合に好適に採用されるものである。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、PDA(Personal Digital Assistant)等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。また、画像処理装置は、撮像装置に組み込まれるいわゆるオンチップISP(Image Signal Processor)なども含む趣旨である。なお、以下では、説明理解の容易性を考慮し、一例として、携帯端末に搭載される画像処理装置を説明する。
図1に示される携帯端末Tは、例えばユーザにより携帯される移動端末であり、図2に示されるハードウェア構成を有する。図2に示されるように、携帯端末Tは、物理的には、CPU(Central Processing Unit)100、RAM(Random Access Memory)101及びROM(Read Only Memory)102等の主記憶装置、カメラ又はキーボード等の入力デバイス103、ディスプレイ等の出力デバイス104、ハードディスク等の補助記憶装置105などを含む通常のコンピュータシステムとして構成される。後述する携帯端末T及び画像処理装置1の各機能は、CPU100、RAM101、ROM102、等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU100の制御の元で入力デバイス103及び出力デバイス104を動作させるとともに、主記憶装置や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末Tのハードウェア構成として説明したが、画像処理装置1がCPU100、RAM101及びROM102等の主記憶装置、入力デバイス103、出力デバイス104、補助記憶装置105などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末Tは、通信モジュール等を備えてもよい。
図1に示されるように、携帯端末Tは、カメラ41と、画像処理装置1と、表示部42とを備える。カメラ41は、静止画像や動画像を撮像する機能を有する。動画は、時系列で連続するフレーム画像を含む。なお、カメラ41は、ユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有していてもよい。カメラ41は、フレーム画像を画像処理装置1へ出力する。
画像処理装置1は、カメラ41により得られた入力画像を入処理することによって出力画像を生成する機能を有する。例えば、画像処理装置1は、入力画像のノイズ及び異常画素を除去する。ここでノイズとは、例えば撮像された映像上に発生するちらつきである。ノイズは、例えば、フレーム画像間で時間経過とともにランダムに変更される画素値、又は、同一フレーム内において周囲の画素の画素値とは極端に異なる画素値であってもよい。画素値とは、画素に対応付けされた情報であり、例えばRGB成分、輝度成分、色差値、彩度等が含まれる。異常画素とは、周囲の画素から推定した画素値に対して所定の閾値以上の差分を含む画素値を有する画素をいう。
画像処理装置1は、例えば、ノイズ処理部2と、異常画素処理部3と、を備える。ノイズ処理部2は、カメラ41から入力されたフレーム画像のノイズを除去し、ノイズ処理がなされた処理画像を出力する機能を有する。より詳細には、ノイズ処理部2は、カメラ41の出力直後のベイヤーパターン形式の画像データに対してノイズ除去処理を実施し、ノイズが除去されたベイヤーパターン形式の画像データを出力する。
図3に示されるように、ノイズ処理部2は、入力ラインバッファ(入力バッファ、入力バッファ部)4と、フィルタ設定部6と、ノイズ除去部7とを有する。ここで、ノイズ処理部2では、いわゆるバイラテラルフィルタを利用したノイズ処理が実行される。バイラテラルフィルタは、エッジを残しながらノイズを除去する機能を有するフィルタであり、重み付け平均に利用するフィルタ係数をノイズ処理対象となる画素と周辺の画素との距離、及び画素値に応じて調整するものである。
また、以下の説明におけるフィルタ係数には、輝度に適用されるフィルタ(第1のフィルタ係数)と、色差に適用されるフィルタ(第2のフィルタ係数)とがある。輝度に適用されるフィルタは、空間フィルタ係数と輝度フィルタ係数とに基づいて決定される。また、色差に適用されるフィルタは、空間フィルタ係数と色差フィルタ係数とに基づいて決定される。輝度フィルタ係数は、ノイズ処理対象となる画素の輝度成分と周辺の画素との輝度成分との差分に基づいて設定される。色差フィルタ係数は、ノイズ処理対象となる画素の色差成分と周辺の画素との色差成分との差分に基づいて設定される。空間フィルタ係数は、空間に関する値から算出された係数であり、例えば、ノイズ処理対象となる画素と周辺の画素との距離が小さいほど大きく、距離が大きいほど小さくなるように設定される。
入力ラインバッファ4は、カメラ41から出力された入力画像の入力画素値を格納する機能を有する。ここで、カメラ41から出力された入力画像は、いわゆるベイヤーパターン形式の画像フォーマットを有する。このカメラ41は、入射した光をカラーフィルタ等を利用して赤(R)、緑(G)、青(B)の三原色に色分解する。そして、分解されたそれぞれの光は、格子状に配列された受光素子により検出される。
フィルタ設定部6は、入力ラインバッファ4に格納された画素値を利用して、フレーム画像のノイズを除去するための輝度に適用されるフィルタ係数及び色差に適用されるフィルタ係数を設定し、それぞれのフィルタ係数をノイズ除去部7に出力する機能を有する。
フィルタ設定部6は、縮小画像生成部8と、縮小画像ラインバッファ(縮小画像バッファ)9と、参照画素選択部11と、対象画素値生成部12と、差分算出部13と、閾値決定部14と、係数算出部20と、を有する。
縮小画像生成部8は、入力ラインバッファ4に格納されたベイヤーパターン形式の画素値を、縮小及びフルカラー化する機能を有する。この縮小画像生成部8で生成された縮小画像の縮小画素値は、ノイズ処理における参照画素値として利用される。
縮小画像ラインバッファ9は、縮小画像生成部8から出力された縮小画素の画素値を格納する機能を有する。すなわち、縮小画像ラインバッファ9における一画素とは、入力ラインバッファ4における一ブロック(例えば、4画素×4画素の領域)に相当する。縮小画像ラインバッファ9は、所望の格納領域を設定可能であり、参照画素選択部11から参照可能に構成されている。
参照画素選択部11は、縮小画像ラインバッファ9に格納された縮小画像を構成する画素から、一又は複数の参照画素を選択する。そして、参照画素選択部11は、縮小画像ラインバッファ9における参照画素の位置情報を空間フィルタ係数決定部16aに出力すると共に、参照画素の画素値を差分算出部13及びノイズ除去部7に出力する機能を有する。
対象画素値生成部12は、ノイズ処理対象画素における画素値を生成する機能を有する。ここで、ノイズ処理対象画素とは、入力ラインバッファ4に格納された画素から選択されるものである。従って、ノイズ処理対象画素は、R成分、G成分、B成分のいずれか1個の画素値を有している。その他の成分は、ノイズ処理対象画素の周囲における画素の画素値を利用して算出する。従って、対象画素値は、選択された画素が有する1個の色成分と、ノイズ処理対象画素の周囲における画素の画素値から算出された他の2個の色成分とを有している。また、ノイズ処理は、入力ラインバッファ4における全ての画素に対して実行される。従って、対象画素値生成部12は、入力ラインバッファ4の画素をノイズ処理対象画素として順次選択する。
差分算出部13は、ノイズ処理対象画素の画素値と参照画素の画素値との差分を算出する機能を有する。そして、算出された差分は、係数算出部20に出力される。
閾値決定部14は、ノイズ処理対象画素の画素値を利用して、輝度フィルタ係数と色差フィルタ係数とを決定するための閾値を決定する機能を有する。決定された閾値は、係数算出部20に出力される。
係数算出部20は、輝度に適用されるフィルタ係数と、色差に適用されるフィルタ係数とを算出する機能を有する。係数算出部20は、空間フィルタ係数決定部16aと、輝度フィルタ係数決定部16bと、色差フィルタ係数決定部16cと、輝度に適用されるフィルタ係数決定部(第1のフィルタ係数決定部)17aと、色差に適用されるフィルタ係数決定部(第2のフィルタ係数決定部)17bとを有する。
空間フィルタ係数決定部16aは、参照画素選択部11から出力された縮小画像ラインバッファ9における参照画素の位置情報を利用して、空間フィルタ係数を決定する機能を有する。空間フィルタ係数決定部16aは、参照画素の位置情報、より詳細には中心画素から参照画素までの距離と空間フィルタ係数とが関連付けられた情報を保持している。例えば、距離と空間フィルタ係数とは、距離に対して単調に減少するような関数で関連付けられている。また、中心画素から参照画素までの距離は、距離の定義を満たすものであればよく、例えば、マンハッタン距離やユークリッド距離といった定義を利用してもよい。決定された空間フィルタ係数は、フィルタ係数決定部17a,17bに出力される。なお、距離と空間フィルタ係数とを関連付ける情報は、空間フィルタ係数と距離とが個々に対応付けられたデータベースであってもよい。
輝度フィルタ係数決定部16bは、差分算出部13から出力された差分と、閾値決定部14から出力された閾値とを利用して輝度フィルタ係数を決定する。決定された輝度フィルタ係数は、フィルタ係数決定部17aに出力される。
色差フィルタ係数決定部16cは、差分算出部13から出力された差分と、閾値決定部14から出力された閾値とを利用して色差フィルタ係数を決定する。決定された色差フィルタ係数は、フィルタ係数決定部17bに出力される。
フィルタ係数決定部17aは、空間フィルタ係数決定部16aから出力された空間フィルタ係数と、輝度フィルタ係数決定部16bから出力された輝度フィルタ係数とを利用して輝度に適用されるフィルタ係数を算出する。輝度に適用されるフィルタ係数は、ノイズ除去部7に出力される。
フィルタ係数決定部17bは、空間フィルタ係数決定部16aから出力された空間フィルタ係数と、色差フィルタ係数決定部16cから出力された色差フィルタ係数とを利用して色差に適用されるフィルタ係数を算出する。色差に適用されるフィルタ係数は、ノイズ除去部7に出力される。
ノイズ除去部7は、修正画素値算出部18と、後段ラインバッファ19とを有する。ノイズ除去部7は、参照画素選択部11から出力された参照画素の画素値と、フィルタ係数決定部17aから出力された輝度に適用されるフィルタ係数と、フィルタ係数決定部17bから出力された色差に適用されるフィルタ係数と、を利用して、修正画素値を算出する機能を有する。
修正画素値算出部18は、画素値加算部18aと、フィルタ係数加算部18bと、除算部18cとを有している。
画素値加算部18aは、参照画素選択部11から出力された輝度値と、係数算出部20から出力された空間フィルタ係数と、輝度に適用されるフィルタ係数とを乗算した値を順次加算して輝度成分の累積加算値を算出する。また、画素値加算部18aは、参照画素選択部11から出力された色差値と、係数算出部20から出力された空間フィルタ係数と、色差に適用されるフィルタ係数とを乗算した値を順次加算して色差成分の累積加算値を算出する。
フィルタ係数加算部18bは、係数算出部20から出力された空間フィルタ係数と、輝度に適用されるフィルタ係数と、色差に適用されるフィルタ係数とを利用して、輝度フィルタ係数に関する累積加算値(重み付け加算値)と色差フィルタ係数に関する累積加算値(重み付け加算値)とを算出する。
除算部18cは、修正画素値算出部18で算出された輝度成分の累積加算値を輝度フィルタ係数に関する累積加算値で除算して、修正画素値の輝度成分を算出する。また、除算部18cは、修正画素値算出部18で算出された色差成分の累積加算値を色差フィルタ係数に関する累積加算値で除算して、修正画素値の色差成分を算出する。
すなわち、修正画素値は輝度成分と色差成分とで示される。修正画素値の輝度成分は、重み付けされた輝度値の累積加算値を、フィルタ係数の累積加算値で除して算出される。また、修正画素値の色差成分は、重み付けされた色差値の累積加算値を、フィルタ係数の累積加算値で除して算出される。算出された修正画素値は、後段ラインバッファ19に出力される。
後段ラインバッファ19は、修正画素値をベイヤーパターン形式で格納する機能を有する。すなわち、後段ラインバッファ19は、入力ラインバッファ4と等価なデータ格納領域を有している。従って、後段ラインバッファ19における所定アドレスの画素は、入力ラインバッファ4における所定アドレスの画素に対応している。そして、後段ラインバッファ19には、入力ラインバッファ4の画素値に替えて、ノイズ除去処理がなされた画素値が格納されている。
なお、画像処理装置1は、後段ラインバッファ19に格納された画素値を後述する異常画素処理部3を経由せずに直接に表示部42に出力してもよい。
異常画素処理部3は、ノイズ処理部2から出力された処理画像に含まれ得る異常画素を除去する機能を有する。図4に示されるように、異常画素処理部3は、異常判定部21と、置換処理部22とを有する。
異常判定部21は、後段ラインバッファ19に格納された修正画素値が異常であるか否かを判定する機能を有する。より詳細には、異常判定部21は、後段バッファに格納されている複数の修正画素値において、異常処理対象画素が有する対象画素値(第2の対象画素値)と、異常処理対象画素の周辺における周辺画素が有する周辺画素値から推定される異常処理対象画素の推定画素値と、を比較して、対象画素値が異常であるか否かを判定する。異常判定部21は、統計量算出部23と、連続性判定部24と、第1の閾値決定部25と、差分算出部13と、第2の閾値決定部26と、乖離数判定部28と、を有する。
統計量算出部23は、異常判定に利用する統計量を算出する機能を有する。統計量算出部23は、後段ラインバッファ19に格納された修正画素から異常処理対象画素を選択し、異常処理対象画素が有する対象画素値を取得する。より詳細には、統計量算出部23は、異常処理対象画素の周囲における所定範囲(例えば、5画素×5画素)を1個のブロックとして抽出する。
連続性判定部24は、統計量算出部23で抽出されたブロックが構成する画像が連続であるか否かを判定する機能を有する。連続性判定部24は、中心画素値がブロック内における画素値の平均と近い場合には、その後の処理をスキップする。より詳細には、連続性判定部24は、まず、ブロック内の画素値の平均と中心画素値との差分の絶対値を算出する。次に、連続性判定部24は、絶対値と予め定められた閾値とを比較する。絶対値が閾値よりも小さい場合には、連続性判定部24は、中心画素は異常画素ではないと判断し、後段の処理をスキップする。絶対値が閾値よりも大きい場合には、連続性判定部24は、中心画素は異常画素であると判断し、後段の処理を実施する。従って、連続性判定部24は、異常画素処理の効率化のために設けられている。
第1の閾値決定部25は、差分算出部13の処理で利用される第1の閾値を決定する機能を有する。第1の閾値決定部25は、統計量算出部23から出力された分散を利用して、第1の閾値を決定する。この分散は、統計量算出部23で抽出されたブロックに含まれた画素値のばらつきを示す。従って、当該分散を利用した第1の閾値の決定によれば、当該分散に応じて第1の閾値が動的に変化する。
差分算出部13は、対象画素値と周辺画素値との差分(二乗誤差)を算出し、差分が第1の閾値を越えた回数を取得する機能を有する。そして、差分算出部13は、差分が第1の閾値を越えた回数を乖離数として出力する。
第2の閾値決定部26は、乖離数判定部28の処理で利用される第2の閾値を決定する機能を有する。第2の閾値決定部26は、統計量算出部23で抽出されたブロック内の画像にエッジが含まれているか否かに基づいて第2の閾値を決定し、第2の閾値を乖離数判定部28に出力する。
乖離数判定部28は、差分算出部13から出力された乖離数と第2の閾値決定部26から出力された第2の閾値とを比較して、異常処理対象画素の対象画素値が異常であるか否かを判定する機能を有する。
画素値置換部29は、異常処理対象画素の対象画素値が異常であると判定された場合に、異常処理対象画素に格納されていた対象画素値を、推定画素値を利用して得られる補正画素値に置き換える機能を有する。そして、置換処理部22は置き換えた補正画素値を出力ラインバッファ31に出力する。
出力ラインバッファ31は、異常画素処理がなされた補正画素値又は後段ラインバッファ19に格納されていた画素値をベイヤーパターン形式で格納する機能を有する。すなわち、出力ラインバッファ31は、入力ラインバッファ4及び後段ラインバッファ19と等価なデータ格納領域を有している。異常判定部21で異常と判断された画素には、対象画素値に替えて置換処理部22において算出された補正画素値が格納される。異常判定部21で異常と判断されなかった画素には、対象画素値が格納される。
出力ラインバッファ31に格納された補正画素値は、フルカラー化といった所定のデータ処理がなされた後に、表示部42において表示される。
次に、本実施形態に係る画像処理装置1の動作について説明する。図5及び図6は、本実施形態に係る画像処理装置1の動作を示すフローチャートである。図5及び図6に示す制御処理は、例えば、携帯端末Tの撮像機能をONにしたタイミングで開始され、所定の周期で繰り返し実行される。
図5に示されるように、最初に、ノイズ処理S10を実行する。ノイズ処理S10において、まず、入力バッファへの格納処理S11を実施し、カメラ41の受光素子から画素値を順次読み出して入力ラインバッファ4へ格納する。
続いて、縮小画像の生成処理S12を実行する。生成処理S12は、フィルタ設定部6の縮小画像生成部8で実行される。この生成処理S12では、縮小画像生成部8が入力ラインバッファ4における4画素×4画素のブロックを1個の縮小画素として抽出し、当該ブロックに含まれたR成分の画素値、G成分の画素値、B成分の画素値のそれぞれを利用して平均化処理を行う。この平均化処理によって、入力ラインバッファ4に格納された画素値が縮小化及びフルカラー化される。そして、平均化処理により得られたR成分(Rref)、G成分(Gref)、B成分(Bref)、を縮小画素の画素値として出力する。
続いて、縮小画像ラインバッファ9への格納処理S13を実行する。格納処理S13は、フィルタ設定部6の縮小画像ラインバッファ9で実行される。これら生成処理S12を実行した後に格納処理S13を実行するステップは繰り返し実行する。
続いて、対象画素値の生成処理S14を実行する。生成処理S14は、フィルタ設定部6の対象画素値生成部12で実行される。この生成処理S14により、対象画素値(Rorg,Gorg,Borg)(第1の対象画素値)が得られる。生成処理S14では、入力ラインバッファ4においてノイズ処理の対象となるノイズ処理対象画素を選択する。そして、ノイズ処理対象画素の周囲に存在する複数の画素をサンプリング用画素として選択する。例えば、ノイズ処理対象画素を中心とした5画素×5画素のブロックを抽出する。そして、このブロックを構成する画素の画素値を利用して、縮小化及びフルカラー化する。ノイズ処理対象画素が有しない他の色成分の画素値は、サンプリング用画素の画素値を平均処理して得る。
続いて、フィルタ係数の設定処理(フィルタ設定ステップ)S15を実行する。図6に示されるように、まず、参照画素の選択処理S15aを実行する。この選択処理S15aは参照画素選択部11で実行される。選択処理S15aでは、縮小画像ラインバッファ9に格納された縮小画像の画素から1又は複数の画素を選択する。選択処理S15aでは、縮小画像の全ての画素を順次選択するものではなく、ノイズ処理対象画素に対応する中心画素に対して、縮小画像ラインバッファ9のサイズに応じて予め設定された位置の画素を選択していく。例えば、図7に示されるように、中心画素P1に対して周辺画素P2をそれぞれ参照画素として選択する。1個の画素を選択した場合(1画素サンプリング)には、選択した画素の画素値と、中心画素から選択した画素までの距離とを出力する。この距離は、距離の定義を満たすものであればよく、例えばマンハッタン距離であってもよいし、ユークリッド距離であってもよい。また、複数の画素を選択した場合(範囲内平均サンプリング)には、複数の画素のそれぞれにおける画素値を平均化した値を参照画素値(Rref,Gref,Bref)として出力すると共に、中心画素から複数の画素のそれぞれまでの距離を平均化した距離を出力する。
続いて、空間フィルタ係数の決定処理S15bを実行する。決定処理S15bは空間フィルタ係数決定部16aで実行される。決定処理S15bでは、参照画素の選択処理S15aで取得された中心画素から参照画素までの距離を利用して空間フィルタ係数(ωSP)を決定する。ここで、空間フィルタ係数(ωSP)が距離を変数とする関数として規定されている場合には、当該関数に距離を入力して、空間フィルタ係数(ωSP)を算出する。なお、中心画素の空間フィルタ係数(ωSP)は、予め設定された値を別途利用する。
続いて、画素値差分(diff)の算出処理S15cを実行する。この算出処理S15cは、差分算出部13で実行される。この算出処理S15cは、式(1)に示されるように、対象画素値(Rorg,Gorg,Borg)と参照画素の参照画素値(Rref,Gref,Bref)とを利用して実行する。より詳細には、対象画素値(Rorg,Gorg,Borg)と参照画素値(Rref,Gref,Bref)とを、輝度成分(Y)の差分(diffluma)と、色差成分(UV)の差分(diffchroma)としてそれぞれ算出する。そして、輝度成分(Y)の差分(diffluma)と色差成分(UV)の差分(diffchroma)とを利用して、対象画素値(Rorg,Gorg,Borg)と参照画素の参照画素値(Rref,Gref,Bref)との画素値差分(diff)を得る。
diff:差分
diffluma:輝度成分の差分
diffchroma:色差成分の差分
Rorg:対象画素値のR成分
Gorg:対象画素値のG成分
Borg:対象画素値のB成分
Rref:参照画素値のR成分
Gref:参照画素値のG成分
Bref:参照画素値のB成分
f1,f2,f3:関数
diff:差分
diffluma:輝度成分の差分
diffchroma:色差成分の差分
Rorg:対象画素値のR成分
Gorg:対象画素値のG成分
Borg:対象画素値のB成分
Rref:参照画素値のR成分
Gref:参照画素値のG成分
Bref:参照画素値のB成分
f1,f2,f3:関数
続いて、閾値の決定処理S15dを実行する。この決定処理S15dは、閾値決定部14で実行される。この決定処理S15dでは、輝度フィルタ係数(ωY)及び色差フィルタ係数(ωUV)を決定するための1又は複数の閾値(diffthre)を決定する。この閾値(diffthre)は、ノイズ処理対象画素の画素値を利用して決定する。より詳細には、画素値としてYUV形式で表現されたノイズ処理対象画素の輝度成分(Y)を利用し、この輝度成分(Y)を式(2)に適用して閾値(diffthre)を算出する。すなわち、閾値(diffthre)は、輝度成分(Y)によって動的に変化する。一例として、輝度成分(Y)が大きい場合(明るい場合)には許容する差分(diff)が大きくなり、輝度成分(Y)が小さい場合(暗い場合)には許容する差分(diff)が小さくなるように設定されてもよい。閾値(diffthre)は、式(2)で示されるように輝度成分(Y)を変数とする関数を利用して算出される。この関数の種類や係数を適宜選択することにより、輝度成分(Y)と閾値(diffthre)との関係を所望の関係に制御することが可能になり、ノイズを除去するフィルタ処理の程度を制御することができる。
diffthre(i,j):閾値
Yorg:ノイズ処理対象画素の輝度成分
f4:関数
例えば、この決定処理S15dにより、輝度成分(Y)の閾値として閾値(diffthre(i=n,j=Y))が決定される。また、色差成分(UV)の閾値として閾値(diffthre(i=n,j=UV))が決定される。また、nは、1以上の整数であり、輝度成分(Y)の差分(diff)をその大きさに応じて区分する数である。なお、中心画素の輝度フィルタ係数(ωY)及び色差フィルタ係数(ωUV)は、予め設定された値を別途利用する。
diffthre(i,j):閾値
Yorg:ノイズ処理対象画素の輝度成分
f4:関数
例えば、この決定処理S15dにより、輝度成分(Y)の閾値として閾値(diffthre(i=n,j=Y))が決定される。また、色差成分(UV)の閾値として閾値(diffthre(i=n,j=UV))が決定される。また、nは、1以上の整数であり、輝度成分(Y)の差分(diff)をその大きさに応じて区分する数である。なお、中心画素の輝度フィルタ係数(ωY)及び色差フィルタ係数(ωUV)は、予め設定された値を別途利用する。
なお、閾値(diffthre)の算出に輝度成分(Y)のみを利用する場合を例に説明したが、閾値(diffthre)の算出に色差成分(UV)を利用してもよい。すなわち、上記式(2)において、変数が輝度成分(Y)だけではなく色差成分(UV)を含んでいていてもよいし、色差成分(UV)だけであってもよい。
続いて、輝度フィルタ係数(ωY)及び色差フィルタ係数(ωUV)の決定処理S15eを実行する。この決定処理S15eは、輝度フィルタ係数決定部16b及び色差フィルタ係数決定部16cで実行される。この決定処理S15eでは、画素値差分の算出処理S15cで得た画素値差分(diff)と、閾値の決定処理S15dで得た閾値(diffthre)とを比較して、輝度フィルタ係数(ωY)及び色差フィルタ係数(ωUV)の値を決定する。
例えば、画素値の差分(diff)が閾値(diffthre(i=0,j=Y))より大きい場合には輝度フィルタ係数(ωY)を第1の値に決定し、閾値(diffthre(i=1,j=Y))以下の場合には輝度フィルタ係数(ωY)を第2の値に決定する。ここで、第1の値は、第2の値よりも大きい。また、画素値の差分(diff)が閾値(diffthre(i=0,j=UV))より大きい場合には色差フィルタ係数(ωUV)を第3の値に決定し、閾値(diffthre(i=1,j=UV))以下の場合には色差フィルタ係数(ωUV)を第4の値に決定する。ここで、第3の値は、第4の値よりも大きい。
続いて、輝度に適用されるフィルタ係数の決定処理S15fを実行する。この決定処理S15fは、フィルタ係数決定部17aで実行される。輝度に適用されるフィルタ係数とは、後段のノイズ除去処理において、参照画素値の輝度成分(Y)に乗算される重みである。輝度に適用されるフィルタ係数(ωSP×ωY)は、空間フィルタ係数(ωSP)に、輝度フィルタ係数(ωY)を乗算したものである。
続いて、色差成分に適用されるフィルタ係数の決定処理S15gを実行する。この決定処理S15gは、フィルタ係数決定部17bで実行される。色差成分に適用されるフィルタ係数とは、後段のノイズ除去処理において、参照画素値の色度成分(UV)に乗算される重みである。色差成分に適用されるフィルタ係数(ωSP×ωUV)は、空間フィルタ係数(ωSP)に、色差フィルタ係数(ωUV)を乗算したものである。
ここで、閾値(diffthre)は、式(2)に示されるように、第1の対象画素値をなす輝度成分(Y)によって動的に変化する。このため、画素値の差分(diff)と輝度フィルタ係数(ωY)との関係は第1の対象画素値をなす輝度成分(Y)によって動的に変化する。従って、画素値の差分(diff)と輝度に適用されるフィルタ係数との関係は、第1の対象画素値をなす輝度成分(Y)によって動的に変化する。同様に、画素値の差分(diff)と色差フィルタ係数(ωUV)との関係は第1の対象画素値をなす輝度成分(Y)によって動的に変化する。従って、画素値の差分(diff)と色差成分に適用されるフィルタ係数との関係は、第1の対象画素値をなす輝度成分(Y)によって動的に変化する。
続いて、ノイズ除去処理(ノイズ除去ステップ)S16を実行する。このノイズ除去処理S16は、修正画素値算出部18で実行される。このノイズ除去処理S16では、参照画素の選択処理S15aで得られた画素値(YUV)と、輝度に適用されるフィルタ係数(ωSP×ωY)と、色差に適用されるフィルタ係数(ωSP×ωUV)とを利用して、式(3)に示される加重平均処理を行う。このノイズ除去処理S16では、参照画素値は、輝度成分(Y)と色差成分(UV)で扱われる。上述した参照画素の選択処理S15aからノイズ除去処理S16は、予め選択されることが設定されている参照画素のそれぞれについて実行される。そして、ノイズ処理が実行された修正画素値が得られる。
なお、図6では、輝度に適用されるフィルタ係数の決定処理S15fを色差成分に適用されるフィルタ係数の決定処理S15gの前に実行しているが、決定処理S15fと決定処理S15gは、実行される順が逆でもよいし、平行して実行してもよい。
続いて、後段ラインバッファ19への格納処理S17を実行する。この格納処理S17は、後段ラインバッファ19により実行される。この格納処理S17では、ノイズ除去処理S16により得られた修正画素値(YUV)を利用して、後段ラインバッファ19において、ノイズ処理対象画素の生成処理S14でノイズ処理対象画素として選択された画素に対応する位置に修正画素値を格納する。この工程を例示すると、まず、修正画素値(YUV)を修正画素値(RGB)に変換する、そして、ノイズ処理対象画素の画素値がR成分であった場合には、修正画素値(RGB)のR成分を抽出し、後段ラインバッファ19に格納する。また、ノイズ処理対象画素の画素値がG成分であった場合には、修正画素値(RGB)のG成分を抽出し、後段ラインバッファ19に格納する。また、ノイズ処理対象画素の画素値がB成分であった場合には、修正画素値(RGB)のB成分を抽出し、後段ラインバッファ19に格納する。
上述したノイズ処理S10における対象画素値の生成処理S14から後段ラインバッファ19への格納処理S17までの処理は、入力ラインバッファ4に格納された全ての画素に対して実行する。
全ての画素に対してノイズ処理S10が実行された後に、異常画素処理を実施するか否かを判定する工程S18を実行する。異常画素処理S20を実施すると判定した場合(S18:YES)は、次の異常画素処理S20に移行する。一方、異常画素処理S20を実施しないと判定した場合(S18:NO)は、次の異常画素処理S20をスキップする。
図5に示されるように、ノイズ処理S10の終了後、異常画素処理S20を実行する。まず、統計量の算出処理S21を実行する。この算出処理S21は、統計量算出部23で実行される。算出処理S21では、後段ラインバッファ19から異常処理を行う対象画素として異常処理対象画素を選択すると共に、異常処理対象画素の周囲における数画素の範囲を1個のブロックとして抽出する。そして、異常処理対象画素と同じ色成分を有する画素を当該ブロックを構成する複数の画素から抽出する。そして、抽出した画素が有する画素値(例えばG成分)について、最大値、最小値、単純平均値、分散(σ2)といった統計量を算出する。
続いて、連続性の判定処理S22を実行する。この判定処理S22は、連続性判定部24で実行される。この判定処理S22では、統計量算出部23から出力された画素値の平均値と、対象画素値(第2の対象画素値)との差分を算出する。そして、この差分が、予め設定された閾値よりも小さいときには、異常処理対象画素の対象画素値は異常ではないと判断し、後段の処理(S23〜S27)をスキップし、出力ラインバッファへの格納処理S28へ移行する。一方、差分が予め設定された閾値よりも大きいときには、異常処理対象画素の対象画素値は異常である可能性が高いと判断し、第1の閾値の決定処理S23へ移行する。
続いて、第1の閾値の決定処理S23を実行する。この決定処理S23は、第1の閾値決定部25で実行される。決定処理S23では、統計量の算出処理S21で得た画素値の分散(σ2)を利用して、後段の差分の算出処理S25で利用する第1の閾値(square_diffthre)を決定する。ここで、決定処理S23で利用する画素値は、輝度成分(Y)の分散(σ2)及び色差成分(UV)の分散(σ2)である。これら分散(σ2)を式(4)に適用して、第1の閾値を決定する。この式(4)は、分散(σ2)が大きいほど第1の閾値(square_diffthre)が大きくなるような関数に設定されている。また、式(4)は、第1の閾値(square_diffthre)には、輝度成分(Y)のための値と、色差成分(UV)のための値とが決定される。
続いて、第2の閾値の決定処理S24を実行する。この決定処理S24は、第2の閾値決定部26で実行される。決定処理S24では、後段の剥離数の判定処理S26で利用する第2の閾値を決定する。第2の閾値は、後述する差分の算出処理S25において算出される推定画素値の数に対応して決定される。また、決定処理S24では、ブロック内の画像がエッジを含むか否かによって第2の閾値を動的に変化させる。より詳細には、決定処理S24では、統計量算出部23で抽出されたブロック内の画像がエッジを含む場合の第2の閾値を、ブロック内の画像がエッジを含まない場合の第2の閾値よりも大きい値に設定する。
なお、第2の閾値の決定処理S24は、統計量の算出処理S21の後であり連続性の判定処理S22の前に実行されてもよい。また、第2の閾値の決定処理S24は、連続性の判定処理S22と平行して実行されてもよい。
続いて、差分の算出処理S25を実行する。この算出処理S25は、差分算出部13で実行される。差分の算出処理S25では、異常処理対象画素の周囲に存在する画素と異常処理対象画素とを結ぶ線分上に存在する画素を利用して、異常処理対象画素の位置における推定画素値を算出する。続いて、異常処理対象画素における対象画素値と推定画素値との差分を算出する。続いて、当該差分と第1の閾値決定部25から出力される第1の閾値とを比較する。この推定画素値の算出と、対象画素値と推定画素値との差分の算出と、差分及び第1の閾値の比較とを、異常処理対象画素に向かう所定の方向において複数回実施する。すなわち、差分及び閾値の比較は、推定画素値の数だけ行われることになり、このうち差分及び第1の閾値を超えた回数を乖離数としてカウントし、乖離数判定部28に出力する。
続いて、乖離数の判定処理S26を実行する。この判定処理S26は、乖離数判定部28で実行される。判定処理S26では、差分の算出処理S25で得た乖離数と、第2の閾値の決定処理S24で得た第2の閾値とを比較する。そして、乖離数が第2の閾値以上である場合には、異常処理対象画素の対象画素値が異常であると判定し、後段の画素値の置換処理S27へ移行する。一方、乖離数が第2の閾値未満である場合には、異常処理対象画素の対象画素値は正常であると判定し、後段の画素値の置換処理S27をスキップし、出力ラインバッファ31への格納処理S28へ移行する。
続いて、画素値の置換処理S27を実行する。この置換処理S27は、画素値置換部29で実行される。置換処理S27では、異常処理対象画素に格納されていた対象画素値を、推定画素値を利用して得られた補正画素値に置き換える。ここで補正画素値は、差分算出部13で算出された複数個の推定画素値を利用して算出する。例えば、補正画素値を複数個の推定画素値の単純平均としてもよいし、複数個の推定画素値から最大値と最小値を除いた値の単純平均としてもよい。
続いて、出力ラインバッファへの格納処理S28を実行する。この格納処理S28は、出力ラインバッファ31で実行される。格納処理S28に至る状態には、連続性の判定処理S26から移行した第1の状態と、乖離数の判定処理S26から移行した第2の状態と、画素値の置換処理S27から移行した第3の状態との3個の状態があり得る。第1の状態と第2の状態とは、異常処理対象画素の対象画素値が正常であると判断された結果であるので、対象画素値を出力ラインバッファ31へそのまま格納する。すなわち、後段ラインバッファ19の所定位置に格納されていた画素値が、後段ラインバッファ19の所定位置に対応する出力ラインバッファ31の位置にそのまま格納されることになる。一方、第3の状態では、異常処理対象画素の対象画素値が異常であると判断された結果であるので、補正画素値を出力ラインバッファ31へ格納する。すなわち、後段ラインバッファ19の所定位置に格納されていた画素値が補正画素値に置き換えられて、後段ラインバッファ19の所定位置に対応する出力ラインバッファ31の位置に格納されることになる。
以上で図5及び図6に示された制御処理を終了する。図5及び図6に示された制御処理を実行することにより、ベイヤーパターン形式の状態でノイズを除去する処理と、異常画素値を除去する処理とが実行されるので、フィルタ対象画像に重畳したノイズを好適に除去することが可能となる。すなわち、上記画像処理方法によれば、ノイズ処理を行う信号としてベイヤー信号を対象とするため、異なる画素間の相関が低く、効果的なノイズ除去が可能である。従って、ノイズ処理S10にあたっては、エッジを検出する必要がないので、エッジ検出処理を省きつつ、画質を向上させることができる。
次に、携帯端末(コンピュータ)Tを上記画像処理装置1として機能させるための画像処理プログラムについて説明する。
画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、フレーム画像を取得するように携帯端末Tを動作させる。演算処理モジュールは、ノイズ処理部2及び異常画素処理部3を有する。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置1のノイズ処理部2及び異常画素処理部3の機能とそれぞれ同様である。
画像処理プログラムは、例えば、ROM等の記録媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。
以上、本実施形態に係る画像処理装置1、画像処理方法及び画像処理プログラムによれば、ベイヤーパターン形式で配列された画素値に対してノイズを除去するためのフィルタ処理を実行する。ベイヤーパターン形式で配列された画素値は、異なる画素間の空間的な相関が低く、異常な画素値の影響が周辺の画素値に影響を及ぼすことがない。従って、優れたノイズ除去効果を奏することが可能となる。
より詳細には、本実施形態に係る画像処理装置1、画像処理方法及び画像処理プログラムでは、ベイヤー信号を輝度成分(Y)と色差成分(UV)に分離し、輝度成分(Y)と色差成分(UV)について差分に基づく重み係数の算出を行っている点で特許文献1に記載された技術とは手法が異なる。このような手法によれば、輝度成分(Y)と色差成分(UV)とで重み係数を互いに異なる値に設定することが可能になる。また、特許文献1に記載された技術は周辺参照領域が狭いため低周波ノイズの除去性能に限界があるが、本実施形態に係る画像処理装置1、画像処理方法及び画像処理プログラムでは、縮小画像を参照画素として用いることにより必要なラインバッファの本数を抑えながら実質的に広範囲の画素を参照することが可能であり、より高精度なノイズ除去が可能である。
また、本実施形態に係る画像処理装置1、画像処理方法及び画像処理プログラムによれば、異常な画素値を推定画素値に置き換えることにより、フィルタ対象画像の異常画素を排除することができる。従って、一層優れたノイズ除去効果を奏することが可能となる。
なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置1に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
例えば、画像処理装置は、ノイズ処理部2のみ備え、異常画素処理部3を備えない構成であってもよい。また、画像処理装置は、異常画素処理部3が、ノイズ処理部2の前段に配置された構成であってもよい。すなわち、異常画素処理S20は、画素値がベイヤーパターン形式で保持された画像に対して実行可能であるため、異常画素処理S20を先に実施し、その後、ノイズ処理S10を実施してもよい。
例えば、上記実施形態では、画素値差分と第1及び第2のフィルタ係数の関係を、第1の対象画素値に対応して動的に変化させる一例として、輝度(第1の対象画素値)に対応する閾値を利用する場合を説明した。その他の例として、例えば、空間フィルタと同様に画素値差分に対応して単調減少(例えば正規分布関数)や、単調増加するような関数を利用してもよい。具体的には、対象画素値に対応して正規分布の分散パラメータを動的に変化させてもよい。
例えば、入力ラインバッファ4、縮小画像ラインバッファ9、後段ラインバッファ19、出力ラインバッファ31のサイズは、所望のサイズに設定してもよい。
例えば、縮小画像の生成処理S12及びノイズ処理画素値の生成処理S14では、所望の画素数を有するブロックを選択してもよい。
例えば、本実施例ではベイヤーパターンを加色系(RGB)フィルタとしたが、これに限らず減色系(CMYK)フィルタ等異なるカラーフィルタについて適用しても良い。また、各センサーの形状と配列は長方形の格子型に限らず、六角形状センサーのハニカム型構造等としても良い。
また、画像処理装置は、入力画像を構成する画素値をベイヤーパターン形式で格納する後段バッファと、画像の異常画素を処理する異常画素処理部と、を備え、異常画素処理部は、後段バッファに格納されている複数の画素値において、異常処理対象画素が有する第2の対象画素値と、異常処理対象画素の周辺における周辺画素が有する周辺画素値を利用して周辺画素から異常処理対象画素へ向かう複数の互いに異なる方向に沿う複数回の補間によって推定される異常処理対象画素における複数の推定画素値と、の比較を複数回実施することにより、第2の対象画素値が異常であるか否かを判定する異常判定部と、異常判定部で、第2の対象画素値が異常であると判定された場合には、第2の対象画素値を推定画素値に置き換える置換処理部と、有してもよい。この構成によれば、異常な画素値を推定画素値に置き換えることにより、フィルタ対象画像の異常画素を排除することができる。従って、一層優れたノイズ除去効果を奏することが可能となる。
1…画像処理装置、2…ノイズ処理部、3…異常画素処理部、4…入力ラインバッファ(入力バッファ、入力バッファ部)、6…フィルタ設定部、7…ノイズ除去部、8…縮小画像生成部、9…縮小画像ラインバッファ(縮小画像バッファ)、11…参照画素選択部、12…対象画素値生成部、13…差分算出部、14…閾値決定部、16a…空間フィルタ係数決定部、16b…輝度フィルタ係数決定部、16c…色差フィルタ係数決定部、17a…フィルタ係数決定部(第1のフィルタ係数決定部)、17b…フィルタ係数決定部(第2のフィルタ係数決定部)、18…修正画素値算出部、19…後段ラインバッファ、20…係数算出部、21…異常判定部、22…置換処理部、23…統計量算出部、24…連続性判定部、25…第1の閾値決定部、26…第2の閾値決定部、28…乖離数判定部、29…画素値置換部、31…出力ラインバッファ、S10…ノイズ処理、S11…入力バッファへの格納処理、S15…フィルタ係数の設定処理(フィルタ設定ステップ)、S16…ノイズ除去処理(ノイズ除去ステップ)、S20…異常画素処理。
Claims (7)
- 入力画像に対してノイズを除去する処理を行う画像処理装置であって、
前記入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、
前記入力バッファに格納された前記画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、前記ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、
前記参照画素値の輝度成分を前記第1のフィルタ係数で重み付け加算すると共に、前記参照画素値の色差成分を前記第2のフィルタ係数で重み付け加算して修正画素値を算出し、前記修正画素値を利用して前記ノイズ処理対象画素のノイズを除去するノイズ除去部と、
を備え、
前記第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、
前記第1色成分は、前記ノイズ処理対象画素が有する画素値であり、
前記第2色成分及び前記第3色成分は、前記ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である、画像処理装置。 - 前記フィルタ設定部は、
前記入力バッファに格納された前記画素値を利用して、縮小画像を生成する縮小画像生成部と、
前記縮小画像を構成する縮小画素値を格納する縮小画像バッファと、
前記縮小画像バッファに格納された前記縮小画像から前記参照画素を選択する参照画素選択部と、を有する、請求項1に記載の画像処理装置。 - 前記フィルタ設定部は、
前記第1の対象画素値を生成する対象画素値生成部と、
前記参照画素選択部で選択された前記参照画素の前記参照画素値と前記対象画素値生成部で生成された前記第1の対象画素値とを利用して、画素値差分を算出する差分算出部と、
前記画素値差分を利用して、前記第1のフィルタ係数及び前記第2のフィルタ係数を算出する係数算出部と、を有し、
前記画素値差分と前記第1のフィルタ係数の関係、及び前記画素値差分と前記第2のフィルタ係数の関係は、前記第1の対象画素値に対応して動的に変化する、請求項2に記載の画像処理装置。 - 前記参照画素選択部は、前記縮小画像バッファに格納された縮小画像における一部の縮小画素を前記参照画素として選択する、請求項2又は3に記載の画像処理装置。
- コンピュータを用いて、入力画像に対してノイズを除去する処理を行う画像処理方法であって、
前記入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、
前記入力バッファに格納された前記画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、前記ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定ステップと、
前記参照画素値の輝度成分を前記第1のフィルタ係数で重み付け加算すると共に、前記参照画素値の色差成分を前記第2のフィルタ係数で重み付け加算して修正画素値を算出し、前記修正画素値を利用して前記ノイズ処理対象画素のノイズを除去するノイズ除去ステップと、
を有し、
前記第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、
前記第1色成分は、前記ノイズ処理対象画素が有する画素値であり、
前記第2色成分及び前記第3色成分は、前記ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である、画像処理方法。 - コンピュータを用いて、入力画像に対してノイズを除去する処理を行うように前記コンピュータを機能させる画像処理プログラムであって、
前記コンピュータを、
前記入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、
前記入力バッファに格納された前記画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、前記ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、
前記参照画素値の輝度成分を前記第1のフィルタ係数で重み付け加算すると共に、前記参照画素値の色差成分を前記第2のフィルタ係数で重み付け加算して修正画素値を算出し、前記修正画素値を利用して前記ノイズ処理対象画素のノイズを除去するノイズ除去部と、として機能させ、
前記第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、
前記第1色成分は、前記ノイズ処理対象画素が有する画素値であり、
前記第2色成分及び前記第3色成分は、前記ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である、画像処理プログラム。 - コンピュータを用いて、入力画像に対してノイズを除去する処理を行うように前記コンピュータを機能させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータを、
前記入力画像を構成する画素における入力画素値をベイヤーパターン形式で格納する入力バッファと、
前記入力バッファに格納された前記画素から選択されるノイズ処理対象画素ごとに生成される第1の対象画素値と、前記ノイズ処理対象画素の周辺における複数の参照画素が有する参照画素値と、を利用して第1のフィルタ係数及び第2のフィルタ係数を設定するフィルタ設定部と、
前記参照画素値の輝度成分を前記第1のフィルタ係数で重み付け加算すると共に、前記参照画素値の色差成分を前記第2のフィルタ係数で重み付け加算して修正画素値を算出し、前記修正画素値を利用して前記ノイズ処理対象画素のノイズを除去するノイズ除去部と、として機能させ、
前記第1の対象画素値は、第1色成分、第2色成分、第3色成分を含み、
前記第1色成分は、前記ノイズ処理対象画素が有する画素値であり、
前記第2色成分及び前記第3色成分は、前記ノイズ処理対象画素の周囲における画素の画素値を利用して算出された画素値である、画像処理プログラムを記録した記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014085642 | 2014-04-17 | ||
JP2014085642 | 2014-04-17 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084919A Division JP6342360B2 (ja) | 2014-04-17 | 2015-04-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017091582A true JP2017091582A (ja) | 2017-05-25 |
Family
ID=54322430
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084919A Active JP6342360B2 (ja) | 2014-04-17 | 2015-04-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
JP2017021916A Pending JP2017091582A (ja) | 2014-04-17 | 2017-02-09 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084919A Active JP6342360B2 (ja) | 2014-04-17 | 2015-04-17 | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10043244B2 (ja) |
JP (2) | JP6342360B2 (ja) |
KR (1) | KR101661850B1 (ja) |
CN (1) | CN105049679B (ja) |
TW (1) | TWI573464B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9716889B2 (en) * | 2014-12-09 | 2017-07-25 | Sony Corporation | Intra and inter-color prediction for Bayer image coding |
CN110619612B (zh) * | 2015-12-25 | 2022-03-22 | 展讯通信(上海)有限公司 | 一种消除图像噪声的方法及装置 |
CN108885265A (zh) * | 2016-03-31 | 2018-11-23 | 富士胶片株式会社 | 距离图像处理装置、距离图像获取装置及距离图像处理方法 |
RU2646358C2 (ru) * | 2016-04-07 | 2018-03-02 | Николай Дмитриевич Егоров | Способ устранения избыточности при сжатии последовательности изображений |
KR102587865B1 (ko) * | 2016-11-30 | 2023-10-10 | 엘지디스플레이 주식회사 | 표시장치 및 그의 영상 처리방법 |
JP6998156B2 (ja) * | 2017-09-04 | 2022-01-18 | 株式会社ミツトヨ | 画像処理装置、及びプログラム |
CN109660807A (zh) * | 2017-10-10 | 2019-04-19 | 优酷网络技术(北京)有限公司 | 一种视频图像转码方法及装置 |
JP7317655B2 (ja) * | 2019-09-26 | 2023-07-31 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
CN114202496A (zh) * | 2020-09-02 | 2022-03-18 | 苏州科瓴精密机械科技有限公司 | 图像阴影检测方法、***、图像分割设备及可读存储介质 |
US11816858B2 (en) * | 2021-02-10 | 2023-11-14 | Apple Inc. | Noise reduction circuit for dual-mode image fusion architecture |
CN113284133B (zh) * | 2021-06-16 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 一种光伏电池片间距的确定方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027619A (ja) * | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
JP2010010976A (ja) * | 2008-06-25 | 2010-01-14 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
JP2010154024A (ja) * | 2008-12-24 | 2010-07-08 | Olympus Corp | 画像処理装置、および画像処理方法 |
JP2010157163A (ja) * | 2008-12-31 | 2010-07-15 | Morpho Inc | 画像処理方法および画像処理装置 |
JP2013218393A (ja) * | 2012-04-05 | 2013-10-24 | Intellectual Ventures Fund 83 Llc | 撮像装置 |
JP2013219621A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置及び画像処理方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US6525723B1 (en) * | 1998-02-17 | 2003-02-25 | Sun Microsystems, Inc. | Graphics system which renders samples into a sample buffer and generates pixels in response to stored samples at different rates |
JP4057216B2 (ja) * | 2000-03-07 | 2008-03-05 | 富士フイルム株式会社 | 固体撮像装置および画素欠陥検出方法 |
GB0212367D0 (en) * | 2002-05-29 | 2002-07-10 | Eastman Kodak Co | Image processing |
JP2004135313A (ja) * | 2002-09-18 | 2004-04-30 | Canon Inc | 画像処理装置およびその方法 |
US7508550B2 (en) * | 2004-06-17 | 2009-03-24 | Fujifilm Corporation | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
JP4460368B2 (ja) * | 2004-06-17 | 2010-05-12 | 富士フイルム株式会社 | 画像補正装置および方法,ならびに画像補正プログラム |
JP3926813B2 (ja) | 2004-08-23 | 2007-06-06 | 富士フイルム株式会社 | ノイズ低減装置および方法ならびにノイズ低減プログラム |
US8477173B2 (en) * | 2004-10-15 | 2013-07-02 | Lifesize Communications, Inc. | High definition videoconferencing system |
KR100652408B1 (ko) * | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
US7964835B2 (en) * | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
JP4660342B2 (ja) | 2005-10-12 | 2011-03-30 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
JP2007312304A (ja) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
JP5055588B2 (ja) * | 2007-02-07 | 2012-10-24 | 株式会社ニコン | 画像処理装置および画像処理方法 |
JP2008301142A (ja) * | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | 固体撮像素子および画素補正方法 |
CN101394485B (zh) * | 2007-09-20 | 2011-05-04 | 华为技术有限公司 | 图像生成方法、装置及图像合成设备 |
US8165394B2 (en) * | 2008-09-18 | 2012-04-24 | Microsoft Corporation | Reconstruction of image in a Bayer pattern |
US8098959B2 (en) * | 2008-10-29 | 2012-01-17 | Aptina Imaging Corporation | Method and system for frame rotation within a JPEG compressed pipeline |
JP5197414B2 (ja) * | 2009-02-02 | 2013-05-15 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
JP5523802B2 (ja) * | 2009-11-25 | 2014-06-18 | 株式会社東芝 | 画像処理装置 |
JP5393245B2 (ja) * | 2009-05-12 | 2014-01-22 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、x線画像撮影装置およびx線画像撮影装置の制御方法 |
KR20110029001A (ko) * | 2009-09-14 | 2011-03-22 | 삼성전자주식회사 | 베이어 영상에서의 이미지 처리 방법 및 장치 |
JP5455611B2 (ja) * | 2009-12-24 | 2014-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5316811B2 (ja) * | 2010-01-18 | 2013-10-16 | 株式会社リコー | 画像処理方法及び装置、並びに画像撮像装置 |
JP5370345B2 (ja) | 2010-11-25 | 2013-12-18 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
US20120008017A1 (en) * | 2010-07-07 | 2012-01-12 | Jeong Yeon-U | Image sensor and pixel correction method |
-
2015
- 2015-04-17 JP JP2015084919A patent/JP6342360B2/ja active Active
- 2015-04-17 CN CN201510184353.6A patent/CN105049679B/zh active Active
- 2015-04-17 TW TW104112524A patent/TWI573464B/zh active
- 2015-04-17 US US14/689,286 patent/US10043244B2/en active Active
- 2015-04-17 KR KR1020150054515A patent/KR101661850B1/ko active IP Right Grant
-
2017
- 2017-02-09 JP JP2017021916A patent/JP2017091582A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027619A (ja) * | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
JP2010010976A (ja) * | 2008-06-25 | 2010-01-14 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
JP2010154024A (ja) * | 2008-12-24 | 2010-07-08 | Olympus Corp | 画像処理装置、および画像処理方法 |
JP2010157163A (ja) * | 2008-12-31 | 2010-07-15 | Morpho Inc | 画像処理方法および画像処理装置 |
JP2013218393A (ja) * | 2012-04-05 | 2013-10-24 | Intellectual Ventures Fund 83 Llc | 撮像装置 |
JP2013219621A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置及び画像処理方法 |
Non-Patent Citations (1)
Title |
---|
原 崇之、関 海克: ""画像のε近傍に基づくカラーCCDノイズ低減"", RICOH TECHNICAL REPORT, JPN6018005227, 1 December 2010 (2010-12-01), pages 61 - 67, ISSN: 0003797674 * |
Also Published As
Publication number | Publication date |
---|---|
CN105049679B (zh) | 2019-02-22 |
US20150302558A1 (en) | 2015-10-22 |
JP2015212938A (ja) | 2015-11-26 |
JP6342360B2 (ja) | 2018-06-13 |
CN105049679A (zh) | 2015-11-11 |
TW201545558A (zh) | 2015-12-01 |
TWI573464B (zh) | 2017-03-01 |
KR20150120316A (ko) | 2015-10-27 |
US10043244B2 (en) | 2018-08-07 |
KR101661850B1 (ko) | 2016-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6342360B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
US10063743B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4290193B2 (ja) | 画像処理装置 | |
US20160006978A1 (en) | Image processing device, image processing method, image processing program, and recording medium | |
US9860507B2 (en) | Dynamic frame skip for auto white balance | |
KR20110091117A (ko) | 영상잡음 제거장치 및 그 방법 | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
US9047665B2 (en) | Image processing apparatus | |
JP6041133B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびチップ回路 | |
US20070189632A1 (en) | Image processing device and method | |
KR101699318B1 (ko) | 화상처리장치 및 그 제어방법 | |
US10235742B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal | |
EP3474532B1 (en) | Image processing apparatus, image processing method, and program | |
US10699385B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
JP2004236185A (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
US9635330B2 (en) | Image processing device, image processing method, and program | |
US9479746B2 (en) | Methods and apparatus for demosaicking artifacts suppression | |
JP2014086957A (ja) | 画像処理装置及び画像処理方法 | |
JP2008022426A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180522 |