JP2014119997A - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
JP2014119997A
JP2014119997A JP2012275096A JP2012275096A JP2014119997A JP 2014119997 A JP2014119997 A JP 2014119997A JP 2012275096 A JP2012275096 A JP 2012275096A JP 2012275096 A JP2012275096 A JP 2012275096A JP 2014119997 A JP2014119997 A JP 2014119997A
Authority
JP
Japan
Prior art keywords
image
noise suppression
luminance signal
signal
bands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012275096A
Other languages
English (en)
Other versions
JP6087612B2 (ja
JP2014119997A5 (ja
Inventor
Shinya Hirai
信也 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012275096A priority Critical patent/JP6087612B2/ja
Priority to US14/103,070 priority patent/US9317901B2/en
Priority to CN201310693277.2A priority patent/CN103873836B/zh
Publication of JP2014119997A publication Critical patent/JP2014119997A/ja
Publication of JP2014119997A5 publication Critical patent/JP2014119997A5/ja
Application granted granted Critical
Publication of JP6087612B2 publication Critical patent/JP6087612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

【課題】 画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現する。
【解決手段】 入力画像を構成する輝度信号および色信号のそれぞれを複数の帯域に分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用してそれぞれ合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する。色信号は複数の帯域が共通する重複を有するように分割し、輝度信号は複数の帯域に共通する重複を有さないように分割してノイズ抑圧処理および合成処理を行う。
【選択図】 図2

Description

本発明は画像処理装置およびその制御方法に関し、特に画像のノイズを抑圧可能な画像処理装置およびその制御方法に関する。
近年、画素の微小化に起因して、撮像素子から得られる画像信号に含まれるノイズ成分が増加する傾向にある。そして、マルチレート信号処理を利用して、画像信号に含まれるノイズ成分を抑圧する方法が知られている。
特許文献1には、画像信号をウェーブレット変換やラプラシアンピラミッドなどの手法により複数の周波数成分に分離し、それぞれの周波数成分でノイズを抑圧してから再合成する方法が開示されている。例えば、ラプラシアンピラミッドを利用する場合、原画像から縮小処理を施して低域画像を得るとともに、低域画像を拡大した画像と原画像との差分により高域画像を得る。低域画像の縮小処理と、原画像との差分による広域画像の生成を繰り返すことで、階層的な周波数成分に分離する。
各階層で得られる周波数帯域は図6(a)の斜線部のようになり、帯域の重複はないと見なせる。これらの、実質的に重複のない周波数帯域を有する複数の画像のそれぞれのノイズを抑圧した後、画像を再合成する。再合成は、縮小画像を拡大して一つ上の階層の差分画像と加算する合成処理の繰り返しによって実現できる。
このように、周波数帯域が重複しないように分離した画像を処理する場合、再合成処理は単純であるため、再合成に起因する合成ムラは少ないという特徴がある。一方で、分離したすべての画像を合成するため、それぞれの帯域分離画像でノイズ抑圧後も残留しているノイズは再合成画像にも残留する。特に、視覚的に好ましくない高域の色ノイズが再合成画像に残留すると、再合成画像の画質劣化の原因となる。
一方で、特許文献2に開示されるように、周波数帯域が重複するように画像を周波数分離する方法も知られている。例えば、ガウシアンピラミッドを利用する場合、原画像から縮小率の異なる複数の縮小画像を生成する。各縮小画像の周波数帯域は図6(b)の斜線部のようになり、各画像の帯域に重複部分が存在する。また、ガウシアンピラミッドを利用した場合、すべての帯域画像に直流成分が存在する。それぞれの縮小画像に対してノイズ抑圧処理を行うとともに、抽出したエッジ信号に基づいて求めた合成比率を用いて帯域画像を合成し、再合成画像を得る。
特許文献2に開示されるでは、エッジ信号の検出精度が低下すると、再合成画像のエッジ部分に合成ムラが発生するという課題がある。一方、合成比率を調整することにより、例えば、画像の平坦部には低域に帯域制限された画像を多く用いるようにすることで高域の色ノイズなどを効果的に削減するなど、ノイズ量を比較的容易にコントロール可能であるという利点もある。
特開2008−293425号公報 特開2009−199104号公報
このように、ラプラシアンピラミッド等により、画像を重複しない複数の帯域に分離し、各分離画像でノイズを抑圧してから再合成する方法は、合成比率を求めないため合成ムラが発生しにくい一方、全帯域の画像が再合成されるためノイズ抑圧効果を高めにくい。また、ガウシアンピラミッド等により、画像を重複を持つ複数の帯域に分離し、各分離画像でノイズを抑圧し、エッジ信号などにより求めた合成比率に応じて各分離画像を合成する方法では、ノイズ量のコントロールが可能な反面、合成比率の精度が画質に影響する。
本発明は、このような従来技術の課題に鑑みてなされたものである。本発明は、画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現することを目的とする。
上述の目的は、入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割手段と、分割手段が分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧手段と、ノイズ抑圧手段がノイズ抑圧処理を適用した輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成手段と、を有し、分割手段が、色信号は複数の帯域が共通する重複を有するように分割し、輝度信号は複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置によって達成される。
このような構成により、本発明によれば、画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現することができる。
本発明の実施形態に係る画像処理装置の適用例としてのデジタルカメラの機能構成例を示すブロック図 本発明の第1の実施形態における画像処理回路105の構成例を示すブロック図 本発明の実施形態における帯域別ノイズ抑圧処理を説明するためのフローチャート 本発明の実施形態における合成部が用いるエッジ量と合成比率の関係例を示す図 本発明の第2の実施形態における画像処理回路105の構成例を示すブロック図 帯域分割画像が有する帯域のイメージを説明する図
(第1の実施形態)
図1は、本発明の実施形態に係る画像処理装置の適用例としてのデジタルカメラの機能構成例を示すブロック図である。なお、本発明に係る画像処理装置は、デジタルカメラに限らず、デジタルビデオカメラ、コンピュータ(ノート型、デスクトップ型、タブレット端末など)はもちろん、画像処理の実施が可能な任意の電子機器に利用可能である。このような電子機器には、携帯情報端末(PDA)、電話機、ゲーム機、メディアプレーヤ、ナビゲーションシステム、家電製品、車両などが含まれる。
図1において、便宜上1枚のレンズで示した光学系101は、ズームレンズやフォーカスレンズを含むレンズ群、絞り、および、シャッターを備えている。この光学系101は、撮像素子102の撮像面に形成する被写体像の倍率、ピント位置、光量などを調整している。撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の光電変換素子である。撮像素子102は、撮像面に形成された被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子102はCCDで構成されているものとする。
前置処理回路103は、CDS(Correllated Double Sampling)回路や増幅回路を備えている。CDS回路は撮像素子102で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はCDS回路から出力された画像信号を増幅する。A/D変換器104は、前置処理回路103から出力された画像信号をデジタルの画像信号に変換する。
画像処理回路105は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Yおよび色差信号U、Vとして出力する。また、画像処理回路105は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路105はA/D変換器104から出力された画像信号のみでなく、記録媒体109から読み出した画像信号に対しても同様の画像処理を行うことができる。
制御回路106は例えばCPUやMPU等のプログラマブルプロセッサを含み、ROMに記憶されたプログラムをRAMに展開して実行することにより、デジタルカメラを構成する各部を制御して、デジタルカメラの動作を統括する。制御回路106はまた、画像処理回路105で得られる被写体の輝度値や合焦値、操作部材110から入力された指示に基づいて、光学系101や撮像素子102の駆動制御も行う。
表示メモリ107は、表示装置108で表示する画像の元になる画像信号を一時的に記憶する。表示装置108は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、撮像素子102で生成された画像信号や、記録媒体109から読み出した画像信号を用いて画像を表示する。撮像素子102から読み出される連続した画像信号を、随時更新して表示装置108に表示することで、表示装置108は電子的なビューファインダーとして機能する。表示装置108は画像だけではなく、デジタルカメラの状態、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路105で測定した輝度分布を示すグラフ等も表示することが可能である。
記録媒体109は、例えば画像データを記録するために用いられる。記録媒体109はデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。記録媒体109に対するデータの読み書きは、例えば制御回路106によって制御される。
操作部材110は、ユーザーがデジタルカメラに指示を与えるために操作する部材であり、スイッチやボタンといった入力機器が含まれる。指示の入力には、スイッチやボタンの操作に限らず、音声認識などが用いられてもよい。バス111は、画像処理回路105、制御回路106、表示メモリ107、および、記録媒体109を通信可能に接続する。
次に、本実施形態におけるデジタルカメラの撮影時の動作の一例について説明する。
ユーザーによって操作部材110が操作され、撮影準備を開始する指示が送られると、制御回路106がそれぞれの回路の動作の制御を開始する。この指示は例えばシャッターボタンの半押しである。
撮像素子102が光学系101を透過した被写体像を光電変換してアナログの画像信号を生成し、A/D変換器104が前置処理回路103によって処理されたアナログの画像信号をデジタル化する。画像処理回路105は、A/D変換器104から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。
画像処理回路105で処理された画像信号は、表示メモリ107を介して、表示装置108で画像として表示される。上述したように、撮像素子102で連続的に画像信号を生成し、表示装置108が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、表示装置108を電子的なビューファインダーとして機能させることができる。
操作部材110に対し、撮影を開始する指示(例えばシャッターボタンの全押し)を与える操作がなされるまで、これらの処理を繰り返す。撮影開始指示が入力されると、制御回路106は画像処理回路105で得られた輝度値や合焦値に基づいて光学系101の動作を再調整して静止画の撮影を行う。画像処理回路105が、この静止画の画像信号に対して後述するノイズ抑圧処理を含む種々の画像処理を行う。そして、制御回路106は、画像処理回路105から出力された画像信号を記録媒体109に記録する。
次に、画像処理回路105で実施するノイズ抑圧処理の詳細について説明する。図2は、画像処理回路105が有するノイズ抑圧部200の機能構成例を示すブロック図である。なお、ノイズ抑圧部200は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されうる。
本実施形態において、ノイズ抑圧部200は、帯域制限画像生成部201、メモリ204、中上位階層処理部205、下位階層処理部217から構成される。
帯域制限画像生成部201は、縮小部202および203から構成される。中上位階層処理部205は、輝度生成部206、色変換部207、縮小部208、拡大部209、減算部210、輝度ノイズ抑圧部211、色ノイズ抑圧部212、拡大部213、214、加算部215、合成部216から構成される。下位階層処理部217は、輝度生成部206、色変換部207、輝度ノイズ抑圧部211、色ノイズ抑圧部212から構成される。
ノイズ抑圧部200の動作について、図3に示したフローチャートを用いて説明する。なお、ここでは、撮像素子102がR,G1,G2,およびB画素が規則的に配列された備える原色ベイヤーフィルタを備え、また、画像処理回路105内で既にホワイトバランスゲインが適用された画像信号に対してノイズ抑圧処理を行う場合について説明する。なお、G1画素およびG2画素はいずれも緑色画素であるが、以下の説明における色ごとの処理では、G1画素とG2画素とは別の色として取り扱う。
S1で、帯域制限画像生成部201において、周波数帯域の異なる複数の画像を生成する。本実施形態において帯域制限画像生成部201は、入力画像以外に2種類の画像を生成する。上述の通り、入力画像から異なる縮小率の画像を生成することにより、周波数帯域の異なる画像を生成することができる。なお、本明細書において「縮小率」は、大きい(高い)ほど、縮小後の画像が縮小前の画像(原画像)に対して小さくなることを意味する。例えば、水平および垂直方向に80%の縮小率で縮小した画像は、原画像の1/25の大きさとなる(1/5×1/5)。
まず、帯域制限画像生成部201は、等倍画像として入力画像をそのままメモリ204に出力する。また、縮小部202において、入力画像から同色画素を分離した画像を生成し、それぞれに対し水平および垂直方向にプレフィルタを適用した後、水平および垂直に1/2サイズに縮小し、4つの1/2画像をメモリ204および縮小部203に出力する。さらに、縮小部203において、4つの1/2画像に対してプレフィルタを適用し、水平および垂直に1/2サイズに縮小して4色の1/4画像を生成し、メモリ204に出力する。縮小画像をメモリ204に出力するのは、ハードウェアで本処理を実現する場合に各階層の時刻合わせや各階層の参照タップ数を考慮した場合に、回路規模の削減を行えるためである。
S2で、下位階層処理部217において、縮小率が最も大きな1/4画像から輝度信号および色信号を生成して、ノイズ抑圧処理を行う。輝度信号Yは輝度生成部206において生成され、例えば、
Y = 0.3×R+0.3×G1+0.3×G2+0.1×B ・・・(式1)
のように求めることができる。
色信号U、Vは色変換部207において生成され、例えば、
U = B−Y ・・・(式2)
V = R−Y ・・・(式3)
のように求めることができる。
次に、輝度ノイズ抑圧部211において輝度信号のノイズを抑圧する。ノイズの抑圧は例えば、注目画素の値との差が所定値以内である近傍画素の値を平均し、注目画素の値と置き換える演算を、注目画素を変えながら順次行うことにより実施可能である。色信号についても、同様の演算を、色ノイズ抑圧部212においてUおよびV信号に対して適用することで、ノイズ抑圧処理を行うことができる。
S3〜S6では、中上位階層処理部205で、1/2サイズの画像に対してノイズ抑圧処理を行う。
S3で、輝度生成部206および色変換部207において、輝度信号および色信号を生成する。生成方法は(式1)〜(式3)と同様でよい。
S4で、輝度信号から高域成分を抽出しノイズ抑圧する。まず、縮小部208において、縮小部202と同様にプレフィルタを適用してから水平および垂直方向に1/2サイズ(=水平および垂直方向で1/4サイズ)に縮小する。次に、拡大部209で、1/2サイズの縮小画像を水平および垂直方向に2倍に拡大する(=水平および垂直方向で1/2サイズ)。拡大処理は例えばバイリニア拡大処理でよい。減算部210において、入力輝度信号(1/2サイズ)から拡大画像(1/2サイズ)を減算することにより、差分画像を生成する。縮小画像を拡大した画像は、低域画像であるため、差分画像は高域成分となる。そして、輝度ノイズ抑圧部211において、差分画像に対しノイズ抑圧処理を行う。
縮小率が最も大きな縮小画像以外(ここでは1/4画像以外)については、輝度信号の高域成分を抽出してノイズ抑圧処理を適用するため、輝度信号については、ラプラシアンピラミッドを用いた場合と同様に、階層間で重複がない帯域分離が行われる。従って、ノイズ抑圧処理結果も加算による合成が行われる。
S5で、色ノイズ抑圧部212において、色信号に対してノイズ抑圧処理を行う。色信号に対するノイズ抑圧処理は、輝度信号に対するものと同様の処理を、UおよびV信号に対して適用すればよい。
S6で、下位階層処理部217が生成した1/4画像との合成処理を行う。拡大部213において、下階層から入力された輝度信号を水平および垂直方向にそれぞれ2倍拡大し、1/2サイズとする。また、拡大部214において下階層から入力された色信号を同様に拡大する。さらに、加算部215において、1/2サイズの差分輝度信号と拡大された輝度信号の加算を行う。また、色信号の合成のため、合成部216において、色ノイズ抑圧部212が出力するノイズ抑圧後の色信号からエッジ成分を生成し、合成時における色ノイズ抑圧部212の出力信号の割合(合成比率)を画素位置ごとに求める。
合成比率は、色ノイズ抑圧部212の出力信号に対し、例えば、以下の3×3の空間フィルタを各画素位置で適用することにより得られる値をエッジ量として、図4に示すような関係に基づいて求めることができる。
[−1 −1 −1
−1 8 −1
−1 −1 −1]
図4の関係から分かるように、色ノイズ抑圧部212の出力信号で得られるエッジ量が多いほど1/2サイズの(エッジ量を検出した帯域の)色信号を多く使用し、少ないほど1/4サイズの(下の帯域の)色信号を拡大した信号を多く使用する。図4における閾値TH1およびTH2は、例えば実験的に決定することができる。
このように、色信号については、ガウシアンピラミッドを用いた場合と同様に、それぞれの縮小画像に対してノイズ抑圧処理を行うため、直流成分が各画像に重複するように帯域分割される。そして、ある縮小画像についてのノイズ抑圧処理結果から抽出したエッジ信号に基づいて求めた合成比率を用いて、このノイズ抑圧処理結果と、縮小率が一段階小さい縮小画像についてのノイズ抑圧処理結果とを合成する処理を繰り返す。
S7〜S10において、中上位階層処理部205で、等倍サイズの画像に対してノイズ抑圧処理が行われる。S3〜S6とは入力画像のサイズが異なるがほぼ同様の処理が行われるため、異なる部分のみ説明する。
異なる部分は輝度生成部206および色変換部207で行われる処理である。等倍画像はベイヤー画像であるため、R,G1,G2,B画素に分離したのち、色成分ごとにY、U、Vの各信号を生成する。
以上説明したように、本実施形態によれば、画像信号を複数の周波数帯域に分割し、周波数帯域ごとにノイズ抑圧を行った後に再合成するマルチレート処理によるノイズ低減処理を行う。そして、輝度信号に対しては各周波数帯域内で抽出した高域成分に対してノイズ抑圧処理を行った結果を加算して再合成するため、ラプラシアンピラミッドを構成していることになり、合成ムラは発生しにくい。一方、色信号に対しては、エッジ量に応じた合成比率で下位帯域の画像の拡大画素と順次合成するため、ガウシアンピラミッドを構成していることになる。エッジ量が少ない部分ではより低域でノイズ抑圧された画像を多く使用するため、特に高域の色ノイズの抑圧効果を高めることができる。また、色信号は輝度信号に対して視覚的に目立ちにくいため、エッジ検出に基づく合成比率を用いることによる色信号の合成ムラが画質に与える影響は少ない。また、ラプラシアンピラミッドとガウシアンピラミッドの両方をメモリに出力する必要がないため、メモリ量を削減することが可能である。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態の全体の構成は第1の実施形態と同じでよいため、共通部分については説明を省略する。本実施形態が第1の実施形態と異なるのは、輝度信号のノイズ抑圧に利用する帯域分割の方法であり、ノイズ抑圧部の構成である。
図5は、本実施形態に係るデジタルカメラの画像処理回路105が有するノイズ抑圧部300の機能構成例を示すブロック図であり、図2と同じ構成要素には同じ参照数字を付している。第1の実施形態では、最低帯域画像以外の帯域画像に対するノイズ抑圧は、基本的に同じ構成の中上位階層処理部205を用いて行っていた。これに対し、本実施形態では、中間の帯域画像のノイズ抑圧を行う構成が、入力画像に対してノイズ抑圧を行う構成と異なる、中階層処理部301に変わっている。
中上位階層処理部205と中階層処理部301との動作の違いは、図3に示したフローチャートにおいて、S4の代わりにS4’を、S6の代わりにS6’を実行する点である。つまり、第1の実施形態では輝度信号の高域成分に対してノイズ抑圧処理を行っていたが、本実施形態のS4’では、高域成分を抽出せずに、輝度生成部206の出力する輝度信号に対して輝度ノイズ抑圧部211がノイズ抑圧処理を適用する。
また、S6’では、輝度信号についても色信号と同様に、合成部216において、1/2輝度信号のエッジ量に応じた合成比率で1/4輝度信号の拡大信号と合成する。
本実施形態の構成によれば、第1の実施形態の効果に加え、1/2サイズの画像の輝度信号についても、エッジ量に応じた比率で下位帯域の輝度信号を拡大した信号と合成するため、画像のエッジをより保存することが可能となる。
(他の実施形態)
上述の実施形態では説明および理解を容易にするため、画像を低、中、高の3つの帯域に分割するマルチレート処理について述べた。しかし、帯域の分割数は3に限定されず、任意の複数を採用しうる。
例えば帯域の分割数がm(m≧4)の場合、第1の実施形態では画像処理回路105のノイズ抑圧部200における中上位階層処理部205の数が(m−1)になることを除き、変更点はない。
また、第2の実施形態では、最下位階層(最低帯域)以外のノイズ抑圧について、中階層処理部301と中上位階層処理部205とを、目的や処理する画像の特性などに応じた数で行うようにすればよい。例えば、最も高い階層(帯域)から所定数の階層までは中上位階層処理部205を、それ以下の階層(帯域)については中階層処理部301とすればよい。これにより、合成ムラの目立つ上位階層(帯域)については効果的に合成ムラを抑え、下位階層(帯域)についてはエッジの保存を優先してノイズ抑圧することが可能となり、より柔軟なノイズ抑圧を実現することが可能となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割手段と、
    前記分割手段が分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧手段と、
    前記ノイズ抑圧手段がノイズ抑圧処理を適用した輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成手段と、を有し、
    前記分割手段が、前記色信号は前記複数の帯域が共通する重複を有するように分割し、前記輝度信号は前記複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置。
  2. 前記分割手段が、前記色信号を、前記複数の帯域がいずれも直流成分を有するように分割することを特徴とする請求項1に記載の画像処理装置。
  3. 前記分割手段が、前記輝度信号は前記複数の帯域のそれぞれが重複を有さないように分割することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記分割手段が、前記輝度信号は前記複数の帯域のうち、最も高い帯域から所定数の帯域については共通する重複を有さないように分割することを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記分割手段が、ガウシアンピラミッドを構成するように前記色信号の帯域を分割し、ラプラシアンピラミッドを構成するように前記輝度信号の帯域を分割することを特徴とする請求項1に記載の画像処理装置。
  6. 入力画像から縮小率の異なる複数の縮小画像を生成する生成手段と、
    前記入力画像および前記複数の縮小画像の各々についてノイズ抑圧処理を適用し、ノイズ抑圧処理結果を合成して出力するノイズ抑圧手段とを有する画像処理装置であって、
    前記ノイズ抑圧手段は、画像の輝度信号と色信号とにそれぞれノイズ抑圧処理を適用するとともに、前記輝度信号については、縮小率が最も大きな縮小画像以外の、少なくとも前記入力画像に対する前記ノイズ抑圧処理結果として、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果を生成することを特徴とする画像処理装置。
  7. 前記ノイズ抑圧手段は、ある縮小画像に対するノイズ抑圧処理結果と、該縮小画像よりも縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果との合成を順次行い、前記ノイズ抑圧処理が適用された色信号については、前記縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果におけるエッジ量に応じた合成比率で合成を行うことを特徴とする請求項6記載の画像処理装置。
  8. 前記ノイズ抑圧手段は、前記ノイズ抑圧処理が適用された輝度信号については、前記縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果が、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果である場合には加算によって合成を行い、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果でない場合には前記色信号と同様に合成を行うことを特徴とする請求項7記載の画像処理装置。
  9. 画像処理装置の制御方法であって、
    分割手段が、入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割工程と、
    ノイズ抑圧手段が、前記分割工程において分割された複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧工程と、
    合成手段が、前記ノイズ抑圧工程でノイズ抑圧処理が適用された輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成工程と、を有し、
    前記分割工程において前記分割手段が、前記色信号は前記複数の帯域が共通する重複を有するように分割し、前記輝度信号は前記複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置の制御方法。
  10. 画像処理装置の制御方法であって、
    生成手段が、入力画像から縮小率の異なる複数の縮小画像を生成する生成工程と、
    ノイズ抑圧手段が、前記入力画像および前記複数の縮小画像の各々についてノイズ抑圧処理を適用し、ノイズ抑圧処理結果を合成して出力するノイズ抑圧工程とを有し、
    前記ノイズ抑圧工程において前記ノイズ抑圧手段は、画像の輝度信号と色信号とにそれぞれノイズ抑圧処理を適用するとともに、前記輝度信号については、縮小率が最も大きな縮小画像以外の、少なくとも前記入力画像に対する前記ノイズ抑圧処理結果として、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果を生成することを特徴とする画像処理装置の制御方法。
  11. コンピュータを、請求項1から5のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  12. コンピュータを、請求項6から8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2012275096A 2012-12-17 2012-12-17 画像処理装置および画像処理方法 Active JP6087612B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012275096A JP6087612B2 (ja) 2012-12-17 2012-12-17 画像処理装置および画像処理方法
US14/103,070 US9317901B2 (en) 2012-12-17 2013-12-11 Image processing apparatus and image processing method for noise filtering
CN201310693277.2A CN103873836B (zh) 2012-12-17 2013-12-17 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012275096A JP6087612B2 (ja) 2012-12-17 2012-12-17 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JP2014119997A true JP2014119997A (ja) 2014-06-30
JP2014119997A5 JP2014119997A5 (ja) 2016-02-12
JP6087612B2 JP6087612B2 (ja) 2017-03-01

Family

ID=50911917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012275096A Active JP6087612B2 (ja) 2012-12-17 2012-12-17 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US9317901B2 (ja)
JP (1) JP6087612B2 (ja)
CN (1) CN103873836B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201771A (ja) * 2015-04-14 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017082092A1 (ja) * 2015-11-13 2017-05-18 ソニー株式会社 画像処理装置及び画像処理方法
JP2019067267A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111878B (zh) * 2016-06-07 2019-05-24 深圳市大疆创新科技有限公司 数据处理方法、装置及***
EP3490241B1 (en) * 2016-07-22 2021-07-07 Sony Corporation Image processing device and image processing method
EP3606057B1 (en) * 2017-03-27 2021-07-21 Sony Corporation Image processing device and image processing method
CN108230274A (zh) * 2018-01-16 2018-06-29 华南理工大学 一种混合噪声模型下的多分辨率快速去噪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050109A (ja) * 2004-08-03 2006-02-16 Fuji Photo Film Co Ltd ノイズ低減装置および方法
JP2008306298A (ja) * 2007-06-05 2008-12-18 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2009224901A (ja) * 2008-03-13 2009-10-01 Yamaha Corp 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム
JP2010183182A (ja) * 2009-02-03 2010-08-19 Olympus Corp 画像処理装置、プログラム、及び方法、並びに撮像システム
JP2012104968A (ja) * 2010-11-08 2012-05-31 Canon Inc 画像処理装置およびその制御方法
JP2014068330A (ja) * 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
EP1530377A4 (en) * 2002-06-28 2006-05-10 Nokia Corp INFORMATION TERMINAL
US20060114479A1 (en) * 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
JP4857916B2 (ja) 2006-06-06 2012-01-18 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
JP2008293425A (ja) 2007-05-28 2008-12-04 Olympus Corp ノイズ除去装置並びにプログラムおよび方法
JP5253835B2 (ja) 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
JP5366619B2 (ja) 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
EP2536152B1 (en) * 2010-02-12 2018-09-05 Canon Kabushiki Kaisha Image processing device and image processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050109A (ja) * 2004-08-03 2006-02-16 Fuji Photo Film Co Ltd ノイズ低減装置および方法
JP2008306298A (ja) * 2007-06-05 2008-12-18 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2009224901A (ja) * 2008-03-13 2009-10-01 Yamaha Corp 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム
JP2010183182A (ja) * 2009-02-03 2010-08-19 Olympus Corp 画像処理装置、プログラム、及び方法、並びに撮像システム
JP2012104968A (ja) * 2010-11-08 2012-05-31 Canon Inc 画像処理装置およびその制御方法
JP2014068330A (ja) * 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山中 聡: "超解像技術", 三菱電機技報 第85巻 第3号, vol. 85, no. 3, JPN6016040039, 25 March 2011 (2011-03-25), JP, pages 23 - 26, ISSN: 0003474546 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201771A (ja) * 2015-04-14 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017082092A1 (ja) * 2015-11-13 2017-05-18 ソニー株式会社 画像処理装置及び画像処理方法
US10559066B2 (en) 2015-11-13 2020-02-11 Sony Semiconductor Solutions Corporation Image processing device and image processing method
JP2019067267A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US9317901B2 (en) 2016-04-19
US20140168473A1 (en) 2014-06-19
JP6087612B2 (ja) 2017-03-01
CN103873836A (zh) 2014-06-18
CN103873836B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP6381215B2 (ja) 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
JP5591261B2 (ja) 画像処理装置
JP4290193B2 (ja) 画像処理装置
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
WO2017195267A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9208546B2 (en) Image processing apparatus, method and imaging apparatus
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6135937B2 (ja) 画像処理方法および画像処理装置
JP6408884B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2017126964A (ja) 撮像制御装置、および撮像装置
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2020071108A1 (ja) 画像処理装置および画像処理方法
JP2017021467A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2022174568A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020061726A (ja) 画像処理装置および画像処理方法
JP5775413B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2012142828A (ja) 画像処理装置および画像処理方法
JP2014127964A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170202

R151 Written notification of patent or utility model registration

Ref document number: 6087612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151