JP2004289607A - Signal processing apparatus and method, recording medium, and program - Google Patents
Signal processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP2004289607A JP2004289607A JP2003080441A JP2003080441A JP2004289607A JP 2004289607 A JP2004289607 A JP 2004289607A JP 2003080441 A JP2003080441 A JP 2003080441A JP 2003080441 A JP2003080441 A JP 2003080441A JP 2004289607 A JP2004289607 A JP 2004289607A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- signals
- calculating
- interest
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 18
- 238000009499 grossing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 28
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、例えば、画像の中のエッジを強調し過ぎることなく、エッジに囲まれた内部のテクスチャを強調する場合に用いて好適な信号処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
従来、ビデオカメラにおいては、CCD(Charge Coupled Device),CMOS(Complementary Metal−Oxide Semiconductor)などの撮像素子により撮像された画像のコントラスト(明暗の差)および鮮鋭度(境界の明確さ)を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【0003】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数(以下、これをレベル変換関数と称する)で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【0004】
高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【0005】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ(最大レベルと最小レベルの差)のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ないという課題があった。
【0006】
そこで、従来、図1に示すように構成される画像信号処理装置により、入力画像データのうち、画素値の変化が急峻なエッジを保存した状態で当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する(例えば、特許文献1)。
【0007】
図1に示された画像信号処理装置において、入力された画像信号は、εフィルタ1、および減算部2に入力される。εフィルタ1は、図2Aに示されるような急峻なエッジを挟んで僅かに変動する画像信号を入力とし、図2Bに示されるようなエッジのみが抽出された画像信号に変換して、減算部2および加算部4に出力する。
【0008】
εフィルタ1の具体的な処理について、図3および図4を参照して説明する。εフィルタ1は、入力画像の各画素を順次、注目画素Cに決定し、図3に示すように、注目画素Cを中心として水平方向に連続する複数の近傍画素(いまの場合、6画素L3,L2,L1,R1,R2,R3)からなるタップを設定し、次式(1)のように、注目画素Cおよび複数の近傍画素の画素値を、タップ係数(例えば、{1,2,3,4,3,2,1})用いて加重平均して、注目画素Cに対応する変換結果C’として出力する。
【0009】
ただし、図4に示すように、注目画素Cの画素値との差分が、所定の閾値ε以上である近傍画素(図4の場合、近傍画素R2,R3)については、画素値を注目画素Cのものと置換して計算するようにする。すなわち、図4の場合、次式(2)が計算される。
【0010】
図1に戻る。減算部2は、前段から入力される画像信号(εフィルタ1に対する入力と同一のもの)から、εフィルタ1から入力される画像信号を減算することにより、エッジ以外の僅かに変動している画像信号を抽出して増幅部3に出力する。増幅部3は、減算部2の出力を増幅して加算部4に出力する。加算部4は、増幅部3から出力されるエッジ以外の部分が増幅されている画像信号と、εフィルタ1から入力されるエッジのみが抽出された画像信号を加算する。この加算結果が、急峻なエッジが保持された状態で当該エッジ以外の部分が増幅されている画像信号となっている。
【0011】
【特許文献1】
特開2001−298621号公報
【0012】
【発明が解決しようとする課題】
ところで、図1に示された画像信号処理装置のεフィルタ1では、所定の閾値εが100であって、例えば、図5に示されるように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが100以上であれば、εフィルタ1から出力される画像信号は、図6に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合(例えば、エッジの高さが99の場合)、εフィルタ1から出力される画像信号は、図7に示すように、エッジの形状が保持されない。なお、図5等において、横軸は画素の配置、縦軸は画素値を示している。
【0013】
また、例えば、図8に示されるような形状のエッジの画像信号が入力された場合、当該エッジの高さが100以上であれば、εフィルタ1から出力される画像信号は、図9に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合(例えば、エッジの高さが99の場合)、εフィルタ1から出力される画像信号は、図10に示すように、エッジの形状が保持されない。
【0014】
すなわち、従来のεフィルタ1では、入力された画像信号に含まれるエッジの高さが、閾値εを挟んで微少に変動した場合、フィルタリング後の画像信号ではエッジが大きく変動してしまい、視覚的に見映えが悪くなるという課題があった。
【0015】
本発明はこのような状況に鑑みてなされたものであり、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにすることを目的とする。
【0016】
【課題を解決するための手段】
本発明の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段と、指定手段によって指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算手段と、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出手段と、算出手段によって算出された重み付け係数に従い、演算手段によって演算された複数の平滑化信号を合成する合成手段とを含むことを特徴とする。
【0017】
前記信号は、画像を構成する画素の画素値とすることができる。
【0018】
前記指定手段、前記決定手段、前記演算手段、前記算出手段、および前記合成手段を含む信号処理系が複数存在し、複数の信号処理系は、直列に配置されているようにすることができる。
【0019】
前記複数の信号処理系にそれぞれ含まれる前記決定手段は、所定の間隔がそれぞれ異なるようにすることができる。
【0020】
本発明の信号処理方法は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含むことを特徴とする。
【0021】
本発明の記録媒体のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含むことを特徴とする。
【0022】
本発明のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出ステップの処理で算出された重み付け係数に従い、演算ステップの処理で演算された複数の平滑化信号を合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【0023】
本発明の信号処理装置および方法、並びにプログラムにおいては、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号が決定され、注目信号と複数の近傍信号が、異なる複数の係数組を用いて加重平均されて複数の平滑化信号が演算される。さらに、注目信号と複数の近傍信号とのレベルの差分がそれぞれ算出され、算出された差分が異なる複数の閾値と比較されて、その比較結果に基づいて重み付け係数が算出され、算出された重み付け係数に従い、演算された複数の平滑化信号が合成される。
【0024】
【発明の実施の形態】
図11は、本発明を適用した非線形フィルタの第1の構成例を示している。この非線形フィルタ11は、図1に示された画像信号処理装置のεフィルタ1と置換して用いるものであり、入力された画像信号に含まれるエッジの高さが、所定の閾値を挟んで微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにするものである。より具体的には、画像信号に含まれる画素値のエッジの高さが、所定の閾値ε1よりも小さくなったとしても、閾値ε2(ε2<ε1)よりも小さくなるまでは、変換後の画像信号に含まれるエッジの変動を緩やかするものである。
【0025】
非線形フィルタ11は、上段から入力される画像信号に基づいて重み付け係数w1,w3を発生し、制御信号として合成部14に出力する制御信号発生部12、上段から入力された画像信号に、例えば、図12に示すような注目画素Cを中心として左右に隣接する画素からなるタップ(すなわち、インターバル1のタップ)を設定し、タップに含まれる5画素の画素値を3種類のタップ係数を用いて加重平均し、3種類の平滑化信号F1,F3,F5を演算するLPF(Low Pass Filter)13、および制御信号発生部12により発生される制御信号に従って平滑化信号F1,F3,F5を合成する合成部14から構成される。
【0026】
図13は、LPF13において用いられるタップ係数の一例を示している。LPF13においては、タップに含まれる5画素L2,L1,C、R1,R2が設定され、次式(3)に示されるように、タップ係数{0,0,1,0,0}を用いて、平滑化信号F1が演算される。
F1=(0・L2+0・L1+1・C+0・R1+0・R2)/1 …(3)
【0027】
また、LPF13においては、次式(4)に示されるように、タップ係数{0,1,2,1,0}を用いて、平滑化信号F3が演算される。
F3=(0・L2+1・L1+2・C+1・R1+0・R2)/4 …(4)
【0028】
また、LPF13においては、次式(5)に示されるように、タップ係数{1,2,2,2,1}を用いて、平滑化信号F5が演算される。
F5=(1・L2+2・L1+2・C+2・R1+1・R2)/8 …(5)
【0029】
次に、非線形フィルタ11の動作について、図14のフローチャートを参照して説明する。
【0030】
ステップS1において、制御信号発生部12は、入力された画像信号を構成するラスター順の画素を、順次、1画素ずつ注目画素Cに決定する。ステップS2において、制御信号発生部12は、図2に示されたように、注目画素Cを中心として左右に隣接する画素L2,L1,R1,R2からなるタップを設定する。以下、タップに含まれる画素L2,L1,R1,R2を、近傍画素L2,L1,R1,R2と記述する。
【0031】
ステップS3において、LPF13は、制御信号発生部12によって決定された注目画素Cと近傍画素L2,L1,R1,R2を、式(1)乃至(3)を用いて加重平均し、その結果得られる平滑化信号F1,F3,F5を、合成部14に出力する。
【0032】
ステップS4において、制御信号発生部12は、注目画素Cと各近傍画素L2,L1,R1,R2との画素値の差分|L2−C|,|L1−C|,|R1−C|,|R2−C|を演算する。
【0033】
ステップS5において、制御信号発生部12は、ステップS4の処理で算出した差分に基づき、合成部14において用いられる重み付け係数w1,w3を算出する。具体的は、注目画素Cと、注目画素Cを中心として対称の位置にある近傍画素L1,R1との画素値の差分|L1−C|,|R1−C|のうち、大きい方を変数d1に代入し、
d1=MAX[|L1−C|,|R1−C|]
図15に示すように、変数d1に従って重み付け係数w1を算出する。
d1<ε2である場合、 w1=0
ε2≦d1<ε1である場合、w1=(d1−ε2)/(ε1−ε2)
ε1≦d1である場合、 w1=1
【0034】
同様に、注目画素Cと、注目画素Cを中心として対称の位置にある近傍画素L2,R2との画素値の差分|L2−C|,|R2−C|のうち、大きい方を変数d2に代入し、
d2=MAX[|L2−C|,|R2−C|]
変数d2に従って重み付け係数w3を算出する。
d2<ε2である場合、 w3=0
ε2≦d2<ε1である場合、w3=(d2−ε2)/(ε1−ε2)
ε1≦d2である場合、 w3=1
【0035】
このようにして算出された重み付け係数w1,w3は、制御信号として合成部14に出力される。ステップS6において、合成部14は、LPF13により演算された平滑化信号F1,F3,F5を、制御信号発生部12により算出された重み付け係数w1,w3を用い、次式(6)に従って合成して、注目画素Cのフィルタリング後の値C’として出力する。
【0036】
以上で非線形フィルタ11の動作の説明を終了する。この非線形フィルタ11によれば、例えば、閾値ε1が100、閾値ε2が70であって、図5に示されたように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが閾値ε1以上の100であれば、非線形フィルタ11から出力される画像信号は、図16に示すように、エッジの形状が保持されたものとなり、当該エッジの高さが閾値ε1より小さい90,80となっても、非線形フィルタ11から出力される画像信号は、図17、図18に示すように、エッジの形状が若干変化しただけで保持される。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ11から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε2と等しい70となった段階で、非線形フィルタ11から出力される画像信号のエッジの形状は、図19に示す程度となる。
【0037】
図19と、従来のεフィルタ1の出力を示した図7を比較して明らかなように、従来のεフィルタ1では、入力される画像信号のエッジの高さが、閾値ε=100よりも僅かに小さい99であっても、図7に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ11では、入力される画像信号のエッジの高さが、閾値ε1より小さくなっても、閾値ε2までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【0038】
次に、図20は、本発明を適用した非線形フィルタの第2の構成例を示している。この非線形フィルタ21は、図1に示された画像信号処理装置のεフィルタ1と置換して用いるものであり、インターバル4の5画素のタップを設定してフィルタリング処理を行う狭帯域処理部22、狭帯域処理部22の出力に対してインターバル2の5画素のタップを設定してフィルタリング処理を行う中帯域処理部26、および中帯域処理部26の出力に対してインターバル1の5画素のタップを設定してフィルタリング処理を行う広帯域処理部30から構成される。
【0039】
インターバル4のタップは、図21に示すように、水平方向に配置された画素列のうち、注目画素Cを基準として左側の8番目、4番目、右側の4番目、8番目の画素l8,l4,r4,r8が、それぞれ近傍画素L2,L1,R1,R2とされる。
【0040】
インターバル2のタップは、図22に示すように、水平方向に配置された画素列のうち、注目画素Cを基準として左側の4番目、2番目、右側の2番目、4番目の画素l4,l2,r2,r4が、それぞれ近傍画素L2,L1,R1,R2とされる。
【0041】
インターバル1のタップは、図23に示すように、水平方向に配置された画素列のうち、注目画素Cを基準として左側の2番目、1番目、右側の1番目、2番目の画素l2,l1,r1,r2が、それぞれ近傍画素L2,L1,R1,R2とされる。
【0042】
図20に戻る。狭帯域処理部22は、図11に示された非線形フィルタ11と同様に構成される。すなわち、狭帯域処理部22の制御信号発生部23、LPF24、および合成部25が、それぞれ非線形フィルタ11の制御信号発生部12、LPF13、および合成部14に相当する。狭帯域処理部22の非線形フィルタ11に対する相違点は、非線形フィルタ11では図12に示されたインターバル1のタップを設定することに対して、狭帯域処理部22では図21に示されたインターバル4のタップを設定することである。
【0043】
中帯域処理部26も、図11に示された非線形フィルタ11と同様に構成される。すなわち、中帯域処理部26の制御信号発生部27、LPF28、および合成部29が、それぞれ非線形フィルタ11の制御信号発生部12、LPF13、および合成部14に相当する。中帯域処理部26の非線形フィルタ11に対する相違点は、図22に示されたインターバル2のタップを設定することである。
【0044】
さらに、広帯域処理30も、図11に示された非線形フィルタ11と同様に構成される。すなわち、中帯域処理部26の制御信号発生部31、LPF32、および合成部33が、それぞれ非線形フィルタ11の制御信号発生部12、LPF13、および合成部14に相当する。中帯域処理部26は、非線形フィルタ11と同様に、図23に示されたインターバル1のタップを設定する。
【0045】
図24は、狭帯域処理部22のLPF24、中帯域処理部26のLPF28、および広帯域処理部30のLPF32において用いられるタップ係数の一例を示している。
【0046】
LPF24において、インターバル4のタップが設定され、平滑化信号F11が演算されるとき、式(3)と同様に、タップ係数{0,0,1,0,0}が用いられる。この演算は、従来のεフィルタ1において、17画素からなるタップが設定され、タップ係数{0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0}を用いて加重平均することに相当する。
【0047】
LPF24において、インターバル4のタップが設定され、平滑化信号F13が演算されるとき、式(4)と同様に、タップ係数{0,1,2,1,0}が用いられる。この演算は、従来のεフィルタ1において、17画素からなるタップが設定され、タップ係数{0,0,0,0,1,0,0,0,2,0,0,0,1,0,0,0,0}を用いて加重平均することに相当する。
【0048】
LPF24において、インターバル4のタップが設定され、平滑化信号F15が演算されるとき、式(5)と同様に、タップ係数{1,2,2,2,1}が用いられる。この演算は、従来のεフィルタ1において、17画素からなるタップが設定され、タップ係数{1,0,0,0,2,0,0,0,2,0,0,0,2,0,0,0,1}を用いて加重平均することに相当する。
【0049】
LPF28において、インターバル2のタップが設定され、平滑化信号F21が演算されるとき、式(3)と同様に、タップ係数{0,0,1,0,0}が用いられる。この演算は、従来のεフィルタ1において、9画素からなるタップが設定され、タップ係数{0,0,0,0,1,0,0,0,0}を用いて加重平均することに相当する。
【0050】
LPF28において、インターバル2のタップが設定され、平滑化信号F23が演算されるとき、式(4)と同様に、タップ係数{0,1,2,1,0}が用いられる。この演算は、従来のεフィルタ1において、9画素からなるタップが設定され、タップ係数{0,0,1,0,2,0,1,0,0}を用いて加重平均することに相当する。
【0051】
LPF28において、インターバル2のタップが設定され、平滑化信号F25が演算されるとき、式(5)と同様に、タップ係数{1,2,2,2,1}が用いられる。この演算は、従来のεフィルタ1において、9画素からなるタップが設定され、タップ係数{1,0,2,0,2,0,2,0,1}を用いて加重平均することに相当する。
【0052】
LPF32において、インターバル1のタップが設定され、平滑化信号F31が演算されるとき、式(3)と同様に、タップ係数{0,0,1,0,0}が用いられる。
【0053】
LPF32において、インターバル1のタップが設定され、平滑化信号F33が演算されるとき、式(4)と同様に、タップ係数{0,1,2,1,0}が用いられる。
【0054】
LPF32において、インターバル1のタップが設定され、平滑化信号F35が演算されるとき、式(5)と同様に、タップ係数{1,2,2,2,1}が用いられる。
【0055】
次に、非線形フィルタ21の動作について説明する。まず、狭帯域処理部22のフィルタリング処理について、図14のフローチャートを流用して説明する。
【0056】
ステップS1において、制御信号発生部23は、入力された画像信号を構成するラスター順の画素を、順次、1画素ずつ注目画素Cに決定する。ステップS2において、制御信号発生部23は、図21に示されたように、注目画素Cを中心とするインターバル4のタップを設定する。
【0057】
ステップS3において、LPF24は、制御信号発生部23によって決定された注目画素Cと近傍画素L2,L1,R1,R2を、式(1)乃至(3)を用いて加重平均し、その結果得られる平滑化信号F11,F13,F15を、合成部254に出力する。
【0058】
ステップS4において、制御信号発生部23は、注目画素Cと各近傍画素L2,L1,R1,R2との画素値の差分|L2−C|,|L1−C|,|R1−C|,|R2−C|を演算する。さらに、制御信号発生部23は、注目画素Cと、近傍画素L2,R2よりも注目画素C側に位置していてタップには含まれない画素l7,l6,l5,l3,l2,l1,r1,r2,r3,r5,r6,r7との画素値の差分|l7−C|,|l6−C|,|l5−C|,|l3−C|,|l2−C|,|l1−C|,|r1−C|,|r2−C|,|r3−C|,|r5−C|,|r6−C|,|r7−C|を演算する。
【0059】
ステップS5において、制御信号発生部23は、ステップS4の処理で算出した差分に基づき、合成部25において用いられる重み付け係数w1,w3を算出する。
【0060】
具体的は、注目画素Cと、注目画素Cを中心として対称の位置にある近傍画素L1,R1以内に位置する画素の画素値の差分|L1−C|,|l3−C|,|l2−C|,|l1−C|,|r1−C|,|r2−C|,|r3−C|,|R1−C|のうち、最大のものを変数d1に代入し、
d1=MAX[|L1−C|,|l3−C|,|l2−C|,|l1−C|,|r1−C|,|r2−C|,|r3−C|,|R1−C|]図15に示されたように、変数d1に従って重み付け係数w1を算出する。
d1<ε2である場合、 w1=0
ε2≦d1<ε1である場合、w1=(d1−ε2)/(ε1−ε2)
ε1≦d1である場合、 w1=1
【0061】
同様に、注目画素Cと、注目画素Cを中心として対称の位置にある近傍画素L2,R2以内に位置する画素の画素値の差分|L2−C|,|l7−C|,|l6−C|,|l5−C|,|r5−C|,|r6−C|,|r7−C|,|R2−C|のうち、最大のものを変数d2に代入し、
d2=MAX[|L2−C|,|l7−C|,|l6−C|,|l5−C|,|r5−C|,|r6−C|,|r7−C|,|R2−C|]変数d2に従って重み付け係数w3を算出する。
d2<ε2である場合、 w3=0
ε2≦d2<ε1である場合、w3=(d2−ε2)/(ε1−ε2)
ε1≦d2である場合、 w3=1
【0062】
このようにして算出された重み付け係数w1,w3は、制御信号として合成部25に出力される。ステップS6において、合成部25は、LPF24により演算された平滑化信号F11,F13,F15を、制御信号発生部23により算出された重み付け係数w1,w3を用い、式(6)に従って合成して、注目画素Cのフィルタリング後の値C’として、中帯域処理部26に出力する。以上で、狭帯域処理部22によるフィルタリング処理の説明を終了する。
【0063】
狭帯域処理部22から出力された画像信号は、次に、中帯域処理部26でフィルタリング処理が施され、さらに、広帯域処理部30でもフィルタリング処理が施されることになる。なお、中帯域処理部26、および広帯域処理部30におけるフィルタリング処理は、上述した狭帯域処理部22によるフィルタリング処理と、タップのインターバルが異なることの他は同様であるので、その説明は省略する。
【0064】
この非線形フィルタ21によれば、例えば、閾値ε1が100、閾値ε2が70であって、図8に示されたように、急峻なエッジの幅がインターバル4に収まるような画像信号が入力された場合、当該エッジの高さが閾値ε1以上の100であれば、非線形フィルタ21から出力される画像信号は、図25に示すように、エッジの形状がほぼ保持されたものとなり、当該エッジの高さが閾値ε1より小さい90,80となった場合、非線形フィルタ21から出力される画像信号は、図26、図27に示すように、エッジの形状が徐々に変化したものとなる。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ21から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε2と等しい70となった段階で、非線形フィルタ21から出力される画像信号のエッジの形状は、図28に示す程度となる。
【0065】
図28と、従来のεフィルタ1の出力を示した図10を比較して明らかなように、従来のεフィルタ1では、入力される画像信号のエッジの高さが、閾値ε=100よりも僅かに小さい99であっても、図10に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ21では、入力される画像信号のエッジの高さが、閾値ε1より小さくなっても、閾値ε2までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【0066】
なお、本発明は、ビデオカメラ、ディジタルスチルカメラ、プリンタ、ディスプレイ、コンピュータ等の画像信号を扱うあらゆる装置に適用することが可能である。
【0067】
例えば、画像処理を実行するコンピュータに適用した場合、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いだけを補正でき、自然な合成画像を生成することができる。
【0068】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図29に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0069】
このパーソナルコンピュータ50は、CPU(Central Processing Unit)51を内蔵している。CPU51にはバス54を介して、入出力インタフェース55が接続されている。バス54には、ROM(Read Only Memory)52およびRAM(Random Access Memory)53が接続されている。
【0070】
入出力インタフェース55には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部56、合成された映像信号をディスプレイに出力する出力部57、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部58、およびモデム、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部59が接続されている。また、
磁気ディスク61(フレキシブルディスクを含む)、光ディスク62(CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク63(MD(Mini Disc)を含む)、およびは半導体メモリ64などの記録媒体に対してデータを読み書きするドライブ60が接続されている。
【0071】
CPU51に上述した一連の処理を実行させるプログラムは、磁気ディスク61乃至半導体メモリ64に格納された状態でパーソナルコンピュータに供給され、ドライブ60によって読み出されて記憶部58に内蔵されるハードディスクドライブにインストールされている。あるいは、ネットワークを介して供給されることも考えられる。記憶部58にインストールされているプログラムは、入力部56に入力されるユーザからのコマンドに対応するCPU51の指令によって、記憶部58からRAM53にロードされて実行される。
【0072】
なお、本明細書において、各フローチャートを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0073】
【発明の効果】
以上のように、本発明によれば、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動させることが可能となる。
【図面の簡単な説明】
【図1】画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。
【図2】図1のεフィルタに入力される画像信号と、出力される画像信号を示す図である。
【図3】図1のεフィルタで用いられるタップの一例を示す図である。
【図4】図1のεフィルタの動作を説明するための図である。
【図5】フィルタ処理前の画像信号の一例を示す図である。
【図6】図5に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図7】図5に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図8】フィルタ処理前の画像信号の一例を示す図である。
【図9】図8に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図10】図8に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図11】本発明を適用した非線形フィルタの第1の構成例を示すブロック図である。
【図12】図11の非線形フィルタで設定されるタップを示す図である。
【図13】図11の非線形フィルタで用いられるタップ係数を示す図である。
【図14】図11の非線形フィルタによるフィルタリング処理を説明するフローチャートである。
【図15】重み付け係数の決定方法を説明するための図である。
【図16】図5に示された画像信号を入力として、図11の非線形フィルタから出力される画像信号を示す図である。
【図17】図5に示された画像信号を入力として、図11の非線形フィルタから出力される画像信号を示す図である。
【図18】図5に示された画像信号を入力として、図11の非線形フィルタから出力される画像信号を示す図である。
【図19】図5に示された画像信号を入力として、図11の非線形フィルタから出力される画像信号を示す図である。
【図20】本発明を適用した非線形フィルタの第2の構成例を示すブロック図である。
【図21】図20の狭帯域処理部で設定されるインターバル4のタップを示す図である。
【図22】図20の中帯域処理部で設定されるインターバル2のタップを示す図である。
【図23】図20の広帯域処理部で設定されるインターバル1のタップを示す図である。
【図24】図20の非線形フィルタで用いられるタップ係数を示す図である。
【図25】図8に示された画像信号を入力として、図20の非線形フィルタから出力される画像信号を示す図である。
【図26】図8に示された画像信号を入力として、図20の非線形フィルタから出力される画像信号を示す図である。
【図27】図8に示された画像信号を入力として、図20の非線形フィルタから出力される画像信号を示す図である。
【図28】図8に示された画像信号を入力として、図20の非線形フィルタから出力される画像信号を示す図である。
【図29】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
11 非線形フィルタ, 12 制御信号発生部, 13 LPF, 14 合成部, 21 非線形フィルタ, 22 狭帯域処理部, 23 制御信号発生部, 24 LPF, 25 合成部, 26 中帯域処理部, 27 制御信号発生部, 28 LPF, 29 合成部, 30 中帯域処理部, 31 制御信号発生部, 32 LPF, 33 合成部, 51 CPU, 61 磁気ディスク, 62 光ディスク, 63 光磁気ディスク, 64 半導体メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing device and method, a recording medium, and a program. For example, a signal processing suitable for use when emphasizing an internal texture surrounded by edges without excessively emphasizing edges in an image. The present invention relates to an apparatus and a method, a recording medium, and a program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a video camera, the contrast (brightness / darkness difference) and sharpness (clearness of a boundary) of an image captured by an imaging device such as a charge coupled device (CCD) and a complementary metal-oxide semiconductor (CMOS) are improved. As a method, a contrast enhancement method by gradation conversion and a high-frequency component enhancement method for enhancing the contrast of a high-frequency component in an image have been considered.
[0003]
As a contrast enhancement method, for each pixel of an image, a tone curve adjustment for converting the pixel level by a function having a predetermined input / output relationship (hereinafter referred to as a level conversion function), a frequency distribution of the pixel level, and the like. There has been proposed a method called histogram equalization that adaptively changes a level conversion function according to.
[0004]
As a high-frequency component enhancement method, there has been proposed a method called an unsharp mask that extracts edges from an image and enhances the extracted edges to perform so-called contour enhancement.
[0005]
However, the contrast enhancement method has a problem that the contrast can be improved only in a part of the luminance range of the entire dynamic range (difference between the maximum level and the minimum level) of the image. In contrast, in contrast, in the brightest and darkest parts of an image, and in the case of histogram equalization, there is a problem that the contrast is reduced in the vicinity of a luminance region where the frequency distribution is small. Further, the high-frequency component emphasizing method has a problem that only the contrast of the high-frequency component of the image is enhanced, whereby the vicinity of the edge of the image is unnaturally enhanced, and the image quality cannot be avoided from being deteriorated.
[0006]
Therefore, conventionally, an image signal processing apparatus configured as shown in FIG. 1 amplifies a portion other than the edge of the input image data while preserving the edge where the pixel value changes sharply, thereby obtaining the edge. There is a method of emphasizing parts other than (for example, Patent Document 1).
[0007]
In the image signal processing device shown in FIG. 1, an input image signal is input to an
[0008]
Specific processing of the
[0009]
However, as shown in FIG. 4, for the neighboring pixels (the neighboring pixels R2 and R3 in FIG. 4) whose difference from the pixel value of the target pixel C is equal to or larger than the predetermined threshold ε, the pixel value is set to the target pixel C. To be calculated by replacing with That is, in the case of FIG. 4, the following equation (2) is calculated.
[0010]
Return to FIG. The subtraction unit 2 subtracts the image signal input from the ε-
[0011]
[Patent Document 1]
JP 2001-298621 A
[0012]
[Problems to be solved by the invention]
By the way, in the
[0013]
For example, when an image signal of an edge having a shape as shown in FIG. 8 is input and the height of the edge is 100 or more, the image signal output from the
[0014]
That is, in the
[0015]
The present invention has been made in view of such a situation, and in a filtering process for smoothing a portion other than an edge while accurately holding an edge where a change in pixel value is steep, an input image signal When the height of the included edge fluctuates minutely, an object is to make the edge fluctuate even in the converted image signal.
[0016]
[Means for Solving the Problems]
The signal processing device according to the present invention includes a designating unit that sequentially designates a signal that is continuously arranged as a signal of interest, and a signal of a signal that is continuously arranged with reference to the signal of interest designated by the designating unit. Determining means for determining a plurality of nearby signals at predetermined intervals from among them; calculating means for calculating a plurality of smoothed signals by performing a weighted average of a signal of interest and a plurality of nearby signals using a plurality of different coefficient sets; Calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; Combining means for combining a plurality of smoothed signals calculated by the calculating means in accordance with the weighting coefficients.
[0017]
The signal may be a pixel value of a pixel forming an image.
[0018]
There may be a plurality of signal processing systems including the designation unit, the determination unit, the calculation unit, the calculation unit, and the synthesis unit, and the plurality of signal processing systems may be arranged in series.
[0019]
The determination means included in each of the plurality of signal processing systems may have a predetermined interval different from each other.
[0020]
According to the signal processing method of the present invention, a signal that is continuously arranged is sequentially arranged as a signal of interest, and a signal is successively arranged with reference to the signal of interest specified in the processing of the specification step. A determining step of determining a plurality of neighboring signals at predetermined intervals from among the signals, and an operation of calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of neighboring signals using a plurality of different coefficient sets A step of calculating a level difference between the signal of interest and a plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; And a synthesizing step of synthesizing a plurality of smoothed signals calculated in the processing of the calculating step in accordance with the weighting coefficients calculated in the above.
[0021]
The program of the recording medium according to the present invention includes a step of sequentially designating sequentially arranged signals as a signal of interest, and a step of sequentially arranging the signals of interest designated by the processing of the specifying step. Determining a plurality of nearby signals at predetermined intervals from among the signals present, and calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets. A calculating step, calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; A combining step of combining a plurality of smoothed signals calculated in the processing of the calculation step in accordance with the weighting coefficients calculated in the processing.
[0022]
A program according to the present invention includes a designation step of sequentially designating sequentially arranged signals as a signal of interest; and a signal of continuously arranged signals with reference to the signal of interest designated in the processing of the designation step. A determining step of determining a plurality of nearby signals at predetermined intervals among them; and a calculating step of calculating a plurality of smoothed signals by performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets. Calculating a level difference between the signal of interest and a plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result; A combining step of combining a plurality of smoothed signals calculated in the processing of the calculating step in accordance with the weighted coefficient thus calculated. .
[0023]
In the signal processing device and method, and the program according to the present invention, a plurality of neighboring signals are determined at predetermined intervals from continuously arranged signals based on a designated signal of interest, and the signal of interest and A plurality of neighboring signals are weighted and averaged using a plurality of different coefficient sets to calculate a plurality of smoothed signals. Further, a level difference between the signal of interest and the plurality of neighboring signals is calculated, the calculated difference is compared with a plurality of different threshold values, a weighting coefficient is calculated based on the comparison result, and the calculated weighting coefficient is calculated. , A plurality of calculated smoothed signals are combined.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 11 shows a first configuration example of a nonlinear filter to which the present invention is applied. This
[0025]
The
[0026]
FIG. 13 shows an example of tap coefficients used in the
F1 = (0 ·
[0027]
Further, in the
F3 = (0 ·
[0028]
Further, in the
F5 = (1 · L2 + 2 · L1 + 2 · C + 2 · R1 + 1 · R2) / 8 (5)
[0029]
Next, the operation of the
[0030]
In step S <b> 1, the control
[0031]
In step S3, the
[0032]
In step S4, the control
[0033]
In step S5, the
d1 = MAX [| L1-C |, | R1-C |]
As shown in FIG. 15, the weighting coefficient w1 is calculated according to the variable d1.
If d1 <ε2, w1 = 0
If ε2 ≦ d1 <ε1, w1 = (d1−ε2) / (ε1−ε2)
When ε1 ≦ d1, w1 = 1
[0034]
Similarly, the larger of the differences | L2-C | and | R2-C | between the pixel value of the target pixel C and the neighboring pixels L2 and R2 that are symmetrical with respect to the target pixel C as the variable d2. Substitute,
d2 = MAX [| L2-C |, | R2-C |]
A weighting coefficient w3 is calculated according to the variable d2.
If d2 <ε2, w3 = 0
If ε2 ≦ d2 <ε1, w3 = (d2−ε2) / (ε1−ε2)
When ε1 ≦ d2, w3 = 1
[0035]
The weighting coefficients w1 and w3 calculated in this way are output to the combining
[0036]
This concludes the description of the operation of the
[0037]
As is apparent from a comparison between FIG. 19 and FIG. 7 showing the output of the
[0038]
Next, FIG. 20 shows a second configuration example of the nonlinear filter to which the present invention is applied. The non-linear filter 21 is used in place of the
[0039]
As shown in FIG. 21, the taps at interval 4 are the eighth, fourth, eighth, and
[0040]
As shown in FIG. 22, the taps in interval 2 are the fourth, second, and
[0041]
As shown in FIG. 23, the taps in
[0042]
Returning to FIG. The narrow band processing unit 22 is configured similarly to the
[0043]
The middle
[0044]
Further, the broadband processing 30 is configured similarly to the
[0045]
FIG. 24 illustrates an example of tap coefficients used in the
[0046]
When the tap of interval 4 is set in the
[0047]
When the tap of the interval 4 is set in the
[0048]
When the tap of interval 4 is set in the
[0049]
In the
[0050]
In the
[0051]
When the tap of interval 2 is set in the
[0052]
When the tap of
[0053]
When the tap of
[0054]
When the tap of
[0055]
Next, the operation of the nonlinear filter 21 will be described. First, the filtering process of the narrowband processing unit 22 will be described with reference to the flowchart of FIG.
[0056]
In step S <b> 1, the control
[0057]
In step S3, the
[0058]
In step S4, the control
[0059]
In step S5, the
[0060]
Specifically, the difference | L1-C |, | 13-C |, | 12− between the pixel value of the target pixel C and the pixel values located within the neighboring pixels L1 and R1 symmetrical with respect to the target pixel C. The largest one among C |, | 11-C |, | r1-C |, | r2-C |, | r3-C |, and | R1-C |
d1 = MAX [| L1-C |, | 13-C |, | 12-C |, | 11-C |, | r1-C |, | r2-C |, | r3-C |, | R1-C |] As shown in FIG. 15, the weighting coefficient w1 is calculated according to the variable d1.
If d1 <ε2, w1 = 0
If ε2 ≦ d1 <ε1, w1 = (d1−ε2) / (ε1−ε2)
When ε1 ≦ d1, w1 = 1
[0061]
Similarly, the difference | L2-C |, | 17-C |, | 16-C of the pixel value of the target pixel C and the pixels located within the neighboring pixels L2 and R2 located symmetrically around the target pixel C |, | 15-C |, | r5-C |, | r6-C |, | r7-C |, | R2-C |
d2 = MAX [| L2-C |, | 17-C |, | 16-C |, | 15-C |, | r5-C |, | r6-C |, | r7-C |, | R2-C |] A weighting coefficient w3 is calculated according to the variable d2.
If d2 <ε2, w3 = 0
If ε2 ≦ d2 <ε1, w3 = (d2−ε2) / (ε1−ε2)
When ε1 ≦ d2, w3 = 1
[0062]
The weighting coefficients w1 and w3 calculated in this way are output to the synthesizing
[0063]
Next, the image signal output from the narrow band processing unit 22 is subjected to a filtering process in the middle
[0064]
According to the nonlinear filter 21, for example, an image signal in which the threshold ε1 is 100 and the threshold ε2 is 70, and the width of the steep edge falls within the interval 4 as shown in FIG. In this case, if the height of the edge is 100 which is equal to or larger than the threshold value ε1, the image signal output from the non-linear filter 21 has substantially the shape of the edge as shown in FIG. Is smaller than the threshold value ε1, the image signal output from the non-linear filter 21 has a gradually changing edge shape as shown in FIGS. Further, as the height of the edge gradually decreases, the image signal output from the non-linear filter 21 has a shape in which the shape of the edge gradually changes, and when the height of the edge reaches 70 which is equal to the threshold ε2. The shape of the edge of the image signal output from the non-linear filter 21 is as shown in FIG.
[0065]
As is apparent from a comparison between FIG. 28 and FIG. 10 showing the output of the
[0066]
The present invention can be applied to any apparatus that handles image signals, such as a video camera, a digital still camera, a printer, a display, and a computer.
[0067]
For example, when applied to a computer that executes image processing, when correcting image contrast, it is possible to obtain a high-quality contrast-corrected image while maintaining a dynamic range, and to combine images obtained under different lighting conditions. At the time of combining, only the difference between the respective contrast components can be corrected, and a natural combined image can be generated.
[0068]
Incidentally, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer built into dedicated hardware or installing various programs. It is installed from a recording medium into a possible general-purpose personal computer configured as shown in FIG. 29, for example.
[0069]
The personal computer 50 has a built-in CPU (Central Processing Unit) 51. An input /
[0070]
The input /
A magnetic disk 61 (including a flexible disk), an optical disk 62 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk 63 (including an MD (Mini Disc)), and Is connected to a
[0071]
A program that causes the
[0072]
Note that, in this specification, the steps describing each flowchart include, in addition to the processing performed in chronological order according to the described order, not only the processing performed in chronological order but also the processing performed in parallel or individually. Is also included.
[0073]
【The invention's effect】
As described above, according to the present invention, in a filtering process for smoothing a portion other than an edge in a state where an edge having a sharp change in pixel value is accurately held, a high level of an edge included in an input image signal is obtained. , The edge can be gently changed even in the converted image signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image signal processing apparatus that emphasizes a portion other than an edge while preserving a steep edge in an image.
FIG. 2 is a diagram showing an image signal input to an ε filter of FIG. 1 and an output image signal.
FIG. 3 is a diagram illustrating an example of taps used in the ε filter of FIG. 1;
FIG. 4 is a diagram for explaining the operation of the ε filter of FIG. 1;
FIG. 5 is a diagram illustrating an example of an image signal before filter processing;
FIG. 6 is a diagram showing an image signal output from an ε filter corresponding to the image signal shown in FIG. 5;
FIG. 7 is a diagram showing an image signal output from an ε filter corresponding to the image signal shown in FIG. 5;
FIG. 8 is a diagram illustrating an example of an image signal before filter processing;
9 is a diagram showing an image signal output from an ε filter when the image signal shown in FIG. 8 is input.
10 is a diagram showing an image signal output from an ε filter when the image signal shown in FIG. 8 is input.
FIG. 11 is a block diagram illustrating a first configuration example of a nonlinear filter to which the present invention has been applied.
FIG. 12 is a diagram illustrating taps set by the nonlinear filter of FIG. 11;
FIG. 13 is a diagram showing tap coefficients used in the nonlinear filter of FIG. 11;
FIG. 14 is a flowchart illustrating a filtering process by the nonlinear filter of FIG. 11;
FIG. 15 is a diagram for explaining a method of determining a weighting coefficient.
16 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
17 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
18 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
19 is a diagram showing an image signal output from the nonlinear filter of FIG. 11 when the image signal shown in FIG. 5 is input.
FIG. 20 is a block diagram illustrating a second configuration example of a nonlinear filter to which the present invention has been applied.
21 is a diagram showing taps of interval 4 set by the narrow band processing unit in FIG.
FIG. 22 is a diagram illustrating taps in interval 2 set by the middle band processing unit in FIG. 20;
FIG. 23 is a diagram showing taps at
FIG. 24 is a diagram showing tap coefficients used in the nonlinear filter of FIG. 20;
25 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
26 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
27 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
28 is a diagram showing an image signal output from the nonlinear filter of FIG. 20 with the image signal shown in FIG. 8 as an input.
FIG. 29 is a block diagram illustrating a configuration example of a general-purpose personal computer.
[Explanation of symbols]
Claims (7)
連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、前記指定手段によって指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、
前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算手段と、
前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出手段と、
前記算出手段によって算出された前記重み付け係数に従い、前記演算手段によって演算された前記複数の平滑化信号を合成する合成手段と
を含むことを特徴とする信号処理装置。In a signal processing device that adjusts the level of a signal that is continuously arranged,
Designating means for sequentially designating the signals arranged continuously as a signal of interest, and a predetermined signal among the signals arranged continuously with reference to the signal of interest designated by the designating means. Determining means for determining a plurality of nearby signals for each interval;
A calculating means for calculating the weighted average of the signal of interest and the plurality of neighboring signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
Calculating means for calculating the level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A signal processing device comprising: a synthesizing unit that synthesizes the plurality of smoothed signals calculated by the calculating unit according to the weighting coefficient calculated by the calculating unit.
ことを特徴とする請求項1に記載の信号処理装置。The signal processing device according to claim 1, wherein the signal is a pixel value of a pixel forming an image.
ことを特徴とする請求項1に記載の信号処理装置。A plurality of signal processing systems including the designation unit, the determination unit, the calculation unit, the calculation unit, and the synthesis unit are present, and the plurality of signal processing systems are arranged in series. Item 2. The signal processing device according to item 1.
ことを特徴とする請求項3に記載の信号処理装置。4. The signal processing apparatus according to claim 3, wherein the determination units included in the plurality of signal processing systems have different predetermined intervals.
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
前記算出ステップの処理で算出された前記重み付け係数に従い、前記演算ステップの処理で演算された前記複数の平滑化信号を合成する合成ステップと
を含むことを特徴とする信号処理方法。In a signal processing method for adjusting a level of a signal arranged continuously,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step in accordance with the weighting coefficients calculated in the processing of the calculation step.
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
前記算出ステップの処理で算出された前記重み付け係数に従い、前記演算ステップの処理で演算された前記複数の平滑化信号を合成する合成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。A program for adjusting the level of a signal that is continuously arranged,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step according to the weighting coefficients calculated in the processing of the calculation step. Recording media.
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を異なる複数の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
前記算出ステップの処理で算出された前記重み付け係数に従い、前記演算ステップの処理で演算された前記複数の平滑化信号を合成する合成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。A program for adjusting the level of a signal that is continuously arranged,
A designation step of sequentially designating the signals arranged continuously as a signal of interest;
A determination step of determining a plurality of neighboring signals at predetermined intervals from among the signals arranged continuously, based on the signal of interest specified in the processing of the specifying step,
An arithmetic step of performing a weighted average of the signal of interest and the plurality of nearby signals using a plurality of different coefficient sets and calculating a plurality of smoothed signals;
A calculating step of calculating a level difference between the signal of interest and the plurality of neighboring signals, comparing the calculated difference with a plurality of different thresholds, and calculating a weighting coefficient based on the comparison result;
A computer-readable storage medium storing a program for causing a computer to execute a process including a combining step of combining the plurality of smoothed signals calculated in the processing of the calculation step according to the weighting coefficients calculated in the processing of the calculation step.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003080441A JP4277550B2 (en) | 2003-03-24 | 2003-03-24 | Signal processing apparatus and method, recording medium, and program |
US10/805,207 US7558435B2 (en) | 2003-03-24 | 2004-03-22 | Signal processing apparatus, method of processing a signal, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003080441A JP4277550B2 (en) | 2003-03-24 | 2003-03-24 | Signal processing apparatus and method, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004289607A true JP2004289607A (en) | 2004-10-14 |
JP4277550B2 JP4277550B2 (en) | 2009-06-10 |
Family
ID=33294290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003080441A Expired - Fee Related JP4277550B2 (en) | 2003-03-24 | 2003-03-24 | Signal processing apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4277550B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009101693A1 (en) * | 2008-02-14 | 2009-08-20 | Fujitsu Limited | Image processing device, image processing method, and image processing program |
WO2010058497A1 (en) * | 2008-11-21 | 2010-05-27 | 三菱電機株式会社 | Image processing device and image processing method |
JP4585602B1 (en) * | 2009-09-18 | 2010-11-24 | 株式会社東芝 | Image processing apparatus, display apparatus, and image processing method |
WO2011099203A1 (en) * | 2010-02-15 | 2011-08-18 | シャープ株式会社 | Signal processing device, integrated circuit, control programme, and computer readable recording medium |
US8045063B2 (en) | 2006-01-16 | 2011-10-25 | Sony Corporation | Apparatus, method, and computer program for processing image, and recording medium storing the computer program |
WO2012133354A1 (en) * | 2011-03-29 | 2012-10-04 | シャープ株式会社 | Noise reducing device, display device, noise reducing method, and noise reducing program |
-
2003
- 2003-03-24 JP JP2003080441A patent/JP4277550B2/en not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8045063B2 (en) | 2006-01-16 | 2011-10-25 | Sony Corporation | Apparatus, method, and computer program for processing image, and recording medium storing the computer program |
WO2009101693A1 (en) * | 2008-02-14 | 2009-08-20 | Fujitsu Limited | Image processing device, image processing method, and image processing program |
JP4847591B2 (en) * | 2008-02-14 | 2011-12-28 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
US8233706B2 (en) | 2008-02-14 | 2012-07-31 | Fujitsu Limited | Image processing apparatus and image processing method |
WO2010058497A1 (en) * | 2008-11-21 | 2010-05-27 | 三菱電機株式会社 | Image processing device and image processing method |
US8477210B2 (en) | 2008-11-21 | 2013-07-02 | Mitsubishi Electric Corporation | Image processing device and image processing method |
JP4585602B1 (en) * | 2009-09-18 | 2010-11-24 | 株式会社東芝 | Image processing apparatus, display apparatus, and image processing method |
JP2011065580A (en) * | 2009-09-18 | 2011-03-31 | Toshiba Corp | Image processing apparatus, display device and image processing method |
US7961977B2 (en) | 2009-09-18 | 2011-06-14 | Kabushiki Kaisha Toshiba | Image processing apparatus, display device, and image processing method for edge-preserving smoothing |
WO2011099203A1 (en) * | 2010-02-15 | 2011-08-18 | シャープ株式会社 | Signal processing device, integrated circuit, control programme, and computer readable recording medium |
US8687124B2 (en) | 2010-02-15 | 2014-04-01 | Sharp Kabushiki Kaisha | Signal processing device, integrated circuit, control program, and computer readable recording medium |
WO2012133354A1 (en) * | 2011-03-29 | 2012-10-04 | シャープ株式会社 | Noise reducing device, display device, noise reducing method, and noise reducing program |
Also Published As
Publication number | Publication date |
---|---|
JP4277550B2 (en) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4210577B2 (en) | Method for enhancing gradation and spatial characteristics of digital images using selective spatial filters | |
JP4526445B2 (en) | Imaging device | |
JP4894595B2 (en) | Image processing apparatus and method, and program | |
EP2160020B1 (en) | Image processing apparatus for performing gradation correction on subject image | |
JP4858609B2 (en) | Noise reduction device, noise reduction method, and noise reduction program | |
KR100694090B1 (en) | Methods and apparatus of preventing noise boost in image contrast enhancement systems | |
KR101674078B1 (en) | Method and apparatus for block-based image denoising | |
WO2009093673A1 (en) | Apparatus, method and program for image processing | |
JP4869653B2 (en) | Image processing device | |
JP4952796B2 (en) | Image processing device | |
JP4320572B2 (en) | Signal processing apparatus and method, recording medium, and program | |
EP2564373B1 (en) | Detection and/or enhancement of contrast differences in digital image data | |
JP4277550B2 (en) | Signal processing apparatus and method, recording medium, and program | |
US7558435B2 (en) | Signal processing apparatus, method of processing a signal, recording medium, and program | |
JP4329391B2 (en) | Signal processing apparatus and method, recording medium, and program | |
JP4103647B2 (en) | Signal processing apparatus and method, recording medium, and program | |
JP4207381B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2000215307A (en) | Method and device for processing image | |
JP4053167B2 (en) | Image processing method and apparatus | |
JP2010213175A (en) | Image processing apparatus and imaging apparatus | |
JP2005328162A (en) | Signal processing apparatus and method | |
JP2006033045A (en) | Image edge corrector and correcting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |