JP5034436B2 - 画像処理装置および画像処理方法、並びにカメラシステム - Google Patents
画像処理装置および画像処理方法、並びにカメラシステム Download PDFInfo
- Publication number
- JP5034436B2 JP5034436B2 JP2006284704A JP2006284704A JP5034436B2 JP 5034436 B2 JP5034436 B2 JP 5034436B2 JP 2006284704 A JP2006284704 A JP 2006284704A JP 2006284704 A JP2006284704 A JP 2006284704A JP 5034436 B2 JP5034436 B2 JP 5034436B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- gain
- luminance
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims description 208
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
輪郭強調処理において、輪郭を強調したいのは、主に中輝度の画像データに対してである。
図2の画像処理装置100Aにおいて、ガンマ補正処理により本来の画像データに対して大きなゲインを掛けた後のデータに対して、輪郭強調されていることが肉眼で認識できるように輪郭強調処理を行うには、ガンマ処理前の画像データに輪郭強調成分のデータを加えて、その後にガンマ補正処理を行う図1の画像処理装置100よりも、輪郭強調処理において、輪郭強調成分に対して、より大きなゲインを掛けることが、当然必要となる。
ところが、図2の画像処理装置100Aにおいては、図1の画像処理装置100よりも、輪郭強調成分に対して、より大きなゲインを掛けることにより、画像中の明度の高い部分の画像データに対して、輪郭強調が強く掛かりすぎて、最終的には画像の見た目が好ましくないものになっていた。
また、ガンマ補正を掛けることにより、輪郭補正の負極性成分に適用されるゲイン量に対して、正極性成分に適用されるゲイン量が相対的に小さくなり、負極性の輪郭成分だけが強調された画像になってしまう。
特許文献1に開示されている画像処理装置100B(図3)においては、ガンマ補正後に輪郭補正を行っているが、輪郭補正を行う際のゲイン調整をガンマ補正時のゲインと連動させて求めることで暗部のノイズ改善を行っている。
また、特許文献2に開示されている輪郭補正技術においては、検出した輪郭信号の振幅レベルに応じて適応的に補正ゲインのレベルを設定することにより所望の絵作りを行おうとしている。
このように、画像の周波数成分が小さくなっているため、図形の輪郭部分において、図形の輪郭成分を十分に抽出することが難しくなっている。
これにより、画像内部の明るい図形に対して、輪郭強調処理を行うことが難しくなっていると言う不利益があった。
すなわち、補正対象画素の輝度データが最も小さい場合に、ガンマ補正のゲインが最大で、補正対象画素の輝度データが大きくなるに従って、ガンマ補正のゲインが単調に減少し、補正対象画素の輝度データが最も大きい場合に、ガンマ補正のゲインが最小となる。
このため、特許文献1に開示された技術の場合、輪郭強調補正のゲインも、補正対象画素の輝度データが最も小さい場合に、ガンマ補正のゲインが最大で、補正対象画素の輝度データが大きくなるに従って、ガンマ補正のゲインが単調に減少し、補正対象画素の輝度データが最も大きい場合に、ガンマ補正のゲインが最小となる。
その理由は、暗部の画像は、明部の画像に比べて信号の値が小さい。したがって、暗部の画像データは、明部の画像データと比較して、S/N比が悪い。S/N比の悪いデータを、意図的に強調すると、信号とともにノイズも強調されてしまい、画像の見た目が汚くなってしまうからである。
また、本発明の第1の観点は、入力された画像信号を処理する画像処理装置であって、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。
また、本発明の第2の観点は、入力された画像信号を処理する画像処理方法であって、前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第1ステップと、前記画像の輪郭信号を輪郭補正部で補正する第2ステップと、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第3ステップと、を少なくとも有し、前記第2ステップにおいては、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、かつ、前記第2ステップにおいては、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記第2ステップにおいては、画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。
また、本発明の第3の観点のカメラシステムは、撮像素子と、前記撮像素子に被写体像を結像する光学系と、前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、前記画像処理装置は、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。
図4は、本発明の第1の実施形態に係る画像処理装置の構成例を示す図である。
そして、輪郭補正部210は、デジタル画像の輝度信号を入力とし輝度量に応じた輪郭補正ゲインを生成するゲイン生成部を有し、生成したゲインを用いて輪郭信号に対して輝度変調補正を行う機能を有している。
なお、簡易輝度生成部211で生成する輝度は計算量を重視して簡易的にしているが、たとえばITU−R BT601に準拠した輝度でも良い。
なお、輝度変調ゲインテーブル216については後で詳述する。
なお、輝度生成部222で生成する輝度は所望の画像フォーマットITU−R BT601やITU−R BT709で規定される輝度である。
輝度変調ゲインテーブル216は、不揮発性メモリ等のメモリ装置に記憶して形成される。
図5において、横軸が輝度を、縦軸がゲインレベルをそれぞれ示している。
図5においては、輝度が0から20程度の部分が低輝度側に該当し、それ以上の輝度の部分のゲインレベルに比べて、ゲインレベルが小さくなっていることを示している。
たとえば、高輝度部では負成分を強調すると黒い輪郭が生成されることがある。その問題は、負成分の高輝度部分のゲイン量を低く設定することで回避することが可能になるといった利点がある。
(1):暗部の画像データに対しては、画像データのノイズ成分を強調することを避けるために、前記のゲインを小さくする、
(2):この暗部よりも明るい画像データに対しては、十分な輪郭強調効果を得るために、前記のゲインを、暗部の画像データに対するゲインよりも大きくする、
(3):さらに明るい画像データに対しては、輪郭強調効果が目立ち過ぎないように、前記のゲインを、上記(2)の画像データに対するゲインよりも小さくする。
図6(A)および(B)において、(1)は画像の輪郭部における輝度の変化が急峻である場合の輝度信号(データ)を、(2)は画像の輪郭部における第1の輪郭成分(1次微分)を、(3)は画像の輪郭部における第2の輪郭成分(2次微分の反転)を、(4)は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号(データ)S211を、(5)はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインS213を、(6)は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。
その結果、本実施形態の画像処理装置200は、一般的な画像処理装置に比較して、強調したいところのみに対して補正を行うことができるため、輪郭を強調させる必要のない暗部などでノイズの大幅な低減が実現できる。
したがって、一般的にデジタルカメラの画像信号処理装置においては、たとえば、イメージセンサから14ビットのRGBデータが入力され、これに16ビットのRGB−YC変換係数を乗じて、16ビットのYCデータを得て、この16ビットのYCデータに対して、各種の画像処理を施して、最終的な画像を得る、という処理が行われている。
しかし、輪郭強調処理において、前出のメモリ装置を用いて、画像の輝度データに応じて輪郭強調処理において乗じるゲインの値を適応的に出力するゲイン生成部を構成する場合、16ビットのYCデータに対して、たとえば1対1対応で8ビットのゲインを出力すると仮定すると、前出のゲイン生成部を構成するために必要となるメモリの大きさは、8ビット*2^16=513kビットにもなる。
輪郭強調成分の階調性を、デジタルカメラの最終出力画像の階調性よりも小さくしても、好ましい画像を得ることが可能である。
そこで、本第1の実施形態においては、輪郭強調処理において、前出のメモリ装置の輝度変調ゲインテーブル216を用いて、画像の輝度データに応じて輪郭強調処理において乗じるゲインの値を適応的に出力するゲイン生成部213において、入力する輝度データの階調性を、輪郭強調成分にゲインを掛けた結果を加算(合成)する加算先である輪郭補正付加部230の本来の画像データの、輝度データの階調性よりも小さくした構成になっている。
1.輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部230の本来の画像データの輝度データ下位ビットを捨てて、データのビット幅を小さくする構成にして良いし、あるいは、
2.輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部230の本来の画像データの輝度データを算出するRGB-YC変換部とは別に、
輪郭強調処理におけるゲインを求める際に使用する輝度データを、RGBデータから算する算出部を有し、RGB-YC変換係数を、輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部230の本来の画像データの輝度データを算出する、RGB-YC変換部のRGB-YC変換係数よりも階調性を小さくした(ビット幅を小さくした)構成にしても良いし、
3.輪郭強調処理におけるゲインを求める際に使用する輝度データを、RGBデータのG(緑色)のデータで代用する構成にしても良い。
輪郭補正部210においては、まずそのRGB信号から輪郭補正を行うため簡易輝度生成部211で簡易輝度信号S211が生成され、周波数特性が可変な高帯域通過フィルタを有する輪郭信号抽出部212で輪郭信号S212が抽出される。簡易輝度信号S211はゲイン生成部213に供給される。
ゲイン生成部213においては、メモリ装置213Mに格納されている輝度量に応じて輪郭補正量ゲイン量が決まる輝度変調テーブル216と、簡易輝度信号S211とを参照してゲイン量が決定される。そして、輪郭信号輝度変調部204において、輪郭信号S212に対してそのゲイン量が掛け合わされ、その結果が信号S214として振幅調整部215に出力される。
振幅調整部215においては、輝度変調後の輪郭画像の正成分と負成分の輪郭振幅成分に対して個別に、コアリング調整、クリップ調整、ゲイン調整が行われて、最終輪郭画像が生成される。この最終輪郭画像は信号S210として輪郭補正付加部230に供給される。
そのR、G、B信号が輝度生成部222に入力し、輝度信号S220が生成される。
そして、輝度生成部222で生成した輝度に対して振幅調整部215で生成された最終輪郭画像が、輪郭補正付加部212で合成され、最終的な輝度信号S230が生成される。
任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。
また、輪郭強調信号にガンマ補正を行うことで発生する輪郭強調信号の明部側と暗部側のゲイン量のアンバランスさが解消され、好ましい輪郭強調を行うことができる。
さらに、輝度変調テーブルによるゲイン量の決定に広域輝度情報を用いることで、急激なゲイン量の変化や暗部にある単輝度点などの特異点に対して輪郭強調することを避けることができる。
図7は、本発明の第2の実施形態に係る画像処理装置の構成例を示す図である。
しかし、第1の実施形態に係る画像処理装置200によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。
この急峻に変化するゲインを輪郭強調成分に乗ずると、たとえば、ゲインを乗じた結果得られる輪郭強調成分の変化が急峻で、輪郭強調された部分が、黒色と白色の2本の線に見えてしまうおそれがある。
たとえば、人の顔を撮影した画像においては、顔の輪郭が黒色と白色の2本の線で縁取られたような画像が得られてしまう場合がある。
また、画像の輪郭部分において、輝度の変化が急峻である際には、たとえば、輪郭強調される領域の幅が小さいために、輪郭強調された部分が、幅を持った領域ではなく、たとえば黒色の1本の線に見えてしまう場合もある。
このような画像を生成することは、あまり好ましくない。
その他の構成は、第1の実施形態と同様である。
図8(A)〜(C)において、(1)は画像の輪郭部における輝度の変化が急峻である場合の輝度信号(データ)を、(2)は画像の輪郭部における第1の輪郭成分(1次微分)を、(3)は画像の輪郭部における第2の輪郭成分(2次微分の反転)を、(4)は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号(データ)S211、S217を、(5)はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインS213、S213Aを、(6)は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。
これにより、急激なゲイン量の変化や特異点の輪郭を強調することを避けることが可能になる。
図3の画像処理装置のような構成の輪郭補正を行った画像301から輝度成分のみを抽出した画像302と、本第2の実施形態の画像処理装置200Aに示すような構成例で図5の輝度変調ゲインテーブルを適用して作成した画像303から輝度成分のみを抽出した画像304を比較すると、中輝度部では解像感はほぼ同等であるのに対し、低輝度部でのノイズが改善されている。
図10は、本発明の第3の実施形態に係る画像処理装置の構成例を示す図である。
しかし、第1の実施形態に係る画像処理装置200によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。
ノイズの発生原因の一例としては、固体撮像素子の各画素における熱雑音が挙げられる。
ノイズが重畳されているデータを輪郭強調すると、ノイズが一層目立ってしまう。
また、たとえば、ノイズを取り去るために、画像データをローパスフィルタに通した後、輪郭強調しようとしても、ローパスフィルタによって高周波成分を失った画像からは輪郭成分(高周波成分)を抽出する事が難しく、このため輪郭強調することが難しく、画像全体が、輪郭があいまいな寝ぼけた画像になってしまうおそれがある。
そして、ゲイン生成部213Bは、輝度データに応じて適応的に変化させたゲインの値を得る際に、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
これにより、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインと同じ値を用いている第1の実施形態の技術と比較して、本来の光電変換データにノイズが重畳されたデータにおいてノイズの強調を低減することが可能となる。
図11(A)および(B)において、(1)は本来の光電変換データにノイズが重畳したセンサ出力の輝度データを、(2)は画像の輪郭部における第1の輪郭成分(1次微分)を、(3)は画像の輪郭部における第2の輪郭成分(2次微分の反転)を、(4)は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号(データ)S211、S217を、(5)はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインS213、S213Bを、(6)は輪郭成分にゲインを乗じた結果を、(7)は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。
これにより、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインと同じ値を用いている第1の実施形態の技術と比較して、本来の光電変換データにノイズが重畳されたデータにおいてノイズの強調を低減することが可能となる。
図12は、本発明の第4の実施形態に係る画像処理装置の構成例を示す図である。
図13は、本第4の実施形態におけるゲイン生成について説明するための図である。
なお、ここで“領域“とは、輝度の値の範囲を意味する。
しかし、第1の実施形態に係る画像処理装置200によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。
[1]:画像内において、輝度が最暗部およびそれに近い値になっている第1の領域RGN1においては、それ以外の部分の画像に比べて信号の値が小さく、したがって、暗部の画像データは、明部の画像データと比較してS/N比が悪いので、S/N比の悪いデータを輪郭強調処理によって信号とともにノイズをも強調してしまう事態は、避けるのが好ましい。
[2]:一方、上記[1]以外の第2の領域RGN2においては、輝度が小さい色と輝度が大きい色とを比較した場合、人間の眼の感度は、輝度が小さい色に対して高く、輝度が大きい色に対して低いため、輝度が小さい色に対して乗ずる輪郭強調のゲインを、上記[1]の第1の領域のデータに対して乗ずる輪郭強調のゲインよりも大きくして、階調性を豊かにすることが好ましい。
[3]:さらに、上記[2]の第2の領域RGN2において、輝度が最明部およびそれに近い値になっている領域においては、輝度データに対して乗ずる輪郭強調のゲインを不適切に大きくすると、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を越えてしまい、最大値を越えたデータに関しては値を許容最大値に制限してしまう。このため、データの許容最大値を越えた領域においてデータに持たせた階調性が全て失われてしまうので、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を超えることを抑制するように輪郭強調におけるゲインの大きさを抑制することが好ましい。
[1]:画像内において、輝度が最暗部およびそれに近い値になっている第1の領域RGN1においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、それ以外の第2の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
[2]:上記[1]以外の第2の領域RGN2においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記[1]の第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
さらに、上記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さくするように、ゲイン生成部213Cが構成されている。
図14および図15の(A)および(B)において、(1)は画像の輪郭部における輝度データ(図14では低輝度領域、図15では高輝度領域)を、(2)は画像の輪郭部における第1の輪郭成分(1次微分)を、(3)は画像の輪郭部における第2の輪郭成分(2次微分の反転)を、(4)は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号(データ)S211、S217を、(5)はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインS213、S213Bを、(6)は輪郭成分にゲインを乗じた結果を、(7)は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。
また、第2の領域においては、階調性を豊かにすることができる。
さらに、第2の領域において、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を超えることを抑制するように輪郭強調におけるゲインの大きさを抑制することができる。
また、輪郭強調信号にガンマ補正を行うことで発生する輪郭強調信号の明部側と暗部側のゲイン量のアンバランスさが解消され、好ましい輪郭強調を行うことが実現できる。
さらに、輝度変調テーブルによるゲイン量の決定に広域輝度情報を用いることで、急激なゲイン量の変化や暗部にある単輝度点などの特異点に対して輪郭強調することを避ける効果が実現できる。
このような効果を有する画像処理装置200,200A〜200Cは、デジタルカメラやビデオカメラの画像処理装置(信号処理装置)に適用することができる。
また、駆動回路430は、水平シフトレジスタや垂直シフトレジスタ等を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス410を駆動する。
Claims (8)
- 入力された画像信号を処理する画像処理装置であって、
前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
前記画像の輪郭信号を補正する輪郭補正部と、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
前記輪郭補正部は、
画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、
輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、
生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、
前記輪郭補正部は、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、
前記ゲイン生成部は、
輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
画像処理装置。 - 前記広域輝度情報取得部は、前記輝度信号が通過する低帯域通過フィルタを含む
請求項1記載の画像処理装置。 - 入力された画像信号を処理する画像処理装置であって、
前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
前記画像の輪郭信号を補正する輪郭補正部と、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
前記輪郭補正部は、
輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、
生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、
前記輪郭補正部は、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
前記ゲイン生成部は、
画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
画像処理装置。 - 入力された画像信号を処理する画像処理方法であって、
前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第1ステップと、
前記画像の輪郭信号を輪郭補正部で補正する第2ステップと、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第3ステップと、を少なくとも有し、
前記第2ステップにおいては、
画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、かつ、
前記第2ステップにおいては、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号乗じることによって画像の輪郭強調を行い、かつ、
前記第2ステップにおいては、
輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
画像処理方法。 - 入力された画像信号を処理する画像処理方法であって、
前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第1ステップと、
前記画像の輪郭信号を輪郭補正部で補正する第2ステップと、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第3ステップと、を少なくとも有し、
前記第2ステップにおいては、
輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、かつ、
前記第2ステップにおいては、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
前記第2ステップにおいては、
画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
画像処理方法。 - 撮像素子と、
前記撮像素子に被写体像を結像する光学系と、
前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、
前記画像処理装置は、
前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
前記画像の輪郭信号を補正する輪郭補正部と、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
前記輪郭補正部は、
画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、
輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、
生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、
前記輪郭補正部は、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、
前記ゲイン生成部は、
輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
カメラシステム。 - 前記広域輝度情報取得部は、前記輝度信号が通過する低帯域通過フィルタを含む
請求項6記載のカメラシステム。 - 撮像素子と、
前記撮像素子に被写体像を結像する光学系と、
前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、
前記画像処理装置は、
前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
前記画像の輪郭信号を補正する輪郭補正部と、
前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
前記輪郭補正部は、
輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、
生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
前記輝度変調ゲインテーブルは、
輝度に対するゲイン特性を任意に設定可能であり、
前記輪郭補正部は、
前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
前記ゲイン生成部は、
画像内において、輝度が最暗部およびそれに近い値になっている第1の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
前記第1の領域以外の第2の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第1の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
カメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006284704A JP5034436B2 (ja) | 2006-10-19 | 2006-10-19 | 画像処理装置および画像処理方法、並びにカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006284704A JP5034436B2 (ja) | 2006-10-19 | 2006-10-19 | 画像処理装置および画像処理方法、並びにカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008103979A JP2008103979A (ja) | 2008-05-01 |
JP5034436B2 true JP5034436B2 (ja) | 2012-09-26 |
Family
ID=39437968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006284704A Expired - Fee Related JP5034436B2 (ja) | 2006-10-19 | 2006-10-19 | 画像処理装置および画像処理方法、並びにカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5034436B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5083046B2 (ja) * | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP4998393B2 (ja) * | 2008-07-09 | 2012-08-15 | 富士通セミコンダクター株式会社 | エッジ強調画像処理装置 |
JP5482006B2 (ja) * | 2008-08-27 | 2014-04-23 | 株式会社ニコン | 画像処理方法 |
JP5169652B2 (ja) * | 2008-09-08 | 2013-03-27 | セイコーエプソン株式会社 | 画像処理装置、画像表示装置、画像処理方法及び画像表示方法 |
JP5178579B2 (ja) * | 2009-02-25 | 2013-04-10 | 株式会社東芝 | 画像処理装置 |
WO2011105377A1 (ja) * | 2010-02-25 | 2011-09-01 | シャープ株式会社 | 画像処理装置およびこれを備えた表示装置並びに画像処理方法 |
JP2011254214A (ja) * | 2010-06-01 | 2011-12-15 | Hoya Corp | 輪郭強調装置 |
JP2013062744A (ja) * | 2011-09-14 | 2013-04-04 | Casio Comput Co Ltd | 画像処理装置、投影装置及びプログラム |
JP6335614B2 (ja) * | 2014-04-25 | 2018-05-30 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
JP6558935B2 (ja) | 2015-04-24 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
JP2017092604A (ja) | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | 映像信号処理装置、映像信号処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3184309B2 (ja) * | 1992-07-10 | 2001-07-09 | 松下電器産業株式会社 | 階調補正回路及び撮像装置 |
JP3291694B2 (ja) * | 1994-04-25 | 2002-06-10 | 富士写真フイルム株式会社 | ネガ撮像装置におけるノイズ除去回路 |
JP3080019B2 (ja) * | 1996-12-13 | 2000-08-21 | 日本電気株式会社 | 映像信号処理装置 |
JP2001346069A (ja) * | 2000-06-02 | 2001-12-14 | Fuji Photo Film Co Ltd | 映像信号処理装置及び輪郭強調補正装置 |
JP2002152553A (ja) * | 2000-11-13 | 2002-05-24 | Sharp Corp | 輪郭補正回路 |
JP2003324628A (ja) * | 2002-05-07 | 2003-11-14 | Matsushita Electric Ind Co Ltd | 映像信号の輪郭補正回路 |
JP3894177B2 (ja) * | 2003-09-11 | 2007-03-14 | ソニー株式会社 | 映像信号処理装置及び映像信号処理方法 |
JP2005260517A (ja) * | 2004-03-11 | 2005-09-22 | Sanyo Electric Co Ltd | 画像信号処理装置 |
-
2006
- 2006-10-19 JP JP2006284704A patent/JP5034436B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008103979A (ja) | 2008-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5034436B2 (ja) | 画像処理装置および画像処理方法、並びにカメラシステム | |
EP2160020B1 (en) | Image processing apparatus for performing gradation correction on subject image | |
JP3948229B2 (ja) | 画像撮像装置及び方法 | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
JP4946795B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5343726B2 (ja) | 画像処理装置、及び画像処理プログラム | |
US8170362B2 (en) | Edge-enhancement device and edge-enhancement method | |
JP5223742B2 (ja) | エッジ強調画像処理装置 | |
TW200803532A (en) | Image signal processing device and image signal processing method | |
JP3134784B2 (ja) | 画像合成回路 | |
AU767050B2 (en) | Contour correction device | |
JP2003304549A (ja) | カメラ及び画像信号処理システム | |
JP5701640B2 (ja) | 画像処理装置 | |
JPH0630330A (ja) | 階調補正回路及び撮像装置 | |
JP3709981B2 (ja) | 階調補正装置及び方法 | |
JP4944061B2 (ja) | 画像処理装置および方法並びにプログラム | |
US20040160519A1 (en) | Image processor, image-processing method, and image-processing program product | |
JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010147895A (ja) | 画像処理装置、集積回路装置及び電子機器 | |
JP2009147520A (ja) | シーン推定装置、シーン推定方法、プログラム、撮像装置、撮像方法 | |
JP2015211320A (ja) | 画像処理装置、その制御方法、及びプログラム | |
JP2001189945A (ja) | 撮像装置 | |
JP2008172566A (ja) | 撮像装置及び撮像方法 | |
JP2007194832A (ja) | 階調補正装置 | |
JP4714096B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |