JP4044826B2 - 半導体集積回路 - Google Patents
半導体集積回路 Download PDFInfo
- Publication number
- JP4044826B2 JP4044826B2 JP2002316078A JP2002316078A JP4044826B2 JP 4044826 B2 JP4044826 B2 JP 4044826B2 JP 2002316078 A JP2002316078 A JP 2002316078A JP 2002316078 A JP2002316078 A JP 2002316078A JP 4044826 B2 JP4044826 B2 JP 4044826B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- difference
- enhancement
- integrated circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に画像処理用の半導体集積回路及び画像処理方法に関し、詳しくはイメージセンサからの画像信号について輪郭強調処理を実行する半導体集積回路及び輪郭強調方法に関する。
【従来の技術】
ＣＭＯＳイメージセンサは、複数のホトダイオードが縦横に配列された受光部を備えており、これらのホトダイオードが撮像用の各画素（ピクセル）を構成する。この画素単位で入射光が光電変換され、光電変換された電荷が電荷蓄積部分に蓄積され読み出される。読み出された各画素のデータは画像プロセッサ等の処理回路に供給され、そこでＲＧＢ変換処理、輪郭強調、フォーマット変換等の処理を受けてから、メモリや画像表示装置等に供給される。
【０００２】
従来、画像の輪郭を強調させるためには、画像データの全ての画素を対象として一律的な輪郭強調処理を行っていた。即ち、全ての画素に対して隣接する画素からの画像データのレベル差を求め、この差を予め決められた率で増幅することにより、隣接画素間での画像データのレベル差を広げる処理を行っていた。
【０００３】
また輪郭強調の度合いを低下させることなく、かつ２重・３重に輪郭が生じることのない処理として、所定方向に方向微分され不感帯処理された一次微分信号を、再度所定方向に２次微分し且つ平均化処理によりエッジ強調信号を生成するよう構成した従来技術がある（特許文献１）。
【０００４】
【特許文献１】
特開平５−２２６０１号公報
【発明が解決しようとする課題】
しかしながら画像データの全ての画素を輪郭強調処理の対象とすると、画像のノイズも強調することになり、画質劣化の原因となってしまうという問題があった。
【０００５】
以上を鑑みて、本発明では、画質を劣化させることなく輪郭強調した画像を生成することが容易な輪郭強調処理方法及び輪郭強調処理を行う回路を提供することを目的とする。
【課題を解決するための手段】
本発明による半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と隣接画素の画素値との差分値を周辺４画素の各々について求める差分計算ユニットと、画素値について所定の範囲を設定する不感帯生成ユニットと、該差分値が該所定の範囲の外であるか否かを該周辺４画素のそれぞれについて判断する比較処理ユニットを含み、該差分値が該所定の範囲の外であることを該周辺４画素の何れかについて該比較処理ユニットが検出すると、該周辺４画素の各々についての該差分値のうちで絶対値が最大のものを最大差分値とし、該最大差分値の大きさに応じて輪郭強調処理を該着目画素に施し、該周辺４画素の各々についての該差分値のうちで最大のものと最小のものとの絶対値が等しい場合には該輪郭強調処理を実行しないことを特徴とする。
【０００６】
上記半導体集積回路においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【０００７】
また上記差分値の計算及び輪郭強調処理は、複数の色成分のうちＧ成分或いは輝度成分にのみ着目して実行してもよい。この場合、ライン遅延のためのメモリをＧ成分だけ或いは輝度成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【０００９】
図１は、本発明による輪郭強調処理を含む処理を実行する画像プロセッサの構成を示すブロック図である。
【００１０】
図１の画像プロセッサはＬＳＩチップとして提供され、欠陥補正ユニット１１、ＲＧＢ変換ユニット１２、ホワイトバランスユニット１３、輪郭強調ユニット１４、ガンマ補正ユニット１５、及びフォーマット変換ユニット１６を含む。
【００１１】
欠陥補正ユニット１１は、ＣＣＤ等のイメージセンサからの画像信号を受け取り欠陥補正処理を実行するユニットである。イメージセンサの画素中には欠陥により正常に動作しないものがあり、常に暗点として現れる欠陥画素や明点として現れる欠陥画素等の画素データを補正するために、欠陥補正ユニット１１が設けられている。欠陥画素に対して補正の施された補正後画像信号は、欠陥補正ユニット１１からＲＧＢ変換ユニット１２に供給される。ＲＧＢ変換ユニット１２は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求め画像信号として出力する。ＲＧＢ変換ユニット１２の出力画像信号は、ホワイトバランスユニット１３によりホワイトバランスが調整される。
【００１２】
その後、本発明による輪郭強調処理を実行する輪郭強調ユニット１４が、供給された画像データに対して輪郭を強調する処理を実行する。ガンマ補正ユニット１５は、出力機器に対するガンマ特性を補正する処理を施す。最後に、フォーマット変換ユニット１６が、次段で処理可能なフォーマットに画像信号を変換し、変換後の画像信号を出力する。
【００１３】
図２は、本発明による輪郭強調ユニット１４の第１の実施例の構成を示すブロック図である。
【００１４】
図２の輪郭強調ユニット１４は、差分計算ユニット２１、不感帯生成ユニット２２、比較処理ユニット２３、及び強調値生成ユニット２４を含む。差分計算ユニット２１は、着目ピクセルとその周辺ピクセルとのピクセル値の差分を求める。不感帯生成ユニット２２は、下限及び上限を定義された所定のピクセル値の範囲を求める。比較処理ユニット２３は、差分計算ユニット２１から供給される差分が、不感帯生成ユニット２２から供給される所定の範囲に含まれるか否かを判定する。強調値生成ユニット２４は、比較処理ユニット２３が着目ピクセル値と周辺ピクセル値との差分が所定の範囲内にないと判断する場合に、輪郭強調を行うために着目ピクセルのピクセル値を補正する補正値（強調値）を生成する。生成された補正値は、入力されるＲＧＢ信号の当該ピクセル値に加算される。
【００１５】
図３は、輪郭強調処理の対象となるピクセルを説明するための図である。
【００１６】
一般にイメージセンサの出力においては、各ピクセルがＲＧＢの３色のデータを有しているわけではなく、ＲＧＢベイヤ配列のように、個々のピクセルがＲＧＢのうちで所定の１色を表現する構成となっている。このＲＧＢベイヤ配列に基づいて、ＲＧＢ変換回路１３により、各ピクセルに対してＲＧＢの３色のデータを割り当てる処理が実行される。従って、輪郭強調ユニット１４が輪郭強調処理を実行する対象となる画像データは、各ピクセルにＲＧＢの各色のデータが割り当てられたものとなる。
【００１７】
本発明においては、図３に示されるように、着目ピクセルｐ［ｘ，ｙ］に対して縦横に隣接する４つのピクセルｐ［ｘ，ｙ−１］、ｐ［ｘ−１，ｙ］、ｐ［ｘ＋１，ｙ］、及びｐ［ｘ，ｙ＋１］を使用することで、着目ピクセルに対する輪郭強調処理を実行する。
【００１８】
また本発明においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、比較処理ユニット２３により輪郭強調処理が必要な画像部分を特定し、必要な部分にのみ輪郭強調処理を実行する。ここで、Ｒ、Ｇ、及びＢの各色と輝度成分Ｙとの関係は、
Y = 0.299 × R ＋ 0.587 × G ＋ 0.114 × B （１）
であり、３色のうちでＧ成分が全体の６０％近い輝度情報を含んでいる。従って、輪郭強調処理を適用するか否かを判断する際には、Ｇ成分のみに着目することで、効率的な判断を実現することができる。
【００１９】
輪郭強調処理の第１の実施例においては、Ｇ成分を用いて着目ピクセルに対する輪郭強調処理を実行するか否かの判断を行う。
【００２０】
まず着目画素のＧ成分であるＧ［ｘ，ｙ］について、周辺のＧ成分の平均値との差分を計算し、その差分が以下の条件を満たすか否かを判断する。
【００２１】
low_limit < (G[x-1,y]+G[x+1,1]+G[x,y-1]+G[x,y+1])/4-G[x,y] < max_limit（２）
ここで下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、不感帯生成ユニット２２により生成される。またそれとの比較対象である着目ピクセルのＧ成分と周辺ピクセルのＧ成分の平均値との差分は、差分計算ユニット２１により生成される。式（２）を満足するか否かは、比較処理ユニット２３が判断する。ここで、 下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、例えば周辺ピクセル値を用いて以下のように求めることができる。
【００２２】
low_limit = L_limit ・pixel_value + L_offset
max_limit = M_limit ・pixel_value - M_offset
ｐｉｘｅｌ＿ｖａｌｕｅは、例えば所定の周辺ピクセルの平均値や中間値等である。ここでＬ＿ｌｉｍｉｔ及びＬ＿ｏｆｆｓｅｔは不感帯の上限を定めるための係数である。またＭ＿ｌｉｍｉｔ及びＭ＿ｏｆｆｓｅｔは不感帯の下限を定めるための係数である。Ｌ＿ｌｉｍｉｔ及びＭ＿ｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＬ＿ｏｆｆｓｅｔ及びＭ＿ｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００２３】
式（２）を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット２４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
である。式（２）を満足しない場合、即ち着目画素のＧ成分と周辺のＧ成分の平均値との差が所定の下限及び上限で定まる範囲内にない場合には、強調値生成ユニット２４が補正値（強調値）を生成する。更に、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
R[x,y]= R[x,y]-Rgain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
G[x,y]= G[x,y]-Ggain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
B[x,y]= B[x,y]-Bgain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ３．０等の値に設定してよい。
【００２４】
上記処理においては、ある色（例えばＲ）の輪郭を強調するために、着目ピクセルの当該色（Ｒ）の値に対して、着目ピクセルと周辺ピクセルのＧ成分から求めた補正値を作用させている。Ｒの輪郭強調処理には、着目ピクセルと周辺ピクセルのＲ成分から求めた補正値を用いることが考えられるが、そうすると２ライン遅延のためのＦＩＦＯ等のメモリを各色に対して設ける必要が生じ、差分計算ユニット２１の回路規模が増大してしまう。上記実施例においては、輪郭強調のための補正値としてＧ成分に限定することで、ライン遅延のためのメモリをＧ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【００２５】
このようにして上記実施例においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【００２６】
以下に、本発明の第１の実施例の変形例を説明する。
【００２７】
まず差分計算ユニット２１により、着目ピクセルのＧ成分と周辺のＧ成分との差分を以下のように計算する。
【００２８】
diff_1 = G[x-1,y] − G[x,y]
diff_2 = G[x+1,1] − G[x,y]
diff_3 = G[x,y-1] − G[x,y]
diff_4 = G[x,y+1] − G[x,y]
下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔとを、不感帯生成ユニット２２により生成し、比較処理ユニット２３により以下の比較を実行する。
【００２９】
low_limit < diff_1 < max_limit （３）
low_limit < diff_2 < max_limit （４）
low_limit < diff_3 < max_limit （５）
low_limit < diff_4 < max_limit （６）
上式（３）乃至（６）の全ての条件を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット２４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
またｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうち最大のものと最小のものとの絶対値が等しい場合にも、上記同様に輪郭強調処理を行わないものとする。これは、着目ピクセルの値を増加させるか減少させるかの境界上のケースであるので、着目ピクセル値について何ら補正を加えないこととしたものである。
【００３０】
式（３）乃至（６）の何れかを満足しない時、ｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうちで絶対値が最大であるものをｄｉｆｆ＿ｍａｘとし、以下のようにして強調値生成ユニット２４が補正値（強調値）を生成し、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
【００３１】
R[x,y]= R[x,y] - Rgain×diff_max
G[x,y]= G[x,y] - Ggain×diff_max
B[x,y]= B[x,y] - Bgain×diff_max
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ０．８等の値に設定してよい。
【００３２】
上記第１の実施例の変形例においては、第１の実施例の場合と同様に、ライン遅延のためのメモリをＧ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。また画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。なお第１の実施例の場合と比較して、各差分ｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうちで絶対値が最大であるものを選択し、選択された差分値に基づいて補正値（強調値）を生成しているので、輪郭強調の効果が大きくなる。また階調が単調に変化する傾斜部分などでは、第１の実施例の場合には補正値（強調値）が小さくなる傾向にあるが、上記第１の実施例の変形例の場合には大きな補正値（強調値）を確保して、充分な輪郭強調効果を発揮することが出来る。
【００３３】
図４は、本発明による輪郭強調ユニット１４の第２の実施例の構成を示すブロック図である。
【００３４】
図４の輪郭強調ユニット１４は、Ｙ信号生成ユニット３０、差分計算ユニット３１、不感帯生成ユニット３２、比較処理ユニット３３、及び強調値生成ユニット３４を含む。Ｙ信号生成ユニット３０は、入力ＲＧＢ信号から、前述の式（１）に基づいて輝度信号Ｙを生成する。第２の実施例においては、Ｇ成分の替わりに輝度成分Ｙに基づいて輪郭強調処理を実行する。
【００３５】
差分計算ユニット３１は、着目ピクセルとその周辺ピクセルとのピクセル値の差分を求める。不感帯生成ユニット３２は、下限及び上限を定義された所定のピクセル値の範囲を求める。比較処理ユニット３３は、差分計算ユニット３１から供給される差分が、不感帯生成ユニット３２から供給される所定の範囲に含まれるか否かを判定する。強調値生成ユニット３４は、比較処理ユニット３３が着目ピクセル値と周辺ピクセル値との差分が所定の範囲内にないと判断する場合に、輪郭強調を行うために着目ピクセルのピクセル値を補正する補正値（強調値）を生成する。生成された補正値は、入力されるＲＧＢ信号の当該ピクセル値に加算される。
【００３６】
まず着目画素のＹ成分であるＹ［ｘ，ｙ］について、周辺のＹ成分の平均値との差分を計算し、その差分が以下の条件を満たすか否かを判断する。
【００３７】
low_limit < (Y[x-1,y]+Y[x+1,1]+Y[x,y-1]+Y[x,y+1])/4-Y[x,y] < max_limit（７）
ここで下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、不感帯生成ユニット３２により周辺画素のＹ成分に基づいて生成される。またそれとの比較対象である着目ピクセルのＹ成分と周辺ピクセルのＹ成分の平均値との差分は、差分計算ユニット３１により生成される。式（７）を満足するか否かは、比較処理ユニット３３が判断する。
【００３８】
式（７）を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット３４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
である。式（７）を満足しない場合、即ち着目画素のＹ成分と周辺のＹ成分の平均値との差が所定の下限及び上限で定まる範囲内にない場合には、強調値生成ユニット３４が補正値（強調値）を生成する。更に、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
R[x,y]= R[x,y]-Rgain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
G[x,y]= G[x,y]-Ggain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
B[x,y]= B[x,y]-Bgain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよい。
【００３９】
上記処理においては、ある色（例えばＲ）の輪郭を強調するために、着目ピクセルの当該色（Ｒ）の値に対して、着目ピクセルと周辺ピクセルのＹ成分から求めた補正値を作用させている。このように輪郭強調のための補正値としてＹ成分に限定することで、差分計算ユニット２１においてライン遅延のためのメモリをＹ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【００４０】
このようにして上記実施例においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。また正確な輝度情報を用いた輪郭強調処理を、比較的小さい回路規模で実現することができる。
【００４１】
以下に、本発明の第２の実施例の変形例を説明する。
【００４２】
まず差分計算ユニット３１により、着目ピクセルのＹ成分と周辺のＹ成分との差分を以下のように計算する。
【００４３】
diffy_1 = Y[x-1,y] − Y[x,y]
diffy_2 = Y[x+1,1] − Y[x,y]
diffy_3 = Y[x,y-1] − Y[x,y]
diffy_4 = Y[x,y+1] − Y[x,y]
下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔとを、不感帯生成ユニット３２により生成し、比較処理ユニット３３により以下の比較を実行する。
【００４４】
low_limit < diffy_1 < max_limit （８）
low_limit < diffy_2 < max_limit （９）
low_limit < diffy_3 < max_limit （１０）
low_limit < diffy_4 < max_limit （１１）
上式（８）乃至（１１）の全ての条件を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット３４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
またｄｉｆｆｙ＿１乃至ｄｉｆｆｙ＿４のうち最大のものと最小のものとの絶対値が等しい場合にも、上記同様に輪郭強調処理を行わない。これは、着目ピクセルの値を増加させるか減少させるかの境界上のケースであるので、着目ピクセル値について何ら補正を加えないこととしたものである。
【００４５】
式（８）乃至（１１）の何れかを満足しない時、ｄｉｆｆｙ＿１乃至ｄｉｆｆｙ＿４のうちで絶対値が最大であるものをｄｉｆｆｙ＿ｍａｘとし、以下のようにして強調値生成ユニット３４が補正値（強調値）を生成し、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
【００４６】
R[x,y]= R[x,y] - Rgain×diffy_max
G[x,y]= G[x,y] - Ggain×diffy_max
B[x,y]= B[x,y] - Bgain×diffy_max
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ０．８等の値に設定してよい。
【００４７】
上記第２の実施例の変形例においては、第２の実施例の場合と同様に、ライン遅延のためのメモリをＹ成分だけに対して設ければよく、回路規模を比較的小さくすることができると共に、正確な輝度情報を用いた輪郭強調処理が可能となる。また第２の実施例の場合と比較して、比較的大きな補正値（強調値）を確保することが可能であり、充分な輪郭強調効果を発揮することが出来る。
【００４８】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【００４９】
なお本発明は以下の内容を含むものである。
（付記１）イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との差分値を求める差分計算ユニットと、
画素値について所定の範囲を設定する不感帯生成ユニットと、
該差分値が該所定の範囲の外であるか否かを判断する比較処理ユニット
を含み、該差分値が該所定の範囲の外であることを該比較処理ユニットが検出すると該検出に応じて該着目画素に輪郭強調処理を施すことを特徴とする半導体集積回路。
（付記２）該着目画素の画素値と周辺の画素の画素値との差分に基づいて強調値を求める強調値生成ユニットを更に含み、該差分値が該所定の範囲の外であることを該比較処理ユニットが検出すると該強調値生成ユニットは該検出に応じて該着目画素の画素値に該強調値を加算することを特徴とする付記１記載の半導体集積回路。
（付記３）該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求めることを特徴とする付記１記載の半導体集積回路。
（付記４）該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求め、該強調値生成ユニットは該Ｇ成分のみを用いて該強調値を求めることを特徴とする付記２記載の半導体集積回路。
（付記５）該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求めることを特徴とする付記１記載の半導体集積回路。
（付記６）該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求め、該強調値生成ユニットは該輝度成分のみを用いて該強調値を求めることを特徴とする付記２記載の半導体集積回路。
（付記７）該差分計算ユニットは該着目画素と周辺４画素の平均値との差を該差分値として求めることを特徴とする付記１記載の半導体集積回路。
（付記８）該差分計算ユニットは該着目画素と隣接画素との差を周辺４画素の各々について該差分値として求め、該比較処理ユニットは該差分値が該所定の範囲の外であるか否かを該周辺４画素のそれぞれについて判断することを特徴とする付記１記載の半導体集積回路。
（付記９）該強調値生成ユニットは、該周辺４画素の各々についての該差分値のうちで絶対値が最大のものを最大差分値として選択し、該最大差分値の大きさに応じて該輪郭強調処理を実行することを特徴とする付記１記載の半導体集積回路。
（付記１０）該周辺４画素の各々についての該差分値のうちで最大のものと最小のものとの絶対値が等しい場合には該輪郭強調処理を実行しないことを特徴とする付記９記載の半導体集積回路。
（付記１１）イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との差分値を求め、
画素値について所定の範囲を設定し、
該差分値が該所定の範囲の外であるか否かを判断し、
該差分値が該所定の範囲の外であることを検出すると該検出に応じて該着目画素に輪郭強調処理を施す
各段階を含むことを特徴とする輪郭強調方法。
【発明の効果】
本発明による半導体集積回路においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【００５０】
また複数の色成分のうちＧ成分或いは輝度成分に着目することで、ライン遅延のためのメモリをＧ成分だけ或いは輝度成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【図面の簡単な説明】
【図１】本発明による輪郭強調処理を含む処理を実行する画像プロセッサの構成を示すブロック図である。
【図２】本発明による輪郭強調ユニットの第１の実施例の構成を示すブロック図である。
【図３】輪郭強調処理の対象となるピクセルを説明するための図である。
【図４】本発明による輪郭強調ユニットの第２の実施例の構成を示すブロック図である。
【符号の説明】
１１ 欠陥補正ユニット
１２ ＲＧＢ変換ユニット
１３ ホワイトバランスユニット
１４ 輪郭強調ユニット
１５ ガンマ補正ユニット
１６ フォーマット変換ユニット
２１ 差分計算ユニット
２２ 不感帯生成ユニット
２３ 比較処理ユニット
２４ 強調値生成ユニット
【発明の属する技術分野】
本発明は、一般に画像処理用の半導体集積回路及び画像処理方法に関し、詳しくはイメージセンサからの画像信号について輪郭強調処理を実行する半導体集積回路及び輪郭強調方法に関する。
【従来の技術】
ＣＭＯＳイメージセンサは、複数のホトダイオードが縦横に配列された受光部を備えており、これらのホトダイオードが撮像用の各画素（ピクセル）を構成する。この画素単位で入射光が光電変換され、光電変換された電荷が電荷蓄積部分に蓄積され読み出される。読み出された各画素のデータは画像プロセッサ等の処理回路に供給され、そこでＲＧＢ変換処理、輪郭強調、フォーマット変換等の処理を受けてから、メモリや画像表示装置等に供給される。
【０００２】
従来、画像の輪郭を強調させるためには、画像データの全ての画素を対象として一律的な輪郭強調処理を行っていた。即ち、全ての画素に対して隣接する画素からの画像データのレベル差を求め、この差を予め決められた率で増幅することにより、隣接画素間での画像データのレベル差を広げる処理を行っていた。
【０００３】
また輪郭強調の度合いを低下させることなく、かつ２重・３重に輪郭が生じることのない処理として、所定方向に方向微分され不感帯処理された一次微分信号を、再度所定方向に２次微分し且つ平均化処理によりエッジ強調信号を生成するよう構成した従来技術がある（特許文献１）。
【０００４】
【特許文献１】
特開平５−２２６０１号公報
【発明が解決しようとする課題】
しかしながら画像データの全ての画素を輪郭強調処理の対象とすると、画像のノイズも強調することになり、画質劣化の原因となってしまうという問題があった。
【０００５】
以上を鑑みて、本発明では、画質を劣化させることなく輪郭強調した画像を生成することが容易な輪郭強調処理方法及び輪郭強調処理を行う回路を提供することを目的とする。
【課題を解決するための手段】
本発明による半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と隣接画素の画素値との差分値を周辺４画素の各々について求める差分計算ユニットと、画素値について所定の範囲を設定する不感帯生成ユニットと、該差分値が該所定の範囲の外であるか否かを該周辺４画素のそれぞれについて判断する比較処理ユニットを含み、該差分値が該所定の範囲の外であることを該周辺４画素の何れかについて該比較処理ユニットが検出すると、該周辺４画素の各々についての該差分値のうちで絶対値が最大のものを最大差分値とし、該最大差分値の大きさに応じて輪郭強調処理を該着目画素に施し、該周辺４画素の各々についての該差分値のうちで最大のものと最小のものとの絶対値が等しい場合には該輪郭強調処理を実行しないことを特徴とする。
【０００６】
上記半導体集積回路においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【０００７】
また上記差分値の計算及び輪郭強調処理は、複数の色成分のうちＧ成分或いは輝度成分にのみ着目して実行してもよい。この場合、ライン遅延のためのメモリをＧ成分だけ或いは輝度成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【０００９】
図１は、本発明による輪郭強調処理を含む処理を実行する画像プロセッサの構成を示すブロック図である。
【００１０】
図１の画像プロセッサはＬＳＩチップとして提供され、欠陥補正ユニット１１、ＲＧＢ変換ユニット１２、ホワイトバランスユニット１３、輪郭強調ユニット１４、ガンマ補正ユニット１５、及びフォーマット変換ユニット１６を含む。
【００１１】
欠陥補正ユニット１１は、ＣＣＤ等のイメージセンサからの画像信号を受け取り欠陥補正処理を実行するユニットである。イメージセンサの画素中には欠陥により正常に動作しないものがあり、常に暗点として現れる欠陥画素や明点として現れる欠陥画素等の画素データを補正するために、欠陥補正ユニット１１が設けられている。欠陥画素に対して補正の施された補正後画像信号は、欠陥補正ユニット１１からＲＧＢ変換ユニット１２に供給される。ＲＧＢ変換ユニット１２は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求め画像信号として出力する。ＲＧＢ変換ユニット１２の出力画像信号は、ホワイトバランスユニット１３によりホワイトバランスが調整される。
【００１２】
その後、本発明による輪郭強調処理を実行する輪郭強調ユニット１４が、供給された画像データに対して輪郭を強調する処理を実行する。ガンマ補正ユニット１５は、出力機器に対するガンマ特性を補正する処理を施す。最後に、フォーマット変換ユニット１６が、次段で処理可能なフォーマットに画像信号を変換し、変換後の画像信号を出力する。
【００１３】
図２は、本発明による輪郭強調ユニット１４の第１の実施例の構成を示すブロック図である。
【００１４】
図２の輪郭強調ユニット１４は、差分計算ユニット２１、不感帯生成ユニット２２、比較処理ユニット２３、及び強調値生成ユニット２４を含む。差分計算ユニット２１は、着目ピクセルとその周辺ピクセルとのピクセル値の差分を求める。不感帯生成ユニット２２は、下限及び上限を定義された所定のピクセル値の範囲を求める。比較処理ユニット２３は、差分計算ユニット２１から供給される差分が、不感帯生成ユニット２２から供給される所定の範囲に含まれるか否かを判定する。強調値生成ユニット２４は、比較処理ユニット２３が着目ピクセル値と周辺ピクセル値との差分が所定の範囲内にないと判断する場合に、輪郭強調を行うために着目ピクセルのピクセル値を補正する補正値（強調値）を生成する。生成された補正値は、入力されるＲＧＢ信号の当該ピクセル値に加算される。
【００１５】
図３は、輪郭強調処理の対象となるピクセルを説明するための図である。
【００１６】
一般にイメージセンサの出力においては、各ピクセルがＲＧＢの３色のデータを有しているわけではなく、ＲＧＢベイヤ配列のように、個々のピクセルがＲＧＢのうちで所定の１色を表現する構成となっている。このＲＧＢベイヤ配列に基づいて、ＲＧＢ変換回路１３により、各ピクセルに対してＲＧＢの３色のデータを割り当てる処理が実行される。従って、輪郭強調ユニット１４が輪郭強調処理を実行する対象となる画像データは、各ピクセルにＲＧＢの各色のデータが割り当てられたものとなる。
【００１７】
本発明においては、図３に示されるように、着目ピクセルｐ［ｘ，ｙ］に対して縦横に隣接する４つのピクセルｐ［ｘ，ｙ−１］、ｐ［ｘ−１，ｙ］、ｐ［ｘ＋１，ｙ］、及びｐ［ｘ，ｙ＋１］を使用することで、着目ピクセルに対する輪郭強調処理を実行する。
【００１８】
また本発明においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、比較処理ユニット２３により輪郭強調処理が必要な画像部分を特定し、必要な部分にのみ輪郭強調処理を実行する。ここで、Ｒ、Ｇ、及びＢの各色と輝度成分Ｙとの関係は、
Y = 0.299 × R ＋ 0.587 × G ＋ 0.114 × B （１）
であり、３色のうちでＧ成分が全体の６０％近い輝度情報を含んでいる。従って、輪郭強調処理を適用するか否かを判断する際には、Ｇ成分のみに着目することで、効率的な判断を実現することができる。
【００１９】
輪郭強調処理の第１の実施例においては、Ｇ成分を用いて着目ピクセルに対する輪郭強調処理を実行するか否かの判断を行う。
【００２０】
まず着目画素のＧ成分であるＧ［ｘ，ｙ］について、周辺のＧ成分の平均値との差分を計算し、その差分が以下の条件を満たすか否かを判断する。
【００２１】
low_limit < (G[x-1,y]+G[x+1,1]+G[x,y-1]+G[x,y+1])/4-G[x,y] < max_limit（２）
ここで下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、不感帯生成ユニット２２により生成される。またそれとの比較対象である着目ピクセルのＧ成分と周辺ピクセルのＧ成分の平均値との差分は、差分計算ユニット２１により生成される。式（２）を満足するか否かは、比較処理ユニット２３が判断する。ここで、 下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、例えば周辺ピクセル値を用いて以下のように求めることができる。
【００２２】
low_limit = L_limit ・pixel_value + L_offset
max_limit = M_limit ・pixel_value - M_offset
ｐｉｘｅｌ＿ｖａｌｕｅは、例えば所定の周辺ピクセルの平均値や中間値等である。ここでＬ＿ｌｉｍｉｔ及びＬ＿ｏｆｆｓｅｔは不感帯の上限を定めるための係数である。またＭ＿ｌｉｍｉｔ及びＭ＿ｏｆｆｓｅｔは不感帯の下限を定めるための係数である。Ｌ＿ｌｉｍｉｔ及びＭ＿ｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＬ＿ｏｆｆｓｅｔ及びＭ＿ｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００２３】
式（２）を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット２４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
である。式（２）を満足しない場合、即ち着目画素のＧ成分と周辺のＧ成分の平均値との差が所定の下限及び上限で定まる範囲内にない場合には、強調値生成ユニット２４が補正値（強調値）を生成する。更に、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
R[x,y]= R[x,y]-Rgain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
G[x,y]= G[x,y]-Ggain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
B[x,y]= B[x,y]-Bgain×((G[x-1,y]+ G[x+1,1]+G[x,y-1]+ G[x,y+1])/4-G[x,y])
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ３．０等の値に設定してよい。
【００２４】
上記処理においては、ある色（例えばＲ）の輪郭を強調するために、着目ピクセルの当該色（Ｒ）の値に対して、着目ピクセルと周辺ピクセルのＧ成分から求めた補正値を作用させている。Ｒの輪郭強調処理には、着目ピクセルと周辺ピクセルのＲ成分から求めた補正値を用いることが考えられるが、そうすると２ライン遅延のためのＦＩＦＯ等のメモリを各色に対して設ける必要が生じ、差分計算ユニット２１の回路規模が増大してしまう。上記実施例においては、輪郭強調のための補正値としてＧ成分に限定することで、ライン遅延のためのメモリをＧ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【００２５】
このようにして上記実施例においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【００２６】
以下に、本発明の第１の実施例の変形例を説明する。
【００２７】
まず差分計算ユニット２１により、着目ピクセルのＧ成分と周辺のＧ成分との差分を以下のように計算する。
【００２８】
diff_1 = G[x-1,y] − G[x,y]
diff_2 = G[x+1,1] − G[x,y]
diff_3 = G[x,y-1] − G[x,y]
diff_4 = G[x,y+1] − G[x,y]
下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔとを、不感帯生成ユニット２２により生成し、比較処理ユニット２３により以下の比較を実行する。
【００２９】
low_limit < diff_1 < max_limit （３）
low_limit < diff_2 < max_limit （４）
low_limit < diff_3 < max_limit （５）
low_limit < diff_4 < max_limit （６）
上式（３）乃至（６）の全ての条件を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット２４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
またｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうち最大のものと最小のものとの絶対値が等しい場合にも、上記同様に輪郭強調処理を行わないものとする。これは、着目ピクセルの値を増加させるか減少させるかの境界上のケースであるので、着目ピクセル値について何ら補正を加えないこととしたものである。
【００３０】
式（３）乃至（６）の何れかを満足しない時、ｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうちで絶対値が最大であるものをｄｉｆｆ＿ｍａｘとし、以下のようにして強調値生成ユニット２４が補正値（強調値）を生成し、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
【００３１】
R[x,y]= R[x,y] - Rgain×diff_max
G[x,y]= G[x,y] - Ggain×diff_max
B[x,y]= B[x,y] - Bgain×diff_max
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ０．８等の値に設定してよい。
【００３２】
上記第１の実施例の変形例においては、第１の実施例の場合と同様に、ライン遅延のためのメモリをＧ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。また画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。なお第１の実施例の場合と比較して、各差分ｄｉｆｆ＿１乃至ｄｉｆｆ＿４のうちで絶対値が最大であるものを選択し、選択された差分値に基づいて補正値（強調値）を生成しているので、輪郭強調の効果が大きくなる。また階調が単調に変化する傾斜部分などでは、第１の実施例の場合には補正値（強調値）が小さくなる傾向にあるが、上記第１の実施例の変形例の場合には大きな補正値（強調値）を確保して、充分な輪郭強調効果を発揮することが出来る。
【００３３】
図４は、本発明による輪郭強調ユニット１４の第２の実施例の構成を示すブロック図である。
【００３４】
図４の輪郭強調ユニット１４は、Ｙ信号生成ユニット３０、差分計算ユニット３１、不感帯生成ユニット３２、比較処理ユニット３３、及び強調値生成ユニット３４を含む。Ｙ信号生成ユニット３０は、入力ＲＧＢ信号から、前述の式（１）に基づいて輝度信号Ｙを生成する。第２の実施例においては、Ｇ成分の替わりに輝度成分Ｙに基づいて輪郭強調処理を実行する。
【００３５】
差分計算ユニット３１は、着目ピクセルとその周辺ピクセルとのピクセル値の差分を求める。不感帯生成ユニット３２は、下限及び上限を定義された所定のピクセル値の範囲を求める。比較処理ユニット３３は、差分計算ユニット３１から供給される差分が、不感帯生成ユニット３２から供給される所定の範囲に含まれるか否かを判定する。強調値生成ユニット３４は、比較処理ユニット３３が着目ピクセル値と周辺ピクセル値との差分が所定の範囲内にないと判断する場合に、輪郭強調を行うために着目ピクセルのピクセル値を補正する補正値（強調値）を生成する。生成された補正値は、入力されるＲＧＢ信号の当該ピクセル値に加算される。
【００３６】
まず着目画素のＹ成分であるＹ［ｘ，ｙ］について、周辺のＹ成分の平均値との差分を計算し、その差分が以下の条件を満たすか否かを判断する。
【００３７】
low_limit < (Y[x-1,y]+Y[x+1,1]+Y[x,y-1]+Y[x,y+1])/4-Y[x,y] < max_limit（７）
ここで下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔは、不感帯生成ユニット３２により周辺画素のＹ成分に基づいて生成される。またそれとの比較対象である着目ピクセルのＹ成分と周辺ピクセルのＹ成分の平均値との差分は、差分計算ユニット３１により生成される。式（７）を満足するか否かは、比較処理ユニット３３が判断する。
【００３８】
式（７）を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット３４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
である。式（７）を満足しない場合、即ち着目画素のＹ成分と周辺のＹ成分の平均値との差が所定の下限及び上限で定まる範囲内にない場合には、強調値生成ユニット３４が補正値（強調値）を生成する。更に、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
R[x,y]= R[x,y]-Rgain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
G[x,y]= G[x,y]-Ggain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
B[x,y]= B[x,y]-Bgain×((Y[x-1,y]+ Y[x+1,1]+Y[x,y-1]+ Y[x,y+1])/4-Y[x,y])
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよい。
【００３９】
上記処理においては、ある色（例えばＲ）の輪郭を強調するために、着目ピクセルの当該色（Ｒ）の値に対して、着目ピクセルと周辺ピクセルのＹ成分から求めた補正値を作用させている。このように輪郭強調のための補正値としてＹ成分に限定することで、差分計算ユニット２１においてライン遅延のためのメモリをＹ成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【００４０】
このようにして上記実施例においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。また正確な輝度情報を用いた輪郭強調処理を、比較的小さい回路規模で実現することができる。
【００４１】
以下に、本発明の第２の実施例の変形例を説明する。
【００４２】
まず差分計算ユニット３１により、着目ピクセルのＹ成分と周辺のＹ成分との差分を以下のように計算する。
【００４３】
diffy_1 = Y[x-1,y] − Y[x,y]
diffy_2 = Y[x+1,1] − Y[x,y]
diffy_3 = Y[x,y-1] − Y[x,y]
diffy_4 = Y[x,y+1] − Y[x,y]
下限ｌｏｗ＿ｌｉｍｉｔと上限ｍａｘ＿ｌｉｍｉｔとを、不感帯生成ユニット３２により生成し、比較処理ユニット３３により以下の比較を実行する。
【００４４】
low_limit < diffy_1 < max_limit （８）
low_limit < diffy_2 < max_limit （９）
low_limit < diffy_3 < max_limit （１０）
low_limit < diffy_4 < max_limit （１１）
上式（８）乃至（１１）の全ての条件を満足する時は、輪郭強調処理を行わないこととし、強調値生成ユニット３４は補正値（強調値）を生成しない。従って、入力信号の着目ピクセルの値はＲ、Ｇ、及びＢの各色についてそのままとなる。即ち、
R[x,y]= R[x,y]
G[x,y]= G[x,y]
B[x,y]= B[x,y]
またｄｉｆｆｙ＿１乃至ｄｉｆｆｙ＿４のうち最大のものと最小のものとの絶対値が等しい場合にも、上記同様に輪郭強調処理を行わない。これは、着目ピクセルの値を増加させるか減少させるかの境界上のケースであるので、着目ピクセル値について何ら補正を加えないこととしたものである。
【００４５】
式（８）乃至（１１）の何れかを満足しない時、ｄｉｆｆｙ＿１乃至ｄｉｆｆｙ＿４のうちで絶対値が最大であるものをｄｉｆｆｙ＿ｍａｘとし、以下のようにして強調値生成ユニット３４が補正値（強調値）を生成し、入力信号の着目ピクセルのＲ、Ｇ、及びＢの各色に、求めた補正値を加算（式の表現上では減算）することで輪郭強調する。
【００４６】
R[x,y]= R[x,y] - Rgain×diffy_max
G[x,y]= G[x,y] - Ggain×diffy_max
B[x,y]= B[x,y] - Bgain×diffy_max
ここで各式の右辺の第二項が補正値（強調値）であり、Ｒｇａｉｎ、Ｇｇａｉｎ、及びＢｇａｉｎは、それぞれＲ、Ｇ、及びＢの輪郭強調の度合いを定める利得係数である。この利得係数は０以上の値であれよく、例えばそれぞれ０．８等の値に設定してよい。
【００４７】
上記第２の実施例の変形例においては、第２の実施例の場合と同様に、ライン遅延のためのメモリをＹ成分だけに対して設ければよく、回路規模を比較的小さくすることができると共に、正確な輝度情報を用いた輪郭強調処理が可能となる。また第２の実施例の場合と比較して、比較的大きな補正値（強調値）を確保することが可能であり、充分な輪郭強調効果を発揮することが出来る。
【００４８】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【００４９】
なお本発明は以下の内容を含むものである。
（付記１）イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との差分値を求める差分計算ユニットと、
画素値について所定の範囲を設定する不感帯生成ユニットと、
該差分値が該所定の範囲の外であるか否かを判断する比較処理ユニット
を含み、該差分値が該所定の範囲の外であることを該比較処理ユニットが検出すると該検出に応じて該着目画素に輪郭強調処理を施すことを特徴とする半導体集積回路。
（付記２）該着目画素の画素値と周辺の画素の画素値との差分に基づいて強調値を求める強調値生成ユニットを更に含み、該差分値が該所定の範囲の外であることを該比較処理ユニットが検出すると該強調値生成ユニットは該検出に応じて該着目画素の画素値に該強調値を加算することを特徴とする付記１記載の半導体集積回路。
（付記３）該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求めることを特徴とする付記１記載の半導体集積回路。
（付記４）該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求め、該強調値生成ユニットは該Ｇ成分のみを用いて該強調値を求めることを特徴とする付記２記載の半導体集積回路。
（付記５）該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求めることを特徴とする付記１記載の半導体集積回路。
（付記６）該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求め、該強調値生成ユニットは該輝度成分のみを用いて該強調値を求めることを特徴とする付記２記載の半導体集積回路。
（付記７）該差分計算ユニットは該着目画素と周辺４画素の平均値との差を該差分値として求めることを特徴とする付記１記載の半導体集積回路。
（付記８）該差分計算ユニットは該着目画素と隣接画素との差を周辺４画素の各々について該差分値として求め、該比較処理ユニットは該差分値が該所定の範囲の外であるか否かを該周辺４画素のそれぞれについて判断することを特徴とする付記１記載の半導体集積回路。
（付記９）該強調値生成ユニットは、該周辺４画素の各々についての該差分値のうちで絶対値が最大のものを最大差分値として選択し、該最大差分値の大きさに応じて該輪郭強調処理を実行することを特徴とする付記１記載の半導体集積回路。
（付記１０）該周辺４画素の各々についての該差分値のうちで最大のものと最小のものとの絶対値が等しい場合には該輪郭強調処理を実行しないことを特徴とする付記９記載の半導体集積回路。
（付記１１）イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との差分値を求め、
画素値について所定の範囲を設定し、
該差分値が該所定の範囲の外であるか否かを判断し、
該差分値が該所定の範囲の外であることを検出すると該検出に応じて該着目画素に輪郭強調処理を施す
各段階を含むことを特徴とする輪郭強調方法。
【発明の効果】
本発明による半導体集積回路においては、画像データの全体に対して均一な輪郭強調処理を施すのではなく、輪郭強調処理が必要な画像部分を特定して必要な部分にのみ輪郭強調処理を実行する。従って、不必要にノイズを強調することのない効率的な輪郭強調処理を実現することが出来る。
【００５０】
また複数の色成分のうちＧ成分或いは輝度成分に着目することで、ライン遅延のためのメモリをＧ成分だけ或いは輝度成分だけに対して設ければよく、回路規模を比較的小さくすることができる。
【図面の簡単な説明】
【図１】本発明による輪郭強調処理を含む処理を実行する画像プロセッサの構成を示すブロック図である。
【図２】本発明による輪郭強調ユニットの第１の実施例の構成を示すブロック図である。
【図３】輪郭強調処理の対象となるピクセルを説明するための図である。
【図４】本発明による輪郭強調ユニットの第２の実施例の構成を示すブロック図である。
【符号の説明】
１１ 欠陥補正ユニット
１２ ＲＧＢ変換ユニット
１３ ホワイトバランスユニット
１４ 輪郭強調ユニット
１５ ガンマ補正ユニット
１６ フォーマット変換ユニット
２１ 差分計算ユニット
２２ 不感帯生成ユニット
２３ 比較処理ユニット
２４ 強調値生成ユニット
Claims (6)
- イメージセンサからの画像信号に含まれる着目画素の画素値と隣接画素の画素値との差分値を周辺４画素の各々について求める差分計算ユニットと、
画素値について所定の範囲を設定する不感帯生成ユニットと、
該差分値が該所定の範囲の外であるか否かを該周辺４画素のそれぞれについて判断する比較処理ユニット
を含み、該差分値が該所定の範囲の外であることを該周辺４画素の何れかについて該比較処理ユニットが検出すると、該周辺４画素の各々についての該差分値のうちで絶対値が最大のものを最大差分値とし、該最大差分値の大きさに応じて輪郭強調処理を該着目画素に施し、該周辺４画素の各々についての該差分値のうちで最大のものと最小のものとの絶対値が等しい場合には該輪郭強調処理を実行しないことを特徴とする半導体集積回路。 - 該着目画素の画素値と周辺の画素の画素値との差分に基づいて強調値を求める強調値生成ユニットを更に含み、該差分値が該所定の範囲の外であることを該周辺４画素の何れかについて該比較処理ユニットが検出すると該強調値生成ユニットは該検出に応じて該着目画素の画素値に該強調値を加算することを特徴とする請求項１記載の半導体集積回路。
- 該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求めることを特徴とする請求項１記載の半導体集積回路。
- 該差分計算ユニットは該画像信号の複数の色成分のうちでＧ成分のみを用いて該差分値を求め、該強調値生成ユニットは該Ｇ成分のみを用いて該強調値を求めることを特徴とする請求項２記載の半導体集積回路。
- 該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求めることを特徴とする請求項１記載の半導体集積回路。
- 該画像信号の複数の色成分から輝度成分を求める輝度信号生成ユニットを更に含み、該差分計算ユニットは該輝度成分のみを用いて該差分値を求め、該強調値生成ユニットは該輝度成分のみを用いて該強調値を求めることを特徴とする請求項２記載の半導体集積回路。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002316078A JP4044826B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路 |
| US10/626,726 US7352397B2 (en) | 2002-07-25 | 2003-07-25 | Circuit and method for contour enhancement |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002216848 | 2002-07-25 | ||
| JP2002316078A JP4044826B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112737A JP2004112737A (ja) | 2004-04-08 |
| JP4044826B2 true JP4044826B2 (ja) | 2008-02-06 |
Family
ID=32300534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002316078A Expired - Fee Related JP4044826B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7352397B2 (ja) |
| JP (1) | JP4044826B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4759293B2 (ja) * | 2005-03-15 | 2011-08-31 | キヤノン株式会社 | 撮像素子 |
| US7580070B2 (en) * | 2005-03-31 | 2009-08-25 | Freescale Semiconductor, Inc. | System and method for roll-off correction in image processing |
| JP4339289B2 (ja) * | 2005-07-28 | 2009-10-07 | Ｎｅｃシステムテクノロジー株式会社 | 変化判定装置、変化判定方法および変化判定プログラム |
| JP2007117154A (ja) * | 2005-10-25 | 2007-05-17 | Pentax Corp | 電子内視鏡システム |
| US7924292B2 (en) * | 2007-08-31 | 2011-04-12 | Broadcom Corportion | Device and method for reducing visual artifacts in color images |
| JP2009159069A (ja) * | 2007-12-25 | 2009-07-16 | Panasonic Corp | 固体撮像装置およびカメラ |
| JP5112528B2 (ja) * | 2011-03-01 | 2013-01-09 | 株式会社東芝 | 映像表示装置及び映像処理方法 |
| CN111739048B (zh) * | 2020-07-27 | 2020-11-24 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种结冰风洞试验冰形几何轮廓线数字化方法 |
| CN117611977B (zh) * | 2024-01-23 | 2024-04-30 | 深圳智锐通科技有限公司 | 一种视觉识别***中的信号处理电路 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62172867A (ja) * | 1986-01-25 | 1987-07-29 | Minolta Camera Co Ltd | 画像処理装置 |
| JP2889686B2 (ja) * | 1990-10-31 | 1999-05-10 | 三洋電機株式会社 | ディジタルカメラ用集積回路 |
| JP2592728B2 (ja) | 1991-07-11 | 1997-03-19 | 大日本スクリーン製造株式会社 | 輪郭強調方法及び輪郭強調装置 |
| JPH10240929A (ja) | 1997-02-28 | 1998-09-11 | Casio Comput Co Ltd | 画像処理装置 |
| JPH10257352A (ja) | 1997-03-15 | 1998-09-25 | Sunao Shibata | 半導体演算回路 |
| JP3240371B2 (ja) | 1997-06-23 | 2001-12-17 | 松下電器産業株式会社 | 映像信号処理装置 |
| JPH1117984A (ja) * | 1997-06-26 | 1999-01-22 | Sony Corp | 画像処理装置 |
| DE69838779D1 (de) * | 1997-08-26 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Korrekturvorrichtung für senkrechte konturen |
| US6088065A (en) * | 1997-09-03 | 2000-07-11 | Victor Company Of Japan, Ltd. | Contour correction apparatus and method |
| US6173083B1 (en) * | 1998-04-14 | 2001-01-09 | General Electric Company | Method and apparatus for analyzing image structures |
| JP2000350055A (ja) | 1999-06-08 | 2000-12-15 | Nec Corp | ディジタルビデオカメラの輪郭補正装置 |
| JP3743235B2 (ja) * | 1999-10-30 | 2006-02-08 | 株式会社富士通ゼネラル | 輪郭強調方法及び回路 |
| JP3545979B2 (ja) * | 1999-11-30 | 2004-07-21 | シャープ株式会社 | 輪郭補正装置 |
| JP2001292325A (ja) | 2000-04-06 | 2001-10-19 | Casio Comput Co Ltd | エッジ強調装置、エッジ強調方法および記録媒体 |
| JP2002112108A (ja) | 2000-10-03 | 2002-04-12 | Ricoh Co Ltd | 画像処理装置 |
| JP2002344746A (ja) * | 2001-05-22 | 2002-11-29 | Sanyo Electric Co Ltd | 輪郭補正回路および輪郭補正方法 |
-
2002
- 2002-10-30 JP JP2002316078A patent/JP4044826B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-25 US US10/626,726 patent/US7352397B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20040119859A1 (en) | 2004-06-24 |
| JP2004112737A (ja) | 2004-04-08 |
| US7352397B2 (en) | 2008-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7760252B2 (en) | Shading compensation device, shading compensation value calculation device and imaging device | |
| JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
| US7570288B2 (en) | Image processor | |
| JP2005353069A (ja) | 彩度適応的な映像向上装置およびその方法 | |
| US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
| JP2010219797A (ja) | エッジ強調画像処理装置 | |
| EP3460748B1 (en) | Dynamic range compression device and image processing device cross-reference to related application | |
| JP4044826B2 (ja) | 半導体集積回路 | |
| KR20140013891A (ko) | 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치 | |
| JP3709981B2 (ja) | 階調補正装置及び方法 | |
| JP2008258909A (ja) | 信号処理回路 | |
| JP4356376B2 (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
| JP2008124653A (ja) | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 | |
| JP2005142832A (ja) | 輪郭補正回路及び撮像装置 | |
| JPH1079885A (ja) | 画像処理方法および画像処理装置 | |
| JP2006041687A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ | |
| US20060092174A1 (en) | Color noise suppressing system | |
| JP2009296210A (ja) | 画像処理装置及び画像処理方法 | |
| JP2005260675A (ja) | 画像処理装置およびプログラム | |
| JP2000201277A (ja) | 画像補正方法 | |
| JP4498086B2 (ja) | 画像処理装置および画像処理方法 | |
| JP7439667B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
| US7773824B2 (en) | Signal processing device and method, recording medium, and program | |
| JPH09147098A (ja) | カラー画像処理方法及び装置 | |
| CN113038109B (zh) | 图像过曝修正方法与电路*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4044826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |