JP3920777B2 - 画像処理回路 - Google Patents
画像処理回路 Download PDFInfo
- Publication number
- JP3920777B2 JP3920777B2 JP2002562079A JP2002562079A JP3920777B2 JP 3920777 B2 JP3920777 B2 JP 3920777B2 JP 2002562079 A JP2002562079 A JP 2002562079A JP 2002562079 A JP2002562079 A JP 2002562079A JP 3920777 B2 JP3920777 B2 JP 3920777B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- pixel
- input
- average
- average luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
＜技術分野＞
この発明は、カラーカメラ、モニタ等の映像関連機器のコントラスト強調、平滑化を行うための画像処理回路に関する。
＜背景技術＞
例えば、単板式ＣＣＤカラーカメラでは、１画面全体でコントラストの強調処理を行なっていた。つまり、従来のコントラスト強調の入出力特性（Ｙｉｎ −Ｙｏｕｔ）は、図１０に示すように、画面全体に対して１対１の入出力特性の傾きを大きくすることによってコントラストを強調している。
しかしながら、図１０に示すように、中間輝度部のコントラストを強調しようとすると、低輝度部と高輝度部での階調が減少してしまう。
この発明は、注目画素の周辺輝度に応じて好適なコントラスト強調を行なうことができる画像処理回路を提供することを目的とする。
この発明は、注目画素の周辺輝度に応じて好適な平滑化処理を行なうことができる画像処理回路を提供することを目的とする。
＜発明の開示＞
この発明による第１の画像処理回路は、注目画素の周辺部の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
この発明による第２の画像処理回路は、注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が小さい第１直線部、上部右側に位置し勾配が小さい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が大きい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が左右方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が大きい第１直線部、上部右側に位置し勾配が大きい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が小さい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が上下方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
上記第１の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものが用いられる。
上記第２の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものが用いられる。
この発明の第３の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第４の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第５の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
この発明の第６の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
フィルタの種類としては、たとえば、注目画素を中心とした一定の広い領域で積算を行う広域フィルタと、注目画素を中心とした一定の狭い領域で積算を行う狭域フィルタとがある。
注目画素およびその周辺部の画素に対応する入力映像の輝度に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部において輪郭を検出する手段と、注目画素およびその周辺部の領域内の高周波成分を検出する手段と、これらの両検出手段の検出結果に基づいて加重加算係数を制御する手段とを備えているものが用いられる。
また、注目画素およびその周辺部の画素に対応する入力映像の色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部の画素のうち、それに対応する入力映像の色が肌色である画素の総数に基づいて、加重加算係数を制御するものが用いられる。
さらに、注目画素およびその周辺部の画素に対応する入力映像の輝度および色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。
＜発明を実施するための最良の形態＞
〔Ａ〕第１の実施の形態についての説明
以下、図１〜図９を参照して、この発明の第１の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
第１のラインメモリ１は、入力映像信号（ＣＣＤ出力信号ＣＣＤｏｕｔ）を、１Ｈ（１水平期間）遅延させた映像信号を生成する。第２のラインメモリ２は、１Ｈ遅延した映像信号をさらに１Ｈ遅延させた映像信号を生成する。
入力映像信号、１Ｈ遅延された映像信号および２Ｈ遅延された映像信号は、ＹＣ分離回路３に送られるとともに、ＬＰＦ７に送られる。ＹＣ分離回路３からは、輝度信号Ｙと色信号Ｃとが出力される。
輝度信号Ｙは、Ｙプロセス回路４に送られ、所定の輝度信号処理が行なわれた後、コントラスト強調回路５に信号Ｙｉｎとして送られる。輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路６に送られ、所定の色信号処理が行なわれた後、色信号Ｃｏｕｔとして出力される。
ＬＰＦ７は、注目画素の周辺の平均輝度Ｙｌｐｆを算出する。例えば、ＬＰＦは、図２に示すように、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックにおいて、注目画素Ｐｉｊの周辺の画素ＰＩＪ（Ｉ＝（ｉ−２）〜（ｉ＋２）、Ｊ＝（ｊ−１）〜（ｊ＋１））の平均輝度Ｙｌｐｆを算出する。ＬＰＦは、図２に示すブロック内の全画素の平均輝度Ｙｌｐｆを算出するようにしてもよい。
ＬＰＦ７によって算出された注目画素の周辺の平均輝度Ｙｌｐｆは、コントラスト強調回路５にコントラスト制御用データとして送られる。
〔２〕コントラスト強調回路５の説明
〔２−１〕コントラスト強調回路５によるコントラスト強調の原理についての説明
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性を表している。
入出力特性は、略Ｓ字の折れ線であり、四角形Ｑの辺Ａに沿った第１部分と、四角形Ｑの辺Ｃに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ｂおよび辺Ｄの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。図４に示すように、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図５（ａ）に示すように、入出力特性を表す折れ線の第２部分が低輝度側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が大きくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図５（ｂ）に示すように入出力特性を表す折れ線の第２部分が高輝度側に位置するように、入出力特性を設定することにより、高輝度部での階調変化率が大きくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図５（ｃ）に示すように、入出力特性を表す折れ線の第２部分が輝度中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が大きくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、コントラストを強調させる。
〔２−２〕コントラスト強調回路５の構成例の説明
図６は、コントラスト強調回路５の構成の一例を示している。
第１乗算器１１は、図３の四角形Ｑの直線Ａの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ａ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器１２と第１加算器２１とからなる回路は、図３の四角形Ｑの直線Ｃの傾きａ２を入力輝度Ｙｉｎに掛けた値に直線Ｃの切片ｂ１を加算することによって、四角形Ｑの直線Ｃ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。切片ｂ１は直線Ｃと図３のグラフの縦軸との交点である。
第３乗算器１３と減算器２２とからなる回路は、直線Ａと直線Ｃとを連結する折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に、ｂ３を減算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ−ｂ３）を演算する。ただし、傾きａ３は、第４乗算器１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ｂと直線Ｄとに基づいて作成されたａ４が乗算された値である。
また、ｂ３は、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｄと図３のグラフの横軸との交点のＹｉｎ座標値ａ５とが第５乗算器１５によって乗算されることによって得られたｂ２に、折れ線の第２部分の傾きａ３を第６乗算器１６によって乗算した値である。ここで、ｂ２は、折れ線の第２部分の延長線と図３のグラフの横軸との交点のＹｉｎ座標値である。つまり、ｂ３＝ａ３・ｂ２となり、Ｙ３＝ａ３（Ｙｉｎ−ｂ２）となる。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器３１に送られるとともにセレクタ３２に送られる。比較器３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ３２が選択するように、制御信号Ｓをセレクタ３２に出力する。したがって、セレクタ３２は、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図７（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図７（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
輝度信号の入出力特性としては、図８に示すようなものを用いてもよい。つまり、この例では、折れ線ａから折れ線ｂとの間で、入出力特性が注目画素の周辺の平均輝度Ｙｌｐｆに応じて、変化せしめられる。
より具体的には、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、折れ線ａで示すように、折れ線の屈曲点を上側に移動させて低輝度部での階調変化率を大きくさせる。逆に、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、折れ線ｂで示すように、折れ線の屈曲点を下側に移動させて、高輝度部での階調変化率を大きくさせる。
上記実施の形態では、注目画素の周辺部の平均輝度に基づいてコントラスト強調回路５で用いられる輝度信号の入出力特性を制御しているが、注目画素を中心とする所定領域内の平均輝度に基づいて輝度信号の入出力特性を制御してもよい。
上記実施の形態では、ＬＰＦ７としては、図２に示すように、注目画素の周辺の画素の平均輝度を算出するものが用いられているが、注目画素を中心とする所定領域において注目画素に対して斜め方向に存在する画素群の平均輝度を算出するようにしてもよい。
例えば、図９に示すように、ＬＰＦ７としては、注目画素Ｐｉｊを中心とする３×３の大きさの領域において、注目画素Ｐｉｊに対して斜め方向に存在する４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１の平均輝度を算出するものを用いてもよい。また、これらの４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１と注目画素Ｐｉｊとの合計５つの画素の平均輝度を算出するものを用いてもよい。
このようなＸ型のＬＰＦ７を用いた場合には、斜め方向の輪郭部に対してもスムーズなコントラスト強調を行える。なお、このようなＸ型のＬＰＦ７を用いた場合には、水平方向および垂直方向の輪郭部に対してもスムーズなコントラスト強調を行える。
また、上記実施の形態では、この発明を単板式カラーカメラに適用した場合について説明したが、この発明はテレビジョン受像機、ＶＴＲ、液晶プロジェクタ等の映像関連機器にも適用することができる。
〔Ｂ〕第２の実施の形態についての説明
以下、図１１〜図２０を参照して、この発明の第２の実施の形態について説明する。
〔１〕第２の実施の形態の概要についての説明
上記第１の実施の形態では、１種類のＬＰＦを用いて注目画素の周辺部の平均輝度を算出し、算出された平均輝度に基づいてコントラスト強調回路の入出力特性を制御することにより、コントラストを強調している。
第２の実施の形態では、複数種類のＬＰＦが用いられる。例えば、図１１（ａ）に示すような９×９の広域フィルタと図１１（ｂ）に示すような狭域フィルタとが用いられる。
広域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、広域的に輝度差を大きくすることができる。
図１２（ａ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する領域においても、広域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輝度がＹｉｎ１の画素の周辺部の平均輝度Ｙｌｐｆと、輝度がＹｉｎ２の画素の周辺部の平均輝度Ｙｌｐｆとは、ほぼ同じ値となると仮定することができる。
したがって、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２に対するコントラスト強調回路の入出力特性は図１２（ａ）に示すようになり、入力輝度Ｙｉｎ１に対する出力輝度Ｙｏｕｔ１と入力輝度Ｙｉｎ２に対する出力輝度Ｙｏｕｔ２との差は、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２の差より大きくなり、コントラストが向上する。
一方、狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、局所的に輝度差を大きくすることができる。
図１２（ｂ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する輪郭部について考察する。狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輪郭部より前側の低輝度平坦部の周辺部の輝度平均値をｋ１とすると、輪郭部の前エッジ部の周辺部の輝度平均値がｋ２（ｋ２＞ｋ１）となる。このため、低輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ１とすると、輪郭部の前エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ２となり、低輝度平坦部の出力輝度Ｙｏｕｔ１に対して輪郭部の前エッジ部の出力輝度Ｙｏｕｔ１’は小さくなる。
一方、輪郭部より後側の高輝度平坦部の周辺部の輝度平均値をｋ４とすると、輪郭部の後エッジ部の周辺部の輝度平均値がｋ３（ｋ３＜ｋ４）となる。このため、高輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ４とすると、輪郭部の後エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ３となり、高輝度平坦部の出力輝度Ｙｏｕｔ２に対して輪郭部の後エッジ部の出力輝度Ｙｏｕｔ２’は大きくなる。この結果、輪郭部の輝度差が大きくなり、輪郭部が強調される。
広域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、・道路、壁などの質感が高まる、・中間色の間にある黒が引き締まる、・低輝度部が持ち上げられる等の長所があるが、輝度変化の大きい輪郭部では輝度ムラが発生するという短所がある。
一方、狭域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、輪郭強調ができるといった長所があるが、コントラストはほとんど変化しないという短所がある。
そこで、第２の実施の形態では、広域フィルタおよび狭域フィルタをそれぞれ用いて注目画素の周辺部の輝度平均値を求め、それぞれの輝度平均値を用いて第１の実施の形態と同様にコントラスト強調処理を行い、それらの結果を加重加算するようにしている。
加重加算のための係数は、次のような２種類の加重加算制御を考慮して、算出される。
（１）輝度に基づく加重加算制御
高周波成分が少ない比較的広い領域内に輝度差が大きい輪郭部（たとえば、黒から白へと変化する輪郭部、白から黒へと変化する輪郭部）が存在する場合において、その輪郭部に対して広域フィルタを用いたコントラスト強調処理を行うと、輝度ムラが発生するので、このような輪郭部では狭域フィルタを用いたコントラスト強調処理結果の加重を大きくし、それ以外の領域では広域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
（２）色に基づく加重加算制御
色に基づいて加重加算のための係数を制御する。たとえば、人の顔の色を有する肌色部分はコントラストを強調しすぎると、不自然な印象を与える場合がある。そこで、肌色部については、コントラストを強調しすぎないようにするために、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
〔２〕第２の実施の形態の回路の説明
図１３は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
フィールドメモリ１０１は、複数のラインメモリを有しており、入力映像信号（ＣＣＤ出力信号ＣＣＤｉｎ）を、１フィールド分記憶する。
フィールドメモリ１０１に記憶された映像信号のうち、９ライン分の信号Ｗｉｎは、広域フィルタＷ＿ＬＰＦ１０２に送られ、注目画素周辺部の平均輝度（広域平均輝度）Ｗ＿Ｙｌｐｆが算出される。広域平均輝度Ｗ＿Ｙｌｐｆは、第１のコントラスト強調回路１０３にコントラスト制御用信号として送られる。
一方、上記９ラインのうちの中央の３ライン分の信号Ｎｉｎは、狭域フィルタＮ＿ＬＰＦ１０４に送られ、注目画素周辺部の平均輝度（狭域平均輝度）Ｎ＿Ｙｌｐｆが算出される。狭域平均輝度Ｎ＿Ｙｌｐｆは、第２のコントラスト強調回路１０５にコントラスト制御用信号として送られる。
９ライン分の信号Ｗｉｎは、第２の加重加算制御回路１１０にも送られる。３ライン分の信号Ｎｉｎは、ＹＣ分離回路１０６にも送られる。
ＹＣ分離回路１０６からは、輝度信号Ｙと色信号Ｃとが出力される。ＹＣ分離回路１０６から出力された輝度信号Ｙは、第１のＹプロセス回路（Ｙプロセス１）１０９に送られ、所定の輝度信号処理が行なわれた後、各コントラスト強調回路１０３、１０５に信号Ｙｉｎとして送られる。
第１のコントラスト強調回路１０３は、広域平均輝度Ｗ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｗ＿Ｙｃｏｎｔを出力する。第２のコントラスト強調回路１０５は、狭域平均輝度Ｎ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｎ＿Ｙｃｏｎｔを出力する。Ｗ＿ＹｃｏｎｔおよびＮ＿Ｙｃｏｎｔは、加重加算回路１１５に送られる。
ＹＣ分離回路１０６から出力された輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路１０７に送られる。Ｃプロセス回路１０７は、輝度信号Ｙおよび色信号Ｃから色差信号Ｒ−Ｙ，Ｂ−Ｙを生成して出力する。色差信号Ｒ−Ｙ，Ｂ−Ｙは、カラーエンコード１０８を介して色信号Ｃｏｕｔとして出力される。また、色差信号Ｒ−Ｙ，Ｂ−Ｙは、３ライン分の信号を保持できるラインメモリ１１３にも送られる。
ラインメモリ１１３に記憶された３ライン分の色差信号Ｒ−Ｙ，Ｂ−Ｙは、第１の加重加算制御回路１２０に送られる。第１の加重加算制御回路１２０は、肌色検出回路１２１と第１の係数算出回路１２２とを備えている。
肌色検出回路１２１は、注目画素を中心とする３×３画素の領域において、色が肌色である画素の総数（肌色係数）Ｆｌを求める。画素の色が肌色であるか否かは、その画素の色差信号Ｒ−Ｙ，Ｂ−Ｙに基づいて図１４の色差座標上でのその画素の色位置を求め、求めた色位置が色差座標上での肌色領域Ｕ内にあるか否かを判別することによって行われる。
肌色検出回路１２１によって求められた肌色係数Ｆｌは、第１の係数算出回路１２２に送られる。第１の係数算出回路１２２は、予め定められた、肌色係数と加重加算係数との関係を示すデータに基づいて、肌色検出回路１２１によって求められた肌色係数Ｆｌに対応する第１の加重加算係数Ｋ１（注目画素に対する第１の加重加算係数Ｋ１）を算出する。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示している。図１５の例では、肌色係数Ｆｌが閾値ＴＨ１未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は０となる。肌色係数Ｆｌが閾値ＴＨ１以上で閾値ＴＨ２以下である場合には、第１の加重加算係数Ｋ１は、肌色係数Ｆｌが大きくなるほど大きくなる。肌色係数Ｆｌが閾値ＴＨ２を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は１となる。
第１の係数算出回路１２２によって算出された加重加算係数Ｋ１は、加重加算係数算出回路１１４に送られる。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示している。
図１３および図１６に示すように、第２の加重加算制御回路１１０は、輪郭検出回路１１１と第２の係数算出回路１１２とを備えている。
輪郭検出回路１１１は、９ライン分の信号Ｗｉｎが入力する輪郭検出回路１３１と、９ライン分の信号Ｗｉｎが入力する高周波成分算出回路１３２とを備えている。
高周波成分算出回路１３２は、図１７に示すように、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑを算出する。高周波成分ＨＦｑは、ＤＣＴ（離散コサイン変換）によるＤＣＴ係数を用いて算出される。
輪郭検出回路１３１は、図１７の注目画素を中心とする９×９画素の領域内の各画素毎に、水平・垂直輪郭信号Ｅｇを算出する。ある画素に対する水平・垂直輪郭信号Ｅｇは、次のようにして算出される。つまり、まず、その画素の左右両隣の画素値の差分値を求めるとともに、その画素の上下両隣の画素値の差分値を求めた後、これらの差分値を加算することにより求められる。
第２の係数算出回路１１２は、輪郭係数算出回路１４１、非高周波係数算出回路１４２、乗算器１４３および最大値算出回路１４４を備えている。
輪郭係数算出回路１４１は、予め定められた、水平・垂直輪郭信号と輪郭係数との関係を示すデータに基づいて、輪郭検出回路１３１によって求められた水平・垂直輪郭信号Ｅｇに対する輪郭係数ｅｇ１を算出する。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示している。図１８の例では、水平・垂直輪郭信号Ｅｇが閾値ＴＨ３未満である場合には、輪郭係数ｅｇ１は０となる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ３以上で閾値ＴＨ４以下である場合には、輪郭係数ｅｇ１は、水平・垂直輪郭信号Ｅｇが大きくなるほど大きくなる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ４を越えると、輪郭係数ｅｇ１は１となる。
非高周波係数算出回路１４２は、予め定められた、高周波成分と非高周波係数との関係を示すデータに基づいて、高周波成分算出回路１３２によって求められた高周波成分ＨＦｑに対する非高周波係数ｈｆ１を算出する。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示している。図１９の例では、高周波成分ＨＦｑが閾値ＴＨ５未満である場合には、非高周波係数ｈｆ１は１となる。高周波成分ＨＦｑが閾値ＴＨ５以上で閾値ＴＨ６以下である場合には、非高周波係数ｈｆ１は、高周波成分ＨＦｑが大きくなるほど小さくなる。高周波成分ＨＦｑが閾値ＴＨ６を越えると、非高周波係数ｈｆ１は０となる。つまり、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑが少なくなるほど、非高周波係数ｈｆ１が大きな値となる。
乗算器１４３は、注目画素を中心とする９×９画素の領域内の画素毎に算出された各画素輪郭係数ｅｇ１を、その９×９画素の領域に対して求められた非高周波係数ｈｆ１に乗算する。乗算結果ｍは、最大値算出回路１４４に送られる。
最大値算出回路１４４は、注目画素を中心とする９×９画素の領域内の画素毎に算出されたｍのうちの最大値Ｍを求める。そして、予め定められた、最大値と第２の加重加算係数との関係を示すデータに基づいて、算出した最大値Ｍに対応する第２の加重加算係数Ｋ２（注目画素に対する第２の加重加算係数Ｋ２）を求める。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示している。図２０の例では、最大値Ｍが閾値ＴＨ７未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は０となる。最大値Ｍが閾値ＴＨ７以上で閾値ＴＨ８以下である場合には、第２の加重加算係数Ｋ２は、最大値Ｍが大きくなるほど大きくなる。最大値Ｍが閾値ＴＨ８を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は１となる。
第２の加重加算係数Ｋ２は、加重加算係数算出回路１１４（図１３参照）に送られる。加重加算係数算出回路１１４は、第１の加重加算制御回路１２０から送られてきた注目画素に対する第１の加重加算係数Ｋ１と、第２の加重加算制御回路１１０から送られてきた注目画素に対する第２の加重加算係数Ｋ２のうち、大きい方の係数を最終的な加重加算係数Ｋとして選択して、加重加算回路１１５に送る。
加重加算回路１１５は、次式（１）に基づいて、Ｗ＿ＹｃｏｎｔとＮ＿Ｙｃｏｎｔとを加重することによって、信号Ｙｃｏｎｔを得る。
Ｙｃｏｎｔ＝Ｋ・Ｎ＿Ｙｃｏｎｔ＋（１−Ｋ）・Ｗ＿Ｙｃｏｎｔ …（１）
得られた信号Ｙｃｏｎｔは、第２のＹプロセス回路（Ｙプロセス２）１１６を介して、Ｙｏｕｔとして出力される。
なお、上記実施の形態では、２つのコントラスト強調回路１０３、１０５の出力Ｗ＿Ｙｃｏｎｔ、Ｎ＿Ｙｃｏｎｔを加重加算回路１１５によって加重加算することによってＹｃｏｎｔが算出されているが、広域フィルタＷ＿ＬＰＦ１０２によって算出された広域平均輝度Ｗ＿Ｙｌｐｆと、狭域フィルタＮ＿ＬＰＦ１０４によって算出された狭域平均輝度Ｎ＿Ｙｌｐｆとを加重加算することによってコントラスト制御用信号を生成し、このコントラスト制御信号を用いてコントラスト強調処理を行う１つのコントラスト強調回路によってＹｃｏｎｔを算出するようにしてもよい。
〔Ｃ〕第３の実施の形態についての説明
以下、図２１〜図２５を参照して、この発明の第３の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図２１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。図２１において、図１と同じものには、同じ符号を付してその説明を省略する。
この信号処理回路では、図１のコントラスト強調回路の代わりに、平滑化回路８が設けられている。
〔２〕平滑化回路８の説明
〔２−１〕平滑化回路８による平滑化処理の原理についての説明
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表している。
入出力特性は、四角形Ｑの辺Ｂに沿った第１部分と、四角形Ｑの辺Ｄに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ａおよび辺Ｃの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図２３（ａ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａ側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が小さくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図２３（ｂ）に示すように、入出力特性を表す折れ線の第２部分が辺Ｃ側に位置するように入出力特性を設定することにより、高輝度部での階調変化率が小さくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図２３（ｃ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａと辺Ｃとの中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が小さくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、画面全体での高周波成分を平滑化する。
〔２−２〕平滑化回路８の構成例の説明
図２４は、平滑化回路８の構成の一例を示している。
第１乗算器２１１は、図２２の四角形Ｑの直線Ｂの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ｂ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器２１２と第１加算器２２１とからなる回路は、図２２の四角形Ｑの直線Ｄの傾きａ２を入力輝度Ｙｉｎに掛けた値にｂ１を加算することによって、四角形Ｑの直線Ｄ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。ｂ１は、直線Ｄと図２２のグラフの横軸との交点のＹｉｎ座標値ｂ３に直線Ｄの傾きａ２を乗算した値をｂ１’とすると、ｂ１＝−ｂ１’で表される。したがって、Ｙ２＝ａ２（Ｙｉｎ−ｂ３）となる。
第３乗算器２１３と第２加算器２２２とからなる回路は、折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に第２部分の切片ｂ２を加算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ＋ｂ２）を演算する。ただし、傾きａ３は、第４乗算器２１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ａと直線Ｃとに基づいて作成されたａ４が乗算された値である。また、切片ｂ２は、第５乗算器２１５によって、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｃと図２２のグラフの縦軸との交点のＹｏｕｔ座標値ａ５とが乗算された値である。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器２３１に送られるとともにセレクタ２３２に送られる。比較器２３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ２３２が選択するように、制御信号Ｓをセレクタ２３２に出力する。したがって、セレクタ２３２からは、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図２５（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図２５（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
【図面の簡単な説明】
図１は、第１の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２は、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックを示す模式図である。
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性の一例を示すグラフである。
図４は、図３の四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きを変更した例を示す模式図である。
図５は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、コントラスト強調回路５の入出力特性が変化することを示す模式図である。
図６は、コントラスト強調回路５の構成例を示す回路図である。
図７は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
図８は、コントラスト強調回路５で用いられる輝度信号の入出力特性の他の例を示すグラフである。
図９は、注目画素Ｐｉｊを中心とする水平方向３画素、垂直方向３画素のブロックを示す模式図である。
図１０は、従来のコントラスト強調の入出力特性を示すグラフである。
図１１は、広域フィルタと狭域フィルタとを示す模式図である。
が用いられる。
図１２は、広域フィルタを用いてコントラスト強調処理を行った場合に広域的に輝度差を大きくすることができることおよび狭域フィルタを用いてコントラスト強調処理を行った場合に局所的に輝度差を大きくすることができることを説明するための説明図である。
図１３は、第２の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図１４の色差座標上での肌色領域Ｕを示す模式図である。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示すグラフである。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示すブロック図である。
図１７は、高周波成分算出回路１３２および輪郭検出回路１３１の動作を説明するための模式図である。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示すグラフである。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示すグラフである。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示してすグラフである。
図２１は、第３の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表すグラフである。
図２３は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、平滑化回路８の入出力特性が変化することを示す模式図である。
図２４は、平滑化回路８の構成の一例を示す回路図である。
図２５は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
この発明は、カラーカメラ、モニタ等の映像関連機器のコントラスト強調、平滑化を行うための画像処理回路に関する。
＜背景技術＞
例えば、単板式ＣＣＤカラーカメラでは、１画面全体でコントラストの強調処理を行なっていた。つまり、従来のコントラスト強調の入出力特性（Ｙｉｎ −Ｙｏｕｔ）は、図１０に示すように、画面全体に対して１対１の入出力特性の傾きを大きくすることによってコントラストを強調している。
しかしながら、図１０に示すように、中間輝度部のコントラストを強調しようとすると、低輝度部と高輝度部での階調が減少してしまう。
この発明は、注目画素の周辺輝度に応じて好適なコントラスト強調を行なうことができる画像処理回路を提供することを目的とする。
この発明は、注目画素の周辺輝度に応じて好適な平滑化処理を行なうことができる画像処理回路を提供することを目的とする。
＜発明の開示＞
この発明による第１の画像処理回路は、注目画素の周辺部の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
この発明による第２の画像処理回路は、注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が小さい第１直線部、上部右側に位置し勾配が小さい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が大きい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が左右方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が大きい第１直線部、上部右側に位置し勾配が大きい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が小さい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が上下方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
上記第１の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものが用いられる。
上記第２の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものが用いられる。
この発明の第３の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第４の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第５の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
この発明の第６の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
フィルタの種類としては、たとえば、注目画素を中心とした一定の広い領域で積算を行う広域フィルタと、注目画素を中心とした一定の狭い領域で積算を行う狭域フィルタとがある。
注目画素およびその周辺部の画素に対応する入力映像の輝度に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部において輪郭を検出する手段と、注目画素およびその周辺部の領域内の高周波成分を検出する手段と、これらの両検出手段の検出結果に基づいて加重加算係数を制御する手段とを備えているものが用いられる。
また、注目画素およびその周辺部の画素に対応する入力映像の色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部の画素のうち、それに対応する入力映像の色が肌色である画素の総数に基づいて、加重加算係数を制御するものが用いられる。
さらに、注目画素およびその周辺部の画素に対応する入力映像の輝度および色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。
＜発明を実施するための最良の形態＞
〔Ａ〕第１の実施の形態についての説明
以下、図１〜図９を参照して、この発明の第１の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
第１のラインメモリ１は、入力映像信号（ＣＣＤ出力信号ＣＣＤｏｕｔ）を、１Ｈ（１水平期間）遅延させた映像信号を生成する。第２のラインメモリ２は、１Ｈ遅延した映像信号をさらに１Ｈ遅延させた映像信号を生成する。
入力映像信号、１Ｈ遅延された映像信号および２Ｈ遅延された映像信号は、ＹＣ分離回路３に送られるとともに、ＬＰＦ７に送られる。ＹＣ分離回路３からは、輝度信号Ｙと色信号Ｃとが出力される。
輝度信号Ｙは、Ｙプロセス回路４に送られ、所定の輝度信号処理が行なわれた後、コントラスト強調回路５に信号Ｙｉｎとして送られる。輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路６に送られ、所定の色信号処理が行なわれた後、色信号Ｃｏｕｔとして出力される。
ＬＰＦ７は、注目画素の周辺の平均輝度Ｙｌｐｆを算出する。例えば、ＬＰＦは、図２に示すように、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックにおいて、注目画素Ｐｉｊの周辺の画素ＰＩＪ（Ｉ＝（ｉ−２）〜（ｉ＋２）、Ｊ＝（ｊ−１）〜（ｊ＋１））の平均輝度Ｙｌｐｆを算出する。ＬＰＦは、図２に示すブロック内の全画素の平均輝度Ｙｌｐｆを算出するようにしてもよい。
ＬＰＦ７によって算出された注目画素の周辺の平均輝度Ｙｌｐｆは、コントラスト強調回路５にコントラスト制御用データとして送られる。
〔２〕コントラスト強調回路５の説明
〔２−１〕コントラスト強調回路５によるコントラスト強調の原理についての説明
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性を表している。
入出力特性は、略Ｓ字の折れ線であり、四角形Ｑの辺Ａに沿った第１部分と、四角形Ｑの辺Ｃに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ｂおよび辺Ｄの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。図４に示すように、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図５（ａ）に示すように、入出力特性を表す折れ線の第２部分が低輝度側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が大きくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図５（ｂ）に示すように入出力特性を表す折れ線の第２部分が高輝度側に位置するように、入出力特性を設定することにより、高輝度部での階調変化率が大きくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図５（ｃ）に示すように、入出力特性を表す折れ線の第２部分が輝度中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が大きくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、コントラストを強調させる。
〔２−２〕コントラスト強調回路５の構成例の説明
図６は、コントラスト強調回路５の構成の一例を示している。
第１乗算器１１は、図３の四角形Ｑの直線Ａの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ａ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器１２と第１加算器２１とからなる回路は、図３の四角形Ｑの直線Ｃの傾きａ２を入力輝度Ｙｉｎに掛けた値に直線Ｃの切片ｂ１を加算することによって、四角形Ｑの直線Ｃ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。切片ｂ１は直線Ｃと図３のグラフの縦軸との交点である。
第３乗算器１３と減算器２２とからなる回路は、直線Ａと直線Ｃとを連結する折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に、ｂ３を減算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ−ｂ３）を演算する。ただし、傾きａ３は、第４乗算器１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ｂと直線Ｄとに基づいて作成されたａ４が乗算された値である。
また、ｂ３は、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｄと図３のグラフの横軸との交点のＹｉｎ座標値ａ５とが第５乗算器１５によって乗算されることによって得られたｂ２に、折れ線の第２部分の傾きａ３を第６乗算器１６によって乗算した値である。ここで、ｂ２は、折れ線の第２部分の延長線と図３のグラフの横軸との交点のＹｉｎ座標値である。つまり、ｂ３＝ａ３・ｂ２となり、Ｙ３＝ａ３（Ｙｉｎ−ｂ２）となる。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器３１に送られるとともにセレクタ３２に送られる。比較器３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ３２が選択するように、制御信号Ｓをセレクタ３２に出力する。したがって、セレクタ３２は、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図７（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図７（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
輝度信号の入出力特性としては、図８に示すようなものを用いてもよい。つまり、この例では、折れ線ａから折れ線ｂとの間で、入出力特性が注目画素の周辺の平均輝度Ｙｌｐｆに応じて、変化せしめられる。
より具体的には、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、折れ線ａで示すように、折れ線の屈曲点を上側に移動させて低輝度部での階調変化率を大きくさせる。逆に、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、折れ線ｂで示すように、折れ線の屈曲点を下側に移動させて、高輝度部での階調変化率を大きくさせる。
上記実施の形態では、注目画素の周辺部の平均輝度に基づいてコントラスト強調回路５で用いられる輝度信号の入出力特性を制御しているが、注目画素を中心とする所定領域内の平均輝度に基づいて輝度信号の入出力特性を制御してもよい。
上記実施の形態では、ＬＰＦ７としては、図２に示すように、注目画素の周辺の画素の平均輝度を算出するものが用いられているが、注目画素を中心とする所定領域において注目画素に対して斜め方向に存在する画素群の平均輝度を算出するようにしてもよい。
例えば、図９に示すように、ＬＰＦ７としては、注目画素Ｐｉｊを中心とする３×３の大きさの領域において、注目画素Ｐｉｊに対して斜め方向に存在する４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１の平均輝度を算出するものを用いてもよい。また、これらの４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１と注目画素Ｐｉｊとの合計５つの画素の平均輝度を算出するものを用いてもよい。
このようなＸ型のＬＰＦ７を用いた場合には、斜め方向の輪郭部に対してもスムーズなコントラスト強調を行える。なお、このようなＸ型のＬＰＦ７を用いた場合には、水平方向および垂直方向の輪郭部に対してもスムーズなコントラスト強調を行える。
また、上記実施の形態では、この発明を単板式カラーカメラに適用した場合について説明したが、この発明はテレビジョン受像機、ＶＴＲ、液晶プロジェクタ等の映像関連機器にも適用することができる。
〔Ｂ〕第２の実施の形態についての説明
以下、図１１〜図２０を参照して、この発明の第２の実施の形態について説明する。
〔１〕第２の実施の形態の概要についての説明
上記第１の実施の形態では、１種類のＬＰＦを用いて注目画素の周辺部の平均輝度を算出し、算出された平均輝度に基づいてコントラスト強調回路の入出力特性を制御することにより、コントラストを強調している。
第２の実施の形態では、複数種類のＬＰＦが用いられる。例えば、図１１（ａ）に示すような９×９の広域フィルタと図１１（ｂ）に示すような狭域フィルタとが用いられる。
広域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、広域的に輝度差を大きくすることができる。
図１２（ａ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する領域においても、広域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輝度がＹｉｎ１の画素の周辺部の平均輝度Ｙｌｐｆと、輝度がＹｉｎ２の画素の周辺部の平均輝度Ｙｌｐｆとは、ほぼ同じ値となると仮定することができる。
したがって、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２に対するコントラスト強調回路の入出力特性は図１２（ａ）に示すようになり、入力輝度Ｙｉｎ１に対する出力輝度Ｙｏｕｔ１と入力輝度Ｙｉｎ２に対する出力輝度Ｙｏｕｔ２との差は、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２の差より大きくなり、コントラストが向上する。
一方、狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、局所的に輝度差を大きくすることができる。
図１２（ｂ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する輪郭部について考察する。狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輪郭部より前側の低輝度平坦部の周辺部の輝度平均値をｋ１とすると、輪郭部の前エッジ部の周辺部の輝度平均値がｋ２（ｋ２＞ｋ１）となる。このため、低輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ１とすると、輪郭部の前エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ２となり、低輝度平坦部の出力輝度Ｙｏｕｔ１に対して輪郭部の前エッジ部の出力輝度Ｙｏｕｔ１’は小さくなる。
一方、輪郭部より後側の高輝度平坦部の周辺部の輝度平均値をｋ４とすると、輪郭部の後エッジ部の周辺部の輝度平均値がｋ３（ｋ３＜ｋ４）となる。このため、高輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ４とすると、輪郭部の後エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ３となり、高輝度平坦部の出力輝度Ｙｏｕｔ２に対して輪郭部の後エッジ部の出力輝度Ｙｏｕｔ２’は大きくなる。この結果、輪郭部の輝度差が大きくなり、輪郭部が強調される。
広域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、・道路、壁などの質感が高まる、・中間色の間にある黒が引き締まる、・低輝度部が持ち上げられる等の長所があるが、輝度変化の大きい輪郭部では輝度ムラが発生するという短所がある。
一方、狭域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、輪郭強調ができるといった長所があるが、コントラストはほとんど変化しないという短所がある。
そこで、第２の実施の形態では、広域フィルタおよび狭域フィルタをそれぞれ用いて注目画素の周辺部の輝度平均値を求め、それぞれの輝度平均値を用いて第１の実施の形態と同様にコントラスト強調処理を行い、それらの結果を加重加算するようにしている。
加重加算のための係数は、次のような２種類の加重加算制御を考慮して、算出される。
（１）輝度に基づく加重加算制御
高周波成分が少ない比較的広い領域内に輝度差が大きい輪郭部（たとえば、黒から白へと変化する輪郭部、白から黒へと変化する輪郭部）が存在する場合において、その輪郭部に対して広域フィルタを用いたコントラスト強調処理を行うと、輝度ムラが発生するので、このような輪郭部では狭域フィルタを用いたコントラスト強調処理結果の加重を大きくし、それ以外の領域では広域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
（２）色に基づく加重加算制御
色に基づいて加重加算のための係数を制御する。たとえば、人の顔の色を有する肌色部分はコントラストを強調しすぎると、不自然な印象を与える場合がある。そこで、肌色部については、コントラストを強調しすぎないようにするために、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
〔２〕第２の実施の形態の回路の説明
図１３は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
フィールドメモリ１０１は、複数のラインメモリを有しており、入力映像信号（ＣＣＤ出力信号ＣＣＤｉｎ）を、１フィールド分記憶する。
フィールドメモリ１０１に記憶された映像信号のうち、９ライン分の信号Ｗｉｎは、広域フィルタＷ＿ＬＰＦ１０２に送られ、注目画素周辺部の平均輝度（広域平均輝度）Ｗ＿Ｙｌｐｆが算出される。広域平均輝度Ｗ＿Ｙｌｐｆは、第１のコントラスト強調回路１０３にコントラスト制御用信号として送られる。
一方、上記９ラインのうちの中央の３ライン分の信号Ｎｉｎは、狭域フィルタＮ＿ＬＰＦ１０４に送られ、注目画素周辺部の平均輝度（狭域平均輝度）Ｎ＿Ｙｌｐｆが算出される。狭域平均輝度Ｎ＿Ｙｌｐｆは、第２のコントラスト強調回路１０５にコントラスト制御用信号として送られる。
９ライン分の信号Ｗｉｎは、第２の加重加算制御回路１１０にも送られる。３ライン分の信号Ｎｉｎは、ＹＣ分離回路１０６にも送られる。
ＹＣ分離回路１０６からは、輝度信号Ｙと色信号Ｃとが出力される。ＹＣ分離回路１０６から出力された輝度信号Ｙは、第１のＹプロセス回路（Ｙプロセス１）１０９に送られ、所定の輝度信号処理が行なわれた後、各コントラスト強調回路１０３、１０５に信号Ｙｉｎとして送られる。
第１のコントラスト強調回路１０３は、広域平均輝度Ｗ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｗ＿Ｙｃｏｎｔを出力する。第２のコントラスト強調回路１０５は、狭域平均輝度Ｎ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｎ＿Ｙｃｏｎｔを出力する。Ｗ＿ＹｃｏｎｔおよびＮ＿Ｙｃｏｎｔは、加重加算回路１１５に送られる。
ＹＣ分離回路１０６から出力された輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路１０７に送られる。Ｃプロセス回路１０７は、輝度信号Ｙおよび色信号Ｃから色差信号Ｒ−Ｙ，Ｂ−Ｙを生成して出力する。色差信号Ｒ−Ｙ，Ｂ−Ｙは、カラーエンコード１０８を介して色信号Ｃｏｕｔとして出力される。また、色差信号Ｒ−Ｙ，Ｂ−Ｙは、３ライン分の信号を保持できるラインメモリ１１３にも送られる。
ラインメモリ１１３に記憶された３ライン分の色差信号Ｒ−Ｙ，Ｂ−Ｙは、第１の加重加算制御回路１２０に送られる。第１の加重加算制御回路１２０は、肌色検出回路１２１と第１の係数算出回路１２２とを備えている。
肌色検出回路１２１は、注目画素を中心とする３×３画素の領域において、色が肌色である画素の総数（肌色係数）Ｆｌを求める。画素の色が肌色であるか否かは、その画素の色差信号Ｒ−Ｙ，Ｂ−Ｙに基づいて図１４の色差座標上でのその画素の色位置を求め、求めた色位置が色差座標上での肌色領域Ｕ内にあるか否かを判別することによって行われる。
肌色検出回路１２１によって求められた肌色係数Ｆｌは、第１の係数算出回路１２２に送られる。第１の係数算出回路１２２は、予め定められた、肌色係数と加重加算係数との関係を示すデータに基づいて、肌色検出回路１２１によって求められた肌色係数Ｆｌに対応する第１の加重加算係数Ｋ１（注目画素に対する第１の加重加算係数Ｋ１）を算出する。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示している。図１５の例では、肌色係数Ｆｌが閾値ＴＨ１未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は０となる。肌色係数Ｆｌが閾値ＴＨ１以上で閾値ＴＨ２以下である場合には、第１の加重加算係数Ｋ１は、肌色係数Ｆｌが大きくなるほど大きくなる。肌色係数Ｆｌが閾値ＴＨ２を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は１となる。
第１の係数算出回路１２２によって算出された加重加算係数Ｋ１は、加重加算係数算出回路１１４に送られる。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示している。
図１３および図１６に示すように、第２の加重加算制御回路１１０は、輪郭検出回路１１１と第２の係数算出回路１１２とを備えている。
輪郭検出回路１１１は、９ライン分の信号Ｗｉｎが入力する輪郭検出回路１３１と、９ライン分の信号Ｗｉｎが入力する高周波成分算出回路１３２とを備えている。
高周波成分算出回路１３２は、図１７に示すように、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑを算出する。高周波成分ＨＦｑは、ＤＣＴ（離散コサイン変換）によるＤＣＴ係数を用いて算出される。
輪郭検出回路１３１は、図１７の注目画素を中心とする９×９画素の領域内の各画素毎に、水平・垂直輪郭信号Ｅｇを算出する。ある画素に対する水平・垂直輪郭信号Ｅｇは、次のようにして算出される。つまり、まず、その画素の左右両隣の画素値の差分値を求めるとともに、その画素の上下両隣の画素値の差分値を求めた後、これらの差分値を加算することにより求められる。
第２の係数算出回路１１２は、輪郭係数算出回路１４１、非高周波係数算出回路１４２、乗算器１４３および最大値算出回路１４４を備えている。
輪郭係数算出回路１４１は、予め定められた、水平・垂直輪郭信号と輪郭係数との関係を示すデータに基づいて、輪郭検出回路１３１によって求められた水平・垂直輪郭信号Ｅｇに対する輪郭係数ｅｇ１を算出する。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示している。図１８の例では、水平・垂直輪郭信号Ｅｇが閾値ＴＨ３未満である場合には、輪郭係数ｅｇ１は０となる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ３以上で閾値ＴＨ４以下である場合には、輪郭係数ｅｇ１は、水平・垂直輪郭信号Ｅｇが大きくなるほど大きくなる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ４を越えると、輪郭係数ｅｇ１は１となる。
非高周波係数算出回路１４２は、予め定められた、高周波成分と非高周波係数との関係を示すデータに基づいて、高周波成分算出回路１３２によって求められた高周波成分ＨＦｑに対する非高周波係数ｈｆ１を算出する。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示している。図１９の例では、高周波成分ＨＦｑが閾値ＴＨ５未満である場合には、非高周波係数ｈｆ１は１となる。高周波成分ＨＦｑが閾値ＴＨ５以上で閾値ＴＨ６以下である場合には、非高周波係数ｈｆ１は、高周波成分ＨＦｑが大きくなるほど小さくなる。高周波成分ＨＦｑが閾値ＴＨ６を越えると、非高周波係数ｈｆ１は０となる。つまり、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑが少なくなるほど、非高周波係数ｈｆ１が大きな値となる。
乗算器１４３は、注目画素を中心とする９×９画素の領域内の画素毎に算出された各画素輪郭係数ｅｇ１を、その９×９画素の領域に対して求められた非高周波係数ｈｆ１に乗算する。乗算結果ｍは、最大値算出回路１４４に送られる。
最大値算出回路１４４は、注目画素を中心とする９×９画素の領域内の画素毎に算出されたｍのうちの最大値Ｍを求める。そして、予め定められた、最大値と第２の加重加算係数との関係を示すデータに基づいて、算出した最大値Ｍに対応する第２の加重加算係数Ｋ２（注目画素に対する第２の加重加算係数Ｋ２）を求める。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示している。図２０の例では、最大値Ｍが閾値ＴＨ７未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は０となる。最大値Ｍが閾値ＴＨ７以上で閾値ＴＨ８以下である場合には、第２の加重加算係数Ｋ２は、最大値Ｍが大きくなるほど大きくなる。最大値Ｍが閾値ＴＨ８を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は１となる。
第２の加重加算係数Ｋ２は、加重加算係数算出回路１１４（図１３参照）に送られる。加重加算係数算出回路１１４は、第１の加重加算制御回路１２０から送られてきた注目画素に対する第１の加重加算係数Ｋ１と、第２の加重加算制御回路１１０から送られてきた注目画素に対する第２の加重加算係数Ｋ２のうち、大きい方の係数を最終的な加重加算係数Ｋとして選択して、加重加算回路１１５に送る。
加重加算回路１１５は、次式（１）に基づいて、Ｗ＿ＹｃｏｎｔとＮ＿Ｙｃｏｎｔとを加重することによって、信号Ｙｃｏｎｔを得る。
Ｙｃｏｎｔ＝Ｋ・Ｎ＿Ｙｃｏｎｔ＋（１−Ｋ）・Ｗ＿Ｙｃｏｎｔ …（１）
得られた信号Ｙｃｏｎｔは、第２のＹプロセス回路（Ｙプロセス２）１１６を介して、Ｙｏｕｔとして出力される。
なお、上記実施の形態では、２つのコントラスト強調回路１０３、１０５の出力Ｗ＿Ｙｃｏｎｔ、Ｎ＿Ｙｃｏｎｔを加重加算回路１１５によって加重加算することによってＹｃｏｎｔが算出されているが、広域フィルタＷ＿ＬＰＦ１０２によって算出された広域平均輝度Ｗ＿Ｙｌｐｆと、狭域フィルタＮ＿ＬＰＦ１０４によって算出された狭域平均輝度Ｎ＿Ｙｌｐｆとを加重加算することによってコントラスト制御用信号を生成し、このコントラスト制御信号を用いてコントラスト強調処理を行う１つのコントラスト強調回路によってＹｃｏｎｔを算出するようにしてもよい。
〔Ｃ〕第３の実施の形態についての説明
以下、図２１〜図２５を参照して、この発明の第３の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図２１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。図２１において、図１と同じものには、同じ符号を付してその説明を省略する。
この信号処理回路では、図１のコントラスト強調回路の代わりに、平滑化回路８が設けられている。
〔２〕平滑化回路８の説明
〔２−１〕平滑化回路８による平滑化処理の原理についての説明
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表している。
入出力特性は、四角形Ｑの辺Ｂに沿った第１部分と、四角形Ｑの辺Ｄに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ａおよび辺Ｃの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図２３（ａ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａ側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が小さくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図２３（ｂ）に示すように、入出力特性を表す折れ線の第２部分が辺Ｃ側に位置するように入出力特性を設定することにより、高輝度部での階調変化率が小さくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図２３（ｃ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａと辺Ｃとの中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が小さくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、画面全体での高周波成分を平滑化する。
〔２−２〕平滑化回路８の構成例の説明
図２４は、平滑化回路８の構成の一例を示している。
第１乗算器２１１は、図２２の四角形Ｑの直線Ｂの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ｂ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器２１２と第１加算器２２１とからなる回路は、図２２の四角形Ｑの直線Ｄの傾きａ２を入力輝度Ｙｉｎに掛けた値にｂ１を加算することによって、四角形Ｑの直線Ｄ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。ｂ１は、直線Ｄと図２２のグラフの横軸との交点のＹｉｎ座標値ｂ３に直線Ｄの傾きａ２を乗算した値をｂ１’とすると、ｂ１＝−ｂ１’で表される。したがって、Ｙ２＝ａ２（Ｙｉｎ−ｂ３）となる。
第３乗算器２１３と第２加算器２２２とからなる回路は、折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に第２部分の切片ｂ２を加算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ＋ｂ２）を演算する。ただし、傾きａ３は、第４乗算器２１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ａと直線Ｃとに基づいて作成されたａ４が乗算された値である。また、切片ｂ２は、第５乗算器２１５によって、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｃと図２２のグラフの縦軸との交点のＹｏｕｔ座標値ａ５とが乗算された値である。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器２３１に送られるとともにセレクタ２３２に送られる。比較器２３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ２３２が選択するように、制御信号Ｓをセレクタ２３２に出力する。したがって、セレクタ２３２からは、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図２５（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図２５（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
【図面の簡単な説明】
図１は、第１の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２は、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックを示す模式図である。
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性の一例を示すグラフである。
図４は、図３の四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きを変更した例を示す模式図である。
図５は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、コントラスト強調回路５の入出力特性が変化することを示す模式図である。
図６は、コントラスト強調回路５の構成例を示す回路図である。
図７は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
図８は、コントラスト強調回路５で用いられる輝度信号の入出力特性の他の例を示すグラフである。
図９は、注目画素Ｐｉｊを中心とする水平方向３画素、垂直方向３画素のブロックを示す模式図である。
図１０は、従来のコントラスト強調の入出力特性を示すグラフである。
図１１は、広域フィルタと狭域フィルタとを示す模式図である。
が用いられる。
図１２は、広域フィルタを用いてコントラスト強調処理を行った場合に広域的に輝度差を大きくすることができることおよび狭域フィルタを用いてコントラスト強調処理を行った場合に局所的に輝度差を大きくすることができることを説明するための説明図である。
図１３は、第２の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図１４の色差座標上での肌色領域Ｕを示す模式図である。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示すグラフである。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示すブロック図である。
図１７は、高周波成分算出回路１３２および輪郭検出回路１３１の動作を説明するための模式図である。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示すグラフである。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示すグラフである。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示してすグラフである。
図２１は、第３の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表すグラフである。
図２３は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、平滑化回路８の入出力特性が変化することを示す模式図である。
図２４は、平滑化回路８の構成の一例を示す回路図である。
図２５は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
Claims (10)
- 注目画素の周辺部の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。 - 注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。 - 第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものである請求項１に記載の画像処理回路。
- 第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものである請求項２に記載の画像処理回路。
- 入出力特性は、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が小さい第１直線部、上部右側に位置し勾配が小さい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が大きい第２直線部とからなり、第２手段は、第１手段によって算出された平均輝度に応じて第２直線部が左右方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものである請求項１、２、３及び４のいずれかに記載の画像処理回路。
- 注目画素の周辺部の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。 - 注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。 - 第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものである請求項６に記載の画像処理回路。
- 第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものである請求項７に記載の画像処理回路。
- 入出力特性は、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が大きい第１直線部、上部右側に位置し勾配が大きい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が小さい第２直線部とからなり、第２手段は、第１手段によって算出された平均輝度に応じて第２直線部が上下方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものである請求項６、７、８及び９のいずれかに記載の画像処理回路。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001022803 | 2001-01-31 | ||
| JP2001022803 | 2001-01-31 | ||
| PCT/JP2002/000675 WO2002062055A1 (fr) | 2001-01-31 | 2002-01-29 | Circuit de traitement d'image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002062055A1 JPWO2002062055A1 (ja) | 2004-06-03 |
| JP3920777B2 true JP3920777B2 (ja) | 2007-05-30 |
Family
ID=18888159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002562079A Expired - Fee Related JP3920777B2 (ja) | 2001-01-31 | 2002-01-29 | 画像処理回路 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040080631A1 (ja) |
| EP (1) | EP1365580A4 (ja) |
| JP (1) | JP3920777B2 (ja) |
| KR (1) | KR100688375B1 (ja) |
| WO (1) | WO2002062055A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3540758B2 (ja) * | 2000-09-08 | 2004-07-07 | 三洋電機株式会社 | 単板式カラーカメラにおける水平輪郭信号生成回路 |
| US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| EP1898624B1 (en) * | 2005-06-20 | 2015-08-26 | Nikon Corporation | Image processing device, image processing method, image processing program product, and image-capturing device |
| WO2008066529A1 (en) | 2006-11-28 | 2008-06-05 | Intel Corporation | Enhancing contrast of video data while preserving sharpness |
| EP1935340B1 (en) * | 2006-12-19 | 2017-11-01 | Agfa HealthCare NV | Method for neutralizing image artifacts prior to the determination of the Signal-to-noise ratio in CR/DR radiography systems |
| US8144214B2 (en) * | 2007-04-18 | 2012-03-27 | Panasonic Corporation | Imaging apparatus, imaging method, integrated circuit, and storage medium |
| KR101408255B1 (ko) | 2007-11-28 | 2014-06-16 | 엘지디스플레이 주식회사 | 콘트라스트 개선 장치 및 방법 |
| US8363085B2 (en) | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
| JP5134658B2 (ja) * | 2010-07-30 | 2013-01-30 | 株式会社東芝 | 画像表示装置 |
| CN104021773B (zh) * | 2014-05-30 | 2015-09-09 | 京东方科技集团股份有限公司 | 一种显示器件的亮度补偿方法、亮度补偿装置及显示器件 |
| CN104021761B (zh) | 2014-05-30 | 2016-03-09 | 京东方科技集团股份有限公司 | 一种显示器件的亮度补偿方法、装置及显示器件 |
| KR102351083B1 (ko) | 2017-08-30 | 2022-01-13 | 삼성전자주식회사 | 디스플레이 장치 및 그 영상 처리 방법 |
| US11380054B2 (en) * | 2018-03-30 | 2022-07-05 | Cae Inc. | Dynamically affecting tailored visual rendering of a visual element |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4831447A (en) * | 1987-11-16 | 1989-05-16 | The Grass Valley Group, Inc. | Method and apparatus for anti-aliasing an image boundary during video special effects |
| JP3312509B2 (ja) * | 1994-12-08 | 2002-08-12 | 株式会社富士通ゼネラル | ガンマ補正の輝度レベル補完回路 |
| JPH08223425A (ja) * | 1995-02-09 | 1996-08-30 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
| JP3791029B2 (ja) * | 1995-11-22 | 2006-06-28 | ソニー株式会社 | 画像信号処理装置および方法 |
| JPH10341447A (ja) * | 1997-04-11 | 1998-12-22 | Fuji Photo Film Co Ltd | 画像信号処理装置 |
| US5963262A (en) * | 1997-06-30 | 1999-10-05 | Cirrus Logic, Inc. | System and method for scaling images and reducing flicker in interlaced television images converted from non-interlaced computer graphics data |
| US7253836B1 (en) * | 1998-06-30 | 2007-08-07 | Nikon Corporation | Digital camera, storage medium for image signal processing, carrier wave and electronic camera |
| US6542187B1 (en) * | 1998-07-09 | 2003-04-01 | Eastman Kodak Company | Correcting for chrominance interpolation artifacts |
| JP2000036967A (ja) * | 1998-07-21 | 2000-02-02 | Sony Corp | 画像処理システムおよびカメラシステム |
| JP3208762B2 (ja) * | 1998-11-18 | 2001-09-17 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US7035475B1 (en) * | 1999-06-17 | 2006-04-25 | Raytheon Company | Non-traditional adaptive non-uniformity compensation (ADNUC) system employing adaptive feedforward shunting and operating methods therefor |
| US6813389B1 (en) * | 1999-12-15 | 2004-11-02 | Eastman Kodak Company | Digital image processing method and system including noise reduction and tone scale adjustments |
| US6778691B1 (en) * | 2000-05-16 | 2004-08-17 | Eastman Kodak Company | Method of automatically determining tone-scale parameters for a digital image |
| JP3540758B2 (ja) * | 2000-09-08 | 2004-07-07 | 三洋電機株式会社 | 単板式カラーカメラにおける水平輪郭信号生成回路 |
| FR2817694B1 (fr) * | 2000-12-05 | 2003-10-03 | Thomson Licensing Sa | Procede et dispositif de lissage spatial pour les zones sombres d'une image |
| JP4086479B2 (ja) * | 2001-03-23 | 2008-05-14 | Ｎｅｃディスプレイソリューションズ株式会社 | 画質改善装置および画質改善方法 |
-
2002
- 2002-01-29 JP JP2002562079A patent/JP3920777B2/ja not_active Expired - Fee Related
- 2002-01-29 EP EP02716457A patent/EP1365580A4/en not_active Withdrawn
- 2002-01-29 WO PCT/JP2002/000675 patent/WO2002062055A1/ja active Application Filing
- 2002-01-29 KR KR1020037010075A patent/KR100688375B1/ko not_active IP Right Cessation
-
2003
- 2003-02-10 US US10/470,555 patent/US20040080631A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20040080631A1 (en) | 2004-04-29 |
| KR20030075169A (ko) | 2003-09-22 |
| KR100688375B1 (ko) | 2007-03-02 |
| WO2002062055A1 (fr) | 2002-08-08 |
| JPWO2002062055A1 (ja) | 2004-06-03 |
| EP1365580A4 (en) | 2006-10-11 |
| EP1365580A1 (en) | 2003-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3920777B2 (ja) | 画像処理回路 | |
| US8923612B2 (en) | Image processing apparatus and method, and program | |
| US8965120B2 (en) | Image processing apparatus and method of controlling the same | |
| JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| US8169500B2 (en) | Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus | |
| CN106846270B (zh) | 一种图像边缘增强方法及装置 | |
| JP6302501B2 (ja) | ローカルエリアコントラスト強化 | |
| CN105850114A (zh) | 用于图像的逆色调映射的方法 | |
| US7336848B2 (en) | Method and apparatus for improving picture sharpness | |
| JP2011103640A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| WO2004023787A2 (en) | Signal intensity range transformation apparatus and method | |
| JP2011103639A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN110944160A (zh) | 一种图像处理方法及电子设备 | |
| US20080063295A1 (en) | Imaging Device | |
| US10438333B2 (en) | Apparatus, method, and non-transitory computer-readable storage medium | |
| JP2002259965A (ja) | 画像ノイズ低減方法及び装置 | |
| WO2000046983A1 (en) | Histogram equalization | |
| KR101024731B1 (ko) | 디지털 이미지의 모스키토 노이즈를 감소시키기 위한 방법 및 시스템 | |
| WO2002005543A1 (fr) | Procede de traitement d'image, support d'enregistrement, et dispositif de traitement d'image | |
| US11715183B2 (en) | Overlapped curve mapping for histogram-based local tone and local contrast | |
| JP2008219289A (ja) | 映像補正装置、映像表示装置、撮像装置および映像補正プログラム | |
| JP2009010636A (ja) | 適応ヒストグラム等化方法及び適応ヒストグラム等化装置 | |
| JP2002140700A (ja) | カラー画像処理方法および処理装置 | |
| JP5178933B1 (ja) | 画像処理装置 | |
| JP2011150401A (ja) | ダイナミックレンジ圧縮装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |