JP4129163B2

JP4129163B2 - Image processing circuit

Info

Publication number: JP4129163B2
Application number: JP2002296924A
Authority: JP
Inventors: 厚志小橋; 和正功刀; 英明古川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-10-10
Filing date: 2002-10-10
Publication date: 2008-08-06
Anticipated expiration: 2022-10-10
Also published as: JP2004133644A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理回路、特に画像データのフィードバック処理部を備えた画像処理回路に関する。
【０００２】
【従来の技術】
【非特許文献１】
R .W.Ehrich ,"A symmetric hysterisis smoothing algorithm that preserves principal features,"〔CGIP , vol.8, pp.121-126 ,August 1978 〕
【０００３】
ＣＣＤ等の撮像素子から得られる画像信号に対してデジタル画像処理を行って、所望の画質の画像を得ることを目的とする画像処理装置において、画像処理の一機能として、過去の処理結果を用いて現在の処理を行う、フィードバック処理を必要とすることがある。
【０００４】
ここで、フィードバック処理を有する画像処理の一例として、画像のヒステリシススムージングついて説明する。最初に、ヒステリシススムージングの動作の概要について、図９を用いて説明する。なお、説明を簡単にするために、画像処理装置の取り扱う画像データは、モノクロ画像データとする。ヒステリシススムージングは、画像中に含まれるノイズを除去する方法の一つであり、R .W.Ehrich ,"A symmetric hysterisis smoothing algorithm that preserves principal features,"〔CGIP , vol.8, pp.121-126 ,August 1978 〕（非特許文献１）により提案されている。
【０００５】
このヒステリシススムージングは、画像の一次元方向のみの処理でノイズ除去を行うものであり、図９に示すように高さｈのカーソル101 を入力画像値102 の一次元方向に移動させ、カーソル101 の中心値101cをノイズ除去後の出力画像値103 として出力するものである。なお、図９において、横軸は画素位置を示しており、縦軸は画素レベルを示している。カーソル101 は、以下のようなルールによって移動させる。
（１）カーソル101 の初期位置（図９の画素位置(1) ）は、カーソル101 の中心101cが入力画素値102 となるように設定する。
（２）現在の位置からカーソル101 を、その位置すなわち同じ画素レベルを保ったまま１画素分だけ水平移動させる。
（３）もし、１画素水平移動した先の入力画素値102 が、図９の画素位置(2) の位置のときのように、カーソル101 の範囲内に入っていれば、縦方向（画素レベル方向）にはカーソル101 を動かさず、このときのカーソル中心101cのレベル値をノイズ除去後の出力画像値103 として出力する。
（４) もし、１画素水平移動させたとき、入力画素値102 が、図９の画素位置(5) の位置のときのように、カーソル101 の上端101hより上にくれば、カーソル101 の上端101hが入力画素値102 に一致するように縦方向に移動させ、一方、図９の画素位置(8) のときのように、入力画素値102 がカーソル101 の下端101lより下にくれば、カーソル101 の下端101lが入力画素値102 に一致するように縦方向に移動させる。そして、このときのカーソル中心101cのレベル値をそれぞれノイズ除去後の出力画像値として出力する。
このようにすることにより、被写体に含まれる大きな振幅成分は保存しつつ、カーソル101 の高さｈよりも小さなノイズ成分を除去することができる。
【０００６】
上記動作説明で示したしたように、このヒステリシススムージングは、１画素前隣のカーソル位置情報を元に現在のカーソル位置を決定し、ノイズ除去を行うというアルゴリズムであり、すなわち、１画素前隣のカーソル位置情報をフィードバックデータとして、現在のカーソル位置計算に用いるフィードバック画像処理装置である。
【０００７】
一方、上記デジタル画像処理をハードウェア処理によって実現する画像処理装置においては、パイプライン処理を用いて高速処理するのが一般的である。パイプライン処理とは、画像処理の一連の処理を、１クロック周期内で動作可能な小さなブロックに分割し、それぞれのブロックを流れ作業的に動作させる処理である。
【０００８】
【発明が解決しようとする課題】
ところで、ヒステリシススムージングのようなフィードバック処理をパイプライン処理させようとした場合、フィードバックデータの処理も１クロック周期内で処理することが必要である。しかし、ヒステリシススムージング処理のフィードバックデータは、カーソル上下端値と入力画像値との比較により生成されるため、回路の動作周波数が高かったり、画像のビット幅が大きい場合は、１クロック周期内に処理が終わらない可能性がある。
【０００９】
このように、フィードバックデータに対し複雑な演算を施すようなフィードバック処理を含む画像処理回路を、パイプライン処理で実現しようとした場合、パイプライン回路が実現できないという問題点がある。従来、このような複雑なゲートを通ったデータを画素単位でフィードバックしなければならない処理を、パイプライン処理にて実現する方法は提案されていなかった。
【００１０】
本発明は、従来のフィードバック処理を有する画像処理アルゴリズムをパイプライン処理する際に生じる上記問題点を解消するためになされたもので、複雑な構成のフィードバック処理を含む画像処理を、パイプライン処理により高速処理することが可能な画像処理回路を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子から得られる画像信号を所定の順序で読み出した入力画像信号Ｉに対して、フィードバック処理を含む所定のノイズ除去を行い、当該ノイズ除去が行われた出力画像信号Ｏを出力する画像処理回路であって、前記入力画像信号Ｉのうちの前記撮像素子の第１の画素に対応する画素信号を処理して複数のカーソル位置を演算し、当該カーソル位置に係る複数組のカーソル位置信号を出力するカーソル位置決定部と、入力されるセレクト信号Ｓに基づいて、前記複数組のカーソル位置信号と、前記第１の画素に先行して既にノイズ除去を終えている第２の画素に対応する画素信号に係るカーソル位置信号との中から、いずれか一組の信号を選択し、その選択された信号を出力するセレクタと、前記セレクタにて選択された信号と前記第１の画素信号とを比較し、その比較結果を前記セレクタのセレクト信号Ｓとして前記セレクタへ出力する比較部と、前記セレクタの出力側から前記比較部を介して前記セレクタのセレクト信号Ｓとして前記セレクタに入力されるまでの第１の遅延量、ノイズ除去を終えている前記第２の画素に対応する画素信号に係るカーソル位置信号として前記セレクタの出力側から前記セレクタに入力されるまでの第２の遅延量、及び前記入力画像信号Ｉが前記カーソル位置決定部を経て前記比較部までに到る第３の遅延量が等しくなるように、遅延量を与えるディレイ部とを有することを特徴とするものである。
【００１２】
この請求項１に係る発明に関する実施の形態には、第１〜第３の実施の形態が対応する。そして、このように構成された画像処理回路においては、セレクタ及び比較部の出力信号に対して適切な遅延量を設定することができ、ヒステリシススムージングに代表されるフィードバック処理を有する画像処理を、パイプライン処理により高速に行うことが可能となる。
【００１３】
請求項２に係る発明は、請求項１に係る画像処理回路において、前記ディレイ部は、フリップフロップ回路であることを特徴とするものである。
【００１４】
この請求項２に係る発明に関する実施の形態には、第１〜第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、ディレイ部をフリップフロップ回路で構成するようにしているので、遅延量を容易に設定することができる。
【００１５】
請求項３に係る発明は、請求項１に係る画像処理回路において、前記第１の画素と前記第２の画素とは、隣接する画素同士であることを特徴とするものであり、この発明に関する実施の形態には、第１の実施の形態が対応する。
【００１６】
【発明の実施の形態】
次に、実施の形態について説明する。まず、本発明の実施の形態の説明に先立って、本発明に関連する画像処理回路として考えられる基本的な回路構成、及びその動作について説明する。図１は、ヒステリシススムージング処理回路をデジタルカメラに搭載した場合に考えられる基本的な回路構成を示すブロック図である。図１において、１はモノクロ画像を撮像するための撮像素子、又は単色のカラーフィルタを有する撮像素子、２は撮像素子１の信号をデジタル信号に変換するＡＤコンバータ、３はＡＤコンバータの出力信号を１画面分記憶するための画像メモリ、４は画像メモリ３のリード・ライトアドレスを生成するメモリコントローラ、５は撮影情報及び入力画像信号を元にカーソルの高さｈを決定するカーソル高さ決定部である。
【００１７】
また６は入力画素信号が画像端の場合における、カーソル上端位置high0 ，下端位置low0，及びカーソル中心位置center0 を演算するカーソル初期位置決定部、７は入力画素信号値をカーソルの上端とする、カーソル上端位置high1 ，下端位置low1，及びカーソル中心位置center1 を演算する第１のカーソル位置決定部、８は入力画素値をカーソルの下端とする、カーソル上端位置high2 ，下端位置low2，及びカーソル中心位置center2 を演算する第２のカーソル位置決定部、９はカーソル初期位置決定部６の出力、第１のカーソル位置決定部７の出力、第２のカーソル位置決定部８の出力、及び既にヒステリシススムージング処理を終えている１画素前隣の画素（先行画素）の処理結果high3,low3,center3のいずれか１組を、セレクトして出力するセレクタ、10は現在の画素値とカーソルの上端及び下端を比較する比較器、11〜18は各構成ブロック５〜10で発生する演算遅延時間をクロックタイミングで同期させることにより吸収し、また、各構成ブロック５〜10の出力データ間のタイミングをクロック単位で合わせるためのディレイ部（一般的回路におけるフリップフロップ）である。
【００１８】
次に、図１で示した画像処理回路の動作について、図２の（Ａ）のタイミングチャート及び図２の（Ｂ）の説明図を用いて説明する。図２の（Ａ）は、図１に示した回路における画像データの流れを説明するタイミングチャートであり、図２の（Ｂ）は画像の読み出し順を説明するための図である。図２の（Ａ）における番号(1) 〜(7) は、図１に示した画像処理回路を流れるデータのタイミングを示す番号であり、それぞれ図１に示した画像処理回路の(1) 〜(7) で示す部分におけるデータのタイミングを表している。
【００１９】
撮像素子１から出力される画像信号は、図２の（Ｂ）で示すような、横画素数Ｎ個、縦画素数Ｍ個の２次元の画像の画像信号であり、説明を容易にするため左上端から、０から始まる画素番号をつけてある。この２次元の画像信号は、ＡＤコンバータ２でデジタル信号に変換された後、画像メモリ３に書き込まれる。このときの画像信号の書き込み順は、メモリコントローラ４により画素番号０，１，２，３，・・・Ｎ−１，Ｎ＋０，Ｎ＋１，・・・と画素番号順に書き込まれるように制御されている。
【００２０】
次に、画像信号は画像メモリ３から１クロック毎に読み出されるが、このときの読み出し順は、図２の（Ｂ）の矢印で示したように、左上端の０番目の画素から順に横方向に読み出される。右端まで読み出された後は、２行目のＮ＋０番目から順に右方向に走査され、以下、同様にして画像の右下端まで繰り返され、これが入力画像信号Ｉとなる。
【００２１】
一方、画像処理回路のもう一つの入力データである撮影情報は、撮影時のＩＳＯ感度やシャッター速などの情報であり、図２の（Ａ）のフローチャートの(2) で示したように１フレーム単位で切り替わるデータであるため、1 画面中は同じ情報が保持される。
【００２２】
入力画像信号Ｉ及び撮影情報は、カーソル高さ決定部５に入力され、これらの情報を元に、1 画素毎にカーソル高さ情報cursを計算し出力する。ここでは、撮像素子１が持つ、画像信号のレベルが高いとノイズの振幅も大きくなるという特性や、また、シャッタースピードが長くなるほどノイズ振幅が大きくなるという特性を元に、カーソル高さ情報cursを計算する。そして、算出されたカーソル高さ情報cursは、ディレイ部11を通りクロック同期信号となる。
【００２３】
入力画像信号Ｉもまた、カーソル高さ情報cursとクロック単位でのタイミングを合わせるためにディレイ部12を通り、その結果、入力画像信号Ｉが１クロック遅れたＩ１という信号となる。したがって、この２つの信号curs，Ｉ１は、図２の（Ａ）のタイミングチャートの(3) に示したタイミングの信号となる。
【００２４】
次に、カーソル初期位置決定部６，第１のカーソル位置決定部７，及び第２のカーソル位置決定部８では、カーソル高さcurs及び入力画像信号Ｉ１から、カーソルの上下端位置及びカーソル中心位置を演算する。
【００２５】
カーソル初期位置決定部６は、図２の（Ｂ）における、０，Ｎ＋０，２Ｎ＋０，・・・といった、画像の左端におけるカーソル初期位置を決定するブロックであり、カーソル上端位置high０，下端位置 low０，及びカーソル中心位置center０は、それぞれ次式（１），（２），（３）で示すように演算される。
high０＝Ｉ１＋curs／２・・・・・・・・・・（１）
low０＝Ｉ１−curs／２・・・・・・・・・・（２）
center０＝Ｉ１・・・・・・・・・・・・・・（３）
【００２６】
第１のカーソル位置決定部７は、入力画像信号Ｉ１をカーソルの上端位置とした場合の演算を行うブロックであるから、カーソル上端位置high１，下端位置 low１，及びカーソル中心位置center１は、それぞれ、（４），（５），（６）で示すように演算される。
high１＝Ｉ１・・・・・・・・・・・・・・（４）
low１＝Ｉ１−curs ・・・・・・・・・・・（５）
center１＝Ｉ１−curs／２・・・・・・・・・（６）
【００２７】
同様に、第２のカーソル位置決定部８は、入力画像信号Ｉ１をカーソルの下端位置とした場合の演算を行うブロックであるから、カーソル上端位置high２，下端位置 low２，及びカーソル中心位置center２は、それぞれ、（７），（８），（９）で示すように演算される。
high２＝Ｉ１＋curs ・・・・・・・・・・・（７）
low２＝Ｉ１・・・・・・・・・・・・・（８）
center２＝Ｉ１＋curs／２・・・・・・・・（９）
【００２８】
そして、カーソル初期位置決定部６，第１のカーソル位置決定部７，及び第２のカーソル位置決定部８の出力信号は、それぞれディレイ部13，14，15を通り、クロック同期信号となり、その結果、これらの信号は、図２の（Ａ）のタイミングチャートの(4) に示したタイミングの信号となる。
【００２９】
次に、セレクタ９では、上述した、ディレイ部13通過後のカーソル初期位置決定部６の出力信号high0,low0,center0、ディレイ部14通過後の第１のカーソル位置決定部７の出力信号high1,low1,center1、ディレイ部15通過後の第２のカーソル位置決定部８の出力信号high2,low2,center2、及び既にヒステリシススムージング処理を終えている一画素前隣の画素信号の処理結果high3,low3,center3のいずれか１組を、セレクトして出力する。セレクタ９のセレクト信号Ｓは、セレクタ９の後段にある比較器10からの２ビットの出力信号であり、"00"，"01"，"10"，"11"の４つの状態を持つ信号である。
【００３０】
このセレクト信号Ｓにより、セレクタ９は以下の動作となる。
（１）Ｓ＝"00"のとき、セレクタ９は第１のカーソル位置決定部７の出力high1,low1,center1を出力する。
（２）Ｓ＝"01"のとき、セレクタ９は第２のカーソル位置決定部８の出力high2,low2,center2を出力する。
（３）Ｓ＝"10"のとき、セレクタ９はヒステリシススムージング処理処理済信号high3,low3,center3を出力する。
（４）Ｓ＝"11"のとき、セレクタ９はカーソル初期位置決定部６の出力high0,low0,center0を出力する。
【００３１】
このようにセレクタ９でセレクトされた信号は、ディレイ部17を通り、図２の（Ａ）のタイミングチャートの(5) で示したタイミングの信号high,low,center となる。この信号high,low,center は、ヒステリシススムージング処理を終えた信号であるので、セレクタ９の入力信号high3,low3,center3となり、また、信号centerは出力画像信号Ｏとなる。
【００３２】
次に、比較器10では、上記セレクトされたカーソル位置信号の上端及び下端位置信号high,lowと、画像信号との比較を行う。この比較は、１画素前隣の画素位置におけるカーソルの上端及び下端位置信号high,lowと、現在の画像信号とを比較する必要があるため、前記カーソルの上端及び下端位置信号high,lowと画像信号とのタイミングの関係は、1 画素ずらしたものとしなければならない。したがって、画像信号は図２の（Ａ）のタイミングチャートの(6) で示す、画像信号Ｉ１をディレイ部16で更に１クロック遅らせた画像信号Ｉ２となる。
【００３３】
これらのカーソルの上端及び下端位置信号high,low，及び画像信号Ｉ２を用いて、比較器10は以下のように動作する。比較器10の出力は２ビットの信号である。
（１）もしＩ２＞highなら、比較器10は"00"を出力する。
（２）もしＩ２＜low なら、比較器10は"01"を出力する。
（３）もし low＜Ｉ２＜highなら、比較器10は"10"を出力する。
（４）もし、Ｉ２が画像の左端画素の信号の場合は、high，low の信号と関係なく、"11"を出力する。
【００３４】
ここで、画像の左端画素とは、図２の（Ｂ）における、０，Ｎ＋０，２Ｎ＋０，・・・の左端１列の画素である。この比較器10からの信号は、ディレイ部18を通った後、セレクタ９のセレクト信号Ｓとなる。したがって、このセレクト信号Ｓは図２の（Ａ）のタイミングチャートの(7) に示したタイミングの信号となる。また、画像左端の処理は、図２の（Ｂ）に示した画像において、一行につき最初の一回だけ行われる処理であり、フィードバック回路について述べる本発明とは直接の関係がないので、以後の説明においては省略する。
【００３５】
ところで、比較器10が出力するセレクト信号Ｓは、セレクタ９の入力信号(high1,low1,center1)、及び(high2,low2,center2)に対して、１画素前の結果から導いた信号でなくてはならない。具体的には、図２の（Ｂ）における画素番号１の画素に対応するカーソル位置信号(high1,low1,center1)、及び(high2,low2,center2)をセレクトするためのセレクト信号Ｓは、画素番号０の画素に対応する信号である必要がある。しかしながら、図２の（Ａ）のタイミングチャートの(4) と(7) で示す信号のタイミング関係を見ると、画素番号１の画素に対応するカーソル位置信号(high1,low1,center1)、及び(high2,low2,center2)をセレクトするためのセレクト信号Ｓはまだ決定されておらず、画素番号２の画素に対応するカーソル位置信号(high1,low1,center1)、及び(high2,low2,center2)のセレクト信号として初めて、画素番号０の画素に対応するセレクト信号Ｓが生成される。
【００３６】
これでは、２画素前の結果から導いたセレクト信号を用いることになり、所望のヒステリシススムージング結果を得ることができない。この問題を解決するためには、セレクト信号Ｓを生成するタイミングを１クロック分早める必要があり、そのためには、セレクタ９の後のディレイ部17，又は比較器10の後のディレイ部18のいずれかを削除する必要がある。すなわち、セレクタ９と比較器10の処理の両方を１クロック周期以内で処理する必要があるということになる。
【００３７】
しかしながら、例えば、画像信号のデータビット長が大きい場合は演算時間が長くなるため、セレクタ９及び比較器10の処理を１クロック周期内に終わらせることができない可能性がある。また、回路の動作周波数を上げて高速に処理させようとした場合も、１クロック周期が短くなるため、セレクタ９及び比較器10を１クロック周期内に終わらせることができない可能性がある。特に、比較的ゲート遅延時間が大きい半導体デバイスを用いて、この回路を実現した場合、クロック周波数を上げることは更に難しくなる。あるいは、例えば、高性能の半導体デバイスを使い、且つ、低い動作周波数で動作させることによってパイプライン処理を実現しようとした場合、高コスト、低性能の画像処理装置になってしまうという問題がある。
【００３８】
次に、この問題を解決できるようにした本発明の実施の形態について説明する。図３は、本発明に係る画像処理回路の第１の実施の形態を示すブロック構成図で、ヒステリシススムージング処理回路をデジタルカメラに搭載した場合の画像処理回路の構成を示すブロック図である。図３において、図１に示した回路と同一又は対応する部材には同一符号を付して示し、その説明は省略する。この実施の形態が図１に示した回路と異なる点は、画像信号を１クロック遅らせるディレイ部16を省き、セレクタ９に対する、ヒステリシススムージング処理を終えている１画素前隣の画素の処理結果(high3,low3,center3)の入力部に２クロック分ディレイさせるディレイ部19を設け、更に比較器10から出力するセレクト信号Ｓを、ディレイ部18で２クロック分ディレイさせるようにした点である。なお、ディレイ部11〜19において、１クロック分ディレイさせる場合はＤ，ｎクロック分ディレイさせる場合はｎＤと表示している。
【００３９】
次に、このように構成された第１の実施の形態の動作について、図３に加え、図４の（Ａ），（Ｂ）を用いて説明する。ただし、図１の回路と同じ動作については、その説明を省略する。図４の（Ａ）は、図３に示した回路における画像データの流れを説明するタイミングチャート図であり、図４の（Ｂ）は画像の読み出し順を説明するための説明図である。図４の（Ａ）のタイミングチャート中の番号(1) 〜(8) は回路を流れるデータのタイミングを示し、それぞれ図３において(1) 〜(8) で示す部分におけるデータのタイミングを表している。
【００４０】
撮像素子１から出力される画像信号が、ＡＤコンバータ２でデジタル信号に変換された後、メモリコントローラ４によって、０，１，２，・・・の順に画像メモリ３に書き込まれるのは図１に示した画像処理回路と同じである。
【００４１】
次に、画像信号は画像メモリ３から１クロック毎に読み出されるが、このときの読み出し順は、図４の（Ｂ）の説明図において矢印で示したように、０番目の画素から矢印に沿って、縦方向にＮ＋０，２Ｎ＋０の順に読み出され、次に、１，Ｎ＋１，２Ｎ＋１とジグザグ状に読み出される。右端の３Ｎ−１まで読み出された後は、３Ｎ＋０番目から４Ｎ＋０，５Ｎ＋０と読み出され、以下、同様に画像の下端まで繰り返される。これを画像信号Ｉとする。
【００４２】
カーソル高さ決定部５の動作は、図１に示した画像処理回路と同じ動作であり、ディレイ部11，12を通ったカーソル高さ信号curs及び画像信号Ｉ１信号は、図４の（Ａ）のタイミングチャートの(3) に示したタイミングの信号となる。
【００４３】
次に、カーソル初期位置決定部６，第１のカーソル位置決定部７，及び第２のカーソル位置決定部８における動作も、図１に示した画像処理回路の動作と同じであり、これらの出力信号は、それぞれディレイ部13及び14及び15を通った後、図４の（Ａ）のタイミングチャートの(4) に示したタイミングの信号となる。
【００４４】
次に、セレクタ９の動作も図１に示した画像処理回路の動作と同じであり、ディレイ部17を通った後、図４の（Ａ）のタイミングチャートの(5) で示したタイミングの信号high,low,center となる。これらの信号はヒステリシススムージング処理を終えたカーソル位置信号であり、このうちの信号centerはヒステリシススムージング処理を終えた画像信号であるので、出力画像信号Ｏとなる。
【００４５】
ここで、セレクタ９の入力信号high3,low3,center3は、既にヒステリシススムージング処理を終えている１画素前隣の画素に対応するカーソル位置信号であるが、この１画素前隣の画素とは、２次元画像における前隣の画素（先行画素）を示し、例えば、図４の（Ｂ）に示した説明図における画素番号１の画素に対する画素番号０の画素のことであり、メモリからの読み出し順とは関係ない。よって、セレクタ９に入力するカーソル位置信号high0,low0,center0、high1,low1,center1、high2,low2,center2、及びhigh3,low3,center3は、図４の（Ａ）のタイミングチャートの(4) と(6) で表したようなタイミングの関係、すなわち、タイミングチャートの(4) の画素番号１の画素に対応する信号と、タイミングチャートの(6) の画素番号０の画素に対応する信号を同じタイミングとする必要がある。
【００４６】
したがって、これらの信号のタイミング合わせのため、ヒステリシススムージング処理の終えたカーソル位置信号のセレクタ９への入力信号high3,low3,center3は、処理済のカーソル位置信号high,low,center をディレイ部19によって２クロック遅らせた信号となる。
【００４７】
次に、比較器10では、上記ヒステリシススムージング処理済のカーソル位置信号の上下端位置信号high,lowの２つ信号と、入力画像信号Ｉとの比較を行う。この比較は、１画素前隣の画素に対応するカーソル位置信号high,lowと、現在の画像信号Ｉとを比較するものである。具体的には、図４の（Ａ）のタイミングチャートの(5) の画素番号０の画素に対応する信号と、タイミングチャートの(7) の画素番号１の画素に対応する信号を比較するということであるから、カーソル位置信号high,lowは画像信号Ｉに対し、３クロック分遅れたものとしなければならない。したがって、ここでの画像信号にはディレイ部を通さない入力画像信号Ｉを用いることになる。
【００４８】
比較器10の動作は、図１に示した画像処理回路で示した動作と同じであり、その出力信号はディレイ部18を通った後、セレクタ９のセレクト信号Ｓとなる。
【００４９】
ここで、このセレクタ信号Ｓは前述したように、セレクタ９への入力信号high0,low0,center0、high1,low1,center1、high2,low2,center2及びhigh3,low3,center3のいずれかの１組を選択するための信号であるため、これらの信号とのタイミングを考慮する必要がある。具体的には、図４の（Ｂ）における画素番号１の画素位置におけるヒステリシススムージング結果を得るためには、画素番号１の画素位置に対応するカーソル位置信号high1,low1,center1及びhigh2,low2,center2と、画素番号０の画素位置に対応する処理済のカーソル位置信号high3,low3,center3のいずれかを選択するセレクトする信号として、画素番号０の画素位置に対応するセレクト信号Ｓが必要ということになる。すなわち、セレクト信号Ｓは図４の（Ａ）のタイミングチャートの(8) に示したタイミングの信号とする必要がある。そしてこのセレクト信号Ｓは、例えば画素番号０の画素位置に対応するセレクト信号Ｓは、図４の（Ａ）のタイミングチャートの(5) で示す処理済のカーソル位置信号high,low,center の画素番号０の画素位置に対応する信号、及びタイミングチャートの(7) で示す画像信号Ｉの画素番号１の画素信号から生成される信号であるから、この２つの信号に対して２クロック分遅れた信号ということになる。つまり、図４の（Ａ）のタイミングチャートの(8) のタイミングのセレクト信号Ｓを得るためには、ディレイ部18は２クロック分のディレイを必要とするということになる。
【００５０】
ここで、ディレイ部18は２クロック分のディレイが必要であるということは、比較器10の処理に２クロック分のパイプラインディレイを割り振ることが可能であるということである。例えば、この画像処理回路を動作させるクロックとして、比較的高速なクロックを用いた場合、比較器10の処理が１クロック周期内に終わらないということが考えられる。このとき、比較器10を構成する回路を分割し、比較器10の内部にディレイ部18を構成する１つ又は２つのディレイ素子を挿入することで、分割回路間の処理は簡単になり、すなわち、パイプライン化が可能となる。
【００５１】
また、この実施の形態の変形例として、セレクタ９の処理が１クロック周期内に終わらない場合は、ディレイ部17のディレイ数を２クロック分として、セレクタ９内にその一部を挿入し、ディレイ部19のディレイ数を１クロック分とし、ディレイ部18のディレイ数を１クロック分とし、更に比較器10に入力される画像信号Ｉを１クロック遅らせることにより、パイプライン処理が可能となる。ここで、比較器10に入力する画像信号Ｉを１クロック遅らせるのは、比較器10への入力信号high,lowと画像信号Ｉのタイミングを合わせるためである。
【００５２】
以上の説明を一般化して表すと、次のようになる。
（１）ディレイ部17とディレイ部18のディレイ数（ディレイクロック数）の和は３であればよい。
（２）ディレイ部17とディレイ部19のディレイ数の和は３であればよい。
（３）入力画像信号Ｉがカーソル位置決定部６〜８を経て比較器10までに至る間に存在するディレイ数の和は最低３必要で、３より多い場合は、その多い分のディレイ数を、比較器10への入力画像信号Ｉの入力部分に挿入する必要がある。
（４）上記（１），（２）及び（３）に示したディレイ数の和は、画像信号を画像メモリ３から読み出す際に、縦方向に読み出す画素数に等しい。
【００５３】
すなわち、本実施の形態では、画像メモリ３からの画素信号の読み出しを、画素番号０，Ｎ＋０，２Ｎ＋０，１，・・・というように読み出していたため、上記（１）及び（２）に記したディレイ数の和は３であったが、例えば、画素番号０，Ｎ＋０，２Ｎ＋０，３Ｎ＋０，１，・・・というように読み出した場合は、ディレイ数の和は４となる。したがって、画像を縦に読み出す数を増やせば増やすほど、ディレイ部19，ディレイ部17，ディレイ部18に割り当てるディレイ数は多くなり、より複雑な処理をより高速に行うことが可能となる。
【００５４】
また、上記一般化した説明を、図１に示した画像処理回路に当てはめた場合、画素信号の読み出し順は画素番号１，２，・・・となっているので、上記（４）の条件から、ディレイ部17とディレイ部18のディレイ数の和は１となる。したがって、図１に示した画像処理回路においては、セレクタ９と比較器10は、合わせて１クロック内で処理しなければならないことになり、これは図１に示した画像処理回路における問題点につながる。
【００５５】
以上で説明したように、画像メモリ３からの画素信号の読み出し順序を工夫し、また回路内のパイプラインディレイ部のディレイ数及び挿入位置を適切に選択することにより、ヒステリシススムージング回路に代表されるようなフィードバック処理回路を有する画像処理回路を、パイプライン処理により高速処理することが可能となる。
【００５６】
次に、本発明の第２の実施の形態について説明する。前記第１の実施の形態においては、入力画像は単一色の画像であったのに対し、第２の実施の形態は、単板のカラー画像を入力画像とした場合の画像処理回路に関するものである。図５は、本発明に係る画像処理装置の第２の実施の形態を示すブロック構成図であり、具体的にはヒステリシススムージング処理回路をデジタルカメラに搭載した場合の回路構成を示すブロック図である。図５において、図３に示した第１の実施の形態における構成要素と同一又は対応する構成要素には同一符号を付して示し、その詳細な説明は省略する。この実施の形態が第１の実施の形態と異なる点は、撮像素子としてＲＧＢベイヤーカラーフィルタを有する単板カラー撮像素子１′を用いている点と、ディレイ部13〜15，17〜19のディレイクロック数を異ならせている点で、その他の構成は第１の実施の形態と同様である。
【００５７】
次に、このように構成された第２の実施の形態の動作について、図５に加え、図６の（Ａ）〜（Ｃ）を用いて説明する。ただし、図１及び図３に示した画像処理回路と同じ動作をするブロックについては、その説明を省略する。図６の（Ａ）は、図５に示した画像処理回路における画像データの流れを説明するタイミングチャートであり、図６の（Ｂ）は画素信号の読み出し順を説明するための図であり、図６の（Ｃ）はベイヤーカラーフィルターを説明するための図である。図６の（Ａ）のタイミングチャートの番号(1) 〜(8) で示す信号のタイミングは、図５に示す画像処理回路の同じ番号で示す部分に流れるデータのタイミングを示している。
【００５８】
ベイヤーカラーフィルタを有する撮像素子１から出力される画像信号は、図６の（Ｂ）で示されるような、横画素数Ｎ個、縦画素数Ｍ個の２次元の単板カラー画像の画像信号であり、説明を容易にするため０から始まる画素番号、及びそれぞれの画素に対応するカラーフィルタの色を表記している。カラーフィルタの色は、図６の（Ｃ）で示す単板ベイヤーカラーフィルタの色であり、Ｒは赤、Ｇｒは赤と同じ行の緑、Ｂは青、Ｇｂは青と同じ行の緑を表している。
【００５９】
この２次元の単板カラー画像信号は、ＡＤコンバータ２でデジタル信号に変換された後、画像メモリ３に書き込まれる。このときの画像信号の書き込み順は、メモリコントローラ４により、画素番号０（Ｒ），１（Ｇｒ），２（Ｒ），３（Ｇｒ），・・・，Ｎ＋０（Ｇｂ），Ｎ＋１（Ｂ），・・・というように、画素番号順に書き込まれるように制御される。
【００６０】
次に、画像メモリ３に書き込まれた画像信号は、画像メモリ３から１クロック毎に読み出されるが、このときの読み出し順は、図６の（Ｂ）の矢印で示したように、画素番号０（Ｒ）の画素から矢印に沿って、縦方向にＮ＋０（Ｇｂ），２Ｎ＋０（Ｒ）の順に読み出され、次に、１（Ｇｒ），Ｎ＋１（Ｂ），２Ｎ＋１（Ｇｒ）というように、ジグザグ状に読み出される。右端の３Ｎ−１まで読み出された後は、３Ｎ＋０（Ｇｂ）から４Ｎ＋０（Ｒ），５Ｎ＋０（Ｇｂ）と読み出され、以下、同様に画像の下端まで繰り返される。このようにして画像メモリ３から読み出された画像信号を、画像信号Ｉ（図６の（Ａ）のタイミングチャートの番号(1) で示す信号）とする。
【００６１】
一方、画像処理回路のもう一つの入力データである撮影情報は、撮影時のＩＳＯ感度やシャッター速などの情報であり、図６の（Ａ）のタイミングチャートの(2) で示すように、１フレーム単位で切り替わるデータであるため、1 画面中は同じ情報が保持される。
【００６２】
カーソル高さ決定部５の動作は、図１に示した画像処理回路と同じ動作であり、ディレイ部11，12を通ったカーソル高さ信号curs及び画像信号Ｉ１信号は、図６の（Ａ）のタイミングチャートの(3) に示すタイミングの信号となる。
【００６３】
次に、カーソル初期位置決定部６，第1 のカーソル位置決定部７，及び第２のカーソル位置決定部８は、図１に示した画像処理回路と同じ動作をし、それらの出力信号は、それぞれディレイ部13，14，15を通った後、図６の（Ａ）のタイミングチャートの(4) に示すタイミングの信号となる。ここで、ディレイ部13，14，15のディレイクロック数が３になっているが、この理由については後に述べる。
【００６４】
次に、セレクタ９の動作も図１に示した画像処理回路と同じであり、ディレイ部17を通った後、図６の（Ａ）のタイミングチャートの(5) で示したタイミングの処理済のカーソル位置信号high,low,center となる。このうちの信号centerはヒステリシススムージング処理を終えた画像信号であるので、出力画像信号Ｏとなる。
【００６５】
ここで、セレクタ９の入力信号high3,low3,center3は、既にヒステリシススムージング処理を終えている１画素前隣の画素に対応するカーソル位置信号であるが、この１画素前隣の画素とは、２次元画像における同じ色の前隣の画素を示し、例えば、図６の（Ｂ）に示した画素番号２（Ｒ）の１画素前隣の画素とは、画素番号０（Ｒ）の画素のことであり、メモリからの読み出し順とは関係ない。前隣の画素を同色の画素とする理由は、色が異なると、ノイズの振幅値や画素のレベルが異なるため、同じ色同士でヒステリシススムージングを行う必要があるからである。
【００６６】
よって、セレクタ９に入力するカーソル位置信号high0,low0,center0、high1,low1,center1、及びhigh2,low2,center2と、high3,low3,center3との関係は、図６の（Ａ）のタイミングチャートの(4) と(6) で表したようなタイミングの関係、すなわち、タイミングチャートの(4) の画素番号２（Ｒ）の画素に対応する信号と、タイミングチャートの(6) の画素番号０（Ｒ）の画素に対応する信号とを同じタイミングとする必要がある。したがって、このタイミング合わせのため、処理済のカーソル位置信号のセレクタ９への入力信号high3,low3,center3は、処理済のカーソル位置信号high,low,center をディレイ部19によって４クロック遅らせた信号となる。
【００６７】
次に、比較器10では、上記処理済のカーソル位置信号の上下端位置信号high,lowの２つ信号と、入力画像信号Ｉとの比較を行う。この比較は、１画素前隣の同色画素に対応するカーソル位置信号high,lowと、現在の入力画像信号Ｉとを比較するものである。具体的には、図６の（Ａ）のタイミングチャートの(5) の画素番号０（Ｒ）の画素に対応する信号と、タイミングチャートの(7) の画素番号２（Ｒ）の画素に対応する信号とを比較するということであるから、カーソル位置信号high,lowは入力画像信号Ｉに対し、６クロック分遅れたものとしなければならない。したがって、ここでの画像信号にはディレイ部を通さない入力画像信号Ｉを用いることになる。比較器10の動作は、図１に示した画像処理回路の動作と同じであるが、比較器10が"11"を出力する条件である、左端画素の位置には違いがある。本実施の形態における左端画素とは、図６の（Ｂ）における、０（Ｒ），Ｎ＋０（Ｇｂ），２Ｎ＋０（Ｒ），・・・及び、１（Ｇｒ），Ｎ＋１（Ｂ），２Ｎ＋１（Ｇｒ），・・・の左端２列の画素である。
【００６８】
この比較器10の出力信号は、ディレイ部18を通った後、セレクタ９のセレクト信号Ｓとなる。ここで、このセレクタ信号Ｓは前述したように、セレクタ９への入力信号high0,low0,center0、high1,low1,center1、high2,low2,center2、及びhigh3,low3,center3のいずれか１組を選択するための信号であるため、これらの信号とのタイミングを考慮する必要がある。具体的には、図６の（Ｂ）における画素番号２（Ｒ）の画素位置におけるヒステリシススムージング結果を得るためには、画素番号２（Ｒ）の画素位置に対応するカーソル位置信号high1,low1,center1及びhigh2,low2,center2と、画素番号０（Ｒ）の画素位置に対応する処理済のカーソル位置信号high3,low3,center3のいずれかを選択するセレクトする信号として、画素番号０（Ｒ）の画素位置に対応するセレクト信号Ｓが必要ということになる。すなわち、セレクト信号Ｓは図６の（Ａ）のタイミングチャートの(8) に示したタイミングの信号とする必要がある。そして、このセレクト信号Ｓは、例えば画素番号０（Ｒ）の画素位置に対応するセレクト信号Ｓは、図６の（Ａ）のタイミングチャートの(5) で示す処理済のカーソル位置信号high,low,center の画素番号０（Ｒ）の画素位置に対応する信号、及びタイミングチャートの(7) で示す画像信号Ｉの画素番号２（Ｒ）の画素信号から生成される信号であるから、この２つの信号に対して４クロック分遅れた信号ということになる。つまり、図６の（Ａ）のタイミングチャートの(8) のタイミングのセレクト信号Ｓを得るためには、ディレイ部18は４クロック分のディレイを必要とするということになる。
【００６９】
ここで、ディレイ部18は４クロック分のディレイが必要であるということは、比較器10の処理に４クロック分のパイプラインディレイを割り振ることが可能であるということであり、また、ディレイ部17が、２クロック必要であるということは、セレクタ９の処理に２クロック分のパイプラインディレイを割り振ることが可能であるということである。
【００７０】
以上の説明を一般化して表すと、次のようになる。
（１）ディレイ部17とディレイ部18のディレイ数（ディレイクロック数）の和は６であればよい。
（２）ディレイ部17とディレイ部19のディレイ数の和は６であればよい。
（３）入力画像信号Ｉがカーソル位置決定部６〜８を経て比較器10までに至る間に存在するディレイ数の和は最低６必要で、もし、６より多い場合は、その多い分のディレイ数を、比較器10への入力画像信号Ｉの入力部分に挿入する必要がある。
（４）ベイヤーカラー画像においては、上記（１），（２）及び（３）に示したディレイ数の和は、画像信号を画像メモリ３から読み出す際に、縦方向に読み出す画素数×２に等しい。
【００７１】
すなわち、本実施の形態では、画像メモリ３からの画素信号の読み出しを、画素番号０，Ｎ＋０，２Ｎ＋０，１，・・・というように読み出していたため、上記（１）及び（２）に記したディレイ数の和は３×２＝６であったが、例えば、画素番号０，Ｎ＋０，２Ｎ＋０，３Ｎ＋０，１，・・・というように読み出した場合は、ディレイ数の和は８となる。したがって、画像を縦に読み出す数を増やせば増やすほど、ディレイ部19，ディレイ部17，ディレイ部18に割り当てるディレイ数は多くなり、より複雑な処理をより高速に行うことが可能となる。
【００７２】
さて、本実施の形態においては、ディレイ17，18，19のディレイ数は上記のように設定することが可能であるが、ディレイ13，14，15のディレイ数については、次のようにして設定される。
【００７３】
まず、入力画像信号Ｉが、比較器10に一番早く到達するのは図６の（Ａ）のタイミングチャートの(7) で示すタイミングのときである。したがって、この入力画像信号Ｉとタイミングを合わせる必要のある処理済のカーソル位置信号の上下端位置信号high,lowも、図６の（Ａ）のタイミングチャートの(5) で示すタイミングより前には生成してはいけないことになる。この制約があるため、ディレイ部17のディレイ数を減らしたい場合は、図６の（Ａ）のタイミングチャートの(4) で示すセレクタ９への入力信号（カーソル位置信号）を遅らせるしか方法はない。つまり、本実施の形態では、ディレイ部17のディレイ数を２としているため、ディレイ部13，14，15のディレイ数を３とする必要がある。仮に、ディレイ部17のディレイ数を１にしたい場合は、ディレイ部13，14，15のディレイ数を４にする必要がある。これは、比較器10への入力信号（処理済のカーソル位置信号の上下端位置信号）high,lowと、入力画像信号Ｉのタイミングを合わせるためである。
【００７４】
また、仮に、ディレイ部17のディレイ数を５とした場合は、ディレイ部18及びディレイ部19のディレイ数を１とし、ディレイ部13，14，15のディレイ数を１にし、且つ、比較器10に入力する画像信号Ｉを１クロック遅らせる必要がある。これは第１の実施の形態での説明と同じで、比較器10の入力信号high,lowと入力画像信号Ｉのタイミングを合わせるためである。
【００７５】
また、本実施の形態では入力画像をベイヤーカラー画像としたものを示したが、これは例えば補色フィルターような他のカラーフィルターによるカラー画像でも成り立つ。また、本実施の形態で用いたベイヤーカラー画像のような、1 画素おきに同色画素が並ぶ画像を扱う場合においては、画像メモリからの画像の読み出しを０，１，２，３，・・・というように、画像の横方向に読み出した場合、ディレイ部17とディレイ部18のディレイ数の和は２，ディレイ部17とディレイ部19のディレイ数の和は２となる。すなわち、セレクタ及び比較器をそれぞれ１クロック周期内で処理することが可能となり、図１で示した回路構成のままでも、回路のクロック周波数が高くない場合や、画像のビット幅が少ない場合においては、ヒステリシススムージングのパイプライン処理が実現可能である。
【００７６】
以上で説明したように、画像メモリ３からの画像信号の読み出し順序を工夫し、また回路内のパイプラインディレイ部のディレイ数及び挿入位置を適切に選択することにより、カラー画像においても、ヒステリシススムージング回路に代表されるようなフィードバック処理回路を有する画像処理回路における画像処理を、パイプライン処理により高速処理することが可能となる。
【００７７】
次に、本発明の第３の実施の形態について説明する。図７は、本発明に係る画像処理装置の第３の実施の形態を示すブロック構成図であり、図３及び図５に示した第１及び第２の実施の形態と同一又は対応する構成要素には同一の符号を付して示し、その説明を省略する。図７において、21は入力画素信号値がカーソルの上端より上となった場合の、カーソルの中心位置center1 を演算する第１のカーソル中心位置決定部、22は入力画素値がカーソルの下端より下となった場合の、カーソルの中心位置center2 を演算する第２のカーソル中心位置決定部、23はカーソルの上端位置high及び下端位置low を演算するカーソル上下端位置決定部、24はディレイ部（一般的回路におけるフリップフロップ）であり、ディレイ部11〜19と共に1 クロック分ディレイさせる場合はＤ，ｎクロック分ディレイさせる場合はｎＤと表している。
【００７８】
この実施の形態においては、カーソル位置の演算は、最初に第１のカーソル中心位置決定部21及び第２のカーソル中心位置決定部22にて、中心位置center１，center２のみ求め、そしてセレクタ９により選ばれたカーソル中心位置から、カーソル上下端位置決定部23にてカーソル上下端位置を求めるようにしている。したがって、前記第１及び第２の実施の形態に対し、機能的には同じであるが、カーソルの位置を演算するブロックが簡単になり、回路規模を小さくできるという利点がある。
【００７９】
しかし、セレクタ９の処理後に、カーソル上下端位置high,lowの演算を行うため、カーソル中心位置centerからセレクタ信号Ｓを演算するまでの回路は更に複雑になるので、画像信号の読み出しを図２の（Ｂ）のように横方向に読み出した場合においては、セレクタ９，カーソル中心位置決定部21又は22，及び比較器10の３つのブロックを、１クロック周期内に処理しなければならないことになり、一般的な回路でのパイプライン処理は難しい。
【００８０】
このような、より複雑な構成の回路においても、図７に示す第３の実施の形態の回路構成のように、ディレイ部の配置及びディレイクロック数を適切に決め、図６の（Ｂ）で示したような画像読み出し方法をとることにより、カラー画像に対して図８に示したタイミングのパイプライン処理が可能となる。
【００８１】
また、図７に示した第３の実施の形態に係る画像処理回路におけるパイプラインディレイ数（ディレイクロック数）は、第１及び第２の実施の形態と同様に、以下のように一般化できる。
（１）ディレイ部17とディレイ部24とディレイ部18のディレイ数の和は６であればよい。
（２）ディレイ部17とディレイ部19のディレイ数の和は６であればよい。
（３）入力画像信号Ｉがカーソル中心位置決定部21，22、セレクタ９、及びカーソル上下端位置決定部23を経て比較器10までに至る間に存在するディレイ数の和は最低６必要で、もし、６より多い場合は、その多い分のディレイ数を、比較器10への入力画像信号Ｉの入力部分に挿入する必要がある。本実施の形態では、入力画像信号Ｉがカーソル中心位置決定部21，22、セレクタ９、及びカーソル上下端位置決定部23を経て比較器10までに至る間に９段（９クロック分）のディレイ数があるため、３段のディレイ数のディレイ部16が比較器10に入力される画像信号Ｉの入力側に挿入されている。
（４）ベイヤーカラー画像においては、上記（１），（２）及び（３）に示したディレイ数の和は、画像信号を画像メモリ３から読み出す際に、縦方向に読み出す画素数×２に等しい。
【００８２】
以上で説明したように、画像メモリ３からの画像の読み出し順序を工夫し、また回路内のパイプラインディレイ部のディレイ数及び挿入位置を適切に選択することにより、より複雑な構成のフィードバック回路においても、パイプライン処理により高速処理することが可能な画像処理回路を提供することができる。
【００８３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、画像処理回路を構成するセレクタ及び比較部の出力信号に対して適切な遅延量を設定することができ、ヒステリシススムージング処理に代表されるフィードバック処理を有する画像処理を、パイプライン処理により高速に行うことが可能な画像処理回路を実現することができる。
【図面の簡単な説明】
【図１】本発明に関連する画像処理回路の構成を示すブロック構成図である。
【図２】図１に示した画像処理回路の動作を説明するためのタイミングチャート、及び図１に示した画像処理回路における画像データの読み出し順を示す説明図である。
【図３】本発明に係る画像処理装置の第１の実施の形態を示すブロック構成図である。
【図４】図３に示した第１の実施の形態の動作を説明するためのタイミングチャート、及び第１の実施の形態における画像データの読み出し順を示す説明図である。
【図５】本発明の第２の実施の形態を示すブロック構成図である。
【図６】図５に示した第２の実施の形態の動作を説明するためのタイミングチャート、第２の実施の形態における画像データの読み出し順を示す説明図、及び第２の実施の形態における撮像素子に用いられるベイヤーカラーフィルタの構成を示す図である。
【図７】本発明の第３の実施の形態を示すブロック構成図である。
【図８】図７に示した第３の実施の形態の動作を説明するためのタイミングチャートである。
【図９】ヒステリシススムージング処理を説明するための説明図である。
【符号の説明】
１撮像素子
１′ 単板カラー撮像素子
２Ａ／Ｄコンバータ
３画像メモリ
４メモリコントローラ
５カーソル高さ決定部
６カーソル初期位置決定部
７第１のカーソル位置決定部
８第２のカーソル位置決定部
９セレクタ
10 比較器
11〜19 ディレイ部
21 第１のカーソル中心位置決定部
22 第２のカーソル中心位置決定部
23 カーソル上下端位置決定部
24 ディレイ部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image processing circuit, and more particularly to an image processing circuit including an image data feedback processing unit.
[0002]
[Prior art]
[Non-Patent Document 1]
  R.W.Ehrich, "A symmetric hysterisis smoothing algorithm that preserves principal features," [CGIP, vol.8, pp.121-126, August 1978]
[0003]
  In an image processing apparatus that aims to obtain an image of a desired image quality by performing digital image processing on an image signal obtained from an image sensor such as a CCD, the past processing result is used as a function of image processing. In some cases, feedback processing is required to perform the current processing.
[0004]
  Here, hysteresis smoothing of an image will be described as an example of image processing having feedback processing. First, an outline of the hysteresis smoothing operation will be described with reference to FIG. In order to simplify the description, the image data handled by the image processing apparatus is assumed to be monochrome image data. Hysteresis smoothing is one of the methods for removing noise contained in an image. R.W.Ehrich, “A symmetric hysterisis smoothing algorithm that preserves principal features,” [CGIP, vol.8, pp.121-126 , August 1978] (Non-Patent Document 1).
[0005]
  This hysteresis smoothing is to remove noise by processing only in the one-dimensional direction of the image. As shown in FIG. 9, the cursor 101 having a height h is moved in the one-dimensional direction of the input image value 102, and the cursor 101 The center value 101c is output as the output image value 103 after noise removal. In FIG. 9, the horizontal axis indicates the pixel position, and the vertical axis indicates the pixel level. The cursor 101 is moved according to the following rules.
(1) The initial position of the cursor 101 (pixel position (1) in FIG. 9) is set so that the center 101c of the cursor 101 becomes the input pixel value 102.
(2) The cursor 101 is horizontally moved from the current position by one pixel while maintaining the position, that is, the same pixel level.
(3) If the input pixel value 102 that has been moved horizontally by one pixel is within the range of the cursor 101 as in the pixel position (2) in FIG. (Direction), the cursor 101 is not moved, and the level value of the cursor center 101c at this time is output as the output image value 103 after noise removal.
(4) If the input pixel value 102 is above the upper end 101h of the cursor 101 when the pixel is moved horizontally by one pixel as in the pixel position (5) in FIG. If the input pixel value 102 is below the lower end 101l of the cursor 101 as in the case of the pixel position (8) in FIG. The lower end 101l of 101 is moved in the vertical direction so as to match the input pixel value 102. The level value of the cursor center 101c at this time is output as an output image value after noise removal.
  By doing so, it is possible to remove a noise component smaller than the height h of the cursor 101 while preserving a large amplitude component included in the subject.
[0006]
  As shown in the above description of the operation, this hysteresis smoothing is an algorithm that determines the current cursor position based on the cursor position information of the previous pixel and performs noise removal. This is a feedback image processing apparatus that uses the cursor position information as feedback data and is used for the current cursor position calculation.
[0007]
  On the other hand, in an image processing apparatus that realizes the digital image processing by hardware processing, high-speed processing is generally performed using pipeline processing. Pipeline processing is processing in which a series of image processing is divided into small blocks that can operate within one clock cycle, and each block is operated in a flow-like manner.
[0008]
[Problems to be solved by the invention]
  By the way, when a feedback process such as hysteresis smoothing is to be pipelined, it is also necessary to process the feedback data within one clock cycle. However, since the feedback data for the hysteresis smoothing process is generated by comparing the cursor upper and lower end values with the input image value, if the circuit operating frequency is high or the image bit width is large, it is processed within one clock cycle. May not end.
[0009]
  As described above, when an image processing circuit including a feedback process that performs a complicated operation on feedback data is to be realized by pipeline processing, there is a problem that the pipeline circuit cannot be realized. Conventionally, there has not been proposed a method for realizing processing that requires feedback of data passing through such complicated gates in units of pixels by pipeline processing.
[0010]
  The present invention has been made to solve the above-mentioned problems that occur when pipeline processing is performed on an image processing algorithm having conventional feedback processing. Image processing including feedback processing with a complicated configuration is performed by pipeline processing. An object is to provide an image processing circuit capable of high-speed processing.
[0011]
[Means for Solving the Problems]
  In order to solve the above problems, the invention according to claim 1The image signal obtained from the image sensor The input image signal I read out in a predetermined order is subjected to predetermined noise removal including feedback processing, and the output image signal O subjected to the noise removal is obtained.An image processing circuit for outputting,Cursor position determination for processing a pixel signal corresponding to the first pixel of the image sensor in the input image signal I to calculate a plurality of cursor positions and outputting a plurality of sets of cursor position signals related to the cursor position And a cursor relating to a plurality of sets of cursor position signals and a pixel signal corresponding to a second pixel that has already been subjected to noise removal prior to the first pixel, based on the select signal S inputted Select one set of signals from the position signals, compare the selector that outputs the selected signals, the signal selected by the selector and the first pixel signal, and compare A comparison unit that outputs the result to the selector as the select signal S of the selector, and the selector as a select signal S of the selector from the output side of the selector. A first delay amount until being input, and a second delay until the input from the selector output side to the selector as a cursor position signal related to the pixel signal corresponding to the second pixel for which noise removal has been completed A delay unit that provides a delay amount so that the amount and the third delay amount of the input image signal I reaching the comparison unit through the cursor position determination unit are equal.It is characterized by having.
[0012]
  The first to third embodiments correspond to the embodiment relating to the first aspect of the present invention. And in the image processing circuit configured in this way,selectorAnd comparisonPartTherefore, an appropriate delay amount can be set for the output signal, and image processing having feedback processing represented by hysteresis smoothing can be performed at high speed by pipeline processing.
[0013]
  Claim2The invention according to claim1In the image processing circuit according to the above,Delay sectionIs a flip-flop circuit.
[0014]
  This claim2The first to third embodiments correspond to the embodiments related to the invention. In the image processing apparatus configured as described above,Delay sectionIs configured with a flip-flop circuit, the delay amount can be easily set.
[0015]
  Claim3The invention according to claim1In the image processing circuit according to claim 1, the first pixel and the second pixelAnd adjacentThe first embodiment corresponds to the embodiment relating to the present invention.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
  Next, embodiments will be described. First, prior to the description of the embodiment of the present invention, a basic circuit configuration considered as an image processing circuit related to the present invention and its operation will be described. FIG. 1 is a block diagram showing a basic circuit configuration conceivable when a hysteresis smoothing processing circuit is mounted on a digital camera. In FIG. 1, 1 is an image sensor for capturing a monochrome image, or an image sensor having a monochrome color filter, 2 is an AD converter that converts the signal of the image sensor 1 into a digital signal, and 3 is an output signal of the AD converter. An image memory for storing one screen, a memory controller 4 for generating a read / write address of the image memory 3, and a cursor height determining unit 5 for determining a cursor height h based on photographing information and an input image signal It is.
[0017]
  Reference numeral 6 denotes a cursor initial position determination unit for calculating the cursor upper end position high0, the lower end position low0, and the cursor center position center0 when the input pixel signal is an image end, and 7 is a cursor having the input pixel signal value as the upper end of the cursor. A first cursor position determination unit for calculating the upper end position high1, the lower end position low1, and the cursor center position center1, 8 is the cursor upper end position high2, the lower end position low2, and the cursor center position center2 with the input pixel value as the lower end of the cursor. The second cursor position determination unit 9 calculates the output of the cursor initial position determination unit 6, the output of the first cursor position determination unit 7, the output of the second cursor position determination unit 8, and the hysteresis smoothing process. Selector for selecting and outputting one set of processing results high3, low3, and center3 of the pixel (advanced pixel) adjacent to the previous pixel that has been completed, 10 is the current Comparators 11 to 18 for comparing the pixel value of the cursor with the upper and lower ends of the cursor absorb the operation delay time generated in each of the constituent blocks 5 to 10 by synchronizing with the clock timing, and each of the constituent blocks 5 to 10 This is a delay unit (flip-flop in a general circuit) for matching the timing between the output data of each of the output data in units of clocks.
[0018]
  Next, operation of the image processing circuit shown in FIG. 1 will be described with reference to a timing chart in FIG. 2A and an explanatory diagram in FIG. 2A is a timing chart for explaining a flow of image data in the circuit shown in FIG. 1, and FIG. 2B is a diagram for explaining an image reading order. Numbers (1) to (7) in (A) of FIG. 2 are numbers indicating the timing of data flowing through the image processing circuit shown in FIG. 1, and (1) to (7) of the image processing circuit shown in FIG. This represents the data timing in the part indicated by (7).
[0019]
  The image signal output from the image sensor 1 is a two-dimensional image signal having N horizontal pixels and M vertical pixels, as shown in FIG. 2B, for ease of explanation. Pixel numbers starting from 0 are assigned from the upper left corner. The two-dimensional image signal is converted into a digital signal by the AD converter 2 and then written into the image memory 3. The image signal writing order at this time is controlled by the memory controller 4 so that the pixel numbers 0, 1, 2, 3,... N-1, N + 0, N + 1,. .
[0020]
  Next, the image signal is read out from the image memory 3 every clock, and the reading order at this time is the horizontal direction in order from the 0th pixel at the upper left end as shown by the arrow in FIG. Is read out. After reading to the right end, scanning is performed in the right direction in order from the (N + 0) th row in the second row, and thereafter the same is repeated to the lower right end of the image, and this becomes the input image signal I.
[0021]
  On the other hand, shooting information, which is another input data of the image processing circuit, is information such as ISO sensitivity and shutter speed at the time of shooting, and one frame as shown in (2) of the flowchart of FIG. Since the data is switched in units, the same information is retained in one screen.
[0022]
  The input image signal I and the photographing information are input to the cursor height determining unit 5, and the cursor height information curs is calculated and output for each pixel based on these information. Here, the cursor height information curs is obtained based on the characteristic that the image pickup element 1 has a characteristic that the amplitude of noise increases when the level of the image signal is high, and the characteristic that the noise amplitude increases as the shutter speed increases. calculate. The calculated cursor height information curs passes through the delay unit 11 and becomes a clock synchronization signal.
[0023]
  The input image signal I also passes through the delay unit 12 in order to synchronize the cursor height information curs with the timing in clock units, and as a result, the input image signal I becomes a signal I1 delayed by one clock. Therefore, these two signals curs and I1 are signals having the timing shown in (3) of the timing chart of FIG.
[0024]
  Next, in the cursor initial position determination unit 6, the first cursor position determination unit 7, and the second cursor position determination unit 8, the cursor upper and lower end positions and the cursor center position are determined from the cursor height curs and the input image signal I1. Is calculated.
[0025]
  The cursor initial position determination unit 6 is a block for determining the cursor initial position at the left end of the image, such as 0, N + 0, 2N + 0,... In FIG. The cursor center position center0 is calculated as shown by the following equations (1), (2), and (3), respectively.
    high0 = I1 + curs / 2 (1)
     low0 = I1-curs / 2 (2)
    center0 = I1 (3)
[0026]
  Since the first cursor position determination unit 7 is a block that performs calculation when the input image signal I1 is set to the upper end position of the cursor, the cursor upper end position high1, the lower end position low1, and the cursor center position center1 are respectively ( 4), (5), and (6) are calculated.
    high1 = I1 (4)
     low1 = I1-curs (5)
    center1 = I1-curs / 2 (6)
[0027]
  Similarly, since the second cursor position determination unit 8 is a block that performs calculation when the input image signal I1 is set to the lower end position of the cursor, the cursor upper end position high2, the lower end position low2, and the cursor center position center2 are: Calculations are performed as indicated by (7), (8), and (9), respectively.
    high2 = I1 + curs (7)
     low2 = I1 (8)
    center2 = I1 + curs / 2 (9)
[0028]
  The output signals of the cursor initial position determining unit 6, the first cursor position determining unit 7, and the second cursor position determining unit 8 pass through the delay units 13, 14, and 15 to become clock synchronization signals, respectively. These signals are signals having the timing shown in (4) of the timing chart of FIG.
[0029]
  Next, in the selector 9, the output signals high 0, low 0, center 0 of the cursor initial position determining unit 6 after passing through the delay unit 13 and the output signal high 1 of the first cursor position determining unit 7 after passing through the delay unit 14 described above. low1, center1, the output signal high2, low2, center2 of the second cursor position determination unit 8 after passing through the delay unit 15, and the processing result high3, low3, the pixel signal immediately before the pixel that has already been subjected to the hysteresis smoothing process Select and output one set of center3. The select signal S of the selector 9 is a 2-bit output signal from the comparator 10 in the subsequent stage of the selector 9, and is a signal having four states of “00”, “01”, “10”, and “11”. is there.
[0030]
  In response to the select signal S, the selector 9 operates as follows.
(1) When S = “00”, the selector 9 outputs the outputs high1, low1, and center1 of the first cursor position determination unit 7.
(2) When S = “01”, the selector 9 outputs the outputs high2, low2, and center2 of the second cursor position determination unit 8.
(3) When S = “10”, the selector 9 outputs the hysteresis smoothing processed signals high3, low3, and center3.
(4) When S = “11”, the selector 9 outputs the outputs high0, low0, and center0 of the cursor initial position determination unit 6.
[0031]
  Thus, the signal selected by the selector 9 passes through the delay unit 17 and becomes the signals high, low, and center at the timing indicated by (5) in the timing chart of FIG. Since the signals high, low, and center are signals that have undergone the hysteresis smoothing process, they become the input signals high3, low3, and center3 of the selector 9, and the signal center becomes the output image signal O.
[0032]
  Next, the comparator 10 compares the upper and lower end position signals high and low of the selected cursor position signal with the image signal. Since this comparison needs to compare the upper and lower edge position signals high and low of the cursor at the pixel position adjacent to the previous pixel and the current image signal, the upper and lower edge position signals high and low of the cursor and the image The timing relationship with the signal must be shifted by one pixel. Therefore, the image signal becomes an image signal I2 obtained by further delaying the image signal I1 by one clock by the delay unit 16 as shown in (6) of the timing chart of FIG.
[0033]
  Using the upper and lower end position signals high and low of these cursors and the image signal I2, the comparator 10 operates as follows. The output of the comparator 10 is a 2-bit signal.
(1) If I2> high, the comparator 10 outputs “00”.
(2) If I2 <low, the comparator 10 outputs “01”.
(3) If low <I2 <high, the comparator 10 outputs “10”.
(4) If I2 is the signal of the leftmost pixel of the image, “11” is output regardless of the high and low signals.
[0034]
  Here, the leftmost pixel of the image is a pixel in the leftmost column of 0, N + 0, 2N + 0,... In FIG. The signal from the comparator 10 becomes the select signal S of the selector 9 after passing through the delay unit 18. Therefore, the select signal S is a signal having the timing shown in (7) of the timing chart of FIG. Further, the processing at the left end of the image is processing that is performed only once for each row in the image shown in FIG. 2B, and is not directly related to the present invention that describes the feedback circuit. It is omitted in the description.
[0035]
  By the way, the select signal S output from the comparator 10 is not a signal derived from the result one pixel before the input signals (high1, low1, center1) and (high2, low2, center2) of the selector 9. Must not. Specifically, the select signal S for selecting the cursor position signals (high1, low1, center1) and (high2, low2, center2) corresponding to the pixel of pixel number 1 in FIG. The signal needs to correspond to the number 0 pixel. However, looking at the timing relationship of the signals indicated by (4) and (7) in the timing chart of FIG. 2A, the cursor position signals (high1, low1, center1) corresponding to the pixel of pixel number 1 and ( The select signal S for selecting high2, low2, center2) has not yet been determined, and the cursor position signals (high1, low1, center1) and (high2, low2, center2) corresponding to the pixel of pixel number 2 For the first time as a select signal, a select signal S corresponding to the pixel of pixel number 0 is generated.
[0036]
  In this case, a select signal derived from the result two pixels before is used, and a desired hysteresis smoothing result cannot be obtained. In order to solve this problem, it is necessary to advance the timing for generating the select signal S by one clock. For this purpose, either the delay unit 17 after the selector 9 or the delay unit 18 after the comparator 10 is used. Need to be removed. That is, both the selector 9 and the comparator 10 need to be processed within one clock cycle.
[0037]
  However, for example, when the data bit length of the image signal is large, the calculation time becomes long, so that the processing of the selector 9 and the comparator 10 may not be completed within one clock cycle. In addition, even when an operation frequency of the circuit is increased and processing is performed at a high speed, since one clock cycle is shortened, there is a possibility that the selector 9 and the comparator 10 cannot be completed within one clock cycle. In particular, when this circuit is realized using a semiconductor device having a relatively long gate delay time, it is more difficult to increase the clock frequency. Alternatively, for example, when pipeline processing is realized by using a high-performance semiconductor device and operating at a low operating frequency, there is a problem that an image processing apparatus with high cost and low performance is obtained.
[0038]
  Next, an embodiment of the present invention capable of solving this problem will be described. FIG. 3 is a block diagram showing the configuration of the image processing circuit according to the first embodiment of the present invention, and is a block diagram showing the configuration of the image processing circuit when the hysteresis smoothing processing circuit is mounted on a digital camera. 3, members that are the same as or correspond to those in the circuit shown in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted. This embodiment is different from the circuit shown in FIG. 1 in that the delay unit 16 that delays the image signal by one clock is omitted, and the processing result (high3 , low3, center3) is provided with a delay unit 19 that delays by two clocks, and the select signal S output from the comparator 10 is further delayed by two clocks by the delay unit. In the delay units 11 to 19, D is displayed when delaying by one clock, and nD is displayed when delaying by n clocks.
[0039]
  Next, the operation of the first embodiment configured as described above will be described with reference to FIGS. 4A and 4B in addition to FIG. However, the description of the same operation as the circuit of FIG. 1 is omitted. 4A is a timing chart for explaining the flow of image data in the circuit shown in FIG. 3, and FIG. 4B is an explanatory diagram for explaining the reading order of images. Numbers (1) to (8) in the timing chart of FIG. 4 (A) indicate the timing of data flowing through the circuit, and represent the timing of data in the portions indicated by (1) to (8) in FIG. 3, respectively. Yes.
[0040]
  The image signal output from the image sensor 1 is converted into a digital signal by the AD converter 2 and then written to the image memory 3 in the order of 0, 1, 2,... By the memory controller 4 in FIG. This is the same as the image processing circuit shown.
[0041]
  Next, the image signal is read from the image memory 3 every clock, and the reading order at this time is as indicated by the arrow in the explanatory diagram of FIG. Are read in the order of N + 0, 2N + 0 in the vertical direction, and then read out in a zigzag manner as 1, N + 1,2N + 1. After reading up to 3N−1 at the right end, 3N + 0th to 4N + 0, 5N + 0 are read out, and the same is repeated until the lower end of the image. This is defined as an image signal I.
[0042]
  The operation of the cursor height determining unit 5 is the same as that of the image processing circuit shown in FIG. 1. The cursor height signal curs and the image signal I1 signal that have passed through the delay units 11 and 12 are shown in FIG. The timing signal shown in (3) of the timing chart of FIG.
[0043]
  Next, the operations in the cursor initial position determining unit 6, the first cursor position determining unit 7, and the second cursor position determining unit 8 are the same as the operations of the image processing circuit shown in FIG. After passing through the delay sections 13, 14 and 15, respectively, the signal becomes a signal having the timing shown in (4) of the timing chart of FIG.
[0044]
  Next, the operation of the selector 9 is the same as the operation of the image processing circuit shown in FIG. 1, and after passing through the delay unit 17, the signal of the timing shown in (5) of the timing chart of FIG. high, low, center. These signals are the cursor position signals that have been subjected to the hysteresis smoothing process. Among these signals, the signal center is an image signal that has been subjected to the hysteresis smoothing process, and thus becomes an output image signal O.
[0045]
  Here, the input signals high3, low3, and center3 of the selector 9 are cursor position signals corresponding to the pixel immediately before the pixel that has already been subjected to the hysteresis smoothing process. 4 shows a pixel adjacent to the front (a preceding pixel) in the two-dimensional image, for example, a pixel of pixel number 0 with respect to a pixel of pixel number 1 in the explanatory diagram shown in FIG. Does not matter. Therefore, the cursor position signals high0, low0, center0, high1, low1, center1, high2, low2, center2, and high3, low3, center3 input to the selector 9 are represented by (4) in the timing chart of FIG. The timing relationship as shown in (6), that is, the signal corresponding to the pixel number 1 in the timing chart (4) and the signal corresponding to the pixel number 0 in the timing chart (6) are the same. Need to be timing.
[0046]
  Therefore, in order to adjust the timing of these signals, the input signals high3, low3, and center3 of the cursor position signal for which the hysteresis smoothing processing has been completed are input to the selector 9 by the delay unit 19. The signal is delayed by 2 clocks.
[0047]
  Next, the comparator 10 compares the input image signal I with the two signals of the upper and lower end position signals high and low of the cursor position signal subjected to the hysteresis smoothing process. In this comparison, the cursor position signals high and low corresponding to the pixel adjacent to the previous pixel are compared with the current image signal I. Specifically, the signal corresponding to the pixel number 0 of (5) in the timing chart of FIG. 4A is compared with the signal corresponding to the pixel number 1 of (7) of the timing chart. Therefore, the cursor position signals high and low must be delayed by 3 clocks with respect to the image signal I. Therefore, the input image signal I that does not pass through the delay unit is used as the image signal here.
[0048]
  The operation of the comparator 10 is the same as that shown in the image processing circuit shown in FIG. 1, and its output signal passes through the delay unit 18 and becomes the select signal S of the selector 9.
[0049]
  Here, as described above, the selector signal S selects one of the input signals high0, low0, center0, high1, low1, center1, high2, low2, center2 and high3, low3, center3 to the selector 9. Therefore, it is necessary to consider the timing with these signals. Specifically, in order to obtain the hysteresis smoothing result at the pixel position of pixel number 1 in FIG. 4B, the cursor position signals high1, low1, center1 and high2, low2, corresponding to the pixel position of pixel number 1. A select signal S corresponding to the pixel position of pixel number 0 is required as a selection signal for selecting one of center2 and the processed cursor position signals high3, low3, and center3 corresponding to the pixel position of pixel number 0 become. That is, the select signal S needs to be a signal having the timing shown in (8) of the timing chart of FIG. For example, the select signal S corresponding to the pixel position of the pixel number 0 is the pixel of the processed cursor position signal high, low, center indicated by (5) in the timing chart of FIG. Since the signal is generated from the signal corresponding to the pixel position of the number 0 and the pixel signal of the pixel number 1 of the image signal I shown in (7) of the timing chart, the two signals are delayed by 2 clocks. It will be a signal. That is, in order to obtain the select signal S at the timing (8) in the timing chart of FIG. 4A, the delay unit 18 requires a delay of two clocks.
[0050]
  Here, the fact that the delay unit 18 requires a delay of two clocks means that a pipeline delay of two clocks can be allocated to the processing of the comparator 10. For example, when a relatively high-speed clock is used as a clock for operating the image processing circuit, it is conceivable that the processing of the comparator 10 does not end within one clock cycle. At this time, by dividing the circuit constituting the comparator 10 and inserting one or two delay elements constituting the delay unit 18 inside the comparator 10, the processing between the divided circuits is simplified. Pipelining becomes possible.
[0051]
  As a modification of this embodiment, when the processing of the selector 9 does not end within one clock period, the delay number of the delay unit 17 is set to two clocks, and a part thereof is inserted into the selector 9 to delay the delay. By setting the number of delays of the unit 19 to one clock, the number of delays of the delay unit 18 to one clock, and further delaying the image signal I input to the comparator 10 by one clock, pipeline processing becomes possible. Here, the reason why the image signal I input to the comparator 10 is delayed by one clock is to match the timing of the input signal high and low to the comparator 10 with the timing of the image signal I.
[0052]
  The above description is generalized as follows.
(1) The sum of the number of delays (the number of delay clocks) of the delay unit 17 and the delay unit 18 may be three.
(2) The sum of the delay numbers of the delay unit 17 and the delay unit 19 may be three.
(3) The sum of the number of delays existing while the input image signal I reaches the comparator 10 through the cursor position determination units 6 to 8 is required to be at least 3. Therefore, it is necessary to insert the input image signal I into the input portion to the comparator 10.
(4) The sum of the delay numbers shown in the above (1), (2), and (3) is equal to the number of pixels read in the vertical direction when the image signal is read from the image memory 3.
[0053]
  That is, in the present embodiment, pixel signals are read from the image memory 3 as pixel numbers 0, N + 0, 2N + 0, 1,..., And are described in (1) and (2) above. The sum of the number of delays is 3. However, for example, when the pixel numbers 0, N + 0, 2N + 0, 3N + 0, 1,. Therefore, as the number of images read out vertically increases, the number of delays assigned to the delay unit 19, the delay unit 17, and the delay unit 18 increases, and more complicated processing can be performed at higher speed.
[0054]
  When the above generalized description is applied to the image processing circuit shown in FIG. 1, the readout order of the pixel signals is pixel numbers 1, 2,... The sum of the delay numbers of the delay unit 17 and the delay unit 18 is 1. Therefore, in the image processing circuit shown in FIG. 1, the selector 9 and the comparator 10 must be processed within one clock. This is a problem in the image processing circuit shown in FIG. Connected.
[0055]
  As described above, the order of reading out the pixel signals from the image memory 3 is devised, and the number of delays and the insertion position of the pipeline delay unit in the circuit are appropriately selected, which is represented by the hysteresis smoothing circuit. An image processing circuit having such a feedback processing circuit can be processed at high speed by pipeline processing.
[0056]
  Next, a second embodiment of the present invention will be described. In the first embodiment, the input image is a single color image, whereas the second embodiment relates to an image processing circuit when a single-plate color image is used as the input image. is there. FIG. 5 is a block diagram showing a second embodiment of the image processing apparatus according to the present invention. Specifically, FIG. 5 is a block diagram showing a circuit configuration when a hysteresis smoothing processing circuit is mounted on a digital camera. . In FIG. 5, the same or corresponding components as those in the first embodiment shown in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted. This embodiment differs from the first embodiment in that a single-plate color image pickup device 1 ′ having an RGB Bayer color filter is used as the image pickup device, and delays 13 to 15 and 17 to 19. Other configurations are the same as those of the first embodiment in that the number of clocks is different.
[0057]
  Next, the operation of the second embodiment configured as described above will be described with reference to FIGS. 6A to 6C in addition to FIG. However, description of blocks that perform the same operation as the image processing circuit shown in FIGS. 1 and 3 is omitted. 6A is a timing chart for explaining the flow of image data in the image processing circuit shown in FIG. 5, and FIG. 6B is a diagram for explaining the reading order of pixel signals. FIG. 6C is a diagram for explaining the Bayer color filter. The timings of the signals indicated by the numbers (1) to (8) in the timing chart of FIG. 6A indicate the timing of data flowing in the portions indicated by the same numbers in the image processing circuit shown in FIG.
[0058]
  An image signal output from the image sensor 1 having a Bayer color filter is an image signal of a two-dimensional single-plate color image having N horizontal pixels and M vertical pixels as shown in FIG. In order to facilitate the explanation, the pixel numbers starting from 0 and the color of the color filter corresponding to each pixel are shown. The color of the color filter is the color of the single-plate Bayer color filter shown in FIG. 6C, where R is red, Gr is green in the same row as red, B is blue, and Gb is green in the same row as blue. Represents.
[0059]
  The two-dimensional single-plate color image signal is converted into a digital signal by the AD converter 2 and then written in the image memory 3. The order of writing the image signals at this time is determined by the memory controller 4 using pixel numbers 0 (R), 1 (Gr), 2 (R), 3 (Gr),..., N + 0 (Gb), N + 1 (B). ,... Are controlled so that they are written in the order of pixel numbers.
[0060]
  Next, the image signal written in the image memory 3 is read from the image memory 3 every clock, and the reading order at this time is the pixel number 0 as shown by the arrow in FIG. (R) pixels are read in the order of N + 0 (Gb), 2N + 0 (R) in the vertical direction along the arrow, and then 1 (Gr), N + 1 (B), 2N + 1 (Gr), and so on. Read out in zigzag form. After reading up to 3N-1 at the right end, 3N + 0 (Gb) is read out to 4N + 0 (R), 5N + 0 (Gb), and the same is repeated until the lower end of the image. The image signal read from the image memory 3 in this way is referred to as an image signal I (a signal indicated by number (1) in the timing chart of FIG. 6A).
[0061]
  On the other hand, shooting information which is another input data of the image processing circuit is information such as ISO sensitivity and shutter speed at the time of shooting. As shown in (2) of the timing chart of FIG. Since the data is switched in units of frames, the same information is retained in one screen.
[0062]
  The operation of the cursor height determining unit 5 is the same as that of the image processing circuit shown in FIG. 1, and the cursor height signal curs and the image signal I1 signal that have passed through the delay units 11 and 12 are shown in FIG. The timing signal shown in (3) of the timing chart of FIG.
[0063]
  Next, the cursor initial position determination unit 6, the first cursor position determination unit 7, and the second cursor position determination unit 8 operate in the same manner as the image processing circuit shown in FIG. After passing through the delay units 13, 14 and 15, respectively, the signal becomes the timing signal shown in (4) of the timing chart of FIG. Here, the number of delay clocks of the delay units 13, 14, and 15 is 3. The reason for this will be described later.
[0064]
  Next, the operation of the selector 9 is also the same as that of the image processing circuit shown in FIG. 1, and after passing through the delay unit 17, the timing processed as indicated by (5) in the timing chart of FIG. The cursor position signals are high, low, and center. Of these signals, the signal center is an image signal that has been subjected to the hysteresis smoothing process, and thus becomes an output image signal O.
[0065]
  Here, the input signals high3, low3, and center3 of the selector 9 are cursor position signals corresponding to the pixel immediately before the pixel that has already been subjected to the hysteresis smoothing process. 6 shows the adjacent pixel of the same color in the two-dimensional image. For example, the pixel immediately adjacent to the pixel number 2 (R) shown in FIG. 6B is the pixel having the pixel number 0 (R). And has nothing to do with the order of reading from the memory. The reason why the adjacent pixel is the same color pixel is that, if the colors are different, the amplitude value of the noise and the level of the pixels are different, so that it is necessary to perform hysteresis smoothing between the same colors.
[0066]
  Therefore, the relationship between the cursor position signals high0, low0, center0, high1, low1, center1 and high2, low2, center2 and high3, low3, center3 input to the selector 9 is as shown in the timing chart of FIG. (4) and (6) in the timing chart, that is, the signal corresponding to the pixel of pixel number 2 (R) in (4) of the timing chart and the pixel number 0 ( The signal corresponding to the pixel R) needs to have the same timing. Therefore, for this timing adjustment, the input signals high3, low3, and center3 of the processed cursor position signal to the selector 9 are signals obtained by delaying the processed cursor position signals high, low, and center by 4 clocks by the delay unit 19. Become.
[0067]
  Next, the comparator 10 compares the two signals of the upper and lower end position signals high and low of the processed cursor position signal with the input image signal I. This comparison is to compare the cursor position signals high and low corresponding to the same color pixel one pixel before and the current input image signal I. Specifically, it corresponds to the signal corresponding to the pixel number 0 (R) of (5) in the timing chart of FIG. 6A and the pixel number 2 (R) of (7) of the timing chart. The cursor position signals “high” and “low” must be delayed from the input image signal I by 6 clocks. Therefore, the input image signal I that does not pass through the delay unit is used as the image signal here. The operation of the comparator 10 is the same as that of the image processing circuit shown in FIG. 1, but there is a difference in the position of the left end pixel, which is a condition for the comparator 10 to output “11”. The leftmost pixel in this embodiment means 0 (R), N + 0 (Gb), 2N + 0 (R),..., 1 (Gr), N + 1 (B), 2N + 1 (B) in FIG. Gr),... Are pixels in the leftmost two columns.
[0068]
  The output signal of the comparator 10 becomes the select signal S of the selector 9 after passing through the delay unit 18. Here, as described above, the selector signal S selects one set of the input signals high0, low0, center0, high1, low1, center1, high2, low2, center2 and high3, low3, center3 to the selector 9. Therefore, it is necessary to consider the timing with these signals. Specifically, in order to obtain the hysteresis smoothing result at the pixel position of the pixel number 2 (R) in FIG. 6B, the cursor position signals high1, low1, corresponding to the pixel position of the pixel number 2 (R). As a signal for selecting one of center1, high2, low2, and center2, and processed cursor position signals high3, low3, and center3 corresponding to the pixel position of pixel number 0 (R), pixel number 0 (R) This means that the select signal S corresponding to the pixel position is necessary. That is, the select signal S must be a signal having the timing shown in (8) of the timing chart of FIG. For example, the select signal S corresponding to the pixel position of pixel number 0 (R) is the processed cursor position signal high, low shown in (5) of the timing chart of FIG. , center is a signal generated from the signal corresponding to the pixel position of pixel number 0 (R) and the pixel signal of pixel number 2 (R) of the image signal I shown in (7) of the timing chart. This is a signal delayed by 4 clocks with respect to one signal. That is, in order to obtain the select signal S at the timing (8) in the timing chart of FIG. 6A, the delay unit 18 needs a delay of 4 clocks.
[0069]
  Here, the fact that the delay unit 18 needs a delay of 4 clocks means that a pipeline delay of 4 clocks can be allocated to the processing of the comparator 10, and the delay unit 17 However, the fact that two clocks are required means that a pipeline delay of two clocks can be allocated to the processing of the selector 9.
[0070]
  The above description is generalized as follows.
(1) The sum of the number of delays (the number of delay clocks) of the delay unit 17 and the delay unit 18 may be six.
(2) The sum of the delay numbers of the delay unit 17 and the delay unit 19 may be six.
(3) The sum of the number of delays existing while the input image signal I passes from the cursor position determination units 6 to 8 to the comparator 10 is required to be at least six. The number needs to be inserted into the input portion of the input image signal I to the comparator 10.
(4) In a Bayer color image, the sum of the delay numbers shown in (1), (2) and (3) above is the number of pixels read in the vertical direction × 2 when the image signal is read from the image memory 3. equal.
[0071]
  That is, in the present embodiment, pixel signals are read from the image memory 3 as pixel numbers 0, N + 0, 2N + 0, 1,..., And are described in (1) and (2) above. The sum of the number of delays is 3 × 2 = 6. However, for example, when the pixel numbers 0, N + 0, 2N + 0, 3N + 0, 1,. Therefore, as the number of images read out vertically increases, the number of delays assigned to the delay unit 19, the delay unit 17, and the delay unit 18 increases, and more complicated processing can be performed at higher speed.
[0072]
  In this embodiment, the delay numbers of the delays 17, 18, and 19 can be set as described above. However, the delay numbers of the delays 13, 14, and 15 are set as follows. Is done.
[0073]
  First, the input image signal I arrives at the comparator 10 earliest at the timing indicated by (7) in the timing chart of FIG. Therefore, the upper and lower end position signals high and low of the processed cursor position signal that need to be synchronized with the input image signal I are also before the timing indicated by (5) in the timing chart of FIG. It must not be generated. Because of this restriction, the only way to reduce the number of delays in the delay unit 17 is to delay the input signal (cursor position signal) to the selector 9 indicated by (4) in the timing chart of FIG. . That is, in this embodiment, since the delay number of the delay unit 17 is 2, the delay numbers of the delay units 13, 14, and 15 need to be 3. If it is desired to set the number of delays in the delay unit 17 to 1, the number of delays in the delay units 13, 14, and 15 needs to be set to 4. This is to match the timing of the input image signal I with the input signals to the comparator 10 (upper and lower end position signals of the processed cursor position signal) high and low.
[0074]
  If the delay number of the delay unit 17 is 5, the delay numbers of the delay unit 18 and the delay unit 19 are set to 1, the delay numbers of the delay units 13, 14, 15 are set to 1, and the comparator 10 It is necessary to delay the image signal I input to 1 by one clock. This is the same as the description in the first embodiment, in order to match the timings of the input signals high and low of the comparator 10 and the input image signal I.
[0075]
  In the present embodiment, a Bayer color image is used as the input image. However, this also holds for a color image using another color filter such as a complementary color filter. In addition, when handling an image in which the same color pixels are arranged every other pixel, such as a Bayer color image used in the present embodiment, reading of the image from the image memory is 0, 1, 2, 3,. Thus, when the image is read out in the horizontal direction, the sum of the delay numbers of the delay unit 17 and the delay unit 18 is 2, and the sum of the delay numbers of the delay unit 17 and the delay unit 19 is two. That is, each of the selector and the comparator can be processed within one clock cycle. Even when the circuit configuration shown in FIG. 1 is maintained, the circuit clock frequency is not high or the image bit width is small. Hysteresis smoothing pipeline processing can be realized.
[0076]
  As described above, hysteresis smoothing can be achieved even in a color image by devising the reading order of image signals from the image memory 3 and appropriately selecting the number of delays and the insertion position of the pipeline delay unit in the circuit. Image processing in an image processing circuit having a feedback processing circuit typified by a circuit can be processed at high speed by pipeline processing.
[0077]
  Next, a third embodiment of the present invention will be described. FIG. 7 is a block diagram showing a third embodiment of the image processing apparatus according to the present invention, and the same or corresponding components as those in the first and second embodiments shown in FIG. 3 and FIG. Are denoted by the same reference numerals, and description thereof is omitted. In FIG. 7, 21 is a first cursor center position determination unit that calculates the center position center1 of the cursor when the input pixel signal value is above the upper end of the cursor, and 22 is an input pixel value that is lower than the lower end of the cursor. The second cursor center position determining unit for calculating the center position center2 of the cursor, 23 is the cursor upper / lower position determining unit for calculating the upper end position high and the lower end position low of the cursor, and 24 is the delay unit (general In the case of delaying by one clock together with the delay units 11 to 19, D is indicated, and when being delayed by n clocks, it is indicated as nD.
[0078]
  In this embodiment, the calculation of the cursor position is first performed by the first cursor center position determination unit 21 and the second cursor center position determination unit 22 to obtain only the center positions center 1 and center 2 and then selected by the selector 9. The cursor upper / lower end position determination unit 23 obtains the cursor upper / lower end positions from the cursor center position. Therefore, although functionally the same as the first and second embodiments, there is an advantage that the block for calculating the cursor position is simplified and the circuit scale can be reduced.
[0079]
  However, since the calculation of the cursor upper and lower end positions high and low is performed after the processing of the selector 9, the circuit until the selector signal S is calculated from the cursor center position center is further complicated. When reading out in the horizontal direction as in (B), the three blocks of the selector 9, the cursor center position determining unit 21 or 22, and the comparator 10 must be processed within one clock cycle. Pipeline processing with a general circuit is difficult.
[0080]
  Even in such a circuit with a more complicated configuration, as in the circuit configuration of the third embodiment shown in FIG. 7, the arrangement of the delay units and the number of delay clocks are appropriately determined. By adopting the image reading method as shown, the pipeline processing at the timing shown in FIG. 8 can be performed on the color image.
[0081]
  Further, the number of pipeline delays (number of delay clocks) in the image processing circuit according to the third embodiment shown in FIG. 7 can be generalized as follows, as in the first and second embodiments. .
(1) The sum of the delay numbers of the delay unit 17, the delay unit 24, and the delay unit 18 may be six.
(2) The sum of the delay numbers of the delay unit 17 and the delay unit 19 may be six.
(3) The sum of the number of delays existing while the input image signal I reaches the comparator 10 through the cursor center position determining units 21 and 22, the selector 9, and the cursor upper / lower end position determining unit 23 is at least 6. If it is greater than 6, it is necessary to insert the larger number of delays into the input portion of the input image signal I to the comparator 10. In this embodiment, the input image signal I is delayed by 9 stages (9 clocks) while it reaches the comparator 10 through the cursor center position determining units 21 and 22, the selector 9, and the cursor upper / lower end position determining unit 23. Therefore, the delay unit 16 having a three-stage delay number is inserted on the input side of the image signal I input to the comparator 10.
(4) In a Bayer color image, the sum of the delay numbers shown in (1), (2) and (3) above is the number of pixels read in the vertical direction × 2 when the image signal is read from the image memory 3. equal.
[0082]
  As described above, in the feedback circuit having a more complicated configuration, the order of reading the image from the image memory 3 is devised, and the number of delays and the insertion position of the pipeline delay unit in the circuit are appropriately selected. In addition, an image processing circuit capable of high-speed processing by pipeline processing can be provided.
[0083]
【The invention's effect】
  As described above based on the embodiments, according to the present invention, the image processing circuit is configured.selectorAnd comparisonPartAn image processing circuit that can set an appropriate delay amount for the output signal and can perform image processing having feedback processing represented by hysteresis smoothing processing at high speed by pipeline processing is realized. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing circuit related to the present invention.
2 is a timing chart for explaining the operation of the image processing circuit shown in FIG. 1 and an explanatory diagram showing the reading order of image data in the image processing circuit shown in FIG. 1;
FIG. 3 is a block configuration diagram showing a first embodiment of an image processing apparatus according to the present invention.
4 is a timing chart for explaining the operation of the first embodiment shown in FIG. 3 and an explanatory diagram showing the reading order of image data in the first embodiment. FIG.
FIG. 5 is a block diagram showing a second embodiment of the present invention.
FIG. 6 is a timing chart for explaining the operation of the second embodiment shown in FIG. 5, an explanatory diagram showing the reading order of image data in the second embodiment, and in the second embodiment; It is a figure which shows the structure of the Bayer color filter used for an image pick-up element.
FIG. 7 is a block diagram showing a third embodiment of the present invention.
FIG. 8 is a timing chart for explaining the operation of the third embodiment shown in FIG. 7;
FIG. 9 is an explanatory diagram for explaining a hysteresis smoothing process.
[Explanation of symbols]
  1 Image sensor
  1 'single plate color image sensor
  2 A / D converter
  3 Image memory
  4 Memory controller
  5 Cursor height determination part
  6 Cursor initial position determination part
  7 First cursor position determination unit
  8 Second cursor position determination unit
  9 Selector
  10 Comparator
  11-19 Delay section
  21 First cursor center position determination unit
  22 Second cursor center position determination unit
  23 Cursor upper / lower end position determination part
  24 Delay section

Claims

撮像素子から得られる画像信号を所定の順序で読み出した入力画像信号Ｉに対して、フィードバック処理を含む所定のノイズ除去を行い、当該ノイズ除去が行われた出力画像信号Ｏを出力する画像処理回路であって、
前記入力画像信号Ｉのうちの前記撮像素子の第１の画素に対応する画素信号を処理して複数のカーソル位置を演算し、当該カーソル位置に係る複数組のカーソル位置信号を出力するカーソル位置決定部と、
入力されるセレクト信号Ｓに基づいて、前記複数組のカーソル位置信号と、前記第１の画素に先行して既にノイズ除去を終えている第２の画素に対応する画素信号に係るカーソル位置信号との中から、いずれか一組の信号を選択し、その選択された信号を出力するセレクタと、
前記セレクタにて選択された信号と前記第１の画素信号とを比較し、その比較結果を前記セレクタのセレクト信号Ｓとして前記セレクタへ出力する比較部と、
前記セレクタの出力側から前記比較部を介して前記セレクタのセレクト信号Ｓとして前記セレクタに入力されるまでの第１の遅延量、ノイズ除去を終えている前記第２の画素に対応する画素信号に係るカーソル位置信号として前記セレクタの出力側から前記セレクタに入力されるまでの第２の遅延量、及び前記入力画像信号Ｉが前記カーソル位置決定部を経て前記比較部までに到る第３の遅延量が等しくなるように、遅延量を与えるディレイ部と、
を有することを特徴とする画像処理回路。An image processing circuit that performs predetermined noise removal including feedback processing on an input image signal I obtained by reading image signals obtained from the image sensor in a predetermined order, and outputs an output image signal O subjected to the noise removal Because
Cursor position determination for processing a pixel signal corresponding to the first pixel of the image sensor in the input image signal I to calculate a plurality of cursor positions and outputting a plurality of sets of cursor position signals related to the cursor position And
Based on the input select signal S, the plurality of sets of cursor position signals, and a cursor position signal related to a pixel signal corresponding to a second pixel that has already undergone noise removal prior to the first pixel; A selector that selects any one set of signals from the output and outputs the selected signals;
A comparator that compares the signal selected by the selector with the first pixel signal and outputs the comparison result to the selector as a select signal S of the selector;
A first delay amount from the output side of the selector to the selector as a select signal S of the selector through the comparator, and a pixel signal corresponding to the second pixel that has been denoised A second delay amount until the input of the cursor position signal from the output side of the selector to the selector, and a third delay of the input image signal I reaching the comparison section through the cursor position determination section A delay unit that gives a delay amount so that the amounts are equal;
An image processing circuit comprising:

前記ディレイ部は、フリップフロップ回路であることを特徴とする請求項１に係る画像処理回路。The image processing circuit according to claim 1 , wherein the delay unit is a flip-flop circuit.

前記第１の画素と前記第２の画素とは、隣接する画素同士であることを特徴とする請求項１に係る画像処理回路。The image processing circuit according to claim 1 , wherein the first pixel and the second pixel are adjacent pixels.