JP2552742B2 - 適応型輪郭補正回路 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、固体撮像素子を用いたカメラのレジストレ
ーション補正を電気的に行った際に生じる空間周波数成
分の劣化を、画素毎に適応補正する輪郭補正回路に関す
るものである。

〔従来の技術〕

従来から知られているとおり、固体撮像素子における
レジストレーションのズレは、取付誤差およびレンズの
収差により起こる。ここで、取付けについては極めて精
密な治具によって行っているが、完全に誤差をなくすの
は困難である。

また固体撮像素子の場合、レジストレーションのズレ
は、その取付精度で決ってしまうためレンズの倍率色収
差等のダイナミックな補正は、不可能であった。

〔発明が解決しようとする課題〕

ところが現実には、ズームレンズを用いた場合、テレ
の状態とワイドの状態とでレンズの色収差によりレジス
トレーションのズレが起こり、カメラのコンポジット出
力で著しく画質を損なうことになる。

そこで本出願人は、電気的な映像処理によって固体撮
像素子の張り付け誤差に対するスタティックな補正はも
とより、倍率色収差等のダイナミックに変化する誤差に
ついても実時間で補正しうるようにしたレジストレーシ
ョン補正回路を本出願人と同時に別の出願（特願平1-29
0098号；特開平3-15178号）として提案している。

すなわち、上記レジストレーション補正回路では、複
数組の固体撮像素子を用いたカラーテレビジョンカメラ
において、各々の固体撮像素子から得られる画像信号
と、それぞれの固体撮像素子の相対する受光部との関係
が、構造上等の問題により各組の組合せ間で一致しない
場合が多く、この関係においてある１つの組合せを基準
とし、残りの組合せを当該基準の組合せに一致するよう
にするために、記憶装置等を用いて画像信号を座標変
換，画素補間している。

換言すれば、上記レジストレーション補正回路は、ラ
ンダムアクセスメモリのアドレス変換と補間演算によ
り、入力カラー画像をズラすことができるが、この操作
を行うために１画素単位で補正情報を記憶した場合は膨
大なメモリを必要とする。このため、上記レジストレー
ション補正回路では、従来のアナログ撮像管カメラの偏
向系の制御に用いられているような、のこぎり波（SA
W）／パラボラ（PARABOLA）信号を発生させて補正する
従来と同様な方法で各種の信号をデジタル的に時系列デ
ータとして発生させ、その混合比を個別に設定し得るよ
うに既に決定され記憶されている値で制御できるように
したものである。

また、上記レジストレーション補正回路では、１画素
単位の移動を行うための座標変換、および、１画素を超
えない小さな範囲の移動を行うための画素補間処理にお
いて、補正係数としてあらかじめ設定されたDC,SAWTOO
H,PARABOLA等のデジタルデータを用いることとしてい
る。

さらに、上記レジストレーション補正回路では、画素
補間の手法において、インタレース画素の場合にはフィ
ールド内補間，フレーム内補間を含み、且つ、両者の切
り替えは画像の動きを検出し、動きのある画素はフィー
ルド内補間、動きのない画素はフレーム内補間とするの
が好適である。

しかも、上記レジストレーション補正回路では、これ
ら座標変換や画素補間において、ズームレンズのズーム
比による倍率色収差の修正や、レンズの変換に対応する
ために、予め準備された複数の係数データ間で選択的に
使用することを提案している。

しかしながら、ある画像処理によりずれた映像情報を
得る場合、１画素単位のずれ量についてはランダムにア
クセスできるメモリなどにより物理的にアドレスを動か
すことで合わすことができ、この場合は補間演算を用い
ずに済むため周波数特性の劣化は無いが、１画素単位以
内のずれ量を表わすためには、隣接画素を用いて補間演
算を行なうといった手法が取られ、この場合各々の画素
において補間係数が異なるため、例えば単一の高周波成
分からなる映像であった場合、画面内で振幅特性が一様
でなくなるといった問題が生じる。

例えば第10図に示すように、画面に一定の間隔ｔで白
黒を繰り返す細かい縦じまの映像を考える。この映像に
対して、画面のある部位においてｍ画素ピッチ（０≦ｍ
≦１）右へずらした場合、その部位に限り周波数特性が
劣化することになる。この周波数特性の劣化は第11図の
ように1/（２τ）（τ＝１画素ピッチ）で最大減衰を示
すロールオフ特性を示し、係数ｍにより変化し、ずれが
1/2画素の時が最大となる。第10図の映像であれば、ｔ
＝τの時が係数ｍによる周波数劣化が最大となる。

すなわち、上記のような、画面に一様な単一周波数の
映像に対して、部位により異なる係数を与えたとした
ら、シェーディング状の色むらができてしまう。

さらに、この補間演算は垂直方向にも行われ、殊にイ
ンタレース走査を行うシステムにおいては、動きにより
異なった画素を用いるため、この現象は３次元的なもの
となり、現在までにこれの補正は行われていなかった。

よって本発明の第１の目的は、上述の点に鑑み、隣接
画素を用いて画素毎に異なる係数の補間演算を行なって
相関のある基準画像に合わせるようなシステムにおい
て、補間によって生じたボケを減少させ、大幅な画質改
善を図った輪郭補正回路を提供することにある。

また本発明の第２の目的は、画素毎の補間係数に応じ
てリアルタイムで画素毎に適応補正しうるようにした輪
郭補正回路を提供することにある。

〔課題を解決するための手段〕

本発明に係る適応型輪郭補正回路は、複数ある固体撮
像素子のうち特定の固体撮像素子から出力された特定色
の画素データを基準画素データとして、他の色の画素デ
ータを移動させることにより該基準画素データに位置合
わせを行うレジストレーション補正時において、該レジ
ストレーション補正によって生じる空間周波数の劣化を
リアルタイムで補正する適応型輪郭補正回路であって、
前記レジストレーション補正を行うために必要とされ
る、１画素より小さな範囲のずれ量を表す補間係数デー
タを出力する係数出力手段、前記補間係数データの相補
的係数を発生する係数変換手段、前記基準画素データに
対して前記相補的係数を乗ずることにより、逆周波数特
性データを形成する処理手段、前記基準画素データ以外
の画素データに対して、前記逆周波数特性データを加え
る加算手段とを具備したものである。

また、その他の適応型輪郭補正回路は、複数ある固体
撮像素子のうち特定の固体撮像素子から出力された特定
色の画素データを基準画素データとして、他の色の画素
データを移動させることにより該基準画素データに位置
合わせを行うレジストレーション補正時において、該レ
ジストレーション補正によって生じる空間周波数の劣化
をリアルタイムで補正する適応型輪郭補正回路であっ
て、複数ある前記固体撮像素子から出力された複数のカ
ラービデオ信号を、画素データの形で格納する画素デー
タ記憶手段と、前記固体撮像素子を用いて所定のテスト
画像を撮像することにより、各画素データ間のレジスト
レーションずれを補償するためのレジストレーション補
正情報を予め記憶しておく、レジストレーション補正情
報記憶手段と、前記基準画素データに同期して、予め定
められている複数の波形データを発生する波形発生手段
と、前記レジストレーション補正情報に基づいて、それ
ぞれの前記波形データに所定の補正係数を乗ずる複数の
乗算手段と、複数の前記乗算手段から得られた各データ
を累算して、補正用波形データを出力する第１の加算手
段と、前記補正用波形データに基づいて、レジストレー
ションずれを補償するために必要とされる１画素より小
さな範囲のずれ量を表す、補間係数データを出力する係
数計算手段と、前記画素データ記憶手段に記憶される画
素データもしくは前記画素データ記憶手段から読み出さ
れた画素データに対して、前記補間係数データを乗ずる
ことにより、前記固体撮像素子から出力された画素デー
タを１画素を越えない範囲で等価的に移動させる補間手
段と、前記補間係数データの相補的係数を発生する係数
変換手段と、前記基準画素データに対して前記相補的係
数を乗ずることにより、逆周波数特性データを形成する
処理手段と、前記基準画素データ以外の画素データに対
して、前記逆周波数特性データを加える第２の加算手段
とを具備したものである。

〔作用〕

本発明に係る適応型輪郭補正回路において用いられる
補間係数は、フィードフォワード方式で何らかの係数発
生器により与えられるため、どの部位の画素がどの様な
補間がなされるかは、あらかじめ設定されている。これ
は、とりもなおさずどの画素でどの様な周波数特性の劣
化があるかが決定されていることになる。

また、本発明では、画素を補間して、基準となる映像
信号に合わせることが前提であるため、補間後の映像信
号は、基準映像信号と被写体の同一部分に対する信号位
置が一致していると考えられる。

すなわち、補間される画像信号において補間に用いる
係数によって劣化する周波数特性の逆特性を得る係数に
変換してその値を基準画像信号に乗算することにより、
補間によって失われたと思われる周波数成分を抽出し、
それを補間された信号の周波数劣化分の補正信号として
用い、補間前の原信号と同様な周波数成分をもった信号
を得ることができる。

さらに、インタレース走査を行うシステムで、動き検
出を行い、インフレーム・インフィールドにわけて補間
演算を行う場合においても、その動き検出信号を補正信
号を作り出す回路系と補正される回路系双方に与えるこ
とにより、全く同一条件で処理が行える。

〔実施例〕

本発明の具体的な実施例を説明する前に、本実施例に
よる輪郭補正の原理を述べる。

いま、画面の一部で“1"というレベルを持った第４図
（Ａ）のようなインパルスを右方向にｍ画素ピッチ（０
≦ｍ≦0.5）直線補間を用いてずらす場合を考えると、
第４図（Ｂ）の係数を用い、画素毎に隣接２画素で補間
演算を行い、第４図（Ｃ）を得ることができる。

この場合、第４図（Ｃ）のように変換された画像信号
の空間周波数特性は、第５図（Ａ）のように空間周波数
1/2τ（τ＝１画素幅）で最大減衰を示すロールオフ特
性となる。

これに対して周波数特性の補正を行うには、第５図
（Ｂ）の特性で逆補正すればよく、そのときの係数は、
第６図のようになる。

補間された信号は、この時点でｍ画素ピッチずらした
ことにより、基準信号と位置があっていると考えられる
ため基準信号（例えば、Gch信号）に第６図の係数をか
け、第５図（Ｂ）の特性を持った周波数成分を抽出し、
補間された信号に加えることにより、補間によるボケを
解消し、特に輝度信号につき理想的に改善することがで
きる。

次にこれを２次元に拡張した場合を考える。

例えば、水平方向のずれをm,垂直方向のずれをｎとし
た場合の補間係数を第７図（Ａ）とすると、この場合の
補間によるボケを補正するための基準信号の係数は第８
図（Ａ）〜第８図（Ｄ）のようになる。

補正方法は前述の１次元で述べたものと同様で、隣接
４画素に係数がかかることになる。

次に、インタレース走査を行うシステムの場合につい
て述べる。

インタレース走査を行うシステムでは、第３図に示す
ように、垂直のとなりあう画素はフィールドが異なるた
め、動きに応じてインフレーム・インフィールドと用い
る画素を切り換えるといあった手法がとられる。

この場合でも第９図（Ａ）の補間係数に対して、第９
図（Ｂ）の補正係数を用い、基準信号から検出した動き
信号により、双方の係数および処理（インフレーム・イ
ンフィールド）を切り換える。

以上のような動作を画面の各部位によって、その係数
に適応させて行うことにより、補間係数が異なっていて
も、適切な周波数補間ができる。

当然のことながら補間が行われない場合は、その映像
信号に全く影響を及ぼすことはない。

第１図は、本発明の一実施例全体を示すブロック図で
ある。本実施例は、３原色式のインタレース型固体撮像
素子カメラのレジストレーションずれをＧチャンネルの
信号を基準にして、電気的にＲおよびＢチャンネルの信
号をＧチャンネルの信号と一致させるものである。

第１図において、1,2,15,16は１フィールド遅延回
路、3,3′,17,17′は１ライン遅延回路、4,5,6はランダ
ムアクセスメモリ、18,19,20はｎライン遅延回路（ｎ＝
RAM4,5,6の遅延分）、7,21はマルチプレクサ、8,9,22,2
3は１画素遅延素子、10,11,12,13,25,26,27,28は係数
器、14,29,30,30′は加算器、24は係数変換器、31は動
き検出器、32は係数発生器、33は同期信号発生器、34は
マイクロコンピュータ、35はズレ量制御系である。

本実施例においてレジストレーションずれを合わせる
には、基準のＧチャンネルに対して、Ｒ・Ｂチャンネル
を、１画素単位毎のずれの場合は、ランダムアクセスメ
モリを用いた座標変換により行うと共に、１画素単位以
内のずれは、前述のような隣接４画素を用いた補間演算
により行う。

入力されたR/Bチャンネル信号は、２つの１フィール
ド遅延回路1,2と、１つの１ライン遅延回路３により、
入力と比べ１フレーム＋１ライン遅れた信号をタイミン
グの基準とし、その１フィールド後の信号と、１ライン
後の信号を得る。これらの信号は、動き検出回路31によ
り発生される動き信号によって“静”の場合と、“動”
の場合とでマルチプレクサ７により図示のように切り換
えられる。

RAM4,5,6は、係数発生器32より与えられる係数の整数
情報でアドレスを制御することにより、座標変換を行
い、１画素単位のズレを補正する。

次に１画素未満のズレは、８から14の各回路により前
述のような、隣接４画素を用いた補間計算をして補正す
る。この際に、係数器10〜13は、係数発生器32から与え
られる小数情報を用いる。

なお、図中の15から29は本実施例特有の振幅特性劣化
補正系であり、後に詳述する。

第２図は、第１図に示した係数発生器32の詳細な構成
を示す。この係数発生器32は、水平方向ズレ量制御系と
垂直方向ズレ量制御系とからなり、それぞれは、複数の
予め予想される補正信号の波形発生器とその量を制御す
るかけ算器からなる。

波形はディジタル的に発生され、下位ｍビットを小数
部，上位ｎビットを整数部とし、マイクロコンピュータ
で各波形の割合を制御した後、加算される。

水平と垂直方向にそれぞれ加算されたデータの整数部
は座標変換を行うRAMのアドレス制御部へ出力され、小
数部は補間計算する４画素についての４つの係数として
出力される。

また、動き信号により、フィールド内補間用係数およ
び画素とフレーム内補間用係数および画素を切り換えら
れる。

マイクロコンピュータ34から出力される各波形の混合
比を表わすデータは、実際にテストチャートを撮像し
て、レジストレーションが一致するように人間があらか
じめ調整して得た結果を記憶したものである。

波形発生器は、例えば以下の波形を発生する。

・DC ｙ＝ａ（ａは定数） ・SAW ｙ＝ax＋ｂ （軸上） ・PARA ｙ＝ａ（ｘ−ｂ）^２＋ｃ （軸上） ・SAW ｘ＝ay＋ｂ （非軸上） ・PARA ｘ＝ａ（ｙ−ｂ）^２＋ｃ （非軸上） このようにしてレジストレーションずれを合わせ、基
準のＧチャンネルに対して、Ｒ・Ｂチャンネルを、１画
素単位以上のずれは、ランダムアクセスメモリを用いた
座標変換により行い、１画素単位以内のずれは先にも述
べた隣接４画素を用いた補間演算により行う。１画素単
位のずれ、すなわち座標変換により合わせ得るものにつ
いては、映像信号の周波数特性に対してなんら影響を与
えないが、0.5画素や1.3画素といった１画素単位以内の
ずれの成分を含むものについては、補間演算により合わ
せるため、係数に応じた周波数特性の劣化がある。

基準となるＧチャンネル信号系も、基本的にＲ・Ｂチ
ャンネルの回路構成と同様で、入力されたＧチャンネル
信号は、２つの１フィールド遅延回路15,16と、１つの
１ライン遅延回路17により、入力と比べ１フレーム＋１
ライン遅れた信号を基準とし、その１フィールド後の信
号と、１ライン後の信号を得る。このうち、１フィール
ド後の信号と、１ライン後の信号は、動き検出回路31に
より発生される動き信号によって“静”の場合は前者
の、“動”の場合は後者の信号にマルチプレクサ21によ
り切り換えられる。

ここで得られた信号と、１フレーム＋１ライン遅れの
信号（第３図参照）はそれぞれ、１画素遅延回路22,23
を通ることにより、隣接４画素を得る。

なお、Rch・Bchは垂直の正方向のズレを表わすため
に、本線信号がｎライン遅延しているため、ｎライン遅
延回路18〜20で位相を合わせている。

こうして得られた、隣接４画素は、次に係数器25〜28
を介した後に加算される。これらの係数器には、係数発
生器32より発生された係数の小数部、すなわち、１画素
単位以内のずれの情報を用い、係数変換器24により、先
に述べたように補間係数の逆特性を示す係数に変換され
たものが、リアルタイムで与えられる。

補間に用いられる係数（a,b,c,d）と振幅特性を補正
すための係数（A,B,C,D）の関係は、第６図〜第９図を
参照して先に述べた通りであり、互いに座標の等しい隣
接４画素に対応する。

加算器29で加算された補正信号は加算器30でＲチャン
ネル、あるいは、Ｂチャンネルの信号と加算され、補正
が終了する。

なお、各マルチプレクサ７と21は、公知の適応加算回
路に置き換えることができる。適応加算回路は、インフ
ィールドとインフレームの演算結果を所定の比率で混合
する。これによって、動画から静止画、あるいは静止画
から動画への渡りを滑らかにすることができる。

〔発明の効果〕

本発明を実施することにより、以下に列挙する格別な
効果が得られる。

画面の部位により異なる係数の補間を行なうシステム
において、係数によってまちまちになりうる画素のぼけ
を、その画面の部位における係数に応じて適切な補正が
できるため、特に輝度信号成分の周波数領域において、
補間前の画像信号とほぼ同等の解像度が得られる補間回
路を構成できる。

補間を行なわない部位に対しては、なんら影響を与え
ない。

リアルタイム動作が可能なため、例えば、ズームレン
ズの状態に応じたダイナミックな補正も可能である。

【図面の簡単な説明】

第１図は本発明の一実施例全体を示したブロック図、 第２図は第１図に示した係数発生器32の詳細な構成を示
したブロック図、 第３図は本実施例におけるインタレース走査時の隣接４
画素を示す図、 第４図ないし第９図は本実施例における輪郭補正の原理
を示した図、 第10図および第11図は本発明の前提となるべき技術を説
明した図である。 1,2,15,16……１フィールド遅延回路、3,3′,17,17′…
…１ライン遅延回路、4,5,6……ランダムアクセスメモ
リ、18,19,20……ｎライン遅延回路（ｎ＝RAM4,5,6の遅
延分）、7,21……マルチプレクサ、8,9,22,23……１画
素遅延素子、10,11,12,13,25,26,27,28……係数器、14,
29,30,30′……加算器、24……係数変換器、31……動き
検出器、32……係数発生器、33……同期信号発生器、34
……マイクロコンピュータ、35……ズレ量制御系。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】複数ある固体撮像素子のうち特定の固体撮
   像素子から出力された特定色の画素データを基準画素デ
   ータとして、他の色の画素データを移動させることによ
   り該基準画素データに位置合わせを行うレジストレーシ
   ョン補正時において、該レジストレーション補正によっ
   て生じる空間周波数の劣化をリアルタイムで補正する適
   応型輪郭補正回路であって、 前記レジストレーション補正を行うために必要とされ
   る、１画素より小さな範囲のずれ量を表す補間係数デー
   タを出力する係数出力手段と、 前記補間係数データの相補的係数を発生する係数変換手
   段と、 前記基準画素データに対して前記相補的係数を乗ずるこ
   とにより、逆周波数特性データを形成する処理手段と、 前記基準画素データ以外の画素データに対して、前記逆
   周波数特性データを加える加算手段と を具備したことを特徴とする適応型輪郭補正回路。
2. 【請求項２】複数ある固体撮像素子のうち特定の固体撮
   像素子から出力された特定色の画素データを基準画素デ
   ータとして、他の色の画素データを移動させることによ
   り該基準画素データに位置合わせを行うレジストレーシ
   ョン補正時において、該レジストレーション補正によっ
   て生じる空間周波数の劣化をリアルタイムで補正する適
   応型輪郭補正回路であって、 複数ある前記固体撮像素子から出力された複数のカラー
   ビデオ信号を、画素データの形で格納する画素データ記
   憶手段と、 前記固体撮像素子を用いて所定のテスト画像を撮像する
   ことにより、各画素データ間のレジストレーションずれ
   を補償するためのレジストレーション補正情報を予め記
   憶しておく、レジストレーション補正情報記憶手段と、 前記基準画素データに同期して、予め定められている複
   数の波形データを発生する波形発生手段と、 前記レジストレーション補正情報に基づいて、それぞれ
   の前記波形データに所定の補正係数を乗ずる複数の乗算
   手段と、 複数の前記乗算手段から得られた各データを累算して、
   補正用波形データを出力する第１の加算手段と、 前記補正用波形データに基づいて、レジストレーション
   ずれを補償するために必要とされる１画素より小さな範
   囲のずれ量を表す、補間係数データを出力する係数計算
   手段と、 前記画素データ記憶手段に記憶される画素データもしく
   は前記画素データ記憶手段から読み出された画素データ
   に対して、前記補間係数データを乗ずることにより、前
   記固体撮像素子から出力された画素データを１画素を越
   えない範囲で等価的に移動させる補間手段と、 前記補間係数データの相補的係数を発生する係数変換手
   段と、 前記基準画素データに対して前記相補的係数を乗ずるこ
   とにより、逆周波数特性データを形成する処理手段と、 前記基準画素データ以外の画素データに対して、前記逆
   周波数特性データを加える第２の加算手段と を具備したことを特徴とする適応型輪郭補正回路。