JP2005150986A - 映像信号補正装置 - Google Patents

Abstract

【課題】映像内それぞれの位置において、周波数特性に応じて補正処理を行うことができる映像信号補正装置を提供する。
【解決手段】撮影レンズ１１を介して被写体ｈを撮像して映像信号Ｓ１２を生成する撮像回路１２と、撮像回路１２が生成した映像信号Ｓ１２のうちの映像内それぞれの位置での撮影レンズ１１の周波数特性に応じた輪郭補正信号Ｓ１５を生成し、当該輪郭補正信号Ｓ１５を基に撮像回路１２が生成した映像信号Ｓ１２を補正する信号生成回路１５および加算回路１７とを設けたので、映像内それぞれの位置において、周波数特性に応じて補正処理を行うことができる。
【選択図】図１

Description

本発明は、例えば映像信号の補正を行う映像信号補正装置に関する。

例えばビデオカメラにおいて、光学系（レンズ）の小型化や、コストダウンを図ろうとすれば、その各種性能が不十分になりがちであり、それを画像処理により補正処理を行う技術が開示されている。
例えば、撮影画面全体で一様な解像度を得ることを目的とするビデオカメラが知られている（例えば、特許文献１参照）。
このビデオカメラにおいては、映像信号の輪郭成分を抽出して輪郭補正信号を形成する輪郭補正信号発生部と、撮影映像信号に同期したパラボラ波信号の利得制御により撮影画面の周辺部程大きな利得で輪郭補正信号を可変増幅して出力する補正量調整部と、撮影映像信号に補正量調整部の出力信号を加算して撮影映像信号を輪郭補正する補正加算部とが備えられている。

また、レスポンス関数に基づく重み付けを行い、解像度を向上させる映像信号補正装置が知られている（例えば、特許文献２参照）。
この映像信号補正装置においては、撮影レンズを介して被写体を撮像して映像信号を生成する撮像回路と、映像信号から輪郭補正信号を生成する信号生成回路と、撮影レンズのレスポンス関数に基づく重み付け係数により、輪郭補正信号に対して重み付けを行って出力する調整回路と、調整回路から出力された輪郭補正信号と映像信号とを加算する加算回路が備えられている。
特開平７−７４９８７号公報 特開２００２−７７７２２号公報

しかし、上述した特許文献１に開示されているビデオカメラは、撮影レンズの位置による解像度の周波数特性を考慮せず、ある特定の周波数特性を持つ輪郭補正信号をレンズの周辺部程大きな利得で輪郭補正信号を付加しているため、撮影画面全体で、高周波までフラットな解像度感を得ることができないという問題点がある。

また、特許文献２に開示されている映像信号補正装置では、撮影レンズのＭＴＦに基づく値で、画像中心からの距離により、1を基準とする相対的な値であり、ある特定の周波数に関するレスポンス関数に基づいて解像度を向上させているが、レンズを介して結像した映像内の位置による解像度の周波数特性は考慮されていないため、例えば映像内それぞれの位置において、高周波まで高解像度な映像を得ることができないという問題点がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、映像内それぞれの位置において、周波数特性に応じて補正処理を行うことができる映像信号補正装置を提供することにある。

前記目的を達成するために、本発明の映像信号補正装置は、撮影レンズを介して被写体を撮像して映像信号を生成する撮像手段と、前記撮像手段が生成した映像信号のうちの映像内それぞれの位置での前記撮影レンズの周波数特性に応じた輪郭補正信号を生成し、当該輪郭補正信号を基に前記撮像手段が生成した映像信号を補正する補正手段とを有する。

本発明の映像信号補正装置によれば、撮像手段では撮影レンズを介して被写体を撮像して映像信号を生成する。
補正手段では、撮像手段が生成した映像信号のうちの映像内それぞれの位置での撮影レンズの周波数特性に応じた輪郭補正信号を生成し、当該輪郭補正信号を基に撮像手段が生成した映像信号を補正する。

本発明によれば、映像内それぞれの位置において、周波数特性に応じて補正処理を行うことができる映像信号補正装置を提供することができる。

図１は、本発明の映像信号補正装置に係る一実施形態の機能ブロック図である。
本実施形態に係る映像信号補正装置１は、例えば図１に示すように、撮影レンズ１１、撮像回路１２、測定回路１３、メモリ１４、信号生成回路１５、遅延回路１６、および加算回路１７を有する。
撮像回路１２は本発明に係る撮像手段に相当し、メモリ１４、信号生成回路１５、遅延回路１６、および加算回路１７は本発明に係る補正手段に相当する。

撮影レンズ１１は、例えば、ガラスやプラスチック等により形成された光学レンズである。
撮像回路１２は、例えば電荷結合素子（ＣＣＤ：Charge Coupled Device ）や、金属酸化膜半導体（ＭＯＳ：Metal Oxide Semiconductor）トランジスタ等の固体撮像素子を有し、撮影レンズ１１を介して被写体ｈを撮像して映像信号Ｓ１２を生成する。
詳細には、撮像回路１２は、例えば、撮影レンズ１１により被写体ｈからの光Ｓ１１が固体撮像素子上に結像された映像に応じた映像信号Ｓ１２を生成する。

測定回路１３は、映像信号Ｓ１２が供給され、この映像信号Ｓ１２に基づいて撮影レンズ１１のレスポンス関数（ＯＴＦ：Optical Transfer Function ）や、ＯＴＦの絶対値（ＭＴＦ：Modulation Transfer Function）を測定し、当該レスポンス関数（ＯＴＦ）またはその絶対値（ＭＴＦ）に基づいて重み付け係数Ｓ１３を生成する。

図２は、図１に示した映像信号補正装置のＭＴＦおよび重み付け係数を説明するための撮影レンズと固体撮像素子上に結像された映像の斜視図である。
例えば重み付け係数Ｓ１３は、撮影レンズ１１のＭＴＦに基づく値とし、映像中心からの距離と空間周波数をパラメータとし、１を基準とする相対的な値である。
具体的には、例えば図２に示すように、被写体ｈからの光が撮影レンズ１１を介して撮像回路１２の固体撮像素子１２１上に映像ｖ１として結像される。本実施形態では、撮影レンズ１１の光軸ｌａが映像ｖ１の中心Ｏを通るとする。具体的には、映像ｖ１内のｘ軸、ｙ軸、および光軸ｌａそれぞれは直交する。

映像ｖ１内のそれぞれの位置における解像度は、例えば撮影レンズ１１の周波数特性等に起因する要因により異なった値をとる。
具体的には映像ｖ１の中心Ｏからの距離ｒが大きくなるほど、解像度が低下する傾向を示す。

図３は、図１に示した映像信号補正装置におけるレンズのＭＴＦを説明するための図である。
図３において、横軸ｒを映像ｖ１内の中心Ｏからの距離ｒ、横軸ｒと直交する軸ｓｆを空間周波数、横軸ｒおよび空間周波数軸ｓｆと直交する軸ＬをＭＴＦとする。ここでＭＴＦとしてコントラスト（振幅）を示す。
解像度を示す指標となる、ＯＴＦの絶対値であるＭＴＦは、例えば図３に示すように、空間周波数ｓｆと、撮影レンズ１１の光軸ｌａを通る映像ｖ１の中心Ｏからの距離ｒによって規定される。本実施形態では図３に示すように、ＭＴＦは空間周波数が高周波側では低下する傾向を示す。また、ＭＴＦは距離ｒが大きくなるほど低下する傾向を示す。
このため実施形態では、映像ｖ１内のそれぞれの位置それぞれについて、具体的には映像ｖ１内の中心Ｏからの距離ｒに応じて、レスポンス関数（ＯＴＦ）の絶対値ＭＴＦの補正処理を行う。

このＭＴＦは、撮影レンズ１１の実物を用いて光学的に測定を行ってもよいし、撮影レンズ１１の設計仕様に基づいてシミュレーションにより算出してもよい。例えばＭＴＦは単位長さ（ｍｍ）あたり何本の線が読み取れるかを百分率で表したものが一般的である。

メモリ１４は、撮影レンズ１１のレスポンス関数（ＯＴＦ）に基づく重み付け係数Ｓ１３を記憶する。メモリ１４は、例えば１フレーム分（１ライン分の画素数×ライン数）の各画素の重み付け係数Ｓ１３を記憶する。例えばメモリ１４は測定回路１３が生成した重み付け係数Ｓ１３を記憶する。

信号生成回路１５は、撮像回路１２が生成した映像信号Ｓ１２のうちの映像内それぞれの位置での撮影レンズ１１の周波数特性に応じた輪郭補正信号Ｓ１５を生成する。
具体的には、信号生成回路１５は、例えば撮像回路１２が生成した映像信号Ｓ１２から輪郭信号を抽出し、メモリ１４が記憶する重み付け係数Ｓ１３による重み付けを行うことにより、所望の周波数特性と信号レベルを所望の画像位置で実現できる輪郭補正信号Ｓ１５を生成する。

図４は、図１に示した映像信号補正装置の信号生成回路の一実施形態を示す機能ブロック図である。
信号生成回路１５は、例えば図４に示すように、制御回路１５１、遅延素子１５２、遅延素子１５３、加算回路１５４、係数回路（１／２回路）１５５、引算回路１５６、および調整回路１５７を有する。

制御回路１５１は、デジタル信号処理を行うことにより、信号Ｓ１２、垂直同期信号、水平同期信号、およびラインクロック等に基づいて、撮像回路１２の固体撮像素子における各画素の位置を特定する。ラインクロックは、例えばＮＴＳＣ方式（National Television System Committee）やＰＡＬ方式（Phase Alternation by Line ）等の規格や、撮像回路１２等の各種信号処理体系のディジタル標本化周波数により決定される。
制御回路１５１は、例えば積和演算を行うＤＳＰ（Digital Signal Processor）を有し、ラインクロックに同期してメモリ１４から重み付け係数Ｓ１３を読み出し、読み出した重み付け係数Ｓ１３を用いて積和演算を行う。

図５は、図１に示した信号生成回路の動作を説明するための図である。
制御回路１５１は、例えば、メモリ１４から各映像内それぞれの位置における重み付け係数Ｓ１３を読み出し、重み付け係数Ｓ１３に基づいて、遅延素子１５２，１５３の遅延時間を制御する制御信号ＣＴＬ１５１を遅延素子１５２，１５３に出力する。

遅延素子１５２は、制御回路１５１からの制御信号ＣＴＬ１５１に基づいて、例えば図５（ａ）に示す信号Ｓ１２を所定の時間ｗだけ遅延させ、例えば図５（ｂ）に示すように信号Ｓ１５２として出力する。

遅延素子１５３は、制御回路１５１からの制御信号ＣＴＬ１５１に基づいて、例えば図５（ｂ）に示す遅延素子１５２からの信号Ｓ１５２を所定の時間ｗだけ遅延させ、例えば図５（ｃ）に示すようなＳ１５３として出力する。

加算回路１５４は、遅延素子１５３から出力された信号Ｓ１５３と、信号Ｓ１２を加算演算処理を行い、処理結果を信号Ｓ１５４として出力する。
係数回路（１／２回路）１５５は、加算回路１５４から出力された信号Ｓ１５４に所定の係数、例えば１／２の乗算処理を行い、処理結果を例えば図５（ｄ）に示すような信号Ｓ１５５として出力する。

引算回路１５６は、例えば図５（ｂ）に示すように遅延素子１５２から出力された信号Ｓ１５２から、図５（ｄ）に示す係数回路１５５から出力された信号Ｓ１５５を減算処理（引算演算処理）を行い、処理結果を例えば図５（ｅ）に示すような信号Ｓ１５６として調整回路１５７に出力する。

調整回路１５７は、例えば制御回路１５１の処理と同期して、信号Ｓ１５６を基に、メモリ１４が記憶する重み付け係数Ｓ１３に対応する各映像内それぞれの位置の輪郭補正信号Ｓ１５を出力する。

遅延回路１６は、図１に示すように、撮像回路１２が生成した映像信号Ｓ１２と、信号生成回路１５が生成する信号Ｓ１４とが同期するようにタイミング調整を行う回路であり、所定時間だけ映像信号Ｓ１２を遅延させて、信号Ｓ１６として加算回路１７に出力する。

加算回路１７は、信号生成回路１５により、映像内それぞれの位置の周波数特性に応じた重み付け処理が行われた信号Ｓ１５と、遅延回路１６から出力された信号Ｓ１６を加算演算処理を行い、輪郭補正処理が行われた信号Ｓ１７を出力する。

図６は、図１に示した映像信号補正装置の動作を説明するための図である。図６（ａ）は映像内の所定位置におけるＭＴＦの空間周波数特性を示す図、図６（ｂ）は映像内の所定位置における映像補正信号Ｓ１５の空間周波数特性を示す図、図６（ｃ）は映像内の所定位置における補正処理後の信号Ｓ１７のＭＴＦの空間周波数特性を示す図である。
以上、説明した構成の映像信号補正装置１の動作を図６を参照しながら説明する。

本実施形態では、例えば予め撮影レンズ１１の周波数特性、具体的には撮影レンズ１１による、撮像回路１２の固体撮像素子１２１上に結像される映像内それぞれの位置におけるＯＴＦ（ＭＴＦ）の空間周波数特性を測定回路１３により測定し、測定結果に応じた重み付け係数Ｓ１３が、映像内それぞれの位置に対応付けられてメモリ１４に記憶する。
この撮影レンズ１１の周波数特性に応じた重み付け係数Ｓ１３は、レンズ１１の交換等を行う場合以外は継続して使用されるが、必要に応じて撮影毎に生成してもよい。

まず、例えば被写体ｈからの光は、撮影レンズ１１を介して撮像回路１２の固体撮像素子１２１上に映像ｖ１として結像する。
撮像回路１２は、固体撮像素子１２１上の結像に応じた映像信号Ｓ１２を生成し、信号生成回路１５および遅延回路１６に出力する。例えば信号Ｓ１２は図６（ａ）に示すようなＭＴＦの空間周波数特性を示す。図６（ａ）では空間周波数ｓｆが高周波領域ではＭＴＦが低下する傾向を示す。本実施形態に係る映像信号補正装置１では、ＭＴＦの高周波領域の低下を補正して、略一定となるように補正処理を行う。

信号生成回路１５は、撮像回路１２が生成した映像信号Ｓ１２のうちの映像内それぞれの位置での撮影レンズ１１の周波数特性に応じた輪郭補正信号Ｓ１５を生成する。
具体的には、制御回路１５１は、例えば信号Ｓ１２、垂直同期信号、水平同期信号、およびラインクロック等に基づいて、撮像回路１２の固体撮像素子における各画素の位置を特定し、ラインクロックに同期してメモリ１４から重み付け係数Ｓ１３を読み出し、読み出した重み付け係数Ｓ１３を用いて積和演算を行う。

具体的には、制御回路１５１は、遅延素子１５２，１５３に、信号Ｓ１２の所望の遅延、例えば図５（ｂ），（ｃ）に示すように、映像内それぞれの位置に対応する重み付け係数Ｓ１３に応じた遅延ｗを生じさせる。
加算回路１５４は、遅延素子１５３から出力された信号Ｓ１５３と、信号Ｓ１２を加算演算処理を行い、処理結果を信号Ｓ１５４として出力する。係数回路（１／２回路）１５５は、加算回路１５４から出力された信号Ｓ１５４に所定の係数、例えば１／２の乗算処理を行い、処理結果を例えば図５（ｄ）に示すような信号Ｓ１５５として出力する。
引算回路１５６は、例えば図５（ｂ）に示すように遅延素子１５２から出力された信号Ｓ１５２から、図５（ｄ）に示す係数回路１５５から出力された信号Ｓ１５５を減算処理を行い、処理結果を例えば図５（ｅ）に示すような信号Ｓ１５６として調整回路１５７に出力する。

調整回路１５７は、例えば制御回路１５１の処理と同期して、信号Ｓ１５６を基に、メモリ１４が記憶する重み付け係数Ｓ１３に対応する映像内それぞれの位置の輪郭補正信号Ｓ１５を加算回路１７に出力する。
例えば信号生成回路１５は、信号Ｓ１５として図６（ｂ）に示す空間周波数特性の輪郭補正信号Ｓ１５を生成する。図６（ｂ）に示すように、本実施形態に係る映像信号補正装置１は、空間周波数ｓｆの高周波領域において、補正レベルが他のレベルよりも大きい信号Ｓ１５を生成する。

加算回路１７は、信号生成回路１５により、映像内それぞれの位置の周波数特性に応じた重み付け処理が行われた信号Ｓ１５と、遅延回路１６から出力された信号Ｓ１６を加算演算処理し、例えば図６（ｃ）に示すようなＭＴＦの空間周波数特性を有する信号Ｓ１７を出力する。図６（ｃ）に示すように、空間周波数ｓｆが低周波領域や高周波領域であっても、ＭＴＦが略一定となる信号Ｓ１７を出力する。

図７は、図１に示した映像信号補正装置の動作を説明するための図である。
また、本実施形態に係る映像信号補正装置１は、例えば映像内それぞれの位置での周波数特性に応じた重み付け係数Ｓ１３に基づいて、補正処理を行ったので、例えば図７に示すように、ＭＴＦ，コントラストが、映像ｖ１の中心Ｏからの距離ｒや、空間周波数ｓｆが変化しても一定であるような空間周波数特性の信号Ｓ１７を生成する。

以上説明したように、撮影レンズ１１を介して被写体ｈを撮像して映像信号Ｓ１２を生成する撮像回路１２と、撮像回路１２が生成した映像信号Ｓ１２のうちの映像内それぞれの位置での撮影レンズ１１の周波数特性に応じた輪郭補正信号Ｓ１５を生成し、当該輪郭補正信号Ｓ１５を基に撮像回路１２が生成した映像信号Ｓ１２を補正する信号生成回路１５および加算回路１７とを設けたので、映像内それぞれの位置において、周波数特性に応じて補正処理を行うことができる。
また、映像全体において一様な解像度を得るように補正処理を行うことができる。

また、信号生成回路１５は、撮像回路１２が生成した映像信号Ｓ１２のうちの、撮影レンズ１１の光軸ｌａを通る映像ｖ１の中心Ｏからの距離ｒに応じた撮影レンズ１１のＭＴＦの空間周波数特性に基づく重み付け係数Ｓ１３により、輪郭補正信号Ｓ１５を生成し、その輪郭補正信号Ｓ１５を基に映像信号Ｓ１２の補正処理を行うので、撮影レンズ１１の周辺部や各部位による解像度の相違を補償することができる。

映像信号Ｓ１２のうちの映像ｖ１それぞれの位置と、映像ｖ１１それぞれの位置における撮影レンズ１１のＭＴＦの空間周波数特性に応じた重み付け係数Ｓ１３とを関連付けて記憶するメモリ１４を設け、信号生成回路１５は、メモリ１４が記憶する、映像ｖ１内それぞれの位置に対応する重み付け係数Ｓ１３に基づいて輪郭補正信号Ｓ１５を生成し、当該輪郭補正信号Ｓ１５を基に撮像回路１２が生成した映像信号Ｓ１２を補正して信号Ｓ１７を生成するので、例えば予め測定回路１３等が生成した映像ｖ１１内それぞれの位置における重み付け係数Ｓ１３を関連付けてメモリ１４が記憶しておけば、レンズ１１を交換しない限りは継続して、映像信号の補正処理を行うことができる。

また、信号生成回路１５は、少なくとも映像信号Ｓ１２を、映像ｖ１内それぞれの位置に対応する重み付け係数Ｓ１３に応じた遅延処理、および加減演算を行い輪郭補正信号Ｓ１５を生成し、当該輪郭補正信号Ｓ１５を基に撮像回路１２が生成した映像信号Ｓ１２を補正するので、簡単な回路、例えば制御回路１５１、遅延素子１５２，１５３、加算回路１５４、係数回路１５５、引算回路１５６、および調整回路１５７により、本発明に係る機能を実現することができる。

なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
信号生成回路１５が生成する補正信号Ｓ１５の特性は、この形態に限られるものではない。例えば、映像内の特定の位置や、全面に対して所定の解像度になるように遅延ｗを制御することで、所望の周波数特性やレベル（強度）の補正信号Ｓ１５を生成してもよい。
こうすることにより、映像内のそれぞれの位置で、フラットなＭＴＦの空間周波数特性や、所望の解像度の映像を生成することができる。

また、信号生成回路１５において、積和演算の速度が充分でない場合は、１ライン分または１フレーム分の積和演算結果を保持するラインメモリまたはフレームメモリを、信号生成回路１５と加算回路１７との間に設け、当該ラインメモリまたはフレームメモリから、同期するように所定時間遅延させて積和演算結果を加算回路１７に出力させることで、高精度に同期した処理を行うことができる。

本発明の映像信号補正装置に係る一実施形態の機能ブロック図である。 図１に示した映像信号補正装置のＭＴＦおよび重み付け係数を説明するための撮影レンズと固体撮像素子上に結像された映像の斜視図である。 図１に示した映像信号補正装置におけるレンズのＭＴＦを説明するための図である。 図１に示した映像信号補正装置の信号生成回路の一実施形態を示す機能ブロック図である。 図１に示した信号生成回路の動作を説明するための図である。 図１に示した映像信号補正装置の動作を説明するための図である。（ａ）は映像内の所定位置におけるＭＴＦの空間周波数特性を示す図、（ｂ）は映像内の所定位置における映像補正信号Ｓ１５の空間周波数特性を示す図、（ｃ）は映像内の所定位置における補正処理後の信号Ｓ１７のＭＴＦの空間周波数特性を示す図である。 図１に示した映像信号補正装置の動作を説明するための図である。

符号の説明

１…映像信号補正装置、１１…撮影レンズ、１２…撮像回路、１３…測定回路、１４…メモリ、１５…信号生成回路、１６…遅延回路、１７…加算回路、１２１…固体撮像素子、１５１…制御回路、１５２，１５３…遅延素子、１５４…加算回路、１５５…係数回路（１／２回路）、１５６…引算回路、１５７…調整回路、ｈ…被写体。

Claims (4)

1. 撮影レンズを介して被写体を撮像して映像信号を生成する撮像手段と、
   前記撮像手段が生成した映像信号のうちの映像内それぞれの位置での前記撮影レンズの周波数特性に応じた輪郭補正信号を生成し、当該輪郭補正信号を基に前記撮像手段が生成した映像信号を補正する補正手段と
   を有する映像信号補正装置。
2. 前記補正手段は、前記撮像手段が生成した映像信号のうちの映像の中心からの距離に応じた前記撮影レンズの空間周波数特性に基づいて、前記輪郭補正信号を生成し、当該輪郭補正信号を基に前記撮像手段が生成した映像信号を補正する
   請求項１に記載の映像信号補正装置。
3. 前記映像信号のうちの前記映像それぞれの位置と、前記映像それぞれの位置における前記撮影レンズの空間周波数特性に応じた重み付け係数とを関連付けて記憶する記憶手段を有し、
   前記補正手段は、前記記憶手段が記憶する、前記映像内それぞれの位置に対応する重み付け係数に基づいて前記輪郭補正信号を生成し、当該輪郭補正信号を基に前記撮像手段が生成した映像信号を補正する
   請求項１に記載の映像信号補正装置。
4. 前記補正手段は、少なくとも、前記映像信号を、前記映像内それぞれの位置に対応する重み付け係数に基づいて遅延処理、および加減演算を行い前記輪郭補正信号を生成し、当該輪郭補正信号を基に前記撮像手段が生成した映像信号を補正する
   請求項１に記載の映像信号補正装置。

Images