JPH11191861A

JPH11191861A - 画像処理装置及び画像処理システム

Info

Publication number: JPH11191861A
Application number: JP9358301A
Authority: JP
Inventors: Kosuke Nobuoka; 幸助信岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-25
Filing date: 1997-12-25
Publication date: 1999-07-13

Abstract

(57)【要約】【課題】簡易的な構成で高品位な拡大画像を得る画像
処理装置を提供する。【解決手段】補間のための複数の平滑化手段１０５
は、水平、垂直、斜め等の各方向のナイキスト周波数ま
でに帯域制限するなかで、ある所定の方向に対しては急
峻なローパス特性を持たせ、該所定の方向と直交する方
向に対しては緩やかなローパス特性を持たせる等、各々
が異なる特性を有する。勾配情報取得手段１０３、１０
４は、２次元の入力画像信号を複数のブロックに分割
し、各ブロック毎に、ブロックに含まれる画像の勾配ベ
クトルの方向又は角度がどのように分布しているかを求
める。複数の平滑化手段１０５は、その分布情報に応じ
て切り換えられて選択的に用いられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラの電
子ズーム機能等に適用される画像処理装置及び画像処理
システムに関するものである。

【０００２】

【従来の技術】例えば、民生用のビデオカメラでは、電
子ズーム機能を搭載するのが一般的になってきている。
この電子ズーム機能とは、入力画像の一部（使用者が拡
大したい部分等）を切り出し、その切出画像を、ディジ
タルフィルタを用いた補間処理により、元の画像サイズ
（入力画像の画像サイズ）に拡大することで、ズーミン
グ効果を出すものである。

【０００３】このような電子ズーム機能を実施するため
の典型的な画像処理手順としては、先ず、画像の切り出
しを行う前に、入力画像をローパスフィルタに通す（ス
テップＳ１）。これにより、入力画像信号の周波数帯域
が制限され、折り返しが抑制される。次に、ステップＳ
１の処理が行われた入力画像の一部を切り出し、その切
出画像のサイズが元の画像（入力画像）のサイズと等し
くなるように、切出画像の信号間に”０”を挿入する
（ステップＳ２）。そして、ステップＳ２の処理が行わ
れた切出画像を、再度ローパスフィルタに通す（ステッ
プＳ３）。

【０００４】このようなステップＳ１〜ステップＳ３に
より、補間された拡大画像が得られる。

【０００５】尚、上述の画像処理手順において、ステッ
プＳ１の処理が省略されることもある。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の画像処理手順では、ステップＳ２での”
０”挿入により、垂直及び水平方向の折り返しが発生す
るため、ステップＳ３でのローパスフィルタを、垂直及
び水平方向の周波数帯域を抑制するものとしていた。そ
こで、例えば、この画像処理手順で２倍の拡大率を実現
する場合、ステップＳ３でのローパスフィルタの周波数
特性を、水平、垂直、及び斜めの各方向の周波数帯域を
１／２に制限するものとするのが理想的である。しかし
ながら、このような理想的な周波数特性を有するローパ
スフィルタを実現しようとすると、回路規模が非常に大
きくなることから、実際には、ステップＳ３で用いられ
るローパスフィルタの周波数特性を犠牲として設計して
いた。このため、特に、垂直ローパスフィルタと水平ロ
ーパスフィルタを縦続接続して構成された簡易的な２次
元フィルタを、ステップＳ３でのローパスフィルタとし
て用いた場合、斜め方向の周波数帯域が垂直及び水平方
向と比べて１／２近く抑制されることになる。したがっ
て、このような場合には、結果的に得られる拡大画像に
おいて、斜め方向のエッジ部の画質劣化が、特に顕著に
現れてしまうという問題があった。

【０００７】そこで、この問題を解決するために、例え
ば、特開平０７−１２３３０８号に記載の装置では、ブ
ロック化された基本画像（入力画像）と、基本画像を拡
大した拡大画像とから、予め補間すべき画素を学習し、
この学習のデータに基づいて、各ブロックの画像データ
に対して各々適切な補間処理を行うことで、拡大画像の
画質劣化を抑えるようになされている。

【０００８】しかしながら、この装置では、基本画像の
学習を前提としているため、様々な画像に対応するため
には、非常に多数の学習及びそのデータを記憶すること
が必要となる。この結果、回路規模が非常に大きくな
り、性能向上を図ろうとすれば、さらに回路規模が大き
くなるという問題があった。また、この装置では、未学
習の画素に対しては、適切な補間処理が行われないとい
う問題もあった。

【０００９】また、回路規模の増大を無視して、上述し
たような理想的な周波数特性を有するローパスフィルタ
を、ステップＳ３でのローパスフィルタとして用いた場
合、水平、垂直、及び斜めの各方向のナイキスト周波数
までは、広帯域に拡大画像を実現することができる。し
かしながら、高周波のノイズ成分も同時に強調してしま
うことになり、Ｓ／Ｎが低下する。したがって、補間さ
れた拡大画像の画質を総合的に見てみると、それぼど画
質向上は望めないという問題があった。

【００１０】そこで、本発明は、上記の欠点を除去する
ために成されたもので、簡易的な構成で高品位な拡大画
像を得る画像処理装置及び画像処理システムを提供する
ことを目的とする。

【００１１】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、２次元の入力画像信号の一部を切り出し
て得た切出画像信号から、その拡大画像信号を生成する
画像処理装置であって、上記切出画像信号の画素間に所
定値を挿入する挿入手段と、上記入力画像信号に含まれ
る所定成分の空間的変化の勾配情報を求める勾配情報取
得手段と、上記挿入手段で所定値の画素が挿入された切
出画像信号を平滑化する複数の平滑化手段と、上記勾配
情報取得手段で求められた勾配情報に基づいて、上記複
数の平滑化手段を切り換える切換手段とを備えることを
特徴とする。

【００１２】第２の発明は、上記第１の発明において、
上記勾配情報取得手段は、上記入力画像信号に含まれる
所定成分の空間的変化の勾配ベクトルの方向又は角度を
上記勾配情報として求めることを特徴とする。

【００１３】第３の発明は、上記第１の発明において、
上記勾配情報取得手段は、上記勾配情報の分布情報を求
めることを特徴とする。

【００１４】第４の発明は、上記第３の発明において、
上記勾配情報取得手段は、上記勾配情報に応じた値のヒ
ストグラムを上記分布情報として求めることを特徴とす
る。

【００１５】第５の発明は、上記第１の発明において、
上記勾配情報取得手段は、上記入力画像信号を複数のブ
ロックに分割する分割手段を含み、上記分割手段で得ら
れた複数のブロックの各々における勾配情報を求めるこ
とを特徴とする。

【００１６】第６の発明は、上記第１の発明において、
上記勾配情報取得手段は、上記所定成分を輝度成分とし
て、その空間的変化の勾配情報を求めることを特徴とす
る。

【００１７】第７の発明は、上記第１の発明において、
上記複数の平滑化手段は、各々が異なる周波数特性を有
する複数のディジタルフィルタを含むことを特徴とす
る。

【００１８】第８の発明は、請求項１〜７の何れかに記
載の画像処理装置を含む画像処理システムであることを
特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００２０】本発明に係る画像処理装置は、例えば、図
１に示すような画像処理装置１００に適用される。

【００２１】この画像処理装置１００は、例えば、ビデ
オカメラに電子ズーム機能として設けられたものであ
り、上記図１に示すように、入力端子１０１を介して画
像信号が供給される電子ズーム処理回路１０２及び勾配
ベクトル方向データ検出回路１０３と、勾配ベクトル方
向データ検出回路１０３の出力が供給される勾配ヒスト
グラム検出回路１０４と、電子ズーム処理回路１０２及
び勾配ヒストグラム検出回路１０４の各出力が供給され
る可変補間フィルタ処理回路１０５と、勾配ヒストグラ
ム検出回路１０４に対して出力するリセット信号生成回
路１０６とを備えており、可変補間フィルタ処理回路１
０５の出力が出力端子１０７を介して出力されるように
なされている。

【００２２】まず、画像処理装置１００の一連の動作に
ついて説明する。

【００２３】入力端子１０１には、２次元の画像信号が
入力される。電子ズーム処理回路１０２は、挿入手段に
相当するものであり、入力端子１０１からの画像信号
（入力画像信号）の一部を、水平及び垂直方向に１／２
サイズで切り出し、その切出画像信号の画像サイズが２
倍となるように、切出画像信号の各画素及び各ライン間
に”０”を挿入するゼロ補間処理を行って、拡大画像信
号を得る。この結果、電子ズーム処理回路１０２では、
入力画像信号と同じ画素数の拡大画像信号が得られるこ
とになり、この拡大画像信号は可変補間フィルタ処理回
路１０５に供給される。

【００２４】一方、勾配ベクトル方向データ検出回路１
０３は、入力端子１０１からの入力画像信号から、その
輝度成分の空間的変化の勾配ベクトルの方向を求める。
勾配ヒストグラム検出回路１０４は、リセット信号生成
回路１０６からのリセット信号に従って、勾配ベクトル
方向データ検出回路１０３で求められた勾配ベクトルの
方向に応じた勾配ヒストグラムを生成する。この勾配ヒ
ストグラム検出回路１０４で生成された勾配ヒストグラ
ムの情報は、可変補間フィルタ処理回路１０５に供給さ
れる。これらの勾配ベクトル方向データ検出回路１０３
及び勾配ヒストグラム検出回路１０４は、勾配情報取得
手段に相当するものである。

【００２５】可変補間フィルタ処理回路１０５は、複数
の平滑化手段に相当し、勾配ヒストグラム検出回路１０
４からの勾配ヒストグラムの情報に基づいて、電子ズー
ム処理回路１０２からの拡大画像信号に、複数の２次元
ローパスフィルタによる補間処理を行う。この可変補間
フィルタ処理回路１０５で補間処理が行われた拡大画像
信号は、出力端子１０７を介して出力される。

【００２６】つぎに、画像処理装置１００の各回路、特
に、勾配ベクトル方向データ検出回路１０３、勾配ヒス
トグラム検出回路１０４、及び可変補間フィルタ処理回
路１０５について具体的に説明する。

【００２７】（勾配ベクトル方向データ検出回路１０
３）

【００２８】勾配ベクトル方向データ検出回路１０３
は、例えば、図２に示すように、入力端子１０１（上記
図１）からの入力画像信号が入力端子２０１を介して供
給されるローパスフィルタ（LPF ）２０２と、ローパス
フィルタ２０２の出力が供給される水平ローパスフィル
タ（H ＿LPF ）２０３及び垂直ローパスフィルタ（V ＿
LPF ）２０５と、水平ローパスフィルタ２０３の出力が
供給される垂直ローパスフィルタ（V ＿LPF ）２０４
と、垂直ローパスフィルタ２０５の出力が供給される水
平ローパスフィルタ（H ＿LPF ）２０６と、垂直ローパ
スフィルタ２０４及び水平ローパスフィルタ２０６の各
出力が供給されるルックアップテーブル（Look-Up-Tabl
e ）２０７とを備えており、ルックアップテーブル２０
７の出力が出力端子２０８を介して勾配ヒストグラム検
出回路１０４（上記図１）に供給されるようになされて
いる。

【００２９】このような勾配ベクトル方向データ検出回
路１０３において、先ず、入力端子２０１からの入力画
像信号は、ローパスフィルタ２０２により、その不要な
ノイズが除去されて、水平ローパスフィルタ２０３及び
垂直ローパスフィルタ２０５に対して各々出力される。

【００３０】ここで、例えば、入力画像信号、すなわち
２次元の画像信号の輝度成分を”Ｉ（ｘ，ｙ）”とする
と、その輝度成分Ｉ（ｘ，ｙ）の勾配ベクトルｖ（ｘ，
ｙ）は、 v(x,y) = (dI(x,y)/dx,dI(x,y)/dy) ・・・（１）なる式（１）で表され、勾配ベクトルｖ（ｘ，ｙ）の方
向θ（ｘ，ｙ）は、 θ(x,y) = arctan((dI(x,y)/dy)/(dI(x,y)/dx)) ・・・（２）なる式（２）で表される。

【００３１】したがって、水平ローパスフィルタ２０３
及び垂直ローパスフィルタ２０４により、ローパスフィ
ルタ２０２からの入力画像信号の輝度成分Ｉ（ｘ，ｙ）
を基に、式（２）の”ｄＩ（ｘ，ｙ）／ｄｙ”が求めら
れ、この”ｄＩ（ｘ，ｙ）／ｄｙ”がルックアップテー
ブル２０７に供給される。また、垂直ローパスフィルタ
２０５及び水平ローパスフィルタ２０６により、ローパ
スフィルタ２０２からの入力画像信号の輝度成分Ｉ
（ｘ，ｙ）を基に、式（２）の”ｄＩ（ｘ，ｙ）／ｄ
ｘ”が求められ、この”ｄＩ（ｘ，ｙ）／ｄｘ”がルッ
クアップテーブル２０７に供給される。

【００３２】そして、ルックアップテーブル２０７によ
り、垂直ローパスフィルタ２０４からの”ｄＩ（ｘ，
ｙ）／ｄｙ”と、水平ローパスフィルタ２０６からの”
ｄＩ（ｘ，ｙ）／ｄｘ”とを用いて、式（２）の除算及
びａｒｃｔａｎ（）の関数変換が行われ、その結果であ
る勾配ベクトルの方向θ（ｘ，ｙ）が求められる。

【００３３】このルックアップテーブル２０７で求めら
れた勾配ベクトルの方向θ（ｘ，ｙ）が、出力端子２０
８を介して勾配ヒストグラム検出回路１０４（上記図
１）に供給されることになるが、このとき、８方向に量
子化される。すなわち、ルックアップテーブル２０７の
出力である勾配ベクトルの方向θ（ｘ，ｙ）、具体的に
は入力画像信号の各画素における輝度成分の勾配の角度
θ（ｘ，ｙ）は、０度、４５度、９０度、１３５度、１
８０度、−４５度、−９０度、−１３５度のうちの何れ
かに分類されて、３ビットのデータ（勾配ベクトル方向
データ）として、勾配ヒストグラム検出回路１０４に供
給される。

【００３４】（勾配ヒストグラム検出回路１０４）

【００３５】勾配ヒストグラム検出回路１０４は、例え
ば、図３に示すように、勾配ベクトル方向データ検出回
路１０３（上記図１、図２）からの勾配ベクトル方向デ
ータが入力端子３０１を介して供給される第１〜第８の
ヒストグラム回路３０５〜３１２と、第１〜第８のヒス
トグラム回路３０５〜３１２の各出力が対応して供給さ
れる第１〜第８のデータバッファ３１３〜３２０と、第
１〜第８のデータバッファ３１３〜３２０の各出力が供
給されるセレクタ３２１とを備えており、セレクタ３２
１の出力が出力端子３２２を介して可変補間フィルタ処
理回路１０５（上記図１）に供給されるようになされて
いる。また、第１〜第８のヒストグラム回路３０５〜３
１２には、リセット信号生成回路１０６（上記図１）か
らのリセット信号が入力端子３０２を介して供給される
ようになされている。また、第１〜第８のデータバッフ
ァ３１３〜３２０には、図示していない制御回路からの
ブロックロード信号が入力端子３０３を介して供給され
るようになされている。また、第１〜第８のヒストグラ
ム回路３０５〜３１２及びセレクタ３２１には、図示し
ていない制御回路からのブロック選択制御信号が入力端
子３０４を介して供給されるようになされている。

【００３６】第１〜第８のヒストグラム回路３０５〜３
１２は、各々同様の構成としており、例えば、第１のヒ
ストグラム回路３０５は、図４に示すように、入力端子
３０１（上記図３）からの勾配ベクトル方向データが入
力端子４０１を介して供給される第１〜第４のカウンタ
４０４〜４０７と、第１〜第４のカウンタ４０４〜４０
７の各出力が供給されるコンパレータ４０８とを備えて
おり、コンパレータ４０８の出力が出力端子４０９を介
して第１のデータバッファ３１３（上記図３）に供給さ
れるようになされている。また、第１〜第４のカウンタ
４０４〜４０７には、入力端子３０２及び３０４（上記
図３）からのリセット信号及びブロック選択制御信号が
入力端子４０２及び４０３を介して供給されるようにな
されている。

【００３７】尚、第２〜第８のヒストグラム回路３０６
〜３１２の各構成については、上記図４の第１のヒスト
グラム回路３０５の構成と各々同様であるため、その詳
細な説明は省略する。

【００３８】このような勾配ヒストグラム検出回路１０
４において、先ず、第１〜第８のヒストグラム回路３０
５〜３１２は各々、入力端子３０４からのブロック選択
制御信号に従って、イネーブル（Enable）状態又はディ
ザーブル（Disable ）状態に制御される。このブロック
選択制御信号は、入力画像信号を水平方向に８ブロック
に分割した各ブロックの勾配ベクトルデータが対応して
第１〜第８のヒストグラム回路３０５〜３１２で各々処
理されるように、第１〜第８のヒストグラム回路３０５
〜３１２に各々供給されるようになされている。

【００３９】尚、上述のブロック選択制御信号は、後述
するセレクタ３２１にも供給されるものである。

【００４０】そこで、第１〜第８のヒストグラム回路３
０５〜３１２は各々、入力端子３０４からのブロック選
択制御信号により、Enable状態に制御されたときにの
み、入力端子３０１からの上述のようにして得られた勾
配ベクトル方向データ（勾配の角度θ）の度数の計数を
行う。

【００４１】このとき、第１〜第８のヒストグラム回路
３０５〜３１２での計数値は、入力端子３０２からのリ
セット信号によりリセットされる。このリセット信号
は、リセット信号生成回路１０６（上記図１）により、
第１〜第８のヒストグラム回路３０５〜３１２での各リ
セット動作が、１画面内で繰り返し行われるように生成
される。このようなリセット信号により、入力画像信号
を垂直方向にｎ（ｎ：所定数）ブロックに分割すること
が実現できる。

【００４２】したがって、第１〜第８のヒストグラム回
路３０５〜３１２が、ブロック選択制御信号及びリセッ
ト信号に従って、勾配ベクトル方向データ（勾配の角度
θ）の度数の計数を行うことで、入力画像信号の１画面
内を水平方向８×垂直方向ｎにブロック分割した各ブロ
ックにおける勾配ヒストグラムを得ることができる。

【００４３】上述のような第１〜第８のヒストグラム回
路３０５〜３１２の各構成は、上記図４に示した通りで
あり、例えば、第１ヒストグラム回路３０５内部の具体
的な動作について説明すると、先ず、入力端子３０１か
らの勾配ベクトル方向データは、入力端子４０１を介し
て第１〜第４のカウンタ４０４〜４０７に各々供給され
る。

【００４４】第１のカウンタ４０４は、入力端子４０１
からの勾配ベクトル方向データが０度又は１８０度の場
合にカウントする。第２のカウンタ４０５は、入力端子
４０１からの勾配ベクトル方向データが４５度又は−１
３５度の場合にカウントする。第３のカウンタ４０６
は、入力端子４０１からの勾配ベクトル方向データが９
０度又は−９０度の場合にカウントする。第４のカウン
タ６０７は、入力端子４０１からの勾配ベクトル方向デ
ータが１３５度又は−４５度の場合にカウントする。

【００４５】したがって、第１のカウンタ４０４では垂
直エッジ、第２のカウンタ４０５では左上がりの斜めエ
ッジ、第３のカウンタ４０６では水平エッジ、第４のカ
ウンタ４０７では右上がりの斜めエッジが各々検出され
た場合に、カウントが行われることになる。

【００４６】このようなカウント動作は、リセット信号
が入力端子３０２から入力端子４０２を介して第１〜第
４のカウンタ４０４〜４０７に各々供給されるまで継続
して行われる。そして、第１〜第４のカウンタ４０４〜
４０７の各カウント結果は、コンパレータ４０８に供給
される。

【００４７】コンパレータ４０８は、第１〜第４のカウ
ンタ４０４〜４０７の各カウント結果を比較すること
で、常に最大のカウント値であるエッジ方向を示す信号
をフィルタ選択制御信号として、出力端子４０９から出
力する。このフィルタ選択制御信号は、切換手段に相当
するものである。

【００４８】したがって、出力端子４０９から出力され
るフィルタ選択制御信号は、４種類存在することにな
る。ここでは、これを第１〜第４のフィルタ選択制御信
号とし、第１のフィルタ選択制御信号は垂直エッジが最
も多く分布する状態を示し、第２のフィルタ選択制御信
号は左上がりの斜めエッジが最も多く分布する状態を示
し、第３のフィルタ選択制御信号は水平エッジが最も多
く分布する状態を示し、第４のフィルタ選択制御信号は
右上がりの斜めエッジが最も多く分布する状態を示すも
のとする。このようなフィルタ選択制御信号が、第１の
データバッファ３１３（上記図３）に供給される。

【００４９】尚、他の第２〜第８のヒストグラム回路３
０６〜３１２内の具体的な動作については、上述の第１
のヒストグラム回路５０５の動作と各々同様であるた
め、その詳細な説明は省略する。

【００５０】上述のようにして、第１〜第８のヒストグ
ラム回路３０５〜３１２で得られた水平方向８ブロック
の各フィルタ選択制御信号は、第１〜第８のデータバッ
ファ３１３〜３２０に対応して供給される。

【００５１】このとき、第１〜第８のデータバッファ３
１３は、入力端子３０３からのロード信号により、フィ
ルタ選択制御信号のロードが制御される。このロード信
号は、入力端子３０２から第１〜第８のヒストグラム回
路３０５〜３１２に対して、リセット信号が出力される
直前に、第１〜第８のデータバッファ３１３に供給され
るようになされている。

【００５２】このようなロード信号により、第１〜第８
のデータバッファ３１３〜３２０には、第１〜第８のヒ
ストグラム回路３０５〜３１２がリセットされる直前の
状態のフィルタ選択制御信号がロードされる。したがっ
て、第１〜第８のデータバッファ３１３〜３２０には、
垂直方向に次の水平方向８ブロックの勾配ベクトル方向
データの計数の間、その前の水平方向８ブロックの各フ
ィルタ選択制御信号が保持されることになる。

【００５３】上述のようにして、第１〜第８のデータバ
ッファ３１３〜３２０に保持された水平方向８ブロック
の各フィルタ選択制御信号は、セレクタ３２１に供給さ
れる。

【００５４】セレクタ３２１は、入力端子３０４からの
上述したブロック選択制御信号に従って、第１〜第８の
データバッファ３１３〜３２０からの各フィルタ選択制
御信号のうちの何れか１つを選択して、出力端子３２２
から出力する。この出力端子３２２から出力されたフィ
ルタ選択制御信号が、可変補間フィルタ処理回路１０５
（上記図１）に供給される。

【００５５】（可変補間フィルタ処理回路１０５）

【００５６】可変補間フィルタ処理回路１０５は、例え
ば、図５に示すように、電子ズーム処理回路１０２（上
記図１）からの拡大画像信号が入力端子５０１を介して
供給される第１のラインメモリ５０２と、第１のライン
メモリ５０２の出力が供給される第２のラインメモリ５
０３と、第２のラインメモリ５０３の出力が供給される
第３のラインメモリ５０４と、第３のラインメモリ５０
４の出力が供給される第４のラインメモリ５０５と、電
子ズーム処理回路１０２（上記図１）からの拡大画像信
号が入力端子５０１を介して供給されると共に第１〜第
４のラインメモリ５０２〜５０５の各出力が供給される
ＤＦＦ回路群５０６と、ＤＦＦ回路群５０６の各出力が
供給される第１〜第５の水平加算処理回路５０７〜５１
１と、第１及び第５の水平加算処理回路５０７及び５１
１の各出力が供給される第１の加算器５１２と、第２及
び第４の水平加算処理回路５０８及び５１０の各出力が
供給される第２の加算器５１３と、第３の水平加算処理
回路５０６及び第２の加算器５１３の各出力が供給され
る第３の加算器５１４と、第１及び第３の加算器５１２
及び５１４の各出力が供給される第４の加算器５１５と
を備えており、第４の加算器５１５の出力が出力端子５
１６を介して出力端子１０７（上記図１）に供給される
ようになされている。また、第１〜第５の水平加算処理
回路５０７〜５１１には、勾配ヒストグラム検出回路１
０４（上記図１、図３）からのフィルタ選択制御信号が
入力端子５１７を介して供給されるようになされてい
る。

【００５７】第１〜第５の水平加算処理回路５０７〜５
１１は、各々同様の構成としており、例えば、第１の水
平加算処理回路５０７は、図６に示すように、ＤＦＦ回
路群５０６（上記図５）の各出力が入力端子６０１〜６
０５を介して供給されると共に入力端子５１７（上記図
５）からのフィルタ選択制御信号が入力端子６１５を介
して供給される第１〜第５の係数乗算器６０６〜６１０
と、第１及び第５の係数乗算器６０６及び６１０の各出
力が供給される第１の加算器６１１と、第２及び第４の
係数乗算器６０７及び６０９の各出力が供給される第２
の加算器６１２と、第３の係数乗算器６０８及び第２の
加算器６１２の各出力が供給される第３の加算器６１３
と、第１及び第３の加算器６１１及び６１３の各出力が
供給される第４の加算器６１４とを備えており、第４の
加算器６１４の出力が出力端子６１６を介して第１の加
算器５１２（上記図５）に供給されるようになされてい
る。

【００５８】尚、第２〜第５の水平加算処理回路５０８
〜５１１の各構成については、上記図６の第１の水平加
算処理回路５０７の構成と各々同様であるため、その詳
細な説明は省略する。

【００５９】このような可変補間フィルタ処理回路１０
５において、先ず、電子ズーム処理回路１０２からの拡
大画像信号、すなわち”０”が挿入された画像信号（拡
大ゼロ挿入画像信号）は、入力端子５０１を介して、Ｄ
ＦＦ回路群５０６に供給されると共に、第１のラインメ
モリ５０２に供給される。

【００６０】第１のラインメモリ５０２、及びそれに続
く第２〜第４のラインメモリ５０３〜５０５は各々、１
Ｈラインメモリであり、これらの４つのラインメモリに
より、ＤＦＦ回路群５０６に供給された拡大ゼロ挿入画
像信号の１ライン分のデータに続く４ライン分のデータ
が生成される。したがって、ＤＦＦ回路群５０６には、
５ライン分のデータが供給されることになる。

【００６１】ＤＦＦ回路群５０６は、入力端子５０１及
び第１〜第４のラインメモリ５０２〜５０５からの５ラ
イン分のデータ各々に対して、５画素分のデータを生成
し、第１〜第５の水平加算処理回路５０７〜５１１に供
給する。このとき、第１〜第５の水平加算処理回路５０
７〜５１１には、勾配ヒストグラム検出回路１０４（上
記図１、図３）からのフィルタ選択制御信号も入力端子
５１７を介して供給される。

【００６２】第１〜第５の水平加算処理回路５０７〜５
１１の各構成は、上記図６に示した通りであり、例え
ば、第１の水平加算処理回路５０７において、上述の５
画素分のデータは、入力端子６０１〜６０５を介して第
１〜第５の係数乗算器６０６〜６１０に供給される。

【００６３】第１〜第５の係数乗算器６０６〜６１０は
各々、後述するディジタルフィルタ（補間フィルタ）の
係数を４種類有しており、入力端子６１５からのフィル
タ選択制御信号に従って、入力端子６０１〜６０５から
の５画素分のデータに対して、その４種類の係数のうち
の何れかを乗算する。

【００６４】すなわち、第１〜第５の係数乗算器６０６
〜６１０に供給されるフィルタ選択制御信号は、上述し
たように、垂直エッジが最も多く分布する状態、左上が
りの斜めエッジが最も多く分布する状態、水平エッジが
最も多く分布する状態、及び右上がりの斜めエッジが最
も多く分布する状態を示す第１〜第４のフィルタ選択制
御信号の何れかである。そこで、例えば、第１の係数乗
算器６０６は、入力端子６１５からのフィルタ選択制御
信号に従って、４種類の係数を切り換えて（補間フィル
タの係数を可変して）、入力端子６０１からの画素デー
タへの乗算を行う。他の第２〜第５の係数乗算器６０７
〜６１０も同様にして、フィルタ選択制御信号に従っ
て、４種類の係数を切り換えて、画素データへの乗算を
行う。

【００６５】上述のようにして、第１〜第５の係数乗算
器６０６〜６１０により、各々係数が乗算された５画素
分のデータは、第１〜第４の加算器６１１〜６１４によ
り加算され、この加算結果が出力端子６１６を介して第
１の加算器５１２（上記図５）に供給されることにな
る。

【００６６】尚、他の第２〜第５の水平加算処理回路５
０８〜５１１の動作については、上述の第１の水平加算
処理回路５０７の動作と同様であるため、その詳細な説
明は省略する。

【００６７】上述のような第１〜第５の水平加算処理回
路５０７〜５１１の各出力は、第１〜第４の加算器５１
２〜５１５により垂直方向に加算され、この加算結果
が、補間された拡大画像信号として、出力端子５１６を
介して出力端子１０７（上記図１）から出力されること
になる。

【００６８】ここで、上述した第１〜第５の水平加算処
理回路５０７〜５１１に各々設けられた第１〜第５の係
数乗算器６０６〜６１０により実現される可変補間フィ
ルタの係数について具体的に説明する。

【００６９】まず、ここで実現される可変補間フィルタ
の係数は、第１〜第４のフィルタ選択制御信号に対応し
た４種類が存在し、垂直、左上がり斜め、水平、右上が
り斜めの各方向のナイキスト周波数までに帯域制限する
なかで、所定方向に対しては急峻なローパス特性を持た
せ、その所定方向と直交する方向に対しては緩やかなロ
ーパス特性を持たせるようになされている。

【００７０】そこで、例えば、フィルタ選択制御信号が
第１のフィルタ選択制御信号であった場合、すなわち垂
直エッジが最も多く分布する状態の示す信号であった場
合、第１〜第５の係数乗算器６０６〜６１０での補間フ
ィルタの係数は、図７に示すような周波数特性を有する
係数となる。この図７に示すように、このときの係数の
周波数特性は、水平方向は帯域が広く、垂直方向は帯域
が狭い。このように、垂直エッジが最も多く分布する状
態であった場合には、画像の補間に用いられる係数を上
記図７の周波数特性を有する係数に切り換えて、垂直方
向に対しては急峻なローパス特性を持たせ、その方向と
直交する水平方向に対しては緩やかなローパス特性を持
たせることで、垂直方向に対しては信号が高周波まで再
現され、水平方向に対してはノイズ成分が強く抑圧され
ることになる。したがって、この場合には、ブロック内
で最も多く分布している垂直エッジがより鮮明に再現さ
れる。

【００７１】また、フィルタ選択制御信号が第２のフィ
ルタ選択制御信号であった場合も同様に、第１〜第５の
係数乗算器６０６〜６１０での補間フィルタの係数は、
図８に示すような周波数特性を有する係数となる。これ
により、左上がり斜めエッジが最も多く分布する状態で
あった場合には、画像の補間に用いられる係数を上記図
８の周波数特性を有する係数に切り換えて、左上がり斜
め方向に対しては急峻なローパス特性を持たせ、その方
向と直交する右上がり斜め方向に対しては緩やかなロー
パス特性を持たせることで、左上がり斜め方向に対して
は信号が高周波まで再現され、右上がり斜め方向に対し
てはノイズ成分が強く抑圧されることになる。したがっ
て、この場合には、ブロック内で最も多く分布している
左上がり斜めエッジがより鮮明に再現される。

【００７２】また、フィルタ選択制御信号が第３のフィ
ルタ選択制御信号であった場合も同様に、第１〜第５の
係数乗算器６０６〜６１０での補間フィルタの係数は、
図９に示すような周波数特性を有する係数となり、ブロ
ック内で最も多く分布している水平エッジがより鮮明に
再現される。

【００７３】また、フィルタ選択制御信号が第４のフィ
ルタ選択制御信号であった場合も同様に、第１〜第５の
係数乗算器６０６〜６１０での補間フィルタの係数は、
図１０に示すような周波数特性を有する係数となり、ブ
ロック内で最も多く分布している右上がり斜めエッジが
より鮮明に再現される。

【００７４】上述のように、本実施の形態では、入力画
像信号を複数のブロックに分割し、各ブロック毎に、ブ
ロック内に含まれるエッジの方向がどのように分布して
いるかを検出し、拡大したい画像の各ブロックに対し
て、その分布結果に基づいて可変補間フィルタの係数を
切り換えることで、最も多く分布しているエッジの方向
に対しては急峻なローパス特性で信号を高周波まで再現
し、その方向と直交する方向に対しては緩やかなローパ
ス特性を持たせるようにして、最も多く分布しているエ
ッジの方向に対しては信号を高周波まで再現し、その方
向と直交する方向に対してはノイズ成分を抑圧する。こ
のように構成することで、拡大したい画像の各ブロック
において、その各ブロックで最も多く分布するエッジを
鮮明に再現できるため、全体的に解像度の劣化が極めて
少ない高品位な拡大画像を得ることができる。また、拡
大画像のＳ／Ｎも高く保つことができる。さらに、特開
平０７−１２３３０８等のように、画像の学習を必要と
しないため、学習、非学習による補間の格差が生じるこ
とがないため、安定した高品位な拡大画像を得ることが
でき、様々な画像にも回路規模を大きくすることなく対
応することができる。

【００７５】尚、上述した実施の形態では、勾配の方向
を８方向で量子化して、勾配ヒストグラムを生成するよ
うにしたが、これに限らず、量子化をさらに細かくする
ことで、勾配の方向の分布をさらに詳細に分類するよう
にしてもよい。これにより、さらに高品位な拡大画像を
得ることができる。

【００７６】

【発明の効果】以上説明したように本発明では、補間の
ための複数の平滑化手段（２次元ローパスフィルタ等）
を設ける。この複数の平滑手段は、水平、垂直、斜め等
の各方向のナイキスト周波数までに帯域制限するなか
で、ある所定の方向に対しては急峻なローパス特性を持
たせ、該所定の方向と直交する方向に対しては緩やかな
ローパス特性を持たせる等、各々が異なる特性を有する
ように設計する。また、入力画像信号を複数のブロック
に分割し、各ブロック毎に、ブロックに含まれる画像の
勾配ベクトル（エッジ）の方向又は角度がどのように分
布しているかを求める。さらに、その分布情報に応じ
て、複数の平滑化手段を切り換えて選択的に用いる。

【００７７】このように構成することで、拡大したい画
像（切出画像）において、あるブロックには左上がり斜
めのエッジ（左上がり斜め方向の急峻な信号変化）が多
く分布する等のブロック毎の分布情報を得ることができ
る。また、各々が異なる周波数特性を有する複数の２次
元ローパスフィルタを切り換えて使用することができる
と共に、この切り換えを上述の分布情報に応じて行うこ
ともできるため、例えば、左上がり斜めエッジが多く分
布してるブロックに対しては、右上がり斜め方向の周波
数帯域は強く抑圧し、左上がり斜め方向の周波数帯域は
高域まで残すような周波数特性の２次元ローパスフィル
タを選択してこれを用いることで、このブロックにおい
ては、左上がり斜めエッジをより高い解像度で再現する
ことができる。さらに、このような２次元ローパスフィ
ルタの選択を、対象画像の各ブロック各々に対して行う
ことができる。

【００７８】したがって、本発明によれば、拡大したい
画像の各ブロック毎に、最も多く分布するエッジをより
高い解像度で再現することができるため、拡大画像の劣
化を従来よりも極めて少なくすることができる。また、
特開平０７−１２３３０８号等のように、補間すべき画
素の学習を必要としないため、学習、非学習による補間
の格差が生じることがない。このため、安定した高品位
な拡大画像を得ることができ、様々な画像にも回路規模
を大きくすることなく対応することができる。さらに、
信号成分が多く含まれる方向に対しては急峻なローパス
特性で信号を高周波まで再現し、信号成分を多く含まな
い方向に対しては緩やかなローパス特性でノイズ成分を
強く抑圧することができるため、拡大画像のＳ／Ｎを高
く保つことができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置を適用した画像処理
装置の構成を示すブロック図である。

【図２】上記画像処理装置の勾配ベクトル方向データ検
出回路の内部構成を示すブロック図である。

【図３】上記画像処理装置の勾配ヒストグラム検出回路
の内部構成を示すブロック図である。

【図４】上記勾配ヒストグラム検出回路のヒストグラム
回路の内部構成を示すブロック図である。

【図５】上記画像処理装置の可変補間フィルタ処理回路
の内部構成を示すブロック図である。

【図６】上記可変補間フィルタ処理回路の水平加算処理
回路の内部構成を示すブロック図である。

【図７】上記水平加算処理回路の係数乗算器により実現
される補間フィルタの係数（垂直エッジが多く分布した
状態の場合の係数）の周波数特性を説明するための図で
ある。

【図８】上記水平加算処理回路の係数乗算器により実現
される補間フィルタの係数（左上がり斜めエッジが多く
分布した状態の場合の係数）の周波数特性を説明するた
めの図である。

【図９】上記水平加算処理回路の係数乗算器により実現
される補間フィルタの係数（水平エッジが多く分布した
状態の場合の係数）の周波数特性を説明するための図で
ある。

【図１０】上記水平加算処理回路の係数乗算器により実
現される補間フィルタの係数（右上がりエッジが多く分
布した状態の場合の係数）の周波数特性を説明するため
の図である。

【符号の説明】

１００画像処理装置１０１入力端子１０２電子ズーム処理回路１０３勾配ベクトル方向データ検出回路１０４勾配ヒストグラム検出回路１０５可変補間フィルタ処理回路１０６リセット信号生成回路１０７出力端子

Claims

【特許請求の範囲】

【請求項１】２次元の入力画像信号の一部を切り出し
て得た切出画像信号から、その拡大画像信号を生成する
画像処理装置であって、上記切出画像信号の画素間に所定値を挿入する挿入手段
と、上記入力画像信号に含まれる所定成分の空間的変化の勾
配情報を求める勾配情報取得手段と、上記挿入手段で所定値の画素が挿入された切出画像信号
を平滑化する複数の平滑化手段と、上記勾配情報取得手段で求められた勾配情報に基づい
て、上記複数の平滑化手段を切り換える切換手段とを備
えることを特徴とする画像処理装置。
【請求項２】上記勾配情報取得手段は、上記入力画像
信号に含まれる所定成分の空間的変化の勾配ベクトルの
方向又は角度を上記勾配情報として求めることを特徴と
する請求項１記載の画像処理装置。
【請求項３】上記勾配情報取得手段は、上記勾配情報
の分布情報を求めることを特徴とする請求項１記載の画
像処理装置。
【請求項４】上記勾配情報取得手段は、上記勾配情報
に応じた値のヒストグラムを上記分布情報として求める
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】上記勾配情報取得手段は、上記入力画像
信号を複数のブロックに分割する分割手段を含み、上記
分割手段で得られた複数のブロックの各々における勾配
情報を求めることを特徴とする請求項１記載の画像処理
装置。
【請求項６】上記勾配情報取得手段は、上記所定成分
を輝度成分として、その空間的変化の勾配情報を求める
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】上記複数の平滑化手段は、各々が異なる
周波数特性を有する複数のディジタルフィルタを含むこ
とを特徴とする請求項１記載の画像処理装置。
【請求項８】請求項１〜７の何れかに記載の画像処理
装置を含むことを特徴とする画像処理システム。