JP4623345B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4623345B2 JP4623345B2 JP2001026941A JP2001026941A JP4623345B2 JP 4623345 B2 JP4623345 B2 JP 4623345B2 JP 2001026941 A JP2001026941 A JP 2001026941A JP 2001026941 A JP2001026941 A JP 2001026941A JP 4623345 B2 JP4623345 B2 JP 4623345B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- circuit
- class
- tap
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、画像を処理または変換する画像処理装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
画像信号を高解像度化等高質化するための技術として、例えば、特開平9−74543号公報および対応する米国特許5946044号明細書等に開示されたクラス分類適応処理がある。
【0003】
クラス分類適応処理では、入力画像信号の各注目画素に対して、入力画像信号からクラスタップおよび予測タップを取得し、クラスタップに基づいて注目画素を予め設定したクラスのいずれかに分類し、分類されたクラスに対応して選択される予め各クラス毎に学習により生成された予測係数セットと予測タップとを用いた演算を行うことで、入力画像信号より高質な出力画像信号が生成される。
【0004】
クラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する画素となることがある。ここで、有効範囲の外の画素の画素値は正常な値を有していない可能性が高い。従って、従来のクラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する場合には、図1に示すようにマスクをして使用しないようにしていた。
【0005】
このクラス分類適応処理の一例として、誤り訂正符号などによって訂正することができなかったり、パケットロス等により欠落した画素を周辺の欠落していない画素をクラスタップおよび予測タップとして用いてクラス分類適応処理を行うことで欠落した画素を生成するものがある。
【0006】
この場合にも図1に示すように、対象となる画素の周辺に位置する画素の画素値を利用したクラス分類適応処理により、その画素値を設定することができる。
【0007】
従来は、画面全体において、欠落した画素との位置関係が相対的に同様の位置にある画素が利用される、いわゆるタップ構造が同じ処理が実行される。
【0008】
欠落した画素の周辺に位置する画素が画像の有効範囲の外に位置する場合、設定された画素値は、正常な値を有しない。このため、生成された画像において、このような画像の端部に位置する画素は、図1に示すように、マスクされ、利用されない。
【0009】
また、従来は、画面上の画素の物理的位置にかかわらず同様の処理が実行されるだけであった。
【0010】
【発明が解決しようとする課題】
しかしながら、画像がマスクされると、画像のサイズが小さくなり、実質的に、生成される画像の解像度が低下することとなる。また、画素の画面上の位置に対応して処理内容が変化することはなく、画素の画面上の物理的位置にかかわらず同様の処理が実行されるので、高質化があまり図られないことがある。
【0011】
本発明はこのような状況に鑑みてなされたものであり、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようにすることを目的とする。
【0012】
【課題を解決するための手段】
本発明の画像処理装置は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出手段と、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定手段と、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択手段と、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段とを備え、演算手段は、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【0019】
演算手段は、出力画像信号として、入力画像信号よりノイズの低減された画像信号を出力するようにすることができる。
【0020】
演算手段は、出力画像信号として、入力画像信号より高解像度の画像信号を出力するようにすることができる。
【0021】
演算手段は、出力画像信号として、入力画像信号よりレンズの収差による歪みが低減された画像信号を出力するようにすることができる。
【0022】
本発明の画像処理方法は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含み、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【0023】
本発明の第1の記録媒体のプログラムは、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含む画像処理をコンピュータに実行させ、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【0072】
本発明の画像処理装置および方法、並びに記録媒体においては、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定される。
【0077】
【発明の実施の形態】
図2は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。有効画素領域算出回路11は、欠落画素創造回路12に入力される画像に同期した垂直同期信号、および水平同期信号を基に、欠落画素創造回路12に入力される画像の画素が有効画素領域に位置するか否かを示す、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを生成して、欠落画素創造回路12に出力する。以下において、画素は、タップとも称し、画素値は、タップデータとも称する。
【0078】
欠落画素創造回路12は、入力された画像および画像の各画素に対応する欠落フラグLF、並びに有効画素領域算出回路11から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像に含まれる欠落画素に対応する画素を創造して、欠落画素を創造した画素に置き換えて出力する。
【0079】
図3は、有効画素領域算出回路11の構成の例を示す図である。垂直同期信号検出回路41は、入力された垂直同期信号を基に、画像の各画素が、画面の垂直方向に有効画素領域内であるか否かを示すデータ(以下、垂直有効画素領域データと称する)を生成して、有効領域算出回路43に供給する。水平同期信号検出回路42は、入力された水平同期信号を基に、画像の各画素が、画面の水平方向に有効画素領域内であるか否かを示すデータ(以下、水平有効画素領域データと称する)を生成して、有効領域算出回路43に供給する。
【0080】
有効領域算出回路43は、垂直同期信号検出回路41から供給された垂直有効画素領域データを補正して、有効画素領域垂直フラグVFとして欠落画素創造回路12に出力する。
【0081】
有効画素領域垂直フラグVFは、例えば、図4に示すように、ディスプレイの有効範囲内において、0の値が設定され、ディスプレイの有効範囲外において、1の値が設定される。
【0082】
有効領域算出回路43は、水平同期信号検出回路42から供給された水平有効画素領域データを補正して、有効画素領域水平フラグHFとして欠落画素創造回路12に出力する。
【0083】
有効画素領域水平フラグHFは、例えば、図4に示すように、ディスプレイの有効範囲内において、0の値が設定され、ディスプレイの有効範囲外において、1の値が設定される。
【0084】
欠落画素創造回路12は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像の各画素が有効画素領域内に位置するか否かを知ることができる。
【0085】
次に、欠落画素創造回路12について説明する。欠落画素創造回路12に入力される画像がインターレースであるとき、注目しているフィールドの画素の位置は、注目しているフィールドの1つ前または1つ後のフィールドの画素の位置に対して、垂直方向に1/2ずれた位置にある。
【0086】
欠落画素創造回路12は、クラス分類適応処理により、図5に示すように、創造の対象となる画素と同一のフィールド(図中のフィールドk)にある周辺の画素の画素値、1つ前のフィールド(図中のフィールドk−1)に存在する画素の画素値、並びに2つ前のフィールド(図中のフィールドk−2)に存在する画素の画素値を基に、欠落画素の画素値を創造する。
【0087】
創造の対象となる欠落画素が、画像の端部に位置する場合、図6に示すように、欠落画素創造回路12は、有効画素領域算出回路11から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素のみ(画像の有効範囲外に位置する画素は切り捨てられる)を選択して、選択した画素を基に欠落画素の画素値を創造する。
【0088】
創造の対象となる欠落画素が、画像の端部に位置する場合、図7に示すように、欠落画素創造回路12は、有効画素領域算出回路11から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素を対象としたタップ構造に適応的に切り替えることで、有効な画素をタップとして選択して、欠落画素の画素値を創造するようにしてもよい。
【0089】
図8は、欠落画素創造回路12の構成の例を示すブロック図である。欠落画素創造回路12に入力された画素値および画素の欠落を示す欠落フラグLFは、前処理回路101およびタップ構築回路102−1に供給される。
【0090】
有効画素領域算出回路11から入力された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFは、前処理回路101、タップ構築回路102−1乃至102−5、クラス合成回路107、および係数保持クラスコード選択回路109に供給される。
【0091】
前処理回路101は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFを設定する。例えば、”1”である欠落フラグLFは、その画素値が欠落していることを示し、”0”である欠落フラグLFは、その画素値が欠落していないことを示す。前処理回路101は、画素値および画素に対応する欠落フラグLFを基に、有効画素領域内の欠落している画素の値を線形補間フィルタで生成し、欠落画素にその値を設定し、タップ構築回路102−2乃至102−5に供給する。すなわち、前処理回路101は、画素が欠落しているとき、欠落している画素の数だけ予測タップの数を増やす。
【0092】
但し、後述するように、クラスタップは、欠落している画素を含まず、クラス分類の処理は、前処理回路101により生成された画素値を使用しない。
【0093】
前処理回路101の処理を図9のフローチャートを参照して説明する。ステップS11において、前処理回路101は、欠落フラグLFを基に、対象画素が欠落しているか否かを判定し、対象画素が欠落していないと判定された場合、ステップS12に進み、対象画素の画素値を、対象画素に設定し、処理は終了する。
【0094】
ステップS11において、対象画素が欠落していると判定された場合、ステップS13に進み、前処理回路101は、欠落フラグLFを基に、対象画素の水平方向において隣接している2つの画素のいずれかが欠落しているか否かを判定する。ステップS13において、対象画素の水平方向において隣接している2つの画素のいずれも欠落していないと判定された場合、ステップS14に進み、前処理回路101は、対象画素の水平方向において隣接している2つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【0095】
ステップS13において、対象画素の水平方向において隣接している2つの画素のいずれかが欠落していると判定された場合、ステップS15に進み、前処理回路101は、対象画素の水平方向において隣接している2つの画素のいずれも欠落しているか否かを判定する。ステップS15において、対象画素の水平方向において隣接している2つの画素のいずれかが欠落していないと判定された場合、ステップS16に進み、前処理回路101は、対象画素の水平に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【0096】
ステップS15において、対象画素の水平に隣接している画素のいずれも欠落していると判定された場合、ステップS17に進み、前処理回路101は、欠落フラグLFを基に、対象画素の垂直方向において隣接している2つの画素のいずれかが欠落しているか否かを判定する。ステップS17において、対象画素の垂直方向において隣接している2つの画素のいずれも欠落していないと判定された場合、ステップS18に進み、前処理回路101は、対象画素の垂直に隣接している2つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【0097】
ステップS17において、対象画素の垂直方向において隣接している2つの画素のいずれかが欠落していると判定された場合、ステップS19に進み、前処理回路101は、欠落フラグLFを基に、対象画素に隣接している全ての画素が欠落しているか否かを判定する。ステップS19において、対象画素に隣接しているいずれかの画素が欠落していないと判定された場合、ステップS20に進み、前処理回路101は、対象画素に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【0098】
ステップS19において、対象画素に隣接している全ての画素が欠落していると判定された場合、ステップS21に進み、前処理回路101は、対象画素と同じ位置の過去のフレームの画素の画素値を、対象画素の画素値に設定し、処理は終了する。
【0099】
以上のように、前処理回路101は、有効画素領域内の処理の対象画素の画素値を周辺の画素の画素値から線形に補間する。前処理回路101による補間処理により、これに続く処理で使用できるタップの範囲を広げることができる。
【0100】
タップ構築回路102−1は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT1として動きクラス生成回路103に供給する。タップ構築回路102−1は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路103に供給する。
【0101】
動きクラス生成回路103は、イニシャライズ回路111から供給されたパラメータ、並びにタップ構築回路102−1から供給された欠落フラグタップSLFT1および選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路102−2乃至102−5およびクラス合成回路107に出力する。動きクラスコードMCCは、動きの量を示す2ビットの情報を有し、静動フラグSMFは、動きの有り無しを1ビットで示す。
【0102】
図10は、動きクラス生成回路103の構成を示す図である。タップ構築回路102−1から供給された、欠落フラグタップSLFT1および動きクラスタップTD1は、動き検出回路151に供給される。動き検出回路151は、欠落フラグタップSLFT1および動きクラスタップTD1を基に、動きクラスコードMCCを生成して、出力するとともに、生成した動きクラスコードMCCを静動判定回路152に供給する。
【0103】
次に、動き検出回路151の構成について、図11のブロック図を参照して説明する。時間アクティビティ算出回路181は、タップ構築回路102−1から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、欠落していない有効領域内の画素であって、創造の対象画素を中心とした3×3の画素(動きクラスタップTD1に含まれる)と、1つ前のフレームの、欠落していない有効領域内の画素であって、対応する位置の3×3の画素(動きクラスタップTD1に含まれる)との、それぞれの画素値の差の絶対値を加算した時間アクティビティを算出し、動き判定回路184に供給する。時間アクティビティ算出回路181は、欠落している画素を使用せず、欠落していない画素のみを使用して、時間アクティビティを算出する。
【0104】
図12(A)は、時間アクティビティの算出に使用される、創造の対象画素を中心とした3×3の画素の例を示す図である。図12(A)において、”エラー”は、欠落画素を示す。図12(B)は、図12(A)に示された画素に対応する、1つ前のフレームの3×3の画素の例を示す図である。図12(A)および図12(B)に示されるL1乃至L3は、それぞれラインを示し、ラインの同一の番号は、垂直方向に同一の位置であることを示す。図12(A)および図12(B)に示されるH1乃至H3は、それぞれ画素の水平方向の位置を示し、その同一の番号は、水平方向に同一の位置であることを示す。
【0105】
欠落している画素は使用されないので、図12(A)および図12(B)に示される場合において、時間アクティビティは、式(1)で算出される。
【0106】
式(1)において、()は、画素の画素値を表し、||は、絶対値を求める関数を表し、vは、創造の対象画素が存在するフレームの画素の数から、欠落している画素の数を減じた数を表す。
【0107】
空間アクティビティ算出回路182は、タップ構築回路102−1から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、創造の対象画素を中心とした3×3の画素の最大値と最小値との差に1を加算した空間アクティビティを算出し、閾値設定回路183に供給する。
【0108】
図13は、空間アクティビティの算出に使用される、創造の対象となる欠落画素を中心とした3×3の画素の例を示す図である。空間アクティビティは、式(2)で算出される。
【0109】
空間アクティビティ=Max(qi)−Min(qi)+1 (2)
式(2)において、Max(qi)は、q1乃至q9の画素値の最大値を示す。
Min(qi)は、q1乃至q9の画素値の最小値を示す。
【0110】
閾値設定回路183は、空間アクティビティ算出回路182から供給された空間アクティビティを基に、閾値設定回路183に予め記憶されている動き判定の閾値を選択し、選択した閾値を動き判定回路184に供給する。動き判定回路184に供給される動き判定の閾値は、空間アクティビティの値によって、それぞれ異なる値を有する閾値が選択される。
【0111】
動き判定回路184は、閾値設定回路183から供給された動き判定の閾値、および時間アクティビティ算出回路181から供給された時間アクティビティから、動きクラスコードMCCを設定し、多数決判定回路185、遅延回路186、およびセレクタ187に供給する。
【0112】
図14は、動き判定の閾値を説明する図である。動き判定の閾値は、空間アクティビティの値によって、異なる値が使用される。空間アクティビティが大きくなれば、大きな値の閾値が使用される。これは、空間アクティビティが大きな画素が、少ない動きを伴う場合、時間アクティビティは、大きな値となることを考慮したものである。
【0113】
次に、動き判定回路184の動きクラスコードMCCを設定する処理を、図15のフローチャートを参照して説明する。ステップS31において、動き判定回路184は、時間アクティビティが、閾値1以下であるか否かを判定し、時間アクティビティが閾値1以下であると判定された場合、ステップS32に進み、動きクラスコードMCCに0を設定し、処理は終了する。
【0114】
ステップS31において、時間アクティビティが閾値1を越えると判定された場合、ステップS33に進み、動き判定回路184は、時間アクティビティが、閾値2以下であるか否かを判定し、時間アクティビティが閾値2以下であると判定された場合、ステップS34に進み、動きクラスコードMCCに1を設定し、処理は終了する。
【0115】
ステップS33において、時間アクティビティが閾値2を越えると判定された場合、ステップS35に進み、動き判定回路184は、時間アクティビティが閾値3以下であるか否かを判定し、時間アクティビティが閾値3以下であると判定された場合、ステップS36に進み、動きクラスコードMCCに2を設定し、処理は終了する。
【0116】
ステップS35において、時間アクティビティが閾値3を越えると判定された場合、ステップS37に進み、動き判定回路184は、動きクラスコードMCCに3を設定し、処理は終了する。
【0117】
以上のように、動き判定回路184は、閾値および時間アクティビティを基に、動きクラスコードMCCを設定する。
【0118】
多数決判定回路185は、複数の画素の動きクラスコードMCCを基に、最終的な、動きクラスコードMCCを設定する。例えば、図16に示すように、創造の対象画素の周辺の14個の画素の動きクラスコードMCCを基に、多数決判定回路185は、対象画素の動きクラスコードMCCを設定する。
【0119】
動き検出回路151の動きクラスコードMCCを設定する処理を図17のフローチャートを参照して説明する。ステップS51において、動き検出回路151は、イニシャライズ回路111からのパラメータの設定に対応して、多数決判定を実行するか否かを判定し、多数決判定を実行しないと判定された場合、ステップS52に進み、セレクタ187は、動き判定回路184が出力する注目画素の動きクラスコードMCCを選択して、注目画素の動きクラスコードMCCを最終的な動きクラスコードMCCとして設定し、処理は終了する。
【0120】
ステップS51において、多数決判定を実行すると判定された場合、ステップS53に進み、多数決判定回路185は、14個の画素のうち、3の動きクラスコードMCCが設定されている画素の数が、閾値3より大きいか否かを判定し、3の動きクラスコードMCCが設定されている画素の数が、閾値3より大きいと判定された場合、ステップS54に進み、動きクラスコードMCCに3を設定する。セレクタ187は、多数決判定回路185の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【0121】
ステップS53において、3の動きクラスコードMCCが設定されている画素の数が、閾値3以下であると判定された場合、ステップS55に進み、多数決判定回路185は、14個の画素のうち、3の動きクラスコードMCCが設定されている画素の数と2の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値2より大きいか否かを判定し、3の動きクラスコードMCCが設定されている画素の数と2の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値2より大きいと判定された場合、ステップS56に進み、動きクラスコードMCCに2を設定する。セレクタ187は、多数決判定回路185の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【0122】
ステップS55において、3の動きクラスコードMCCが設定されている画素の数と2の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値2以下であると判定された場合、ステップS57に進み、多数決判定回路185は、14個の画素のうち、3の動きクラスコードMCCが設定されている画素の数、2の動きクラスコードMCCが設定されている画素の数、および1の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値1より大きいか否かを判定し、3の動きクラスコードMCCが設定されている画素の数、2の動きクラスコードMCCが設定されている画素の数、および1の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値1より大きいと判定された場合、ステップS58に進み、動きクラスコードMCCに1を設定し、セレクタ187は、多数決判定回路185の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【0123】
ステップS57において、3の動きクラスコードMCCが設定されている画素の数、2の動きクラスコードMCCが設定されている画素の数、および1の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値1以下であると判定された場合、ステップS59に進み、多数決判定回路185は、動きクラスコードMCCに0を設定し、セレクタ187は、多数決判定回路185の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【0124】
このように、動き検出回路151は、複数の画素の動きクラスコードMCC、並びに予め記憶している閾値を基に、最終的な、動きクラスコードMCCを設定する。
【0125】
以上のように、動きクラス生成回路103は、複数の画素の画素値から動きクラスコードMCCを設定し、動きクラスコードMCCを静動判定回路152および欠落画素創造回路12に出力する。
【0126】
図10に戻り、静動判定回路152は、動きクラスコードMCCを基に、静動フラグSMFを設定し、出力する。例えば、動きクラスコードMCCが0または1のとき、静動フラグSMFは、0に設定され、動きクラスコードMCCが2または3のとき、静動フラグSMFは、1に設定される。
【0127】
タップ構築回路102−2は、動きクラス生成回路103から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET(有効画素領域外の画素を含まない)を選択して、可変タップ選択回路108に供給する。
【0128】
タップ構築回路102−3は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT2としてDRクラス生成回路104に供給する。タップ構築回路102−3は、動きクラス生成回路103から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をDRクラス生成回路104に供給する。DRクラス生成回路104は、タップ構築回路102−3から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、DRクラスタップTD2に含まれる画素であって、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるDRクラスコードDRCCを生成して、クラス合成回路107に出力する。
【0129】
タップ構築回路102−4は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路105に供給する。タップ構築回路102−4は、動きクラス生成回路103から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路105に供給する。空間クラス生成回路105は、タップ構築回路102−4から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路107に出力する。
【0130】
タップ構築回路102−5は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路106に供給する。欠落クラス生成回路106は、タップ構築回路102−5から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路107に出力する。
【0131】
クラス合成回路107は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、動きクラスコードMCC、静動フラグSMF、DRクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な1つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路109に出力する。
【0132】
係数保持クラスコード選択回路109は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHF、イニシャライズ回路111から供給された係数セットおよび予測構造、並びにクラス合成回路107から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路108に供給するとともに、クラスコードCCを基に係数セットから選択された予測係数Wを推定予測演算回路110に出力する。イニシャライズ回路111から供給される係数セットは、クラスコードCCにより分類されるクラスに対応して、予め生成され、イニシャライズ回路111に記憶されている。
【0133】
可変タップ選択回路108は、タップ構築回路102−2から供給された全クラス予測タップVET、および係数保持クラスコード選択回路109から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路110に供給する。例えば、可変タップ選択回路108は、全クラス予測タップVETに含まれるタップから、予測タップ選択信号VTにより指定されるタップを選択して、選択されたタップを予測タップETとする。
【0134】
推定予測演算回路110の積和器121は、可変タップ選択回路108から供給された予測タップET、および係数保持クラスコード選択回路109から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出する。
【0135】
なお、推定予測演算回路110の積和器121は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【0136】
推定予測演算回路110のフィルタ122は、可変タップ選択回路108から供給された予測タップETから、欠落画素の画素値を算出する。
【0137】
推定予測演算回路110は、イニシャライズ回路111から設定された出力モードを基に、フィルタ122の出力または積和器121の出力を選択して出力し、出力モードに応じた結果を求める。
【0138】
このように、欠落画素創造回路12は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域内の画素から、ダイナミックレンジ、動き、欠落、および画素値パターンなどによるクラス分類をし、欠落画素の周辺の画素値(有効画素領域外の画素の画素値を含まない)を基に、欠落画素値を算出する。
【0139】
また、欠落画素創造回路12は、例えば、推定予測演算回路110の出力モードを切り換えて、全ての画素に上記の処理を実行して、入力された画像の画質をアップさせる(例えば、階調の増加(Yデータ、Uデータ、およびVデータのビット数の増加)、ノイズの除去、量子化歪みの除去(時間方向の歪みの除去を含む)、4倍密度の解像度の創造など)ことができる。
【0140】
更に、創造の対象となる欠落画素が、画像の端部に位置し、予め決められた数以上のタップが欠落していると判定された場合、図20に示すように、欠落画素創造回路12は、クラス分類適応処理に代えて、隣接する画素の画素値を基に、線形補間処理を行って、欠落画素の画素値を補間するようにしてもよい。
【0141】
また、図21に示すように、欠落画素創造回路12は、創造の対象となる欠落画素が画像の端部に位置し、隣接する画素の全てが欠落しているときなどに、予め定めた目立ちにくい色に相当する値(例えば、灰色などに相当する)を欠落画素の画素値として設定するようにしてもよいし、過去のフレームの同じ位置の画素値を設定してもよい。
【0142】
図22は、図20または図21に示す処理を実行する、欠落画素創造回路12の他の構成を示すブロック図である。欠落画素創造回路12に入力されたデータである画素値および画素の欠落を示す欠落フラグLFは、前処理回路201およびタップ構築回路202−1に供給される。
【0143】
前処理回路201は、前処理回路101と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、タップ構築回路202−2乃至202−5に供給する。
【0144】
タップ構築回路202−1は、選択した画素の欠落フラグLFを欠落フラグタップSLFT1として、動きクラス生成回路203に供給する。タップ構築回路202−1は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路203に供給する。
【0145】
動きクラス生成回路203は、イニシャライズ回路211から供給されたパラメータ、並びにタップ構築回路202−1から供給された欠落フラグLFおよび選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路202−2乃至202−5およびクラス合成回路207に出力する。動きクラスコードMCCは、動きの量を示す2ビットの情報を有し、静動フラグSMFは、動きの有り無しを1ビットで示す。例えば、動きクラスコードMCCが0または1のとき、静動フラグSMFは、0に設定され、動きクラスコードMCCが2または3のとき、静動フラグSMFは、1に設定される。
【0146】
タップ構築回路202−2は、動きクラス生成回路103から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET(有効画素領域外の画素を含まない)を選択して、可変タップ選択回路208に供給する。
【0147】
タップ構築回路202−3は、選択した欠落フラグLFを欠落フラグタップSLFT2としてDRクラス生成回路204に供給する。タップ構築回路202−3は、動きクラス生成回路203から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をDRクラス生成回路204に供給する。DRクラス生成回路204は、タップ構築回路202−3から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるDRクラスコードDRCCを生成して、クラス合成回路207に出力する。
【0148】
タップ構築回路202−4は、選択した欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路205に供給する。タップ構築回路202−4は、動きクラス生成回路203から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路205に供給する。空間クラス生成回路205は、タップ構築回路202−4から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路207に出力する。
【0149】
タップ構築回路202−5は、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路206に供給する。欠落クラス生成回路206は、タップ構築回路202−5から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路207に出力する。
【0150】
クラス合成回路207は、動きクラスコードMCC、静動フラグSMF、DRクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な1つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路209に出力する。
【0151】
係数保持クラスコード選択回路209は、イニシャライズ回路211から供給された、予め学習した係数セットおよび予測構造、並びにクラス合成回路207から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路208に供給するとともに、係数セットからクラスコードCCを基に選択された予測係数Wを推定予測演算回路210に出力する。
【0152】
可変タップ選択回路208は、タップ構築回路202−2から供給された全クラス予測タップVET、および係数保持クラスコード選択回路209から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路210に供給する。
【0153】
推定予測演算回路210は、イニシャライズ回路211から設定された出力モードを基に、可変タップ選択回路208から供給された予測タップET、および係数保持クラスコード選択回路209から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出して、選択回路214に出力する。
【0154】
推定予測演算回路210は、図8の積和器121に相当する。
【0155】
置換回路212は、画素の欠落を示す欠落フラグLFを基に、予め定めた目立ちにくい色に相当する値(例えば、灰色などに相当する)を欠落画素の画素値として設定し、選択回路214に供給する。
【0156】
線形補間回路213は、前処理回路201と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、選択回路214に供給する。
【0157】
置換回路212および線形補間回路213は、図8のフィルタ122に相当する。
【0158】
選択回路214は、有効画素領域算出回路11から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、推定予測演算回路210、置換回路212、または線形補間回路213のいずれかの出力を選択して、欠落画素創造回路12の出力として出力する。
【0159】
このように、欠落画素創造回路12は、ダイナミックレンジ、動き、欠落、および画素値の変化などによるクラス分類適応処理により、欠落画素の周辺の画素の画素値を基に、欠落画素値を算出するとともに、有効画素領域の端部に位置する欠落画素を補間または置換して出力することができる。
【0160】
なお、創造の対象となる欠落画素の画像の端部に対する位置により、欠落画素創造回路12は、図6および図7並びに図18乃至図21を参照して説明した処理を適宜切り換えるようにしてもよい。
【0161】
また、クラスタップは、欠落している画素を含まないとして説明したが、クラスタップに、前処理回路101により生成された画素値を含めて、クラス分類の処理は、前処理回路101により生成された画素値を使用するようにしてもよい。
【0162】
以上のように、本発明に係る画像処理装置は、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになり、例えば、欠落画素の画面上の位置にかかわらず、欠落画素をより誤差が少なく創造できるようになる。
【0163】
次に、図2の例で示される例の欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に行う画像処理装置に利用される係数セットを予め生成するための画像処理装置について説明する。
【0164】
図23は、係数セットを予め生成するための画像処理装置の一実施の形態の構成を示す図である。
【0165】
画像処理装置に入力された画像は、ダウンフィルタ303および正規方程式演算回路310に供給される。
【0166】
表示位置算出回路301は、画像の各画素の画面中央からの距離を算出して、画像の各画素の画面中央からの距離を示す位置情報をタップ構築回路304−1乃至304−Nに供給する。
【0167】
なお、表示位置算出回路301は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路302に供給するようにしてもよい。
【0168】
イニシャライズ回路312は、構造切換制御回路302に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【0169】
構造切換制御回路302は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路304−1乃至304−Nのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路304−1乃至304−Nのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路304−1乃至304−Nのそれぞれに供給する。
【0170】
また、構造切換制御回路302は、上記3つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【0171】
以下、収差モードを例に説明する。
【0172】
例えば、タップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、RGBに対応する信号から構成されている。
【0173】
また、構造切換制御回路302は、表示位置算出回路301から供給された各画素の画面上の物理アドレスから、各画素の画面中央からの距離を算出し、算出された画面中央からの距離、およびイニシャライズ回路312から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成する。構造切換制御回路302は、生成した収差クラスコードCCAをクラス合成回路307に供給する。
【0174】
構造切換制御回路302は、各画素の画面上の物理アドレスと画面中央からの距離との関係を予め記憶し、予め記憶している関係、および表示位置算出回路301から供給された各画素の画面上の物理アドレスを基に、各画素の画面中央からの距離を求めるようにしてもよい。
【0175】
または、構造切換制御回路302は、イニシャライズ回路312から入力された収差情報、および表示位置算出回路301から供給された画面中央からの距離を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路307に供給するようにしてもよい。
【0176】
例えば、構造切換制御回路302は、収差量を量子化して収差クラスコードCCAを生成する。
【0177】
ここで、色収差について説明する。
【0178】
例えば、図24に示すように、レンズの光軸に対して、斜めに白色光が入力されたとき、白色光に含まれる青色光の像は、黄色光の像に対して光軸に近い位置に結像し、白色光に含まれる黄色光の像は、青色光の像より光軸から遠い位置であって、赤色光の像より光軸から近い位置に結像し、白色光に含まれる赤色光の像は、黄色光の像より光軸に遠い位置に結像する。このような、青色光の像、黄色光の像、および赤色光の像の結像位置のずれを色収差と称する。色収差が大きいとは、青色光の像、黄色光の像、および赤色光の像の結像位置の距離が長いことをいう。
【0179】
色収差の大きさは、画像の位置と画面の中央との距離に対応して増加するので、図25(A)に示すように、画面の中央を中心とする円の円周上の画素に含まれる色収差の大きさは同一となる。
【0180】
これを、画面の中央からの距離と色収差の大きさとの関係をグラフで表すと、図25(B)のようになる。すなわち、色収差は、画面の中央からの距離に対して、非線形に増加する。
【0181】
ダウンフィルタ303は、入力された画像に収差に対応する処理、またはジッタ付加若しくはノイズ付加などの処理を適用して、収差に対応する画素値を有するか、またはジッタが付加されたか、若しくはノイズが付加された画像を、タップ構築回路304−1乃至304−Nに供給する。
【0182】
タップ構築回路304−1は、表示位置算出回路301から供給された位置情報、および構造切換制御回路302から供給されたタップ選択信号TS1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、ダウンフィルタ303から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路305に供給する。タップ構築回路304−1が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【0183】
図26は、タップ構築回路304−1における、赤色、緑色、または青色毎のタップ構造を説明する図である。例えば、緑色に対応するタップは、図26(A)に示すように、注目画素を中心とするタップにより構成される。
【0184】
構造切換制御回路302は、イニシャライズ回路312から入力された収差情報を基に、例えば、図26(B)に示すように、緑色を基準とした、赤色および青色についての補正ベクトルを生成し、生成した補正ベクトルを含むタップ選択信号TS1をタップ構築回路304−1に供給する。
【0185】
例えば、タップ構築回路304−1は、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS1に含まれる赤色についての補正ベクトルを基に、注目画素を基準として、赤色についての補正注目画素を選択し、図26(C)に示すように、補正注目画素を中心とした赤色に対応するタップを構成する。同様に、タップ構築回路304−1は、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS1に含まれる青色についての補正ベクトルを基に、注目画素を基準として、青色についての補正注目画素を選択し、補正注目画素を中心とした青色に対応するタップを構成する。
【0186】
なお、注目画素を基準とした、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを含むようにタップ選択信号TS1を構成し、タップ構築回路304−1は、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS1に含まれる赤色についての補正ベクトルを基に、赤色に対応する補正注目画素を中心とした赤色に対応するタップを構成し、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS1に含まれる緑色についての補正ベクトルを基に、緑色に対応する補正注目画素を中心とした緑色に対応するタップを構成し、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS1に含まれる青色についての補正ベクトルを基に、青色に対応する補正注目画素を中心とした青色に対応するタップを構成するようにしてもよい。
【0187】
動きクラス生成回路305は、パラメータ設定回路312から供給されたパラメータ、並びにタップ構築回路304−1から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、および赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、タップ構築回路304−2乃至304−Nおよびクラス合成回路307に出力する。
【0188】
タップ構築回路304−2は、動きクラス生成回路305から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに静動フラグSMF、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路302から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、可変タップ選択回路308に供給する。
【0189】
タップ構築回路304−3は、動きクラス生成回路305から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに赤色、緑色、および青色ごとの静動フラグSMF、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路302から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路306−1に供給する。
【0190】
クラス生成回路306−1は、タップ構築回路304−3から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路307に出力する。クラスコードCC1は、例えば、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するクラスコードとすることができる。
【0191】
タップ構築回路304−4乃至304−Nは、動きクラス生成回路305から供給された動きクラスコードMCCおよび静動フラグSMF、表示位置算出回路301から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路302から供給されたタップ選択信号TS3-2乃至TS3-(N-2)に基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)を選択して、選択したクラスタップTD2-2乃至TD2-(N-2)をクラス生成回路306−2乃至306−(N−2)のぞれぞれに供給する。
【0192】
クラス生成回路306−2乃至306−(N−2)は、タップ構築回路304−4乃至304−Nから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路307に出力する。クラスコードCC2乃至CC(N-2)のいずれかは、例えば、画素値パターンに対応するクラスコードとすることができる。
【0193】
クラス合成回路307は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な1つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【0194】
クラス合成回路307は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な1つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【0195】
クラス合成回路307は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な1つのクラスコードTCCの青色に対応するクラスコードに統合する。
【0196】
クラス合成回路307は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCをクラスコード選択回路309に出力する。
【0197】
クラスコード選択回路309は、クラス合成回路307から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路308に供給するとともに、クラスコードTCCを正規方程式演算回路310に出力する。
【0198】
可変タップ選択回路308は、タップ構築回路304−2から供給された全クラス予測タップVET、およびクラスコード選択回路309から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを正規方程式演算回路310に供給する。
【0199】
正規方程式演算回路310は、可変タップ選択回路308から供給された学習データである予測タップET、およびダウンフィルタ303から供給された教師データである入力画像を受信すると、それらを用いて、最小自乗法により、誤差を最小する予測係数Wを算出する。予測係数Wは、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る。
【0200】
ここで、正規方程式演算回路310が算出する予測係数Wについて簡単に説明する。
【0201】
例えば、いま、元の画像(入力された画像に相当する(以下、適宜、教師データと称する))の画素値yの予測値E[y]を、ダウンフィルタ303を通過することによって、ノイズが付加されるか、収差に対応する画素値を有する画像の画素値(以下、適宜、学習データと称する)x1,x2,・・・と、所定の予測係数w1,w2,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0202】
【0203】
そこで、一般化するために、予測係数wの集合でなる行列W、学習データの集合でなる行列X、および予測値E[y]の集合でなる行列Y’を、
【0204】
【数1】
で定義すると、次のような観測方程式が成立する。
【0205】
XW=Y’・・・(4)
【0206】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値yに近い予測値E[y]を求めることを考える。この場合、元の画像の画素値yの集合でなる行列Y、および元の画像の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【0207】
【数2】
で定義すると、式(4)から、次のような残差方程式が成立する。
【0208】
XW=Y+E・・・(5)
【0209】
この場合、元の画像の画素値yに近い予測値E[y]を求めるための予測係数wiは、自乗誤差
【0210】
【数3】
を最小にすることで求めることができる。
【0211】
従って、上述の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次式を満たす予測係数wiが、元の画像の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0212】
【数4】
【0213】
そこで、まず、式(5)を、予測係数wiで微分することにより、次式が成立する。
【0214】
【数5】
【0215】
式(6)および(7)より、式(8)が得られる。
【0216】
【数6】
【0217】
さらに、式(5)の残差方程式における学習データx、予測係数w、教師データy、および残差eの関係を考慮すると、式(8)から、次のような正規方程式を得ることができる。
【0218】
【数7】
【0219】
式(9)の正規方程式を解くことで、最適な予測係数wを求めることができる。なお、式(9)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを適用することが可能である。
【0220】
即ち、例えば、いま、学習データに含まれる予測タップETの画素値を、x1,x2,x3,・・・とし、求めるべき予測係数Wをw1,w2,w3,・・・とするとき、これらの線形1次結合により、教師データの、ある画素の画素値yを求めるには、予測係数w1,w2,w3,・・・は、次式を満たす必要がある。
【0221】
y=w1x1+w2x2+w3x3+・・・
そこで、正規方程式演算回路310では、同一クラスの予測タップと、対応する教師データの画素とから、真値yに対する、予測値w1x1+w2x2+w3x3+・・・の自乗誤差を最小とする予測係数w1,w2,w3,・・・が、上述した式(9)に示す正規方程式をたてて解くことにより求められる。
【0222】
より具体的には、正規方程式演算回路310は、赤色に対応する同一クラスの予測タップと、対応する教師データの赤色の成分とから、赤色に対応する真値yに対する、予測値w1x1+w2x2+w3x3+・・・の自乗誤差を最小とする、赤色に対応する予測係数w1,w2,w3,・・・を、正規方程式をたてて解くことにより算出する。
【0223】
正規方程式演算回路310は、緑色に対応する同一クラスの予測タップと、対応する教師データの緑色の成分とから、緑色に対応する真値yに対する、予測値w1x1+w2x2+w3x3+・・・の自乗誤差を最小とする、緑色に対応する予測係数w1,w2,w3,・・・を、正規方程式をたてて解くことにより算出する。
【0224】
正規方程式演算回路310は、青色に対応する同一クラスの予測タップと、対応する教師データの青色の成分とから、青色に対応する真値yに対する、予測値w1x1+w2x2+w3x3+・・・の自乗誤差を最小とする、青色に対応する予測係数w1,w2,w3,・・・を、正規方程式をたてて解くことにより算出する。
【0225】
従って、この処理をクラスごとに行うことにより、各クラスごとに、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る予測係数Wが生成される。
【0226】
正規方程式演算回路310において求められた、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る、クラスごとの予測係数Wは、クラスコードTCCと共に、係数メモリ311に供給される。これにより、係数メモリ311においては、正規方程式演算回路310からの予測係数Wが、クラスコードTCCが示すクラスに対応するアドレスに記憶される。
【0227】
このように、図23に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成することができる。
【0228】
なお、図23に構成を示す画像処理装置は、収差のあるレンズを介して、撮像された画像、および収差のほとんどないレンズを介して、撮像された同じ画像を取得し、収差のあるレンズを介して、撮像された画像を学習データとし、収差のほとんどないレンズを介して、撮像された同じ画像を教師データとして、色収差を考慮した画像処理モードで画像処理を実行する画像処理装置に利用される係数セットを生成するようにしてもよい。
【0229】
図27は、図23に構成を示す画像処理装置が生成した係数セットを利用する、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に行う、本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【0230】
表示位置算出回路401は、入力された画像の各画素の画面中央からの距離を算出して、各画素の画面中央からの距離を示す位置情報をタップ構築回路403−1乃至403−Nに供給する。
【0231】
なお、表示位置算出回路401は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路402に供給するようにしてもよい。
【0232】
イニシャライズ回路410は、構造切換制御回路402に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【0233】
構造切換制御回路402は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路403−1乃至403−Nのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路403−1乃至403−Nのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路403−1乃至403−Nのそれぞれに供給する。
【0234】
また、構造切換制御回路402は、上記3つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【0235】
以下、収差モードを例に説明する。
【0236】
例えば、収差モードのとき、タップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、RGBに対応する信号から構成されている。
【0237】
また、構造切換制御回路402は、イニシャライズ回路410から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路407に供給する。
【0238】
タップ構築回路403−1は、表示位置算出回路401から供給された位置情報、および構造切換制御回路402から供給されたタップ選択信号TS1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、前処理回路403から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路404に供給する。タップ構築回路403−1が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【0239】
動きクラス生成回路404は、イニシャライズ回路411から供給されたパラメータ、並びにタップ構築回路403−1から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、並びに赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、動きクラスコードMCCおよび静動フラグSMFをタップ構築回路403−2乃至403−Nおよびクラス合成回路407に出力する。
【0240】
タップ構築回路403−2は、動きクラス生成回路404から供給された赤色、緑色、および青色ごとの動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路402から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、全クラス予測タップVETを可変タップ選択回路407に供給する。
【0241】
タップ構築回路403−3は、動きクラス生成回路404から供給された赤色、緑色、および青色ごとの動きクラスコードMCC、赤色、緑色、および青色ごとの静動フラグSMF、並びに構造切換制御回路402から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路405−1に供給する。
【0242】
クラス生成回路405−1は、タップ構築回路403−3から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路406に出力する。クラスコードCC1は、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するコードとすることができる。
【0243】
タップ構築回路403−4乃至403−Nのそれぞれは、動きクラス生成回路404から供給された動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路402から供給されたタップ選択信号TS3-2乃至TS3-(N-2)のいずれかに基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)のいずれか1つを選択して、選択したクラスタップTD2-2乃至TD2-(N-2)のいずれかをクラス生成回路405−2乃至405−(N−2)のぞれぞれに供給する。
【0244】
クラス生成回路405−2乃至405−(N−2)のそれぞれは、タップ構築回路403−4乃至403−Nのいずれかから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路406に出力する。クラスコードCC2は、例えば、画素値パターンに対応するクラスコードとすることができる。
【0245】
クラス合成回路406は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な1つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【0246】
クラス合成回路406は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な1つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【0247】
クラス合成回路406は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な1つのクラスコードTCCの青色に対応するクラスコードに統合する。
【0248】
クラス合成回路406は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCを係数保持クラスコード選択回路408に出力する。
【0249】
係数保持クラスコード選択回路408は、イニシャライズ回路410から供給されたクラスコードTCCに対応する予測タップ選択信号VTおよび係数セットを予め記憶している。
【0250】
係数保持クラスコード選択回路408は、クラス合成回路406から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路407に供給するとともに、クラスコードTCCに含まれる赤色のクラスコードに対応する予測係数、クラスコードTCCに含まれる緑色のクラスコードに対応する予測係数、およびクラスコードTCCに含まれる青色のクラスコードに対応する予測係数から成る予測係数Wを推定予測演算回路409に出力する。
【0251】
可変タップ選択回路407は、タップ構築回路403−2から供給された全クラス予測タップVET、および係数保持クラスコード選択回路408から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを推定予測演算回路409に供給する。
【0252】
推定予測演算回路409の積和器421は、可変タップ選択回路407から供給された予測タップETに含まれる赤色に対応するタップ、および係数保持クラスコード選択回路408から供給された予測係数Wに含まれる赤色に対応する予測係数を基に、線形推定式を用いて、画素値の赤色の成分を算出する。
【0253】
推定予測演算回路409の積和器421は、可変タップ選択回路407から供給された予測タップETに含まれる緑色に対応するタップ、および係数保持クラスコード選択回路408から供給された予測係数Wに含まれる緑色に対応する予測係数を基に、線形推定式を用いて、画素値の緑色の成分を算出する。
【0254】
推定予測演算回路409の積和器421は、可変タップ選択回路407から供給された予測タップETに含まれる青色に対応するタップ、および係数保持クラスコード選択回路408から供給された予測係数Wに含まれる青色に対応する予測係数を基に、線形推定式を用いて、画素値の青色の成分を算出する。
【0255】
なお、推定予測演算回路409の積和器421は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【0256】
このように、図27に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に実行することができ、従来に比較して、より鮮明な画像を得ることができるようになる。
【0257】
図28に示すフローチャートを参照して、図23に構成を示す画像処理装置における、収差モードにおける、色収差に対応したタップの切換の処理を説明する。ステップS101において、構造切換制御回路302は、イニシャライズ回路312から供給された収差情報を取得する。
【0258】
ステップS102において、構造切換制御回路302は、注目画素を選択する。ステップS103において、表示位置算出回路301は、注目画素と画面中央との相対距離を求める。ステップS104において、構造切換制御回路302は、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを生成して、補正ベクトルを含むタップ選択信号TS1をタップ構築回路304−1に供給し、補正ベクトルを含むタップ選択信号TS2をタップ構築回路304−2に供給し、補正ベクトルを含むタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路304−3乃至304−Nのそれぞれに供給する。
【0259】
ステップS105において、タップ構築回路304−1は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1を選択する。タップ構築回路304−2は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する全クラス予測タップVETを選択する。タップ構築回路304−3乃至304−Nのそれぞれは、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応するDRクラスタップTD2-1乃至TD2-(N-2)を選択する。
【0260】
ステップS106において、画像処理装置は、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップS102に戻り、タップの切換の処理を繰り返す。
【0261】
ステップS106において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【0262】
このように、図23に構成を示す画像処理装置は、収差モードにおいて、収差を考慮し、画面位置に対応してタップを切り換えることができる。
【0263】
図27に構成を示す画像処理装置は、収差モードにおいて、図28に示すフローチャートを参照して説明した処理と同様の処理で画面位置に対応してタップを切り換えるので、その説明は省略する。
【0264】
次に、図23に構成を示す画像処理装置、および図27に構成を示す画像処理装置が実行する他の処理について説明する。
【0265】
図23の画像処理装置の構造切換制御回路302は、イニシャライズ回路312からテロップモードが指定されたとき、テロップを表示するテロップ表示領域を示すテロップ位置情報を取得する。テロップ位置情報は、例えば、上の30ライン、下の50ライン、または右側100画素などテロップ表示領域の位置と広さとを示す。
【0266】
構造切換制御回路302は、入力された画像からテロップ表示領域を示すデータを取得するようにしてもよい。
【0267】
図29は、テロップ等が表示されている画面の例を示す図である。図29(A)に示す例において、画像表示領域の上および下のテロップ表示領域には、例えば、画像と共に、対応する文字が表示される。テロップ表示領域の画像の信号特性は、平坦部とエッジ部とを大量に含んでいるため、自然画等の画像の信号特性と異なる。
【0268】
図29(B)に示す例において、画像表示領域の下のテロップ表示領域に表示される文字は、画像上を、画面の右側から左側に向かって流れるように表示される。
【0269】
図29(C)に示す例において、画面の右半分のテロップ表示領域に表示される文字は、画像上を、画面の上側から下側に向かって流れるように表示される。
【0270】
図29(D)に示す例において、画像表示領域の4方を囲む、枠画像表示領域には、例えば、コンピュータグラフィクスにより生成された画像が表示される。
【0271】
以下、テロップモードにおける、図23の画像処理装置の動作の例を説明する。
【0272】
表示位置算出回路301は、入力れた画像の各画素の画面上の物理アドレスを算出して、タップ構築回路304−1乃至304−Nに供給する。
【0273】
構造切換制御回路302は、テロップ位置情報を基に、タップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS1をタップ構築回路304−1に供給し、タップ選択信号TS2をタップ構築回路304−2に供給し、タップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路304−3乃至304−Nのそれぞれに供給する。
【0274】
タップ構築回路304−1は、各画素の画面上の物理アドレスおよびタップ選択信号TS1を基に、注目画素が画像表示領域に属するとき、例えば、より広い範囲の画素を利用するタップを選択し、注目画素がテロップ表示領域に属するとき、例えば、より狭い範囲の画素を利用するタップを選択し、動きクラスタップTD1を選択する。例えば、画像表示領域に自然画像が表示されるとき、より広い範囲のタップを選択することで、画像処理装置は、多数の画素に渡って緩やかに変化する画像の成分を利用した画像処理を実行することができる。
【0275】
これに対して、文字が表示されるテロップ表示領域において、文字に対応する画素の画素値は、ほぼ同一の値であり、背景に対応する画素の画素値は、ほぼ同一の値である。例えば、白色で表示される文字に対応する画素の画素値と、黒色で表示される背景に対応する画素の画素値とは、大きく異なる。
【0276】
すなわち、テロップ表示領域において、文字と背景とに跨るタップの値は、急激に変化する。文字のみ、または背景のみから成るタップの値は、ほとんど変化しない。従って、テロップ表示領域について、より狭い範囲のタップを選択することで、画像処理装置は、急激に画素値が変化する画像に適切に対応するクラス分類または適応処理を実行することができる。
【0277】
また、例えば、図29(B)に示すようにテロップ表示領域において画面に対して横方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、横長のタップを選択することにより、少ないクラスに分類してもノイズ除去効果の高い、より効果的な画像処理を実行することができる。図29(C)に示すようにテロップ表示領域において画面に対して縦方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、縦長のタップを選択することにより、より効果的な画像処理を実行することができる。
【0278】
このように、画像処理装置は、テロップ表示領域と画像表示領域とで、異なるタップ構造および予測係数Wを使用することで、最適な信号処理を実行する。
【0279】
次に、図23に構成を示す画像処理装置による、テロップモードにおける、テロップの位置に対応したタップの切換の処理を図30のフローチャートを参照して説明する。
【0280】
ステップS201において、構造切換制御回路302は、イニシャライズ回路312から供給されたテロップ位置情報を取得する。構造切換制御回路302は、テロップの位置に対応するタップ選択信号TS1、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS1をタップ構築回路304−1に供給し、タップ選択信号TS2をタップ構築回路304−2に供給し、タップ選択信号TS3-1乃至TS3-(N-2) のそれぞれをタップ構築回路304−3乃至304−Nのそれぞれに供給する。
【0281】
ステップS202において、タップ構築回路304−1は、注目画素を選択する。タップ構築回路304−2は、注目画素を選択する。タップ構築回路304−3乃至304−Nのそれぞれは、注目画素を選択する。
【0282】
ステップS203において、タップ構築回路304−1は、各画素の画面上の物理アドレスおよびタップ選択信号TS1を基に、注目画素がテロップ内の画素であるか否かを判定し、注目画素がテロップ内の画素であると判定された場合、ステップS204に進み、タップを切り換えて、テロップに対応する、動きクラスタップTD1を選択し、手続きは、ステップS206に進む。
【0283】
ステップS203において、注目画素がテロップ内の画素でないと判定された場合、ステップS205に進み、タップ構築回路304−1は、タップを切り換えて、自然画像に対応する、動きクラスタップTD1を選択し、手続きは、ステップS206に進む。
【0284】
ステップS203乃至ステップS205において、タップ構築回路304−2乃至304−Nは、タップ構築回路304−1と同様の処理を実行するので、その説明は省略する。
【0285】
ステップS206において、タップ構築回路304−1乃至304−Nは、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップS202に戻り、タップの切換の処理を繰り返す。
【0286】
ステップS206において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【0287】
このように、図23に構成を示す画像処理装置は、テロップモードにおいて、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えることができる。
【0288】
図27に構成を示す画像処理装置は、テロップモードにおいて、図30に示すフローチャートを参照して説明した処理と同様の処理で、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えるので、その説明は省略する。
【0289】
図23または図27に構成を示す画像処理装置は、図29(D)に示す画像についても、枠画像表示領域のタップおよび画像表示領域のタップを切り換えて処理を実行する。
【0290】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0291】
図31は、記録媒体およびコンピュータの例を説明する図である。CPU(Central Processing Unit)501は、各種アプリケーションプログラムや、OS(Operating System)を実際に実行する。ROM(Read-only Memory)502は、一般的には、CPU501が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM(Random-Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
【0292】
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
【0293】
キーボード508は、CPU501に各種の指令を入力するとき、使用者により操作される。マウス509は、ディスプレイ510の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージで表示する。HDD(Hard Disk Drive)511は、ハードディスクを駆動し、それらにCPU501によって実行するプログラムや情報を記録または再生させる。
【0294】
ドライブ512は、装着されている磁気ディスク551、光ディスク552、光磁気ディスク553、または半導体メモリ554に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。
【0295】
これらのキーボード508乃至ドライブ512は、インターフェース507に接続されており、インターフェース507は、外部バス506、ブリッジ505、およびホストバス504を介してCPU501に接続されている。
【0296】
記録媒体は、図23に示すように、コンピュータとは別に、ユーザにブロック図に対応する処理を実行するプログラムを提供するために配布される、プログラムが記録されている磁気ディスク551(フロッピディスクを含む)、光ディスク552(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク553(MD(Mini-Disc)を含む)、若しくは半導体メモリ554などよりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や、HDD511などで構成される。
【0297】
なお、ユーザにブロック図に対応する処理を実行するプログラムは、有線または無線の通信媒体を介して、コンピュータに供給されるようにしてもよい。
【0298】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0299】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体によれば、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定されるようにしたので、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになる。
【図面の簡単な説明】
【図1】画素のマスクを説明する図である。
【図2】本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【図3】有効画素領域算出回路11の構成の例を示す図である。
【図4】有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを説明する図である。
【図5】創造の対象となる周辺の画素を説明する図である。
【図6】画像の端部における、タップの構築の例を示す図である。
【図7】画像の端部における、タップの構築の例を示す図である。
【図8】欠落画素創造回路12の構成を示すブロック図である。
【図9】前処理回路101の処理を説明するフローチャートである。
【図10】動きクラス生成回路103の構成を示す図である。
【図11】動き検出回路151の構成を示す図である。
【図12】時間アクティビティの算出に使用されるタップを示す図である。
【図13】空間アクティビティの算出に使用されるタップを示す図である。
【図14】動き判定の閾値を説明する図である。
【図15】動き判定回路184の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図16】動きクラスコードMCCの多数決判定に利用される画素を説明する図である。
【図17】動き検出回路151の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図18】画像の端部における、タップの構築の例を示す図である。
【図19】画像の端部における、タップの構築の例を示す図である。
【図20】補間の処理に利用される画素を説明する図である。
【図21】画素値が置換される画素を説明する図である。
【図22】欠落画素創造回路12の他の構成を示すブロック図である。
【図23】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成する、画像処理装置の一実施の形態の構成を示す図である。
【図24】色収差を説明する図である。
【図25】色収差を説明する図である。
【図26】タップの切換を説明する図である。
【図27】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか1つまたは複数を選択的に行う画像処理装置の一実施の形態の構成を示す図である。
【図28】色収差に対応したタップの切換の処理を説明するフローチャートである。
【図29】テロップ等が表示されている画面の例を示す図である。
【図30】テロップの位置に対応したタップの切換の処理を説明するフローチャートである。
【図31】記録媒体を説明する図である。
【符号の説明】
11 有効画素領域算出回路, 12 欠落画素創造回路, 101 前処理回路, 102−1乃至102−5 タップ構築回路, 103 動きクラス生成回路, 104 DRクラス生成回路, 105 空間クラス生成回路, 106 欠落クラス生成回路, 107 クラス合成回路, 108 可変タップ選択回路, 109 係数保持クラスコード選択回路, 110 推定予測演算回路, 111 イニシャライズ回路, 201 前処理回路, 202−1乃至202−5 タップ構築回路, 203 動きクラス生成回路, 204 DRクラス生成回路, 205 空間クラス生成回路, 206 欠落クラス生成回路, 207 クラス合成回路, 208 可変タップ選択回路, 209 係数保持クラスコード選択回路, 210 推定予測演算回路, 211 イニシャライズ回路, 212 置換回路, 213 線形補間回路, 214 選択回路, 301 表示位置算出回路, 302 構造切換制御回路, 303ダウンフィルタ, 304−1乃至304−N タップ構築回路, 305 動きクラス生成回路, 306−1乃至306−(N−2) クラス生成回路,307 クラス合成回路, 308 可変タップ選択回路, 309 クラスコード選択回路, 310 正規方程式演算回路, 311 係数メモリ, 312 イニシャライズ回路, 401 表示位置算出回路, 402 構造切換制御回路, 403−1乃至403−N タップ構築回路, 404 動きクラス生成回路, 405−1乃至405−(N−2) クラス生成回路, 406クラス合成回路, 407 可変タップ選択回路, 408 係数保持クラスコード選択回路, 409 推定予測演算回路, 410 イニシャライズ回路, 421 積和器, 501 CPU, 502 ROM, 511 HDD, 551 磁気ディスク, 552 光ディスク, 553 光磁気ディスク, 554 半導体メモリ
Claims (6)
- 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出手段と、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定手段と、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択手段と、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段とを備え、
前記演算手段は、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とする画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号よりノイズの低減された画像信号を出力する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号より高解像度の画像信号を出力する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号よりレンズの収差による歪みが低減された画像信号を出力する
ことを特徴とする請求項1に記載の画像処理装置。 - 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定ステップと、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含み、
前記演算ステップの処理では、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とする画像処理方法。 - 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定ステップと、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含む画像処理をコンピュータに実行させ、
前記演算ステップの処理では、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とするプログラムが記録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001026941A JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000033786 | 2000-02-10 | ||
JP2000-33786 | 2000-02-10 | ||
JP2001026941A JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001298637A JP2001298637A (ja) | 2001-10-26 |
JP2001298637A5 JP2001298637A5 (ja) | 2008-03-06 |
JP4623345B2 true JP4623345B2 (ja) | 2011-02-02 |
Family
ID=26585220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001026941A Expired - Fee Related JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4623345B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6904200B2 (ja) * | 2017-09-27 | 2021-07-14 | 株式会社Jvcケンウッド | 動きベクトル検出装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000134511A (ja) * | 1998-10-26 | 2000-05-12 | Sony Corp | 画像情報変換装置および変換方法 |
-
2001
- 2001-02-02 JP JP2001026941A patent/JP4623345B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000134511A (ja) * | 1998-10-26 | 2000-05-12 | Sony Corp | 画像情報変換装置および変換方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2001298637A (ja) | 2001-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100742850B1 (ko) | 화상 처리 장치와 방법, 및 기록 매체 | |
JP2014194706A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP4548520B2 (ja) | 係数生成装置および方法、画像生成装置および方法、並びにプログラム | |
JPWO2009119347A1 (ja) | 処理システム、画像処理方法および画像処理用プログラム | |
US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
JP2010093672A (ja) | 映像変換装置および方法、並びにプログラム | |
JP2006067541A (ja) | 映像変換装置及び映像変換方法並びに記録媒体 | |
JP2014010776A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP4623345B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP4650683B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
JP2002223374A (ja) | ノイズ除去装置およびノイズ除去方法 | |
JP4875564B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
JP4525064B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
KR20070094521A (ko) | 화상 처리 장치 및 화상처리 방법과 프로그램 | |
US8411200B2 (en) | Video signal processing device, method, and non-transitory computer readable medium storing image processing program capable of producing an appropriate interpolation frame | |
JP4650684B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JP2009049752A (ja) | 映像信号処理装置、映像信号処理方法、及び表示装置 | |
JP2007074590A (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
JP2019161376A (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP5050944B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4200403B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体 | |
JP4415229B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP2005004770A (ja) | グループ化による映画映像検出方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100325 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101020 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |