JP2006523409A - 空間画像変換装置及び方法 - Google Patents
空間画像変換装置及び方法 Download PDFInfo
- Publication number
- JP2006523409A JP2006523409A JP2006506800A JP2006506800A JP2006523409A JP 2006523409 A JP2006523409 A JP 2006523409A JP 2006506800 A JP2006506800 A JP 2006506800A JP 2006506800 A JP2006506800 A JP 2006506800A JP 2006523409 A JP2006523409 A JP 2006523409A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion unit
- image conversion
- filter
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 18
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
本発明は、第1解像度を有する第1画像を第1解像度より高い第2解像度を有する出力画像に変換するための画像変換ユニット(100)に関する。画像変換ユニット(100)は、入力画像の画素値に基づいて第1フィルタ係数を決定するための係数決定手段(108)と、第1フィルタリング係数と入力画像の画素値の第1の一とに基づいて中間画像の第2画素値を演算するための適応フィルタリング手段(106)と、出力画像をもたらす中間画像のローパスフィルタとを有する。
Description
本発明は、第1解像度を有する第1画像を第1解像度より高い第2解像度を有する第2画像に変換するための画像変換ユニットであって:
第1画像の画素値に基づいて第1フィルタ係数を決定するための係数決定手段;及び
第1画像の画素値の第1の一と第1フィルタ係数とに基づいて第2画像の第2画素値を演算するための適応フィルタリング手段;
を有する画像変換ユニットに関する。
第1画像の画素値に基づいて第1フィルタ係数を決定するための係数決定手段;及び
第1画像の画素値の第1の一と第1フィルタ係数とに基づいて第2画像の第2画素値を演算するための適応フィルタリング手段;
を有する画像変換ユニットに関する。
本発明は、画像処理装置であって:
第1画像に対応する信号を受信するための受信手段;及び
上記のような、第1画像を第2画像に変換するための画像変換ユニット;
を有する、画像処理装置に更に関する。
第1画像に対応する信号を受信するための受信手段;及び
上記のような、第1画像を第2画像に変換するための画像変換ユニット;
を有する、画像処理装置に更に関する。
本発明は、第1解像度を有する第1画像を第1解像度より高い第2解像度を有する第2画像に変換するための方法であって:
第1画像の画素値に基づいて第1フィルタ係数を決定する段階;
第1画像の画素値の第1の一と第1フィルタ係数とに基づいて第2画像の第2画素値を演算する段階;
を有する方法に更に関する。
第1画像の画素値に基づいて第1フィルタ係数を決定する段階;
第1画像の画素値の第1の一と第1フィルタ係数とに基づいて第2画像の第2画素値を演算する段階;
を有する方法に更に関する。
本発明は、更に、第1解像度を有する第1画像を第1解像度より高い第2解像度を有する第2画像に変換するための命令を有するコンピュータ構成によりロードされるコンピュータプログラムプロダクトに更に関する。
HDTVの出現は、高解像度(HD)テレビジョン(TV)ディスプレイにおいて標準解像度(SD)映像素材を視聴することができる空間アップコンバージョン技術の必要性を強調するものである。従来の技術には、例えば、双線形補間のような線形補間方法及び多相補間ローパスフィルタを用いる方法がある。前者は、低品質のためにテレビジョンのアプリケーションにおいて一般的ではないが、後者は市販されているICにおいて利用可能である。それらの線形の方法を用いると、フレームにおける画素数は増加するが、画像について認識されるシャープネスは向上しない。換言すれば、表示能力を十分に抽出することができない。
従来の線形技術に加えて、多くの非線形アルゴリズムはこのようなアップコンバージョンを達成するために提供されてきた。それらの技術を、ときどき、コンテンツに基づく又はエッジ依存性空間アップコンバージョンという。多くのそれらのアップコンバージョン技術は、概括文献“Towards an overview of spatial up−conversion techniques”,Meng Zhao et al.,the proceedings of the ISCE 2002,Erfurt,Germany,23−26 September 2002に記載されている。
より良好な技術は非線形であり、それは、付加的に利用可能なスペクトルにおいて情報を生成するための唯一の方法であるためである。このような付加情報はカメラに記録されることはないが、自然画像についての仮定を適用して評価されるため、本質的に長期間に亘っていつも同じではない。実際には、“エッジビジネス(edge−business)”として現れるアーティファクトが生じる。
本発明の目的は、認識される結果の改善を伴う画像を生成するように備えられた、冒頭の段落で説明したような種類の画像変換ユニットを提供することである。
このような本発明の目的は、画像変換ユニットが第2画像をフィルタリングするためにローパスフィルタを有することにより達成される。ローパスフィルタリングにより、ノイズの低減及び時間経過における一貫性が実現される。好適には、ローパスフィルタリングは、非線形空間アップコンバージョンにより導入された空間スペクトルの一部にフォーカシングされる。今日の画像処理アーキテクチャにおいては、ノイズ低減は、必要に応じて、空間アップコンバージョンに先立って実行されることに留意されたい。その理由は、中間的結果の記憶の必要性のために、空間アップコンバージョンの後に実行されるローパスフィルタリングが比較的費用が掛かることである。他の理由は、演算処理量が比較的大きいことである。
ローパスフィルタは、時間フィルタ、空間フィルタ又は空間−時間フィルタである。
本発明に従った画像変換ユニットの実施形態は、第1画像又は第2画像から特徴を抽出するための特徴抽出ユニットを有する。このような特徴抽出ユニットハローパスフィルタを制御するように備えられている。好適には、特徴抽出ユニットは第1画像から特徴を抽出するように備えられている。第2画像のローパスフィルタリングを制御するために、第2画像に代えて、アップコンバージョンされないオリジナルの画像である第1画像を適用する優位性は、その制御がアップコンバージョンによりもたらされるアーティファクトにより撹乱されないことにある。
本発明に従った画像変換ユニットの実施形態においては、特徴抽出ユニットは第1画像においてエッジを検出するためのエッジ検出器ユニットである。好適には、この実施形態は、エッジに沿って第2画像をフィルタリングするように設計されたエッジ適応ローパスフィルタを有する。代替として、K最近接又はシグマ最近接空間フィルタが適用される。代替として、特徴抽出ユニットは、第2画像におけるエッジを検出するためのエッジ検出器である。
本発明に従った画像変換ユニットの他の実施形態においては、特徴抽出ユニットは、第1画像及び第3画像の両方が属する一連の画像の第3画像に対して、第1画像における動き量を表す値を演算するための動き検出器ユニットである。好適には、本発明に従ったこの実施形態は、再帰時間ローパスフィルタを有する。その場合、動き量を表す値が、第2画像と前にフィルタリングされた画像との間の混合比を制御するために適用される。再帰時間ローパスフィルタは比較的安価であり、ロバストである。代替として、特徴抽出ユニットは、第2画像及び第4画像の両方が属す、更なる一連の画像の第4画像に関連する、第2画像における動き量を表す値を演算するための動き検出器ユニットである。
本発明に従った画像変換ユニットの他の実施形態においては、特徴抽出ユニットは、第1画像及び第3画像が属す、更なる一連の画像の第3画像に関連する、第1画像の画素のそれぞれの群についての動きベクトルを演算するための動き評価ユニットである。好適には、このような本発明に従った実施形態は、予めフィルタリングされた画像の動き補正のための動き補正ユニットを有する再帰時間ローパスフィルタを有する。動き補償を適用する有利点は、動きの場合でさえ、画像変換ユニットが高品質出力画像を与えることである。代替として、特徴抽出ユニットは、第2画像及び第4画像の両方が属す、更なる一連の画像の第4画像の画素の更なる群に関連する、第2画像の画素のそれぞれの群についての動きベクトルを演算するための動き評価ユニットである。
本発明に従った画像変換の実施形態は、時間フィルタに対して、第2画像の所定の空間周波数範囲であって、第1画像のナイキスト周波数より高い周波数に対応する所定の周波数範囲における成分を選択的に与えるように備えられている。このような本発明に従った実施形態においては、ローパスフィルタリングは、非線形アップコンバージョンにより導入された空間スペクトルの一部に焦点を当てる。空間スペクトルの他の部分は、実質的に、変わらないままの状態である。
本発明に従った画像変換ユニットの実施形態は、時間フィルタに成分を与えるために備えられ且つ適応フィルタリング手段に接続された帯域分割ユニットを有する。代替として、画像変換ユニットは、コンテンツ適応アップコンバージョンされた第2画像から第1画像から得られた線形アップコンバージョン画像を減じるようにデザインされ、線形アップコンバージョンされた画像への付加が続く中間減算画像においてローパスフィルタリングを実行するように備えられている。
本発明の他の目的は、認識される結果の改善を有する画像を与えるように備えられた、冒頭の段落において説明した種類の画像処理装置を提供することである。
このような本発明の目的は、画像変換ユニットは第2画像をフィルタリングするための
ローパスフィルタを更に有することにおいて、達成される。画像処理装置は、任意に、フィルタリングされた画像を表示するための表示装置を有する。画像処理装置は、例えば、テレビジョン、セットトップボックス、衛星チューナ、VCR(ビデオカセットレコーダ)プレーヤ又はDVD(Degital Versatile Disk)プレーヤであることが可能である。
ローパスフィルタを更に有することにおいて、達成される。画像処理装置は、任意に、フィルタリングされた画像を表示するための表示装置を有する。画像処理装置は、例えば、テレビジョン、セットトップボックス、衛星チューナ、VCR(ビデオカセットレコーダ)プレーヤ又はDVD(Degital Versatile Disk)プレーヤであることが可能である。
本発明の目的は、認識される結果の改善を有する画像を与える、冒頭の段落で説明した種類の方法を提供することである。
このような本発明の目的は、その方法が第2画像をローパスフィルタリングする段階を更に有することにおいて達成される。
本発明の他の目的は、認識される結果の改善を有する画像を与える、冒頭の段落で説明した種類のコンピュータプログラムプロダクトを提供することである。
このような本発明の目的は、コンピュータプログラムプロダクトが、ローディングされた後に、
− 第1画像の画素値に基づいて第1フィルタ係数を決定することと;
− 第1フィルタ係数と第1画像の画素値の第1の一とに基づいて、第2画像の第2画素値を演算することと;
− 第2画像をローパスフィルタリングすることと;
を実行する能力を有する処理手段を有することにおいて、達成される。
− 第1画像の画素値に基づいて第1フィルタ係数を決定することと;
− 第1フィルタ係数と第1画像の画素値の第1の一とに基づいて、第2画像の第2画素値を演算することと;
− 第2画像をローパスフィルタリングすることと;
を実行する能力を有する処理手段を有することにおいて、達成される。
画像変換ユニットの修正及び変形は、上記の画像処理装置、方法及びコンピュータプログラムプロダクトの修正及び変形に対応させることが可能である。
本発明に従った、画像変換ユニット、画像処理装置、方法及びコンピュータプログラムプロダクトの上記の及び他の特徴については、以下で添付図面を参照して説明する実施形態により明らかになり、理解できるであろう。
一連の図における同じ参照番号は同様の部分を示すように使用している。
図1は、本発明に従った画像変換ユニット100の実施形態の模式図である。画像変換ユニット100は、第1解像度を有する入力画像を第1解像度より高い第2解像度を有する出力画像に変換するように備えられている。典型的には、入力画像は、画像変換ユニット100の入力コネクタ110に与えられるSD(標準解像度)画像の入力シーケンス映像の一部であり、第2画像は、出力HD(高解像度)画像のシーケンスの一部である。画像変換ユニット100は、出力コネクタ112に出力HD画像のシーケンスを与える。画像変換ユニットは:
− 入力画像を入力画像より高い解像度を有する中間画像に変換するコンテンツ適応アップコンバージョンユニット102と;
− 中間画像が出力画像になるようにフィルタリングするためのローパスフィルタ104と;
を有する。コンテンツ適応アップコンバージョンユニット102は:
− 入力画像の画素値に基づいてフィルタ係数を決定するための係数決定ユニット108と;
− 入力画像から導き出されたフィルタ係数と入力画像の画素値とに基づいて中間画像の画素値を演算するための適応フィルタリングユニットと;
を有する。コンテンツ適応アップコンバージョンユニット102については、文献“Towards an overview of spatial up−conversion techniques”,Meng Zhao et al.,the proceedings of the ISCE 2002,Erfurt,Germany,23−26 September 2002に記載されている。
− 入力画像を入力画像より高い解像度を有する中間画像に変換するコンテンツ適応アップコンバージョンユニット102と;
− 中間画像が出力画像になるようにフィルタリングするためのローパスフィルタ104と;
を有する。コンテンツ適応アップコンバージョンユニット102は:
− 入力画像の画素値に基づいてフィルタ係数を決定するための係数決定ユニット108と;
− 入力画像から導き出されたフィルタ係数と入力画像の画素値とに基づいて中間画像の画素値を演算するための適応フィルタリングユニットと;
を有する。コンテンツ適応アップコンバージョンユニット102については、文献“Towards an overview of spatial up−conversion techniques”,Meng Zhao et al.,the proceedings of the ISCE 2002,Erfurt,Germany,23−26 September 2002に記載されている。
フィルタ係数決定ユニット108、適応フィルタリングユニット106及びローパスフィルタ104は1つの処理器を用いて実行されることが可能である。通常、それらの機能はソフトウェアプログラムプロダクトの制御下で実行される。実行中、通常、ソフトウェアプロダクトは、RAMのようなメモリ内にローディングされ、それから実行される。そのプログラムを、ROM、ハードディスク若しくは磁気及び/又は光記憶装置のようなバックグラウンドメモリからローディングすることが可能であり、又は、インターネットのようなネットワークを介してローディングすることが可能である。任意に、ASIC(Application Specific Integrated Circuit)が開示される機能性を与える。
図2は、ローパスフィルタ104を制御するための特徴抽出ユニット202を有する、本発明に従った画像変換ユニット200の実施形態の模式図である。特徴抽出ユニット202は入力画像におけるエッジを検出するためのエッジ検出器ユニットであることが可能である。その場合、ローパスフィルタは、文献“Edge adaptive filtering:how much and which direction?”,R.Jha and M.E.Jernigan,the proceedings of IEEE International Conference on Man and Cybernetics,1989,14−17 November page364−366 vol.1に記載されているようなエッジ適応フィルタリングを実行することが可能である。代替として、特徴抽出ユニット202は、他の入力画像に関連する、入力画像における動き量を表す値を演算するために備えられている。その場合、特徴抽出ユニット202は、他の入力画像の他の群の画素に関連する、入力画像のそれぞれの群の画素に対して動きベクトルを演算するための動き評価ユニットである。動き評価器については、例えば、文献“True−Motion Estimation with 3−D Recursive Search Block Matching”,G,de Haan et al.,IEEE
Transactions on circuits and systems for video technology,vol.3,no.5,October 1993,pages368−379に記載されている。ローパスフィルタリングについては、文献“Noise reduction in image sequences using motion compensated temporal filtering”,E.Dubois and S.Sabri,IEEE,Transactions on Communication,no.7,1984,pp.826−831に記載されている。
Transactions on circuits and systems for video technology,vol.3,no.5,October 1993,pages368−379に記載されている。ローパスフィルタリングについては、文献“Noise reduction in image sequences using motion compensated temporal filtering”,E.Dubois and S.Sabri,IEEE,Transactions on Communication,no.7,1984,pp.826−831に記載されている。
図3は、1次時間再帰フィルタ104を有する、本発明に従った画像変換ユニット300の実施形態の模式図である。1次時間再帰フィルタ104は、最近フィルタリングされた画像の一時的記憶のためのメモリ装置302を有する。フィルタリングされた画像は、コンテンツ適応アップコンバージョンユニット102により与えられる中間画像と混合される。その混合は、特徴抽出ユニット202により1つ又はそれ以上の入力画像から引き出されたパラメータkに基づいて制御される混合ユニット304により実行される。1次時間再帰フィルタ104の出力は次式(1)により与えられ、
図4は、予めフィルタリングされた画像の動き補償を有する1次時間再帰フィルタ104を有する、本発明に従った画像変換ユニット400の実施形態の模式図である。このような本発明に従った実施形態は、動き補償ユニット404により評価された動きベクトルを与える動き補償ユニット404と動き評価ユニット404とを有する。予めフィルタリングされた画像は、混合ユニット304による混合が実行される前に、最近フィルタリングされた画像に関連する、補償された動きを有する。代替として、最近フィルタリングされた画像は、混合ユニット304による混合が実行される前に、予めフィルタリングされた画像に関連する、補償された動きを有する(図示せず)。混合比を制御するために用いられるパラメータkは、別個の特徴抽出ユニット02により演算されることが可能である。しかしながら、好適には、このパラメータkは評価された動きベクトルに基づいており、動き評価ユニット404により又、演算される。それは、特徴抽出ユニット202が動き評価ユニット404のオプション又は一部であることを意味している。
図5は、ローパスフィルタ104に所定の空間周波数範囲において第2画像の成分を与えるように備えられ、適応フィルタリングユニット106に接続された帯域分離ユニット502を有する、本発明に従った画像変換ユニット500の実施形態の模式図である。所定の空間周波数範囲は、実質的に、入力画像のナイキスト周波数より高い周波数に対応する。このような本発明に従った実施形態においては、時間ローパスフィルタリングは、非線形空間アップコンバージョンにより導き出された空間周波数スペクトルの一部に焦点を当てられる。空間周波数スペクトルの他の部分は、又、帯域分離ユニット502により時間ローパス画像データが与えられる加算ユニット504に与えられる。この画像変換ユニット500の作用については下で説明する。入力画像はコンテンツ適応アップコンバージョンユニット102により中間画像にアップコンバージョンされる。中間画像の周波数成分は、入力画像のナイキスト周波数のり低い第1空間周波数成分と、入力画像のナイキスト周波数より高い第2周波数成分とに、帯域分離ユニット502により分離される。第2周波数成分は時間再帰フィルタ104に与えられる。時間再帰フィルタ104の出力は、加算ユニット504により第1空間周波数成分と混合される。
図6は、線形変換ユニット602及び非線形変換ユニット102の両方を有する、本発明に従った画像変換ユニット600の実施形態の模式図である。このような本発明に従った実施形態においては、ローパスフィルタリングは、非線形空間アップコンバージョンにより導き出された空間周波数スペクトルの一部に焦点を当てる。空間周波数スペクトルの他の部分は、実質的に変わらないままの状態にある。画像変換ユニット600は:
− 第1解像度を有する入力画像を第1解像度より高い第2解像度を有する第1中間画像に変換するコンテンツ適応アップコンバージョンユニット102と;
− 入力画像を、第2解像度を有する第2中間画像に変換する線形アップコンバージョンユニット602と;
− 第1中間画像から第2中間画像を減算するための減算ユニット604と;
− 減算画像をフィルタリングするためのそーパスフィルタ104と;
− フィルタリングされた減算画像を第2中間画像と結合するための結合ユニット504と;
を有する。好適には、画像変換ユニット600は、図1乃至5の何れと関連させて説明したようなローパスフィルタ104を制御するための特徴抽出ユニット202を更に有する。画像変換ユニット600の作用は下で説明するようなものである。第2中間画像、即ち、線形アップコンバージョンされた画像は、入力画像のナイキスト周波数より低い範囲内にある周波数成分を有する。しかしながら、第1中間画像、即ち、非線形アップコンバージョンされた画像は又、入力画像のナイキスト周波数より高い範囲内にある周波数成分を有する。第1中間画像から第2中間画像を減算することにより、入力画像のナイキスト周波数より高い範囲内の周波数成分が選択される。減算画像、即ち、比較的高い空間周波数を有する画像は、実質的に、時間フィルタであって、好適には、動き補償された1次時間再帰フィルタによりローパスフィルタリングされる。最終的に、フィルタリングされた減算画像は第2中間画像、即ち、線形アップコンバージョンされた画像と結合される。
− 第1解像度を有する入力画像を第1解像度より高い第2解像度を有する第1中間画像に変換するコンテンツ適応アップコンバージョンユニット102と;
− 入力画像を、第2解像度を有する第2中間画像に変換する線形アップコンバージョンユニット602と;
− 第1中間画像から第2中間画像を減算するための減算ユニット604と;
− 減算画像をフィルタリングするためのそーパスフィルタ104と;
− フィルタリングされた減算画像を第2中間画像と結合するための結合ユニット504と;
を有する。好適には、画像変換ユニット600は、図1乃至5の何れと関連させて説明したようなローパスフィルタ104を制御するための特徴抽出ユニット202を更に有する。画像変換ユニット600の作用は下で説明するようなものである。第2中間画像、即ち、線形アップコンバージョンされた画像は、入力画像のナイキスト周波数より低い範囲内にある周波数成分を有する。しかしながら、第1中間画像、即ち、非線形アップコンバージョンされた画像は又、入力画像のナイキスト周波数より高い範囲内にある周波数成分を有する。第1中間画像から第2中間画像を減算することにより、入力画像のナイキスト周波数より高い範囲内の周波数成分が選択される。減算画像、即ち、比較的高い空間周波数を有する画像は、実質的に、時間フィルタであって、好適には、動き補償された1次時間再帰フィルタによりローパスフィルタリングされる。最終的に、フィルタリングされた減算画像は第2中間画像、即ち、線形アップコンバージョンされた画像と結合される。
図7は、本発明に従った画像処理装置の実施形態の模式図であって、その画像処理装置は:
− SD画像を表す信号を受信するための受信手段702と;
− 図1乃至6の何れと関連付けて説明した画像変換ユニット704と;
− 画像変換ユニット704のHD出力画像を表示するための表示装置(この表示装置はオプション)と;
を有する。信号は、アンテナ又はケーブルにより受信されるブロードキャスト信号であることが可能であるが又、VCR(ビデオカセットレコーダ)又はDVD(Digital Versatile Disk)のような記憶装置からの信号であることが可能である。信号は入力コネクタ708に与えられる。画像処理装置700は、例えば、テレビジョンであることが可能である。代替として、画像処理装置700はオプションの表示装置を有しないが、表示装置706を有する装置にHD画像を与える。それ故、画像処理装置700は、例えば、セットトップボックス、衛星チューナ、VCRプレーヤ又はDVDプレーヤであることが可能である。しかし、それは又、映画スタジオ又は放送会社により供給されるシステムであることが可能である。
− SD画像を表す信号を受信するための受信手段702と;
− 図1乃至6の何れと関連付けて説明した画像変換ユニット704と;
− 画像変換ユニット704のHD出力画像を表示するための表示装置(この表示装置はオプション)と;
を有する。信号は、アンテナ又はケーブルにより受信されるブロードキャスト信号であることが可能であるが又、VCR(ビデオカセットレコーダ)又はDVD(Digital Versatile Disk)のような記憶装置からの信号であることが可能である。信号は入力コネクタ708に与えられる。画像処理装置700は、例えば、テレビジョンであることが可能である。代替として、画像処理装置700はオプションの表示装置を有しないが、表示装置706を有する装置にHD画像を与える。それ故、画像処理装置700は、例えば、セットトップボックス、衛星チューナ、VCRプレーヤ又はDVDプレーヤであることが可能である。しかし、それは又、映画スタジオ又は放送会社により供給されるシステムであることが可能である。
上記の実施形態は本発明を制限するものではなく、当業者が同時提出の特許請求の範囲における範囲から逸脱することなく、代替の実施形態をデザインすることができるものであることに留意する必要がある。用語‘を有する’は、請求項に挙げていない要素又は段階の存在を排除するものではない。要素の単数表現はそのような要素の複数の存在を排除するものではない。本発明は、適切にプログラムされたコンピュータにより及びいくつかの個別の要素を有するハードウェアにより実行されることができる。幾つかの手段を挙げている請求項においては、それらの手段の幾つかは全く同一のハードウェアにより実施されることができる。
Claims (15)
- 第1解像度を有する第1画像を該第1解像度より高い第2解像度を有する第2画像に変換するための画像変換ユニットであって:
前記第1画像の画素値に基づいて、第1フィルタ係数を決定するための係数決定手段;及び
前記第1フィルタ係数と前記第1画像の前記画素値の第1の一とに基づいて前記第2画像の第2画素値を演算するための適応フィルタリング手段;
を有する画像変換ユニットであり、
画像変換ユニットは前記第2画像をフィルタリングするためのローパスフィルタを更に有する;
ことを特徴とする画像変換ユニット。 - 請求項1に記載の画像変換ユニットであって、前記画像変換ユニットは前記第1画像又は前記第2画像から特徴を抽出するための特徴抽出ユニットを有し、前記特徴抽出ユニットは前記ローパスフィルタを制御するように備えられている、ことを特徴とする画像変換ユニット。
- 請求項2に記載の画像変換ユニットであって、前記特徴抽出ユニットは前記第1画像におけるエッジを検出するためのエッジ検出器ユニットである、ことを特徴とする画像変換ユニット。
- 請求項2に記載の画像変換ユニットであって、前記特徴抽出ユニットは、第1画像及び第3画像の両方が属す一連の画像の該第3画像に関連して、前記第1画像における動き量を表す値を演算するための動き検出器ユニットである、ことを特徴とする画像変換ユニット。
- 請求項2に記載の画像変換ユニットであって、前記特徴抽出ユニットは、第1画像及び第3画像の両方が属す一連の画像の該第3画像の画素の更なる群に関連して、前記第1画像の画素のそれぞれの群についての動きベクトルを演算するための動き評価ユニットである、ことを特徴とする画像変換ユニット。
- 請求項1に記載の画像変換ユニットであって、前記ローパスフィルタは時間フィルタである、ことを特徴とする画像変換ユニット。
- 請求項6に記載の画像変換ユニットであって、前記ローパスフィルタは、予めフィルタリングされた画像の動き補償のための動き補償ユニットを有する時間再帰フィルタである、ことを特徴とする画像変換ユニット。
- 請求項6に記載の画像変換ユニットであって、時間フィルタに対して、前記第2画像の所定の空間周波数範囲であって、前記第1画像のナイキスト周波数より高い周波数に対応する所定の周波数範囲における成分を選択的に与えるように備えられている、ことを特徴とする画像変換ユニット。
- 請求項8に記載の画像変換ユニットであって、前記適応フィルタリング手段に接続された帯域分離ユニットを有し、前記時間フィルタに前記成分を与えるように備えられている、ことを特徴とする画像変換ユニット。
- 請求項3に記載の画像変換ユニットであって、前記ローパスフィルタはエッジ適応空間ローパスフィルタである、ことを特徴とする画像変換ユニット。
- 第1画像に対応する信号を受信するための受信手段;及び
第1画像を第2画像に変換するための画像変換ユニットであって、該画像変換ユニットは請求項1に記載されている該画像変換ユニット;
を有することを特徴とする画像処理装置。 - 請求項11に記載の画像処理装置であって、ローパスフィルタリングされた第2画像を表示するための表示装置を更に有する、ことを特徴とする画像処理装置。
- 請求項11に記載の画像処理装置であって、該画像処理装置はテレビジョンである、ことを特徴とする画像処理装置。
- 第1解像度を有する第1画像を該第1解像度より高い第2解像度を有する第2画像に変換する方法であって:
前記第1画像の画素値に基づいて、第1フィルタ係数を決定する段階;及び
前記第1フィルタ係数と前記第1画像の前記画素値の第1の一とに基づいて前記第2画像の第2画素値を演算する段階であり、前記第2画像をローパスフィルタリングすることを特徴とする、段階;
を有することを特徴とする方法。 - コンピュータ構成によりローディングされるコンピュータプログラムであって、第1解像度を有する第1画像を該第1解像度より高い第2解像度を有する第2画像に変換するための命令を有するコンピュータプログラムであり、前記コンピュータ構成は処理手段とメモリとを有し、前記コンピュータプログラムは、ローディングされた後に次の段階であって:
前記第1画像の画素値に基づいて第1フィルタ係数を決定する段階;
前記第1フィルタ係数と前記第1画像の前記画素値の第1の一とに基づいて前記第2画像の第2画素値を演算する段階;及び
前記第2画像をローパスフィルタリングする段階;
を実行する能力を有する前記処理手段を備えていることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03100977 | 2003-04-10 | ||
PCT/IB2004/050371 WO2004090812A1 (en) | 2003-04-10 | 2004-03-31 | Spatial image conversion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006523409A true JP2006523409A (ja) | 2006-10-12 |
Family
ID=33155234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006506800A Pending JP2006523409A (ja) | 2003-04-10 | 2004-03-31 | 空間画像変換装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20060181643A1 (ja) |
EP (1) | EP1616300A1 (ja) |
JP (1) | JP2006523409A (ja) |
KR (1) | KR20050119689A (ja) |
CN (1) | CN1771516A (ja) |
WO (1) | WO2004090812A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7777790B2 (en) * | 2005-01-27 | 2010-08-17 | Technion Research & Development Foundation Ltd. | Acquisition of image sequences with enhanced resolution |
WO2008028334A1 (en) * | 2006-09-01 | 2008-03-13 | Thomson Licensing | Method and device for adaptive video presentation |
KR100952667B1 (ko) * | 2008-03-20 | 2010-04-13 | 중앙대학교 산학협력단 | 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 |
TWI362629B (en) | 2008-06-26 | 2012-04-21 | Chunghwa Picture Tubes Ltd | Image process method and apparatus |
KR101634562B1 (ko) * | 2009-09-22 | 2016-06-30 | 삼성전자주식회사 | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 |
US8755625B2 (en) | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
US20120128244A1 (en) * | 2010-11-19 | 2012-05-24 | Raka Singh | Divide-and-conquer filter for low-light noise reduction |
US9258517B2 (en) * | 2012-12-31 | 2016-02-09 | Magnum Semiconductor, Inc. | Methods and apparatuses for adaptively filtering video signals |
CN108282664B (zh) * | 2018-01-30 | 2020-12-29 | 深圳创维-Rgb电子有限公司 | 图像处理方法、装置、***及计算机可读存储介质 |
KR102192392B1 (ko) * | 2018-03-26 | 2020-12-17 | 아주대학교산학협력단 | 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994015435A1 (en) * | 1992-12-18 | 1994-07-07 | Sid Ahmed Maher A | Real-time television image pixel multiplication methods and apparatus |
US5715335A (en) * | 1993-12-02 | 1998-02-03 | U.S. Philips Corporation | Noise reduction |
US5684544A (en) * | 1995-05-12 | 1997-11-04 | Intel Corporation | Apparatus and method for upsampling chroma pixels |
US6339479B1 (en) * | 1996-11-22 | 2002-01-15 | Sony Corporation | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
US6108047A (en) * | 1997-10-28 | 2000-08-22 | Stream Machine Company | Variable-size spatial and temporal video scaler |
WO2001063921A1 (en) * | 2000-02-24 | 2001-08-30 | Sony Corporation | Image signal converter, image signal converting method, and image display using it, and coefficient data generator for use therein |
KR20050059251A (ko) * | 2002-10-11 | 2005-06-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 변환을 위한 유닛 및 방법 |
US20060181644A1 (en) * | 2003-04-10 | 2006-08-17 | Gerard De Haan | Spatial image conversion |
US7409372B2 (en) * | 2003-06-20 | 2008-08-05 | Hewlett-Packard Development Company, L.P. | Neural network trained with spatial errors |
US7679676B2 (en) * | 2004-06-03 | 2010-03-16 | Koninklijke Philips Electronics N.V. | Spatial signal conversion |
-
2004
- 2004-03-31 CN CNA2004800095491A patent/CN1771516A/zh active Pending
- 2004-03-31 EP EP04724684A patent/EP1616300A1/en not_active Withdrawn
- 2004-03-31 JP JP2006506800A patent/JP2006523409A/ja active Pending
- 2004-03-31 KR KR1020057019227A patent/KR20050119689A/ko not_active Application Discontinuation
- 2004-03-31 US US10/552,053 patent/US20060181643A1/en not_active Abandoned
- 2004-03-31 WO PCT/IB2004/050371 patent/WO2004090812A1/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
KR20050119689A (ko) | 2005-12-21 |
US20060181643A1 (en) | 2006-08-17 |
EP1616300A1 (en) | 2006-01-18 |
CN1771516A (zh) | 2006-05-10 |
WO2004090812A1 (en) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US8452122B2 (en) | Device, method, and computer-readable medium for image restoration | |
JP2007504700A (ja) | 閉塞検出に基づく画素の時間的補間 | |
US20090002562A1 (en) | Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon | |
US7679676B2 (en) | Spatial signal conversion | |
JP2006502643A (ja) | 画像変換ユニット及び方法 | |
JP2006523409A (ja) | 空間画像変換装置及び方法 | |
JP4241774B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US7623738B2 (en) | Method, apparatus and a unit for image conversion | |
US20060181644A1 (en) | Spatial image conversion | |
JP2004518337A (ja) | ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法 | |
KR101098300B1 (ko) | 공간 신호 변환 | |
US20070258653A1 (en) | Unit for and Method of Image Conversion | |
JPWO2017203941A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20050030424A1 (en) | Post-processing of interpolated images | |
JP5066041B2 (ja) | 画像信号処理装置、画像信号処理方法 | |
JP2885066B2 (ja) | 画像処理装置 | |
JP4869302B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2021027531A (ja) | ノイズリダクション方法 | |
JP3746441B2 (ja) | 映像信号処理装置 | |
JP2006500812A (ja) | 画像変換用の装置及び画像変換方法 | |
WO2004073313A1 (en) | Spatio-temporal up-conversion | |
WO2006085263A1 (en) | Content-specific image processing |