JP4834776B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4834776B2 JP4834776B2 JP2010061328A JP2010061328A JP4834776B2 JP 4834776 B2 JP4834776 B2 JP 4834776B2 JP 2010061328 A JP2010061328 A JP 2010061328A JP 2010061328 A JP2010061328 A JP 2010061328A JP 4834776 B2 JP4834776 B2 JP 4834776B2
- Authority
- JP
- Japan
- Prior art keywords
- sharpening
- encoding
- image processing
- processing apparatus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 177
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 87
- 230000000694 effects Effects 0.000 claims description 42
- 238000013139 quantization Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 241000255925 Diptera Species 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims 2
- 230000007423 decrease Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 10
- 238000002620 method output Methods 0.000 description 10
- 239000000470 constituent Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関する。
従来、動画像の伝送、記録を行う場合には、伝送効率、圧縮効率を高めるために符号化が行われる。一方、符号化された動画像を受信する受信側、再生側では、符号化された動画像の復号化と、復号化した動画像に対して、符号化に伴って発生するブロックノイズ/モスキートノイズを低減するためのノイズ低減(NR)処理と、画質を改善するための鮮鋭化処理とが行われる。
この復号化した動画像に対して、ノイズ低減処理と、鮮鋭化処理とを行う従来技術としては、特許文献1が知られている。特許文献1には、復号処理した際に得られたフレーム符号化に関する情報を用いて、輪郭補正やノイズ低減処理の画質補正処理を行うことが開示されている。
しかしながら、鮮鋭化処理と、ブロックノイズ/モスキートノイズを低減するためのノイズ低減処理とは互いに両立させることが難しく、上記従来技術をもってしても、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することはできなかった。
本発明は、上記に鑑みてなされたものであって、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、符号化された符号化画像を復号化する復号化手段と、前記復号化手段により復号化された復号化画像に対して、予め設定されたコアリングのレベル以下の振幅の小さい画素成分について強調化する第1の鮮鋭化処理を行う第1の鮮鋭化手段と、前記第1の鮮鋭化処理が施された後の画像に対して、前記第1の鮮鋭化処理よりも処理時間を要する第2の鮮鋭化処理を、前記コアリングのレベルよりも振幅の大きい画素成分について行う第2の鮮鋭化手段と、を備え、前記第1の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを前記第2の鮮鋭化処理に先立って除去する第1のノイズ除去部を有すること、を特徴とする。
また、本発明の画像処理方法は、符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、復号化手段が、符号化された符号化画像を復号化する復号化ステップと、第1の鮮鋭化手段が、復号化された復号化画像に対して、予め設定されたコアリングのレベル以下の振幅の小さい画素成分について強調化する第1の鮮鋭化処理を行う第1の鮮鋭化ステップと、第2の鮮鋭化手段が、前記第1の鮮鋭化処理が施された後の画像に対して、前記第1の鮮鋭化処理よりも処理時間を要する第2の鮮鋭化処理を、前記コアリングのレベルよりも振幅の大きい画素成分について行う第2の鮮鋭化ステップと、を含み、前記第1の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを前記第2の鮮鋭化処理に先立って除去すること、を特徴とする。
本発明によれば、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする、という効果を奏する。
以下に添付図面を参照して、画像処理装置及び画像処理方法の実施形態を詳細に説明する。本実施形態にかかる画像処理装置及び画像処理方法は、所定の符号化方式により符号化された符号化動画像信号を復号化し、鮮鋭化処理でより高精細な動画像信号に変換して出力するものであり、例えば、テレビジョン受信装置、HDD(Hard Disk Drive)やDVD(Digital Versatile Disc)などの大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等に用いられる。
図1は、本実施形態にかかる画像処理装置1の構成を示すブロック図である。図1に示すように、画像処理装置1は、復号化部10、符号化実施情報取得部20、ヒストグラム検出部30、鮮鋭化制御部40、鮮鋭化処理部50を備える構成である。なお、上述した画像処理装置1の各部は、各々がマイクロコントローラなどチップで構成されてもよいし、1チップで構成されてもよい。また、画像処理装置1の各部は、CPU(Central Processing Unit)がROM(Read Only Memory)等に記憶されたプログラムをRAM(Random Access Memory)の作業領域に展開し、その展開したプログラムを順次実行することで実現されてもよい。
復号化部10は、所定の符号化方式により符号化された符号化動画像信号101を復号化する。復号化部10が復号化を行う符号化方式は、例えばH.264/MPEG−4 AVC、MPEG−2などであってよい。復号化部10は、復号化した動画像信号を、復号化動画像信号102としてヒストグラム検出部30と鮮鋭化処理部50へ出力する。また、復号化部10は、符号化動画像信号101を復号化する際に得た、符号化動画像信号101の符号化を行う際に採用された符号化実施情報を符号化実施情報取得部20へ出力する。
具体的には、符合化実施情報は、H.264/MPEG−4 AVC、MPEG−2などの符号化方式にかかる情報、フィールド又はフレームのピクチャタイプ、量子化情報などである。ピクチャタイプは、MPEGにおいて定められている動画を構成している最小単位の構造であるGOP(Group Of Pictures)を構成する、Iピクチャ、Pピクチャ、Bピクチャなどである。量子化情報は、符号化する際の量子化時における精度を示す情報であり、例えばフィールド又はフレームにおける量子化ステップ、マクロブロックの量子化スケールのフィールド又はフレーム平均値などである。
符号化実施情報取得部20は、符号化方式出力部21、情報出力部22を備え、復号化部10が出力した符号化実施情報を取得する。符号化実施情報は、その内容に応じて符号化方式出力部21、情報出力部22に一旦分類して取得される。具体的には、符号化実施情報における符号化方式にかかる情報は符号化方式出力部21に分類して取得される。また、符号化実施情報におけるピクチャタイプや量子化情報などの情報は情報出力部22に分類して取得される。
符号化方式出力部21は、復号化部10からH.264/MPEG−4 AVC、MPEG−2などの、符号化動画像信号101の符号化方式の種類を取得する。符号化方式出力部21は取得した符号化方式の種類を鮮鋭化制御部40に出力する。情報出力部22は、符号化動画像信号101のフィールド又はフレームごとに、そのフィールド又はフレームのピクチャタイプや量子化情報を復号化部10から取得する。情報出力部22は、取得したピクチャタイプや量子化情報を鮮鋭化制御部40に出力する。
ヒストグラム検出部30は、復号化動画像信号102のフィールド又はフレームごとに、周波数成分を横軸、その出現度数(画素数)を縦軸とした周波数ヒストグラムを検出する。ヒストグラム検出部30は、検出した周波数ヒストグラムを鮮鋭化制御部40へ出力する。この周波数ヒストグラムの検出により、鮮鋭化制御部40では、復号化動画像信号102のフィールド又はフレームにおいて各周波数成分に対応する画素がどの程度存在するかを判定することができる。すなわち、主に低い周波数成分の画素から構成されるフィールド又はフレームか、主に高い周波数成分の画素から構成されるフィールド又はフレームかを判定できる。
鮮鋭化制御部40は、符号化方式出力部21から出力された符号化方式の種類、情報出力部22から出力されたピクチャタイプや量子化情報、鮮鋭化制御部40から出力された周波数ヒストグラムに応じて、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する。具体的には、鮮鋭化制御部40は、符号化方式出力部21、情報出力部22、鮮鋭化制御部40からの出力に応じた制御信号103を鮮鋭化処理部50に出力することで、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する(詳細は後述する)。
鮮鋭化処理部50は、入力される復号化動画像信号102を高解像度化するための画像処理(鮮鋭化処理)を施して、復号化動画像信号102以上の高解像度の動画像信号104を生成する。例えば、鮮鋭化処理部50は、1440×1080の解像度の復号化動画像信号102からHD解像度(1920×1080)の動画像信号104を生成する。また、鮮鋭化処理部50では、鮮鋭化制御部40からの制御信号103を用いて鮮鋭化処理を行う。
ここで、鮮鋭化処理とは、入力された動画像信号に含まれる所定の画像信号を強調化し、その入力された動画像信号以上の解像度の動画像信号を生成する処理である。この鮮鋭化処理には、入力された動画像信号と鮮鋭化処理後の動画像信号の解像度が同じであり、強調化のみが行われる場合も含まれる。また、鮮鋭化処理には、第1解像度であるSD解像度(720×480)や中解像度(1440×1080)の画像信号から本来の画素値を推定して画素を増やすことにより、第1解像度よりも高解像度な第2解像度(例えばHD解像度)である画像信号を復元する処理(超解像処理)が含まれる。
ここで、本来の画素値とは、例えば、第1解像度の画像信号を得たときと同じ被写体を、第2解像度の画像信号の画素を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。
また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺(フレーム内またはフレーム間)の画像から本来の画素値を推定して画素を増やすことを意味する。
ただし、鮮鋭化処理部50における超解像処理(鮮鋭化処理)の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、HD解像度(1920×1080)で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度(例えば、1920×1080の解像度)に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。
ここで、鮮鋭化処理部50の構成を図2を参照して説明する。図2は、鮮鋭化処理部50の構成を示すブロック図である。図2に示すように、鮮鋭化処理部50は、復号化動画像信号102に対して上述した鮮鋭化処理を行う第1の鮮鋭化処理部51と、第1の鮮鋭化処理部51により鮮鋭化処理が施された動画像に対して上述した鮮鋭化処理を行う第2の鮮鋭化処理部52とを備える。
第1の鮮鋭化処理部51と第2の鮮鋭化処理部52とは、例えば個別のチップにより構成されており、第1の鮮鋭化処理部51が行う鮮鋭化処理に要する処理時間と、第2の鮮鋭化処理部52が行う鮮鋭化処理に要する処理時間とは互いに異なる処理時間となっており、第2の鮮鋭化処理部52の鮮鋭化処理の方が処理時間を要するものとなっている。この鮮鋭化処理に要する処理時間の違いは、チップの性能差、アルゴリズムの違い、鮮鋭化処理の精度の違いなどにより生じるものである。例えば、鮮鋭化処理において、本来の画素値を推定して増やした画素を元の画像信号と比較して検証し、さらに誤差を少なくするように高解像度の画像信号を復元する場合は、復元と検証とが繰り返されるため、処理時間を要するものとなる。また、例えば第1の鮮鋭化処理部51のチップと、第2の鮮鋭化処理部52のチップとが行うソフトウエア処理や演算処理の早さに違いがあるとすると、同じデータ量の画像信号に対して鮮鋭化処理を行った場合や、同じ効果が得られる同等の鮮鋭化処理を行った場合に、第1の鮮鋭化処理部51では0.1秒かかるところ、第2の鮮鋭化処理部52では0.2秒かかるなどのように、第2の鮮鋭化処理部52の鮮鋭化処理の方が処理時間を要するものとなる。
具体的には、第1の鮮鋭化処理部51は、DNR部510、IP部511、超解像フィルタ部512、NR部513、映像処理部514を備える。また、第2の鮮鋭化処理部52は、NR部520、超解像フィルタ部521、映像処理部522を備える。
DNR部510(ダイナミックノイズリダクション)は、複数のフレーム又はフィールドの間で平均するなどの演算を行い、復号化動画像信号102に含まれるランダムなノイズを取り除き、IP部511へ出力する。IP部511は、入力された動画像信号を、インターレース方式からプログレッシブ方式に変換して、超解像フィルタ部512へ出力する。
超解像フィルタ部512は、鮮鋭化の効果(ゲイン調整や微小信号のコアリング調整)として使用されるフィルタであり、フィルタ後の動画像をNR部513へ出力する。なお、超解像フィルタ部512における鮮鋭化の効果は、制御信号103をもとに制御される。例えば、制御信号103により、ゲインを大きくする、微小信号のコアリングを小さくすることで、鮮鋭化の効果を大きくすることができる。逆に、ゲインを小さくする、微小信号のコアリングを大きくすることで、鮮鋭化の効果を小さくすることができる。
第1のノイズ除去部としてのNR部513(ノイズリダクション)は、MPEGなどの符号化された動画像に特有なノイズを除去し、ノイズ除去後の動画像を映像処理部514へ出力する。具体的には、動きの激しい部分のブロックノイズ(モザイク状のひずみ)や、文字のエッジ部分などのモスキートノイズ(文字の輪郭に蚊が飛んでいるようなノイズ)を除去する。映像処理部514は、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
第2のノイズ除去部としてのNR部520は、第1の鮮鋭化処理部51により鮮鋭化処理が施された動画像からインパルスノイズ(白点状のノイズ)を除去し、ノイズ除去後の動画像を超解像フィルタ部521へ出力する。これにより、第1の鮮鋭化処理部51の特性(詳細は後述する)のために除去できなかった振幅の大きなインパルスノイズを除去できる。
超解像フィルタ部512は、超解像フィルタ部512と同様、鮮鋭化の効果として使用されるフィルタであり、フィルタ後の動画像を映像処理部522へ出力する。映像処理部522は、映像処理部514と同様、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
ここで、第1の鮮鋭化処理部51、第2の鮮鋭化処理部52の特性について説明する。図3は、第1の鮮鋭化処理部51、第2の鮮鋭化処理部52の特性を示す概念図である。図3に例示した第1の鮮鋭化処理部51、第2の鮮鋭化処理部52の特性の違いは、超解像フィルタ部512及び超解像フィルタ部521のフィルタ特性の違いにより生じるものである。
具体的には、図3に示すように、第2の鮮鋭化処理部52には、所定のレベル以下の振幅の成分には処理を働かなくするコアリングが設定されている。したがって、第2の鮮鋭化処理部52は、予め設定されたレベルよりも振幅の大きい画素成分に対して鮮鋭化処理を行う。逆に、第1の鮮鋭化処理部51は、第2の鮮鋭化処理部52にコアリングとして設定されたレベル以下の振幅の小さい画素成分に対して鮮鋭化処理を行う。
上述したように、符号化された動画像に特有なノイズは、鮮鋭化処理に要する処理時間が短い第1の鮮鋭化処理部51側で除去される。第2の鮮鋭化処理部52では、第1の鮮鋭化処理部51よりも処理に要する時間が長くタイムラグが生じてしまうため、動画像に特有な振幅の小さいノイズの除去効果は低い。したがって、処理時間が短い第1の鮮鋭化処理部51側で符号化された動画像に特有なノイズを除去することで、第2の鮮鋭化処理部52側の画質に影響を与えることなく、効果的なノイズ除去を行うことが可能となる。また、符号化された動画像に特有なノイズを除去した後に、第2の鮮鋭化処理部52で振幅の大きい画素成分に対して鮮鋭化処理を行うようにしているため、符号化された動画像に特有なノイズが鮮鋭化処理における画質へ及ぼす影響を、最小限にすることが可能となる。
次に、鮮鋭化制御部40による鮮鋭化処理部50の制御について説明する。図4−1、図4−2、図4−3、図4−4は、鮮鋭化制御部40による鮮鋭化処理の制御を説明する概念図である。図4−1に示すように、鮮鋭化制御部40は、情報出力部22により取得された符号化動画像信号101の量子化の精度を示す量子化情報(量子化ステップ、量子化スケールなど)の大小、すなわち量子化の精度の高低を条件に、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する。
より具体的には、量子化ステップ、量子化スケールが大きく、符号化動画像信号101の量子化の精度が低い場合は、超解像フィルタ部512、521における鮮鋭化の効果を弱くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を弱くする。逆に、量子化ステップ、量子化スケールが小さく、符号化動画像信号101の量子化の精度が高い場合は、超解像フィルタ部512、521における鮮鋭化の効果を強くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を強くする。
量子化ステップ、量子化スケールが大きく、符号化動画像信号101の量子化の精度が低い場合は符号化歪みが発生しやすい。この符号化歪みによる歪成分を含む画像信号に鮮鋭化を強く施すと、画質劣化を引き起こすことがある。したがって、符号化動画像信号101の量子化の精度が低い場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
また、図4−2に示すように、鮮鋭化制御部40は、符号化方式出力部21により取得された符号化動画像信号101の符号化方式を条件に、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する。より具体的には、符号化方式がMPEG−2の場合には、超解像フィルタ部512、521における鮮鋭化の効果を弱くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を弱くする。逆に、符号化方式がH.264/MPEG−4 AVCの場合には、超解像フィルタ部512、521における鮮鋭化の効果を強くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を強くする。
符号化方式がMPEG−2の場合は、H.264/MPEG−4 AVCに比べて符号化歪みが発生しやすい。したがって、符号化方式がMPEG−2の場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
また、図4−3に示すように、鮮鋭化制御部40は、情報出力部22により取得された符号化動画像信号101のピクチャタイプを条件に、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する。より具体的には、ピクチャタイプがIピクチャである場合には、超解像フィルタ部512、521における鮮鋭化の効果を弱くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を弱くする。逆に、ピクチャタイプがB、Pピクチャの場合には、超解像フィルタ部512、521における鮮鋭化の効果を強くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を強くする。
Iピクチャは、符号化信号から単独で生成される。Pピクチャは、一方向の動き補償予測を用いて生成されるピクチャであり、GOPにおけるIピクチャ及びPピクチャの差分情報を元に生成される。Bピクチャは、双方向予測を用いて生成されるピクチャであり、前後のIピクチャ又はPピクチャからの差分情報を元に生成される。このため、GOP周期では、Iピクチャに含まれる小振幅の差分(ノイズ/ディテール成分)が周期的な揺らぎとして動画像に現れる。よって、ピクチャタイプがIピクチャである場合は、鮮鋭化の効果を弱くすることで、周期的な揺らぎが鮮鋭化処理により増幅されることを抑制することができる。
また、図4−4に示すように、鮮鋭化制御部40は、ヒストグラム検出部30により検出された復号化動画像信号102の周波数ヒストグラムを条件に、鮮鋭化処理部50における鮮鋭化の効果の強弱を制御する。より具体的には、復号化動画像信号102が主に高い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部512、521における鮮鋭化の効果を弱くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を弱くする。逆に、復号化動画像信号102が主に低い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部512、521における鮮鋭化の効果を強くする制御信号103を鮮鋭化処理部50へ出力し、鮮鋭化処理部50における鮮鋭化の効果を強くする。
このように、主に高い周波数成分の画素から構成されるフィールド又はフレームの場合は、鮮鋭化の効果を弱くすることで、高い周波数成分に含まれるノイズが鮮鋭化処理により増幅されることを抑制することができる。
次に、画像処理装置1の動作を図5、図6を参照して説明する。図5は、本実施形態にかかる画像処理装置1の動作の一例を示すフローチャートである。
図5に示すように、符号化動画像信号101が復号化部10に入力されると(S1)、復号化部10は、所定の符号化方式により符号化された符号化動画像信号101を復号化する(S2)。次いで、符号化実施情報取得部20は、符号化実施情報を取得し、取得した符号化実施情報を鮮鋭化制御部40へ出力する(S3)。具体的には、符号化実施情報取得部20の符号化方式出力部21から符号化動画像信号101の符号化方式の種類が鮮鋭化制御部40に出力され、情報出力部22から符号化動画像信号101のピクチャタイプや量子化情報が鮮鋭化制御部40に出力される。
次いで、ヒストグラム検出部30は、復号化動画像信号102のフィールド又はフレームごとに周波数ヒストグラムを検出し、検出した周波数ヒストグラムを鮮鋭化制御部40へ出力する(S4)。次いで、鮮鋭化処理部50は、鮮鋭化制御部40の制御のもと、入力される復号化動画像信号102に鮮鋭化処理を施して、復号化動画像信号102以上の高解像度の動画像信号104を生成する(S5)。具体的には、鮮鋭化制御部40は符号化実施情報取得部20からの出力により取得した符号化実施情報や、周波数ヒストグラムをもとにした制御信号103を鮮鋭化処理部50へ出力する。鮮鋭化処理部50では、制御信号103に応じた鮮鋭化処理が復号化動画像信号102に対して行われ、動画像信号104を生成する。すなわち、復号化動画像信号102に対する鮮鋭化処理部50の鮮鋭化処理では、鮮鋭化の効果の強弱が制御信号103をもとに調整される。
図6は、鮮鋭化処理部50の動作の一例を示すフローチャートであり、より具体的には鮮鋭化処理部50における鮮鋭化処理の一例を示している。図6に示すように、鮮鋭化処理部50に復号化動画像信号102が入力されると(S51)、第1の鮮鋭化処理部51は、復号化動画像信号102に対する鮮鋭化処理(第1の鮮鋭化処理)を行う(S52)。次いで、第2の鮮鋭化処理部52は、第1の鮮鋭化処理部51により鮮鋭化処理が施された動画像に対する鮮鋭化処理(第2の鮮鋭化処理)を行う(S53)。次いで、第2の鮮鋭化処理部52は、生成した高解像度画像を動画像信号104として出力する(S54)。
次に、上述した画像処理装置1がテレビジョン受信装置に適用された例を図7を参照して説明する。図7は、本実施形態にかかる画像処理装置1を含むテレビジョン放送受信装置700の構成を示すブロック図である。
図7に示すように、図1を参照して説明した画像処理装置1は、テレビジョン放送受信装置700の信号処理部734内に設けられている。テレビジョン放送受信装置700において、デジタルテレビジョン放送受信用のアンテナ722で受信したデジタルテレビジョン放送信号は、入力端子723を介してチューナ部724に供給される。このチューナ部724は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。
また、チューナ部724の出力は、デコーダ部725でデコードされるとともに、直接セレクタ726にも供給されている。この信号から映像・音声情報などがセレクタ726で分離される。セレクタ726で分離された映像・音声情報は、制御部735を介してHDDユニットにて記録されてもよい。
アナログテレビジョン放送受信用のアンテナ727で受信したアナログテレビジョン放送信号は、入力端子728を介してチューナ部729に供給される。このチューナ部729は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。チューナ部729から出力された信号は、A/D変換部730(Analog-To-Digital)によりデジタル化された後、セレクタ726に供給される。
セレクタ726は、2種類の入力デジタル映像及び音声信号から1つを選択して、信号処理部734に供給している。信号処理部734は、入力されたデジタル映像信号に所定の信号処理を施して、映像表示器714での映像表示に供させている。映像表示器714としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部734は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ715に出力することにより、音声再生を行っている。
ここで、テレビジョン放送受信装置700では、上述した各種の受信動作を含む種々の動作が制御部735によって統括的に制御されている。制御部735は、CPU等を内蔵したマイクロプロセッサであり、操作キーなどの操作部716からの操作情報、又はリモートコントローラ717から送信された操作情報を受光部718を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部735は、メモリ736を使用している。メモリ736は、主として、CPUが実行する制御プログラムを格納したROMと、CPUに作業エリアを提供するためのRAMと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。例えば、上述した説明では動画像のフィールド又はフレームに対する処理を例示したが、符号化された画像は静止画像であってよく、一枚の静止画像に対して同様の処理を行ってもよいことは言うまでもないことである。
1 画像処理装置
10 復号化部
20 符号化実施情報取得部
21 符号化方式出力部
22 情報出力部
30 ヒストグラム検出部
40 鮮鋭化制御部
50 鮮鋭化処理部
51 第1の鮮鋭化処理部
52 第2の鮮鋭化処理部
101 符号化動画像信号
102 復号化動画像信号
103 制御信号
104 動画像信号
510 DNR部
511 IP部
512、521 超解像フィルタ部
513、520 NR部
514、522 映像処理部
700 テレビジョン放送受信装置
10 復号化部
20 符号化実施情報取得部
21 符号化方式出力部
22 情報出力部
30 ヒストグラム検出部
40 鮮鋭化制御部
50 鮮鋭化処理部
51 第1の鮮鋭化処理部
52 第2の鮮鋭化処理部
101 符号化動画像信号
102 復号化動画像信号
103 制御信号
104 動画像信号
510 DNR部
511 IP部
512、521 超解像フィルタ部
513、520 NR部
514、522 映像処理部
700 テレビジョン放送受信装置
Claims (11)
- 符号化された符号化画像を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像に対して、予め設定されたコアリングのレベル以下の振幅の小さい画素成分について強調化する第1の鮮鋭化処理を行う第1の鮮鋭化手段と、
前記第1の鮮鋭化処理が施された後の画像に対して、前記第1の鮮鋭化処理よりも処理時間を要する第2の鮮鋭化処理を、前記コアリングのレベルよりも振幅の大きい画素成分について行う第2の鮮鋭化手段と、
を備え、
前記第1の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを前記第2の鮮鋭化処理に先立って除去する第1のノイズ除去部を有すること、
を特徴とする画像処理装置。 - 前記第1のノイズ除去部は、符号化に伴って発生するノイズの中のブロックノイズ及びモスキートノイズを除去し、
前記第2の鮮鋭化手段は、前記復号化画像に含まれるインパルスノイズを除去する第2のノイズ除去部を有すること、
を特徴とする請求項1に記載の画像処理装置。 - 前記鮮鋭化処理には超解像処理が含まれることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記符号化画像の符号化の際に採用された符号化実施情報を取得する取得手段と、
前記符号化実施情報をもとに前記鮮鋭化処理の効果を制御する制御手段と、
を更に備えることを特徴とする請求項3に記載の画像処理装置。 - 前記符号化実施情報は、符号化の際の量子化の精度を示す量子化情報を含み、
前記制御手段は、前記量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項4に記載の画像処理装置。 - 前記量子化情報は、フィールド又はフレームにおける量子化ステップであり、
前記制御手段は、前記量子化ステップが大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項5に記載の画像処理装置。 - 前記量子化情報は、マクロブロックにおける量子化スケールのフィールド又はフレームの平均値であり、
前記制御手段は、前記平均値が大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項5に記載の画像処理装置。 - 前記符号化実施情報は、符号化方式の種類を含み、
前記制御手段は、前記符号化方式の種類に応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項4〜7のいずれか一項に記載の画像処理装置。 - 前記符号化実施情報は、符号化の際のピクチャタイプを含み
前記制御手段は、前記ピクチャタイプに応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項4〜8のいずれか一項に記載の画像処理装置。 - 前記復号化画像から各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出する検出手段を更に備え、
前記制御手段は、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項4〜9のいずれか一項に記載の画像処理装置。 - 符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、
復号化手段が、符号化された符号化画像を復号化する復号化ステップと、
第1の鮮鋭化手段が、復号化された復号化画像に対して、予め設定されたコアリングのレベル以下の振幅の小さい画素成分について強調化する第1の鮮鋭化処理を行う第1の鮮鋭化ステップと、
第2の鮮鋭化手段が、前記第1の鮮鋭化処理が施された後の画像に対して、前記第1の鮮鋭化処理よりも処理時間を要する第2の鮮鋭化処理を、前記コアリングのレベルよりも振幅の大きい画素成分について行う第2の鮮鋭化ステップと、
を含み、
前記第1の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを前記第2の鮮鋭化処理に先立って除去すること、
を特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061328A JP4834776B2 (ja) | 2010-03-17 | 2010-03-17 | 画像処理装置及び画像処理方法 |
US12/904,879 US8559526B2 (en) | 2010-03-17 | 2010-10-14 | Apparatus and method for processing decoded images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061328A JP4834776B2 (ja) | 2010-03-17 | 2010-03-17 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011199394A JP2011199394A (ja) | 2011-10-06 |
JP4834776B2 true JP4834776B2 (ja) | 2011-12-14 |
Family
ID=44647302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010061328A Expired - Fee Related JP4834776B2 (ja) | 2010-03-17 | 2010-03-17 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8559526B2 (ja) |
JP (1) | JP4834776B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4762352B1 (ja) * | 2010-03-17 | 2011-08-31 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
KR101663764B1 (ko) * | 2010-08-26 | 2016-10-07 | 에스케이 텔레콤주식회사 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
US9510018B2 (en) * | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
US10038504B2 (en) | 2015-12-29 | 2018-07-31 | Nokia Of America Corporation | Optical network span sensing |
CN114862427B (zh) * | 2022-07-06 | 2022-11-22 | 一物一码数据(广州)实业有限公司 | 基于二维码的质量检测跟踪的方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3307185B2 (ja) | 1995-09-08 | 2002-07-24 | 松下電器産業株式会社 | 画像信号処理装置 |
US7003173B2 (en) * | 2001-06-12 | 2006-02-21 | Sharp Laboratories Of America, Inc. | Filter for combined de-ringing and edge sharpening |
JP2005142891A (ja) * | 2003-11-07 | 2005-06-02 | Fujitsu Ltd | 画像処理方法及び画像処理装置 |
JP4155233B2 (ja) * | 2004-06-24 | 2008-09-24 | 株式会社日立製作所 | 映像表示装置 |
JP2006115078A (ja) * | 2004-10-13 | 2006-04-27 | Matsushita Electric Ind Co Ltd | 画像データの信号処理装置及びその方法 |
JP4534723B2 (ja) | 2004-11-05 | 2010-09-01 | 株式会社日立製作所 | 画像表示装置、画像処理装置および画像処理方法 |
JP2008035001A (ja) * | 2006-07-27 | 2008-02-14 | Funai Electric Co Ltd | 映像装置 |
JP2008283341A (ja) * | 2007-05-09 | 2008-11-20 | Matsushita Electric Ind Co Ltd | 圧縮符号化画像のノイズ除去装置及びノイズ除去方法 |
JP4609457B2 (ja) | 2007-06-14 | 2011-01-12 | ソニー株式会社 | 画像処理装置、及び、画像処理方法 |
US8120667B2 (en) | 2008-01-22 | 2012-02-21 | Panasonic Corporation | Video signal processing apparatus with outline emphasis control section |
JP2009282556A (ja) | 2008-05-19 | 2009-12-03 | Sony Corp | 信号処理装置および画像表示装置 |
-
2010
- 2010-03-17 JP JP2010061328A patent/JP4834776B2/ja not_active Expired - Fee Related
- 2010-10-14 US US12/904,879 patent/US8559526B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8559526B2 (en) | 2013-10-15 |
US20110229028A1 (en) | 2011-09-22 |
JP2011199394A (ja) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4762352B1 (ja) | 画像処理装置及び画像処理方法 | |
JP4599446B2 (ja) | 階調制御装置および階調制御方法 | |
US20100315558A1 (en) | Content adaptive noise reduction filtering for image signals | |
JP4693546B2 (ja) | デジタルノイズ低減装置及び方法及び映像信号処理装置 | |
JP4834776B2 (ja) | 画像処理装置及び画像処理方法 | |
US6950561B2 (en) | Method and system for sharpness enhancement for coded video | |
JP2004173011A (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
US8401322B2 (en) | Image recording device, image recording method and program | |
JP2008283341A (ja) | 圧縮符号化画像のノイズ除去装置及びノイズ除去方法 | |
JP5002684B2 (ja) | 画像処理装置、表示装置、および画像処理方法 | |
JP2005012641A (ja) | ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置 | |
US20100215286A1 (en) | Image processing apparatus and image processing method | |
US20100165205A1 (en) | Video signal sharpening apparatus, image processing apparatus, and video signal sharpening method | |
JP2006060358A (ja) | デジタル放送受信機 | |
JP2010109857A (ja) | 画像処理装置および画像処理方法 | |
JP2010093627A (ja) | 動画像符号化装置 | |
JP2012004890A (ja) | 映像信号出力装置、映像信号出力方法 | |
JP2011139356A (ja) | 表示装置、表示方法、プログラム、および、記録媒体 | |
JP2011139193A (ja) | 記録装置及び記録方法 | |
JP2010093856A (ja) | 画像処理装置、および画像処理方法 | |
JP4643723B2 (ja) | 画像符号化歪低減装置及び表示装置及び画像符号化低減方法 | |
JP2005197879A (ja) | 映像信号符号化装置 | |
JP4186769B2 (ja) | Gop周期検出装置 | |
US20080151993A1 (en) | Video signal processing apparatus, video signal processing method, and broadcasting receiving apparatus | |
JP5023092B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |