JP2004336478A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004336478A JP2004336478A JP2003130550A JP2003130550A JP2004336478A JP 2004336478 A JP2004336478 A JP 2004336478A JP 2003130550 A JP2003130550 A JP 2003130550A JP 2003130550 A JP2003130550 A JP 2003130550A JP 2004336478 A JP2004336478 A JP 2004336478A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- random signal
- image
- random
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【解決手段】符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段15を備える画像処理装置において、ランダム信号付加手段15は、ランダム信号の振幅を制御するランダム信号振幅制御手段143と、ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段144を有する。
【選択図】 図2
【解決手段】符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段15を備える画像処理装置において、ランダム信号付加手段15は、ランダム信号の振幅を制御するランダム信号振幅制御手段143と、ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段144を有する。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置に関し、復号画像の画質改善を行う画像処理装置に関する。
【0002】
【従来の技術】
JPEG(Joint Photographic Experts Group)に代表される静止画像符号化方式や、MPEG(Moving Picture Experts Group)に代表される動画像符号化方式では、情報量削減のために量子化が行われる。量子化ステップサイズを大きくすることにより大幅な情報量圧縮が行えるが、画質は劣化する。
【0003】
通常は人間の視覚が鈍感な高周波領域に対して粗く量子化を行うことにより、画質劣化が主観的に認知されにくくなるようにしている。この量子化は一般に画素ブロック単位で行われており、例えば動画像符号化方式であるMPEG−2においては、8×8画素を単位とした画素ブロックのDCT係数値に対して行われている。
【0004】
図1に量子化の原理を示すように、「1」〜「15」のレベルは、例えば「3」,「8」,「13」の量子化代表値に集約されて量子化される。このため、逆量子化されたときの量子化誤差範囲は量子化代表値±2となり、このような量子化誤差がDCT符号化歪み発生の原因となる。従来のDCT符号化歪みを低減する技術としては、フィルタリングによりブロック歪みの発生境界部の高域成分を平滑化する方法が一般的である(例えば、非特許文献1参照。)。
【0005】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法がある(例えば、特許文献1参照。)。これには符号化時の量子化粗さによってランダム信号のレベルを制御し、復号器内で逆量子化後の信号に重畳する手法が示されている。
【0006】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法がある(例えば、特許文献2参照。)。これによると、ブロック歪み補正演算で発生する規則的なパターンを拡散し、目立たなくしている。
【0007】
【非特許文献1】
茂木「適応的平滑化によるDCT符号化歪みの低減」2000年電子情報通信学会総合大会,D−11−28 pp28
【0008】
【特許文献1】
特開平3−210889号公報
【0009】
【特許文献2】
特開平10−191332号公報
【0010】
【発明が解決しようとする課題】
前述のように画像符号化では、限られた符号量で画像情報を表現しなくてはならないため、量子化により高域の情報量を重点的に削減する処理が行われており、復号画像においては細かい階調成分が失われてのっぺりとした画像になってしまい、また、画像のエッジ部分ではリンギングが生じてモスキートノイズとして知覚されてしまう。これらは量子化ステップサイズ次第では大きな画質劣化につながる。また、ブロック単位で量子化を行っているため、ブロック境界では隣接画素であっても量子化精度の違いからブロック境界がパターンとなって見えてしまういわゆるブロック歪が発生しやすい。これも量子化ステップサイズが大きいほど知覚されやすくなり画質劣化につながるという問題があった。
【0011】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法では、復号器から離されて符号化時の情報(符号化パラメータ)が分からない状況では利用できず、また、復号後にフォーマット変換(例えば4:2:0から4:2:2への変換や、画素数変換を伴う拡大、縮小処理)があると、それに伴い付加したランダム信号の周波数成分が変化するため、ランダム信号による画質改善効果が期待通り発揮できないという問題があった。
【0012】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法では、ブロック境界部の補正は行えるが、符号化により失われた高周波信号成分に対する処理は行われないために、復号画像ののっぺり感や張り付き感は解消されないという問題があった。
【0013】
本発明は、上記の点に鑑みなされたもので、復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
請求項1に記載の発明は、ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【0015】
請求項2に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を有することにより、特に、ブロック歪を低減することができる。
【0016】
請求項3に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【0017】
請求項4に記載の発明は、符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0018】
請求項5に記載の発明は、データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0019】
請求項6に記載の発明は、データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0020】
請求項7に記載の発明は、マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施例について説明する。本実施例では、符号化方式としてHDTVを対象としたMPEG−2を用い、復号された画像のフォーマットとしてSMPTE292M規格準拠のHD−SDI(High definition−serial digital interface)信号を用いたものを例として説明する。但し、復号画像フォーマットはHD−SDIに限定されるものではなく、画像符号化方式もMPEG−2に限定されるものではなく、また動画像の符号化に限定されるものでもない。
【0022】
図2は、本発明の画像処理装置を適用した画像符号化及び復号システムの第1実施例のブロック図を示す。同図中、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。
【0023】
しかし、MPEG−2方式は不可逆符号化であるため、復号器12から出力される信号は符号化器10に入力された信号と全く同じにはならず、符号化歪が発生したものとなっている。
【0024】
復号器12から出力される復号信号は、ランダム信号付加器15に供給され、ここで入力画像信号の有効領域にノイズ状のランダム信号を付加される。なお画像信号の有効領域とは、ヘッダや同期などの付加データ部分を除いた実際の画像データの部分を指し、HD−SDI信号では、水平、垂直の同期データ部分を除いた有効映像データ領域にランダム信号が付加される。
【0025】
図3は、ランダム信号付加器15の一実施例のブロック図を示す。同図中、ランダム信号付加器15は、加算処理部141とランダム信号発生部142とランダム信号振幅制御部143と周波数制御部144から構成されている。
【0026】
ランダム信号発生部142は、ランダム信号振幅制御部143から振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成する。HD−SDI信号では輝度信号レベル及び色差信号レベルを10ビット即ち「0」〜「1023」で表しているが、ランダム信号振幅制御部143から供給される振幅制御信号が例えば固定値「4」であるとき、ランダム信号発生部142は「−4」〜「+4」の範囲の整数をランダム信号として発生する。
【0027】
このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。非一様分布とは、例えば整数「0」の発生頻度を最大とし、整数「−1」,「+1」の発生頻度を低下させ、整数「−2」,「+2」の発生頻度をさらに低下させるような分布である。
【0028】
また、ランダム信号振幅制御部143は、8×8画素のブロック毎に、図4に示すように、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部142に供給することができる。これにより、ランダム信号発生部142はブロックの中央部で「−2」〜「+2」の範囲のランダム信号を発生し、周辺部で「−8」〜「+8」の範囲のランダム信号を発生して、周波数制御部144に供給する。
【0029】
周波数制御部144では、ランダム信号に対して周波数領域での操作を行って水平、垂直方向の2次元の高域フィルタ処理を行い、得られたランダム信号を加算処理部141に供給する。加算処理部141では、入力信号に対して、周波数制御部144から供給されるランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【0030】
図5は、周波数制御部144の一実施例のブロック図を示す。同図中、ランダム信号はDFT(Discrete Fourier Transform)部145にて周波数領域の信号に変換される。DFT部145ではランダム信号付加器15に入力される画像信号のフォーマットにおけるフレーム画素数と同じフォーマットのランダム信号配列で2次元DFTを行う。ランダム信号付加器15に入力される画像信号フォーマットがHD−SDIの場合、DFT部145では1920×1080の2次元配列のランダム信号に対して水平方向及び垂直方向のDFTを行う。
【0031】
次に、ランダム信号は振幅制御部146にて周波数に依存した振幅制御を受けた後、IDFT(Inverse Discrete Fourier Transform)部147により再び空間領域の信号に変換される。振幅制御部146での制御で周波数フィルタと同等の効果が得られ、例えば水平、垂直方向それぞれで高周波信号ほどレベルの大きくなる信号に整形する三角フィルタと同等な効果が得られる。
【0032】
即ち、ランダム信号の水平、垂直方向それぞれで高周波成分を重点的に取り出し、復号画像信号に対して付加するという操作が可能になり、画像符号化に伴い失われた高周波画像成分の回復が重点的に行える。更に、人間の視覚が敏感な低域信号成分がランダム信号から除去されているため、視聴者に不要なノイズ感を与えることを防止できる。
【0033】
以上の構成により、符号化画像を復号した画像信号に対し、復号器から離されて符号化時の情報が分からない状況であっても、符号化画像を復号した画像信号に対し、周波数制御されたランダム信号を付加することができる。この構成により、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、かつ、マスキング効果によりブロック歪やモスキートノイズを低減し、主観画質を向上させることができる。
【0034】
なお、ランダム信号振幅制御部143は、図4に示すように、8×8画素の画素ブロック毎に、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部142に供給しても良い。このとき、ランダム信号発生部142はブロックの中央部で「−2」〜「+2」の範囲のランダム信号を発生し、周辺部で「−8」〜「+8」の範囲のランダム信号を発生する。
【0035】
このように、量子化の単位となる画素ブロックの境界付近で大きな振幅のランダム信号を付加し、信号レベルの変化範囲を大きくすることで、特にブロック歪の原因である画素ブロック境界付近の急激なレベル変化を、マスキング効果により知覚されにくくすることができ、ブロック歪を低減し、主観画質を向上させることができる。
【0036】
図6は、本発明の画像処理装置を適用した画像符号化及び復号システムの第2実施例のブロック図を示す。同図中、図2と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0037】
図6において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0038】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。HD−SDI信号の場合は、1つの輝度信号Yと、2つの色差信号Cb,Crが4:2:2フォーマットで時間多重されているので、データ変換器16では、これをY,Cb,Crが4:4:4のフルサンプリング信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。データ変換器16から出力された各信号はランダム信号付加器15a,15b,15cに供給される。ランダム信号付加器15a,15b,15cは図3に示すランダム信号付加器15と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0039】
なお、このとき各信号成分に付加されるランダム信号のレベルはランダム信号振幅制御部143で制御することにより個別に設定することが可能である。例えばランダム信号振幅制御部143において設定振幅を0とすることにより、実質的にはランダム信号を付加しないようにすることも可能である。
【0040】
その後、ランダム信号付加器15a,15b,15cそれぞれの出力信号はマトリクス変換器18に入力される。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。生成されたRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0041】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0042】
また、Y,Cb,Crの各信号成分に対し独立にランダム信号の付加制御を行うことができるため、例えばモノクロ画像へのランダム信号付加の際にY信号にのみランダム信号を付加することで、不要な色彩の発生による違和感を抑えられ、より自然な画像にすることができる。
【0043】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0044】
図7は、本発明の画像処理装置を適用した画像符号化及び復号システムの第3実施例のブロック図を示す。同図中、図6と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0045】
図7において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0046】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。データ変換器16から出力された各信号はレベル依存型ランダム信号付加器20a,20b,20cに供給される。レベル依存型ランダム信号付加器20a,20b,20cは同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0047】
その後、レベル依存型ランダム信号付加器20a,20b,20cそれぞれの出力信号はマトリクス変換器18に入力される。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。生成されたRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0048】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0049】
図8は、レベル依存型ランダム信号付加器20a,20b,20cの一実施例のブロック図を示す。同図中、図3と同一部分には同一符号を付す。図8において、入力信号はレベル監視部148によって常時そのレベルが監視されている。レベル監視部148は検出した入力信号レベルをランダム信号振幅制御部143に供給する。
【0050】
ランダム信号振幅制御部143は入力信号のレベルに応じた振幅制御信号を生成してランダム信号発生部142に供給する。ランダム信号発生部142では、ランダム信号振幅制御部143からの振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成ずる。このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。
【0051】
加算処理部141では、入力信号に対して、ランダム信号発生部142で生成したランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【0052】
上記のレベル依存型ランダム信号発生器20a,20b,20cを用いることで、例えば高レベルの画像信号に加えるランダム信号の振幅は大きくし、低レベルの画像信号に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【0053】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0054】
図9は、本発明の画像処理装置を適用した画像符号化及び復号システムの第4実施例のブロック図を示す。同図中、図6と同一部分には同一符号を付す。この実施例では、原色信号R,G,Bにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0055】
図9において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0056】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。HD−SDI信号の場合は、1つの輝度信号Yと、2つの色差信号Cb,Crが4:2:2フォーマットで時間多重されているので、データ変換器16では、これをY,Cb,Crが4:4:4のフルサンプリング信号に変換して分離してマトリクス変換器18に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。
【0057】
マトリクス変換器18から出力された各信号はランダム信号付加器15a,15b,15cに供給される。ランダム信号付加器15a,15b,15cは図3に示すランダム信号付加器15と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0058】
その後、ランダム信号付加器15a,15b,15cそれぞれの出力するRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0059】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0060】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0061】
図10は、本発明の画像処理装置を適用した画像符号化及び復号システムの第5実施例のブロック図を示す。同図中、図7と同一部分には同一符号を付す。この実施例では、原色信号R,G,Bにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0062】
図10において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0063】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離してマトリクス変換器18に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。
【0064】
マトリクス変換器18から出力された各信号はレベル依存型ランダム信号付加器20a,20b,20cに供給される。レベル依存型ランダム信号付加器20a,20b,20cは図8に示す構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0065】
その後、レベル依存型ランダム信号付加器20a,20b,20cそれぞれの出力するRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0066】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0067】
また、レベル依存型ランダム信号発生器20a,20b,20cを用いることで、例えば高レベル画像信号部に加えるランダム信号の振幅は大きくし、低レベル画像信号部に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【0068】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0069】
なお、ランダム信号付加器15が請求項記載のランダム信号付加手段に対応し、ランダム信号振幅制御部143がランダム信号振幅制御手段に対応し、周波数制御部144が周波数制御手段に対応し、データ変換器16がデータ変換手段に対応し、マトリクス変換器18がマトリクス変換手段に対応する。
【0070】
【発明の効果】
上述の如く、請求項1に記載の発明は、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【0071】
また、請求項2に記載の発明によれば、特に、ブロック歪を低減することができる。
【0072】
また、請求項3に記載の発明によれば、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【0073】
また、請求項4に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0074】
また、請求項5に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0075】
また、請求項6に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0076】
また、請求項7に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【図面の簡単な説明】
【図1】量子化の原理を示す図である。
【図2】本発明の画像処理装置を適用した画像符号化及び復号システムの第1実施例のブロック図である。
【図3】ランダム信号付加器の一実施例のブロック図である。
【図4】画素ブロックにおけるランダム信号の振幅を表す図である。
【図5】周波数制御部の一実施例のブロック図である。
【図6】本発明の画像処理装置を適用した画像符号化及び復号システムの第2実施例のブロック図である。
【図7】本発明の画像処理装置を適用した画像符号化及び復号システムの第3実施例のブロック図である。
【図8】レベル依存型ランダム信号付加器の一実施例のブロック図である。
【図9】本発明の画像処理装置を適用した画像符号化及び復号システムの第4実施例のブロック図である。
【図10】本発明の画像処理装置を適用した画像符号化及び復号システムの第5実施例のブロック図である。
【符号の説明】
10 符号化器
12 復号器
15,15a〜15c ランダム信号付加器
16 データ変換器
18 マトリクス変換器
20a〜20c レベル依存型ランダム信号付加器
141 加算処理部
142 ランダム信号発生部
143 ランダム信号振幅制御部
144 周波数制御部
145 DFT部
146 振幅制御部
147 IDFT部
148 レベル監視部
【発明の属する技術分野】
本発明は、画像処理装置に関し、復号画像の画質改善を行う画像処理装置に関する。
【0002】
【従来の技術】
JPEG(Joint Photographic Experts Group)に代表される静止画像符号化方式や、MPEG(Moving Picture Experts Group)に代表される動画像符号化方式では、情報量削減のために量子化が行われる。量子化ステップサイズを大きくすることにより大幅な情報量圧縮が行えるが、画質は劣化する。
【0003】
通常は人間の視覚が鈍感な高周波領域に対して粗く量子化を行うことにより、画質劣化が主観的に認知されにくくなるようにしている。この量子化は一般に画素ブロック単位で行われており、例えば動画像符号化方式であるMPEG−2においては、8×8画素を単位とした画素ブロックのDCT係数値に対して行われている。
【0004】
図1に量子化の原理を示すように、「1」〜「15」のレベルは、例えば「3」,「8」,「13」の量子化代表値に集約されて量子化される。このため、逆量子化されたときの量子化誤差範囲は量子化代表値±2となり、このような量子化誤差がDCT符号化歪み発生の原因となる。従来のDCT符号化歪みを低減する技術としては、フィルタリングによりブロック歪みの発生境界部の高域成分を平滑化する方法が一般的である(例えば、非特許文献1参照。)。
【0005】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法がある(例えば、特許文献1参照。)。これには符号化時の量子化粗さによってランダム信号のレベルを制御し、復号器内で逆量子化後の信号に重畳する手法が示されている。
【0006】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法がある(例えば、特許文献2参照。)。これによると、ブロック歪み補正演算で発生する規則的なパターンを拡散し、目立たなくしている。
【0007】
【非特許文献1】
茂木「適応的平滑化によるDCT符号化歪みの低減」2000年電子情報通信学会総合大会,D−11−28 pp28
【0008】
【特許文献1】
特開平3−210889号公報
【0009】
【特許文献2】
特開平10−191332号公報
【0010】
【発明が解決しようとする課題】
前述のように画像符号化では、限られた符号量で画像情報を表現しなくてはならないため、量子化により高域の情報量を重点的に削減する処理が行われており、復号画像においては細かい階調成分が失われてのっぺりとした画像になってしまい、また、画像のエッジ部分ではリンギングが生じてモスキートノイズとして知覚されてしまう。これらは量子化ステップサイズ次第では大きな画質劣化につながる。また、ブロック単位で量子化を行っているため、ブロック境界では隣接画素であっても量子化精度の違いからブロック境界がパターンとなって見えてしまういわゆるブロック歪が発生しやすい。これも量子化ステップサイズが大きいほど知覚されやすくなり画質劣化につながるという問題があった。
【0011】
また、画像にランダム信号を付加して量子化による画質劣化を目立たなくさせる方法では、復号器から離されて符号化時の情報(符号化パラメータ)が分からない状況では利用できず、また、復号後にフォーマット変換(例えば4:2:0から4:2:2への変換や、画素数変換を伴う拡大、縮小処理)があると、それに伴い付加したランダム信号の周波数成分が変化するため、ランダム信号による画質改善効果が期待通り発揮できないという問題があった。
【0012】
また、ブロック歪みの補正演算により算出される補正値を、ランダム信号を用いて一定範囲内で変化させる方法では、ブロック境界部の補正は行えるが、符号化により失われた高周波信号成分に対する処理は行われないために、復号画像ののっぺり感や張り付き感は解消されないという問題があった。
【0013】
本発明は、上記の点に鑑みなされたもので、復号器から離されて符号化時の情報が分からない状況であっても、ブロック歪やモスキートノイズを低減し、主観画質を向上させる画像処理装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
請求項1に記載の発明は、ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【0015】
請求項2に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を有することにより、特に、ブロック歪を低減することができる。
【0016】
請求項3に記載の発明は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を有することにより、
復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【0017】
請求項4に記載の発明は、符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0018】
請求項5に記載の発明は、データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0019】
請求項6に記載の発明は、データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することにより、
ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0020】
請求項7に記載の発明は、マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することにより、
ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施例について説明する。本実施例では、符号化方式としてHDTVを対象としたMPEG−2を用い、復号された画像のフォーマットとしてSMPTE292M規格準拠のHD−SDI(High definition−serial digital interface)信号を用いたものを例として説明する。但し、復号画像フォーマットはHD−SDIに限定されるものではなく、画像符号化方式もMPEG−2に限定されるものではなく、また動画像の符号化に限定されるものでもない。
【0022】
図2は、本発明の画像処理装置を適用した画像符号化及び復号システムの第1実施例のブロック図を示す。同図中、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。
【0023】
しかし、MPEG−2方式は不可逆符号化であるため、復号器12から出力される信号は符号化器10に入力された信号と全く同じにはならず、符号化歪が発生したものとなっている。
【0024】
復号器12から出力される復号信号は、ランダム信号付加器15に供給され、ここで入力画像信号の有効領域にノイズ状のランダム信号を付加される。なお画像信号の有効領域とは、ヘッダや同期などの付加データ部分を除いた実際の画像データの部分を指し、HD−SDI信号では、水平、垂直の同期データ部分を除いた有効映像データ領域にランダム信号が付加される。
【0025】
図3は、ランダム信号付加器15の一実施例のブロック図を示す。同図中、ランダム信号付加器15は、加算処理部141とランダム信号発生部142とランダム信号振幅制御部143と周波数制御部144から構成されている。
【0026】
ランダム信号発生部142は、ランダム信号振幅制御部143から振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成する。HD−SDI信号では輝度信号レベル及び色差信号レベルを10ビット即ち「0」〜「1023」で表しているが、ランダム信号振幅制御部143から供給される振幅制御信号が例えば固定値「4」であるとき、ランダム信号発生部142は「−4」〜「+4」の範囲の整数をランダム信号として発生する。
【0027】
このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。非一様分布とは、例えば整数「0」の発生頻度を最大とし、整数「−1」,「+1」の発生頻度を低下させ、整数「−2」,「+2」の発生頻度をさらに低下させるような分布である。
【0028】
また、ランダム信号振幅制御部143は、8×8画素のブロック毎に、図4に示すように、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部142に供給することができる。これにより、ランダム信号発生部142はブロックの中央部で「−2」〜「+2」の範囲のランダム信号を発生し、周辺部で「−8」〜「+8」の範囲のランダム信号を発生して、周波数制御部144に供給する。
【0029】
周波数制御部144では、ランダム信号に対して周波数領域での操作を行って水平、垂直方向の2次元の高域フィルタ処理を行い、得られたランダム信号を加算処理部141に供給する。加算処理部141では、入力信号に対して、周波数制御部144から供給されるランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【0030】
図5は、周波数制御部144の一実施例のブロック図を示す。同図中、ランダム信号はDFT(Discrete Fourier Transform)部145にて周波数領域の信号に変換される。DFT部145ではランダム信号付加器15に入力される画像信号のフォーマットにおけるフレーム画素数と同じフォーマットのランダム信号配列で2次元DFTを行う。ランダム信号付加器15に入力される画像信号フォーマットがHD−SDIの場合、DFT部145では1920×1080の2次元配列のランダム信号に対して水平方向及び垂直方向のDFTを行う。
【0031】
次に、ランダム信号は振幅制御部146にて周波数に依存した振幅制御を受けた後、IDFT(Inverse Discrete Fourier Transform)部147により再び空間領域の信号に変換される。振幅制御部146での制御で周波数フィルタと同等の効果が得られ、例えば水平、垂直方向それぞれで高周波信号ほどレベルの大きくなる信号に整形する三角フィルタと同等な効果が得られる。
【0032】
即ち、ランダム信号の水平、垂直方向それぞれで高周波成分を重点的に取り出し、復号画像信号に対して付加するという操作が可能になり、画像符号化に伴い失われた高周波画像成分の回復が重点的に行える。更に、人間の視覚が敏感な低域信号成分がランダム信号から除去されているため、視聴者に不要なノイズ感を与えることを防止できる。
【0033】
以上の構成により、符号化画像を復号した画像信号に対し、復号器から離されて符号化時の情報が分からない状況であっても、符号化画像を復号した画像信号に対し、周波数制御されたランダム信号を付加することができる。この構成により、画像符号化に伴い失われた高周波画像成分を擬似的に回復し、かつ、マスキング効果によりブロック歪やモスキートノイズを低減し、主観画質を向上させることができる。
【0034】
なお、ランダム信号振幅制御部143は、図4に示すように、8×8画素の画素ブロック毎に、ブロックの中央部で小さな値をとり、ブロックの周辺部に行くほど大きな値となる振幅制御信号を発生してランダム信号発生部142に供給しても良い。このとき、ランダム信号発生部142はブロックの中央部で「−2」〜「+2」の範囲のランダム信号を発生し、周辺部で「−8」〜「+8」の範囲のランダム信号を発生する。
【0035】
このように、量子化の単位となる画素ブロックの境界付近で大きな振幅のランダム信号を付加し、信号レベルの変化範囲を大きくすることで、特にブロック歪の原因である画素ブロック境界付近の急激なレベル変化を、マスキング効果により知覚されにくくすることができ、ブロック歪を低減し、主観画質を向上させることができる。
【0036】
図6は、本発明の画像処理装置を適用した画像符号化及び復号システムの第2実施例のブロック図を示す。同図中、図2と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0037】
図6において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0038】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。HD−SDI信号の場合は、1つの輝度信号Yと、2つの色差信号Cb,Crが4:2:2フォーマットで時間多重されているので、データ変換器16では、これをY,Cb,Crが4:4:4のフルサンプリング信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。データ変換器16から出力された各信号はランダム信号付加器15a,15b,15cに供給される。ランダム信号付加器15a,15b,15cは図3に示すランダム信号付加器15と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0039】
なお、このとき各信号成分に付加されるランダム信号のレベルはランダム信号振幅制御部143で制御することにより個別に設定することが可能である。例えばランダム信号振幅制御部143において設定振幅を0とすることにより、実質的にはランダム信号を付加しないようにすることも可能である。
【0040】
その後、ランダム信号付加器15a,15b,15cそれぞれの出力信号はマトリクス変換器18に入力される。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。生成されたRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0041】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0042】
また、Y,Cb,Crの各信号成分に対し独立にランダム信号の付加制御を行うことができるため、例えばモノクロ画像へのランダム信号付加の際にY信号にのみランダム信号を付加することで、不要な色彩の発生による違和感を抑えられ、より自然な画像にすることができる。
【0043】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0044】
図7は、本発明の画像処理装置を適用した画像符号化及び復号システムの第3実施例のブロック図を示す。同図中、図6と同一部分には同一符号を付す。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0045】
図7において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0046】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。データ変換器16から出力された各信号はレベル依存型ランダム信号付加器20a,20b,20cに供給される。レベル依存型ランダム信号付加器20a,20b,20cは同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0047】
その後、レベル依存型ランダム信号付加器20a,20b,20cそれぞれの出力信号はマトリクス変換器18に入力される。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。生成されたRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0048】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0049】
図8は、レベル依存型ランダム信号付加器20a,20b,20cの一実施例のブロック図を示す。同図中、図3と同一部分には同一符号を付す。図8において、入力信号はレベル監視部148によって常時そのレベルが監視されている。レベル監視部148は検出した入力信号レベルをランダム信号振幅制御部143に供給する。
【0050】
ランダム信号振幅制御部143は入力信号のレベルに応じた振幅制御信号を生成してランダム信号発生部142に供給する。ランダム信号発生部142では、ランダム信号振幅制御部143からの振幅制御信号を受け、乱数に基づいたある規定振幅内のランダム信号を生成ずる。このとき、各整数の発生頻度の分布は例えば一様とされる。但し、上記各整数の発生頻度の分布は一様分布に限らず、ガウス分布などの非一様分布も選択できる。
【0051】
加算処理部141では、入力信号に対して、ランダム信号発生部142で生成したランダム信号を加算する。この加算処理は画像信号の有効領域を対象として行われる。これにより、ランダム信号が付加された画像信号が出力される。
【0052】
上記のレベル依存型ランダム信号発生器20a,20b,20cを用いることで、例えば高レベルの画像信号に加えるランダム信号の振幅は大きくし、低レベルの画像信号に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【0053】
本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0054】
図9は、本発明の画像処理装置を適用した画像符号化及び復号システムの第4実施例のブロック図を示す。同図中、図6と同一部分には同一符号を付す。この実施例では、原色信号R,G,Bにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0055】
図9において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0056】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離出力する。HD−SDI信号の場合は、1つの輝度信号Yと、2つの色差信号Cb,Crが4:2:2フォーマットで時間多重されているので、データ変換器16では、これをY,Cb,Crが4:4:4のフルサンプリング信号に変換して分離してマトリクス変換器18に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。
【0057】
マトリクス変換器18から出力された各信号はランダム信号付加器15a,15b,15cに供給される。ランダム信号付加器15a,15b,15cは図3に示すランダム信号付加器15と同一構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0058】
その後、ランダム信号付加器15a,15b,15cそれぞれの出力するRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0059】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0060】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0061】
図10は、本発明の画像処理装置を適用した画像符号化及び復号システムの第5実施例のブロック図を示す。同図中、図7と同一部分には同一符号を付す。この実施例では、原色信号R,G,Bにランダム信号を付加する。本実施例では、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べる。即ち、符号化画像を復号した後で画素数変換による拡大・縮小処理は行われないものとする。
【0062】
図10において、入力画像信号は符号化器10に供給され、例えばMPEG−2方式による画像符号化が行われる。ここで、符号化器10に入力される画像信号は、例えばHD−SDI信号である。符号化器10により生成されたMPEG−2信号は伝送された後、復号器12に供給され、HD−SDI信号に復号される。復号器12から出力される復号信号は、データ変換器16に供給される。
【0063】
データ変換器16は入力画像信号の各成分Y,Cb,Crに対し、それぞれ画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換して分離してマトリクス変換器18に供給する。また、後続の画像表示媒体がプログレッシブ走査方式である場合は、I/P変換もデータ変換器16において行われる。マトリクス変換器18では信号Y,Cb,Crのマトリクス変換により原色信号R,G,Bを生成して出力する。
【0064】
マトリクス変換器18から出力された各信号はレベル依存型ランダム信号付加器20a,20b,20cに供給される。レベル依存型ランダム信号付加器20a,20b,20cは図8に示す構成であり、入力信号の有効映像領域にランダム信号を付加する。
【0065】
その後、レベル依存型ランダム信号付加器20a,20b,20cそれぞれの出力するRGBフルサンプリング信号はCRTや液晶などの表示媒体の駆動部に送られて画像表示に用いられる。
【0066】
本実施例では、復号画像信号の各成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換した後にランダム信号の付加を行うことで、ランダム信号を付加したHD−SDI信号を表示用のRGBフルサンプリング信号に変換する際の画質劣化を抑えることができる。即ち、付加したランダム信号がアップサンプリング処理により他の画素へ影響を及ぼして、画質に不要な影響を与えることを防ぐことができる。
【0067】
また、レベル依存型ランダム信号発生器20a,20b,20cを用いることで、例えば高レベル画像信号部に加えるランダム信号の振幅は大きくし、低レベル画像信号部に加えるランダム信号の振幅は小さくするといった処理が行える。この処理は、人間の視覚特性が低レベル部のレベル変動に対して敏感であるため、ランダム信号を加えることにより起こる不要なノイズ感を抑制するのに効果がある。
【0068】
また、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致する場合について述べたが、復号画像信号における画像解像度と画像表示媒体での表示解像度が一致しない場合でも、復号後のHD−SDI信号を画像表示媒体で表示される解像度のHD−SDI信号に変換した後、上記のデータ変換器16以降の処理を行えば、同じ効果が得られる。
【0069】
なお、ランダム信号付加器15が請求項記載のランダム信号付加手段に対応し、ランダム信号振幅制御部143がランダム信号振幅制御手段に対応し、周波数制御部144が周波数制御手段に対応し、データ変換器16がデータ変換手段に対応し、マトリクス変換器18がマトリクス変換手段に対応する。
【0070】
【発明の効果】
上述の如く、請求項1に記載の発明は、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止できる。
【0071】
また、請求項2に記載の発明によれば、特に、ブロック歪を低減することができる。
【0072】
また、請求項3に記載の発明によれば、復号器から離されて符号化時の情報が分からない状況であっても、符号化で失われた高周波領域の信号を擬似的に回復し、かつ、ブロック歪やモスキートノイズを低減することができ、更に、人間の視覚が敏感な低域信号成分がランダム信号から除去され視聴者に不要なノイズ感を与えることを防止でき、特に、ブロック歪を低減することができる。
【0073】
また、請求項4に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0074】
また、請求項5に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【0075】
また、請求項6に記載の発明によれば、ランダム信号がアップサンプリング処理により他の画素へ影響を及ぼし画質に不要な影響を与えることを防ぐことができる。
【0076】
また、請求項7に記載の発明によれば、ランダム信号を加えることにより起こる不要なノイズ感を抑制することができる。
【図面の簡単な説明】
【図1】量子化の原理を示す図である。
【図2】本発明の画像処理装置を適用した画像符号化及び復号システムの第1実施例のブロック図である。
【図3】ランダム信号付加器の一実施例のブロック図である。
【図4】画素ブロックにおけるランダム信号の振幅を表す図である。
【図5】周波数制御部の一実施例のブロック図である。
【図6】本発明の画像処理装置を適用した画像符号化及び復号システムの第2実施例のブロック図である。
【図7】本発明の画像処理装置を適用した画像符号化及び復号システムの第3実施例のブロック図である。
【図8】レベル依存型ランダム信号付加器の一実施例のブロック図である。
【図9】本発明の画像処理装置を適用した画像符号化及び復号システムの第4実施例のブロック図である。
【図10】本発明の画像処理装置を適用した画像符号化及び復号システムの第5実施例のブロック図である。
【符号の説明】
10 符号化器
12 復号器
15,15a〜15c ランダム信号付加器
16 データ変換器
18 マトリクス変換器
20a〜20c レベル依存型ランダム信号付加器
141 加算処理部
142 ランダム信号発生部
143 ランダム信号振幅制御部
144 周波数制御部
145 DFT部
146 振幅制御部
147 IDFT部
148 レベル監視部
Claims (7)
- 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を
有することを特徴とする画像処理装置。 - 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段を
有することを特徴とする画像処理装置。 - 符号化画像を復号した画像信号の有効領域にランダム信号を付加するランダム信号付加手段を備える画像処理装置において、
前記ランダム信号付加手段は、画素ブロック中央部に対して境界付近で前記ランダム信号の振幅を大きくするよう前記ランダム信号の振幅を制御するランダム信号振幅制御手段と、
前記ランダム信号の水平、垂直方向それぞれで高周波成分を取り出す周波数制御手段を
有することを特徴とする画像処理装置。 - 請求項1乃至3のいずれか記載の画像処理装置において、
前記符号化画像を復号した画像信号である輝度信号と色差信号の各信号成分を画像表示媒体での表示解像度に対してフルサンプリングとなる信号に変換するデータ変換手段を有し、
前記データ変換手段の出力する輝度信号と色差信号の各信号成分に対し前記ランダム信号を付加することを特徴とする画像処理装置。 - 請求項4記載の画像処理装置において、
前記ランダム信号振幅制御手段は、前記データ変換手段の出力する輝度信号と色差信号の各信号成分のレベルに応じて前記ランダム信号の振幅を制御することを特徴とする画像処理装置。 - 請求項4記載の画像処理装置において、
前記データ変換手段の出力する輝度信号と色差信号を原色信号に変換するマトリクス変換手段を有し、
前記マトリクス変換手段の出力する原色信号に対し前記ランダム信号を付加することを特徴とする画像処理装置。 - 請求項6記載の画像処理装置において、
前記ランダム信号振幅制御手段は、前記マトリクス変換手段の出力する原色信号のレベルに応じて前記ランダム信号の振幅を制御することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130550A JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130550A JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004336478A true JP2004336478A (ja) | 2004-11-25 |
Family
ID=33506039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003130550A Pending JP2004336478A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004336478A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101287119B (zh) * | 2008-04-28 | 2010-06-02 | 北京大学深圳研究生院 | 基于频谱的图像分层编解码方法及*** |
US7916967B2 (en) | 2006-07-20 | 2011-03-29 | Panasonic Corporation | Image processing apparatus and image processing method |
-
2003
- 2003-05-08 JP JP2003130550A patent/JP2004336478A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7916967B2 (en) | 2006-07-20 | 2011-03-29 | Panasonic Corporation | Image processing apparatus and image processing method |
CN101287119B (zh) * | 2008-04-28 | 2010-06-02 | 北京大学深圳研究生院 | 基于频谱的图像分层编解码方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8750390B2 (en) | Filtering and dithering as pre-processing before encoding | |
KR100281099B1 (ko) | 동영상의부호화에따른블록화현상제거방법 | |
EP1676446B1 (en) | Video comfort noise addition technique | |
JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
CN102714723B (zh) | 使用胶片颗粒遮蔽压缩伪影 | |
US20080123979A1 (en) | Method and system for digital image contour removal (dcr) | |
JP5490544B2 (ja) | 画像におけるアーティファクトを低減するシステム及び方法 | |
US20150085943A1 (en) | Video processing device, video processing method, television receiver, program, and recording medium | |
JPH0832975A (ja) | イメージデータ後処理方法及びその装置 | |
US10922792B2 (en) | Image adjustment method and associated image processing circuit | |
JP2001285867A (ja) | Idctミスマッチについて補償するdctドメイン下方変換システム | |
JP3540855B2 (ja) | ブロック歪み補正器 | |
JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
JP2004518337A (ja) | ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法 | |
JP2007129318A (ja) | 画像復号装置 | |
JP2002359845A (ja) | ディザ処理装置 | |
JP5516842B2 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
JP4053460B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体 | |
JP2004336478A (ja) | 画像処理装置 | |
JP2006128744A (ja) | ブロック歪み低減装置 | |
JP2004056190A (ja) | フィルタ装置 | |
JP4570081B2 (ja) | 動画像エラー隠蔽方法および装置 | |
JP2001078187A (ja) | 画像復号化装置 | |
JP2005295371A (ja) | ブロックノイズ除去装置 | |
JP4185413B2 (ja) | フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム |