JP2011228822A - 画像再生装置 - Google Patents

Abstract

【課題】
デジタル画像の再生時に圧縮画像のノイズ除去を行う場合には、ノイズが含まれている画像から、ノイズ成分と画像の絵柄成分を完全に分離して除去することは困難である。絵柄成分をノイズと誤判定した場合には、絵柄成分にノイズ除去のフィルタリングが施され画像のボケなどの弊害が発生してしまう。デジタル画像の再生時に、画像の精細感を落とすことなく、より高精度に圧縮ノイズを除去する。また、除去した効果を視覚的に示す。
【解決手段】
デジタル画像とそれに付随する特徴情報を入力し、該デジタル画像に対して画像圧縮により発生したノイズ除去を行う画像再生装置において、特徴情報によってノイズ除去の強度を切り替える。
【選択図】 図１

Description

本発明は、画像再生装置に関する。例えば、デジタル画像の圧縮ノイズを除去するデジタル画像再生装置に関する。

本技術分野の背景技術として、例えば、特開2002-252793号公報（特許文献１）がある。該公報には「［課題］画像の拡大縮小や動き程度に応じて、適切なノイズの除去を行い、かつ、ノイズの除去に伴う画質の低下を目立たないように抑える。［解決手段］ノイズ除去制御部１１３は、拡大縮小率算出部１０２から出力される拡大縮小率と、動き検出部１１２から出力される動き検出結果とに基づいて、ノイズ検出指示と、ノイズ検出用閾値指示と、フィルタ処理モード指示とを出力する。ノイズ除去部１０７のモスキートノイズ除去部１０８およびブロックノイズ除去部１０９は、これらの指示に応じたノイズの検出感度や、平滑化フィルタのフィルタタップ数、フィルタ係数で、適応的に、適切なノイズ除去処理を行う。」と記載されている（要約参照）。

特開2002-252793号公報

デジタル画像の再生時に圧縮画像のノイズ除去を行う場合には、ノイズが含まれている画像から、ノイズ成分と画像の絵柄成分を完全に分離して除去することは困難である。絵柄成分をノイズと誤判定した場合には、絵柄成分にノイズ除去のフィルタリングが施され画像のボケなどの弊害が発生してしまう。本発明では、ノイズ除去の弊害を抑えつつ、より高精度に圧縮ノイズを除去する手法を提供する。また、ノイズ除去の効果を視覚的に示す手法について提供する。

上記課題に鑑み、例えば請求項に記載の構成を備える。

本発明を用いることで、画像のボケなどのノイズ除去の弊害を抑えつつ、画像圧縮ノイズを除去することができる。

また、ノイズ除去の効果を視覚的に確認できる。

本発明の実施例の構成図 本発明の実施例に係るテレビの構成 ノイズ除去方法の説明 画像拡大時のブロックサイズ ノイズ除去の除去領域の視覚化 ノイズ除去の除去領域の視覚化（右半分適用時） 精細感向上部を付加した場合の構成 フレームレート向上部を付加した場合の構成 特徴情報とノイズ除去部制御方法 特徴情報とノイズ除去部制御方法 特徴情報とノイズ除去部制御方法 特徴情報とノイズ除去部制御方法

図１に、本発明の実施例の構成図を示す。101はデコーダ装置を示し、放送やHDDやSDカードなどの記録媒体や、HDMIなどの周辺I/Fから入力された画像を、画像圧縮が施されている場合には、画像圧縮を伸張し、OSDを重畳して画像情報を出力する。102はデコーダ制御装置を示し、デコーダ部の制御を行うと共に、デコーダ部が出力した画像の特徴を示す情報（特徴情報）を出力する。この特徴情報については、後述する。 103はノイズ除去部を示し、入力された画像情報に対して、各種フィルタを用いてモスキートノイズやブロックノイズなど画像圧縮により発生するノイズを除去し、画像情報を出力する。104は高画質化処理制御部を示し、デコード制御部より入力された特徴情報や、ノイズ除去部からの情報を基に、ノイズ除去部の制御を行う。

この構成としては、ビデオデコーダのデバイス（LSIなど）と、高画質化処理である圧縮ノイズ除去処理や解像度向上処理やフレームレート向上処理などを行うデバイス（LSIなど）が別々の構成であることを想定しており、デバイス同士の結線として、デジタル画像情報と、制御情報の通信を行うGPIO（General Purpose Input/Output）やI2C（Inter-Integrated Circuit）やSPI（System Packet Interface）などの通信I/Fにより接続されている構成である。この制御情報の通信を用いて画像の特徴情報の通信を行う。

次に、ノイズ除去部の処理内容について説明する。

圧縮ノイズ除去は、再生画像から画像圧縮により発生したノイズ成分を検出し、そのノイズ成分除去を行う。ノイズ成分の検出は、画像圧縮により発生するモスキートノイズやブロックノイズが発生しやすい絵柄やエッジ情報、ブロック境界位置などから画素単位でノイズが発生する領域を特定する処理である。ノイズ除去は、既に提案されている各種のフィルタを用いて、ノイズ成分の除去を行う。

このノイズ成分の検出については、ノイズ成分とノイズで無い画像の成分を正確に切り分けることは困難である。これは、ノイズ成分とノイズでない成分が同様の成分である場合があり、計算機上見分けがつかない場合があるためである。このノイズ成分の検出において、誤検出をしてしまった場合には、元々精細であった画像に対してノイズ除去のフィルタを施してしまい、画像がボケたり、輪郭がなまってしまう等の弊害が生じてしまう。この弊害は、圧縮画像の伸張時の情報が分からず、再生画像の画素情報だけでノイズ成分の検出を行う場合には、より発生する確率が高くなる。本実施例では、この弊害を抑えつつ、効率的にノイズ除去を実行する手法について言及する。

上記説明したノイズ除去の弊害を抑えるためには、画像の画素情報とは別に、その画像が画像圧縮されている情報か、画像圧縮の圧縮率がどの程度かが推測できる特徴情報を取得し、その情報を元にノイズ除去の効果を調整する事が望ましい。この際、この特徴情報は、画像圧縮の伸張を行った際の伸張情報（量子化値やベクトル値など）が取得できると高精度にノイズ除去の調整が可能になるが、ノイズ除去を実際にデジタルメディア機器に搭載する場合には、画像伸張を行うデバイスと、ノイズ除去を行うデバイスが分かれている場合が多く、その場合には、伸張の情報は取得できない場合が多い。そのような場合には、画像伸張の情報以外の情報を活用してノイズ除去の効果を適用的に変更する事が望ましい。

また、このノイズ除去の効果の調整については、画素毎に効果を変えてよい。具体的には、平滑フィルタリングを行う際のフィルタ係数をより低周波成分まで除去するような係数を使用したり、ノイズ除去を行う画素の判定をより判定されやすくする等の処理を行う。

また、効果の調整は、画素毎に効果を切り替えることが望ましいが、調整するためのリソースや設定時間が確保できない場合には、画像を数領域に分割しその単位ごと、または、フレーム全面を対象として効果の調整を行ってよい。

次に、図７に図１で説明したノイズ除去装置の後段に精細感向上処理部を接続した例を示す。精細感向上処理部は、ノイズ除去部の出力画像を入力画像として、高画質化制御部から制御情報を取得して、画像の精細感の向上を行う。ここで、精細感の向上とは、エッジの周波数成分を更に高周波の成分に強調を行なったり、解像度をより向上させる技術である。

このような構成にすることで、画像圧縮のノイズ成分に対して弊害を抑えて除去を行った上で、精細感向上処理を行えるため、ノイズ成分を強調させること無く、高画質化を達成することができる。

次に、図７の構成に対してフレームレート向上処理を組み合わせる場合の構成について図８に示す。フレームレート向上部は、入力のフレーム数を数倍に増やすことで、動きの滑らかさを向上させる処理である。

図８のように、精細感向上処理部の後段に配置する構成とする。こうすることで、ノイズ除去部と精細感向上部は、フレームレート処理前の少ないフレーム数で処理する事ができ、電力を下げることができる。フレームレート向上部では、動き検出を行い、その結果に応じてフレームの数を変える処理を行うため、動き検出の時間分処理が遅延してしまう。そこで、精細感向上処理部から入力された画像に対して、動き検出を行うのではなく、ノイズ除去部に入力される画像に対して動き検出を行ってもよい。こうすることで、処理遅延を減らすことができる。また、動き検出の精度を上げたい場合には、精細感向上処理を行った画像に対して動き検出を行っても良い。こうすることで、ノイズ成分が除去された画像で動き検出ができるため、動き情報の誤検出を減らすことができ、より高画質にフレームレート変換を実現することができる。

次に、ノイズ除去部をテレビのシステムに適用した場合の構成を図２に示す。まずは、デジタル放送視聴のパスについて説明する。テレビ部901は、デジタル放送や外部入力画像をモニタに表示する機器である。放送受信部902で受信したデジタル放送は、デコーダ部903に入力される。デコーダ部では、チューナ部904で変調処理や、音声圧縮ストリーム・番組表などのデータ情報・画像圧縮ストリームに分離する処理が施される。画像圧縮ストリームについては、ビデオデコーダ部906に入力され、画像伸張が行われ再生画像が出力さえる。この際、伸張に用いた情報は、デコーダ制御部911に通知される。ビデオデコーダ部から出力された画像は、拡大縮小部908により表示サイズにスケーリングされ、画質調整部でガンマ補正やノイズ除去やエッジ強調処理などが行われる。そして、OSD重畳部でメニュー画面等のOSDが重畳され、デコーダ部から出力される。このOSDの重畳は、ユーザがリモコンからメニューを選択した場合や、テロップや緊急情報が放送波に付加されており、それらを表示する場合がある。

デコーダ部から出力された画像は、高画質化部913に入力される。高画質化部では、図１、７、８で説明したノイズ除去部915と、精細感向上部916と、フレームレート向上部917と、高画質化処理制御部914からなる。高画質化処理制御部は、高画質化部のブロックからと、全体制御部912とデコーダ制御部911から情報を取得できるようになっている。この情報を画像の特徴情報としてノイズ除去部や精細感向上部やフレームレート向上部の制御を行う。高画質化部からの出力画像は、モニタ制御部918に入力されモニタ部919でモニタ表示される。

次に、放送画像などの長時間記録を行うための機能について説明する。デコーダ部から出力された画像をエンコーダ部925により画像圧縮した画像圧縮ストリームを、記録媒体I/F部に入力して、HDDやSDカードや光ディスクなどの記録媒体部927に記録する。この記録ストリームを、記録媒体部から読み出しデコーダ部のセレクタ905を切り替えて入力して、ビデオデコーダによりデコードを行い、上記デジタル放送視聴のパスと同様に扱うことができる。本構成では、放送視聴と、この記録画像の視聴を同一のパスで表現しているが、デコーダ部をもう１系統持つことで、同時に両方行うこともできる。

次に、外部からの画像入力機能について説明する。D-sub端子などのRGB端子部921や、HDMI端子部922や、D端子部923、コンポジット部924から入力された信号を、入力画像I/Fでデジタル画像の形式に変換して、デコーダ部のセレクタ907に入力して、それ以降はデジタル放送と同様のパスでモニタに表示する。

デジタル放送の画像をモニタに出力するか、これらRGB端子などの外部からの入力された画像を出力するかは、ユーザリモコンで切り替える。この制御は、リモコン受信部925から全体制御部に通知され、全体制御部が各ブロックに対してパスの切り替えや、機能の設定値を通知する。全体制御部912は、デコーダ部、高画質化部、エンコーダ部、入力画像I/F部、記録媒体I/F部、放送受信部と接続されている。

また、HDMI端子には、CEC(consumer electronics control)があり、接続先の機器や画像の情報をやり取りする事ができる。この情報が取得できた場合には、入力画像I/F部から全体制御部に通知される。

テレビ周辺の明るさに応じて画質をかえるために、明るさセンサ部926で明るさを測定し、全体制御部に通知し、全体制御部がデコーダの画質調整部や高画質化処理制御部に通知される。

次に、特徴情報について説明する。特徴情報とその際のノイズ除去部の制御方法を、図９、図１０、図１１，図１２に示す。これらの図において、特徴情報は、単独で使用しても良いし、組み合わせて使用しても良い。また、ノイズ除去の制御方法は、特徴情報の変化に追従して動的に変更するのが好ましい。

画像情報が、RGB端子から入力された画像である場合には、その情報を特徴情報とする。この場合には、ノイズ除去は弱かOFFの設定とする。これは、RGB端子から入力される画像はPC入力が主であり、その場合には、画像圧縮がかけられていない場合が多いため、ノイズ除去は弱かOFFにする。こうすることで、画像圧縮がかかっていない画像に対して、ノイズ除去の弊害を抑える事ができる。

また、特徴情報としては、OSDを重畳しているかの情報でもよい。OSD情報は、圧縮されていない場合が多いので、OSD情報をブロックノイズと誤判定して、フィルタリングを行ってしまい、OSD情報のエッジがなまってしまい、視覚ができない場合があるためである。

また、特徴情報として、画像評価用のチャートが入力されたという情報でもよい。画質評価のチャートとしては、解像度チャートやゾーンプレートチャートなど解像度や画像の歪み量を評価するチャートである。これらが入力された場合には、ノイズ除去の弊害が発生してしまうと、画質評価の際に解像度劣化や歪み量の増加として評価されてしまうので好ましくない。よって、これらの画像が入力された場合には、ノイズ除去の効き目を弱めるか、機能をOFFとする。なお、このテストチャートの検出には、テストチャートの一部を持っておき、パターン認識を実行や、画像のヒストグラムから判断する。

次に、効果的なノイズの除去方法について述べる。デジタル画像の画素毎にノイズを除去する場合には、フィルタリングにより強力に平坦化を行ってしまうと、画像の画素値が連続的に一定値になってしまい、のっぺりしていると視覚されてしまう。また、ノイズ除去を行った領域と行わなかった領域で段差が発生してしまう事があり視覚的に目だってしまう。

これに対応するために、ノイズ除去後に平坦化されてしまった画素値に補正値を付加することで、ノイズ除去後の画像にのっぺり感や、処理の適用の段差が少なくなるようにする。

図３に、ノイズ除去後の画素値について示す。画像は、圧縮前は、平坦に近い画像であったが、その画像にモスキートノイズが発生した例である。左図にノイズ除去前の画素値、右側にノイズ除去後の画素値を一次元での例で示している。左図の縦軸は画素値、横軸は画像の水平位置を示す。元々の画像成分301をフィルタリングすることで、ノイズ除去後302に値を修正するが、その際に、303で示す値の修正幅に応じて補正値を付加する。

この補正値の付加については、修正値の大きさに応じて、補正値の候補を幾つか決めておき、それらをフレーム毎に順番に用いる値を変えることや、乱数を用いて値をかえることや、現在の時刻を用いて値を変えることや、画像の水平位置を用いて値をかえることを行う。この微小値の候補としては、例えば、0と修正値（10とすると）を4で割った値(2)の幅の値（0,1,2）とする。

図右は、ノイズ除去後の画素値を示し、303で示した修正値から算出した補正値をつけた場合である。

この様にする事で、画素値304に若干の変動ができ、左図に示す302に比べてのっぺり感を減らすことできる。

また、ノイズ除去を行う際には、RGBの画像を輝度Yと２つの色差信号UV(またはCb, Cr)に分解し、輝度と色差信号については、別々の補正値を用いることが望ましい。しかし、色差信号の２つの情報は同じ補正値を用いるようにする。

こう様にすることで、色成分の色相の関係を保ったまま、補正値を付加する事が可能となり、色ノイズの発生を抑える事ができる。

次に、デコーダで画像が拡大、縮小された場合には、ブロックノイズのブロック境界位置や、モスキートノイズが発生している領域が拡大・縮小されてしまう。このような場合には、画像の拡大、縮小率に応じて、ノイズ除去部の制御を行う。

まずは、ブロックノイズ除去について説明する。ブロックノイズが発生するブロックサイズは、画像圧縮した圧縮規格やストリームに含まれている情報から、ブロックノイズが発生するサイズである周波数変換を行うブロックサイズが判明する。その圧縮時のブロックサイズと、ノイズ除去部に入力されるまでに行われた画像の拡大・縮小の倍率が分かれば、ノイズ除去部に入力された画像のブロックサイズがどの大きさに変わったか算出することができる。その算出後のブロックサイズを元に、ブロックの境界位置を割りだし、その境界位置のみでブロックノイズ除去を行うことで、弊害を抑えた除去が可能となる。

例を図４に示す。図には、ブロックサイズが8画素で、横幅が1440画素であった画像が、1920画素に拡大された例である。1440時に8画素であったブロックサイズが、1920画素時には、10.667画素に拡大され、小数点以下四捨五入すると11画素目にブロック境界が移動する。よってこの場合には、11画素目にブロック境界が来るとしてブロックノイズ除去のフィルタリングを施すことが望ましい。次のブロック位置は、小数点を加味した21.333画素位置となり四捨五入を行うと21画素目となるが、小数点を加味しないと11x2=22画素目となり、1画素ずれてしまう。このまま小数を加味せずに計算を続けていくとこの誤差が累積し、ブロック境界位置がずれてしまい、ブロックノイズ除去が正常に行われなくなってしまう。

そこで、ノイズ除去ブロックでは、この小数を加味したブロック位置の決定方法を行う必要がある。また、このブロック位置を高画質化処理部から全て通知してもらうのは、保持のための多くのリソースや、高画質か処理のリアルタイムの処理能力が必要となるってしまう。このため、高画質化処理部からノイズ除去部に対しては、以下の情報を通知する。
・ブロックサイズの計算をスタートする開始位置
・ブロックサイズの整数値と小数部（縦、横方向別々）
・ブロック位置が小数になった場合に、小数以下の値の切上げ、切捨て、四捨五入選択
ノイズ除去部はこの情報から、画素毎にブロック境界かどうかを小数精度で計算しながらノイズ除去を行う。

入力された画像の拡大率が分からない場合には、ブロック境界を検出する必要がある。この場合には、画像中からブロックノイズに似ている形状をパターンマッチングすることで検出する。このブロックノイズの形状は、階段状の形状では、本来の画像として発生する確率が高いため、エッジをつぶしてしまう弊害が発生する可能性がある。そこで、縦または横方向に連続する数画素の勾配を、同方向の隣りあう同数の画素で計算した勾配と比較して、片方の勾配が平坦に近く、もう片方の勾配の値が大きい場合には、ブロック境界と判定し、ブロックノイズ除去を行う。この値の判定は、閾値や周辺輝度の大きさから判断する。

次に、ノイズ除去の効果を確認するために、視覚的に示す手法について説明する。ノイズ除去を実施したか否かは、絵柄によっては確認が難しい場合があり、画像に付け加えて効果の調整の確認が容易にできるようになる。また、テレビなどの映像表示装置のノイズ除去機能のデモとしても使用することができる。

図５に概念図を示す。画像501の一部に絵柄502があった場合（図では四角の絵柄の例）、そのエッジ部分の周辺に視覚的に目立つ圧縮ノイズが発生する。この圧縮ノイズが発生する領域に対して色をつける（図では灰色領域）などの処理を施すことで、圧縮ノイズ検出機能が有効に行われているかを視覚的に示すことができる。また、ブロックノイズに対しては、ブロック境界に色をつけてもよい。また、自動でブロック境界を見つける場合には、検出したブロック境界位置に色をつけても良い。

画像に色をつける方法については、輝度について、ノイズを除去した場合には、除去した輝度画素と同位置の色差画素の値を変えても良い。また、ノイズ除去後の画素に付加する補正値を大きくして、付加することで、ちらちらした領域に見せても良い。

次に、このノイズ除去対象領域の視覚的な表示は、図６に示す様に表示画面を左右分割し、どちらか側のみに適用してもよい（図では、左部分にノイズ除去対象領域を示した例）。こうすることで、除去領域と除去後の画像を並べてみることができて、視覚的な効果が得やすい。また、適用画像と適用してない画像をある時間ごとに切り替えて表示させてもよい。

上記は、モスキートノイズを対象とたが、ブロックノイズに対しては、ブロック境界に色をつけてもよい。また、自動でブロック境界を見つける場合には、検出したブロック境界位置に色をつけても良い。

101 デコーダ部
102 デコーダ制御部
103 ノイズ除去部
104 高画質化処理制御部

Claims (22)

1. デジタル画像とそれに付随する特徴情報を入力し、該デジタル画像に対して画像圧縮により発生したノイズ除去を行う画像再生装置において、特徴情報によってノイズ除去の強度を切り替える事を特徴とする画像再生装置。
2. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像を復号処理した際のある動き情報である事を特徴とする画像再生装置。
3. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像を用いてフレームレート変換を行なう際の動き情報である事を特徴とする画像再生装置。
4. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像にＯＳＤが重畳されている事を示す信号である事を特徴とする画像再生装置。
5. 請求項４の画像再生装置であり、
   特徴情報とは、デジタル画像にＯＳＤが重畳されている画面上の座標を示す信号であり、そのＯＳＤが重畳されている領域に対しては、ノイズ除去を行わない事を特徴とする画像再生装置。
6. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像が画質評価用のチャート画像である事を示す信号である事を特徴とする画像再生装置。
7. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像がＲＧＢ端子を経由して入力された画像である事を示す情報である事を特徴とする画像再生装置。
8. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像がＨＤＭＩ端子を経由して入力された画像である事を示す情報である事を特徴とする画像再生装置。
9. 請求項１の画像再生装置であり、
   特徴情報とは、デジタル画像がＨＤＤなどに記録されていた情報である事を特徴とする画像再生装置。
10. 請求項１の画像再生装置であり、
    特徴情報とは、デジタル画像がＨＤＤなどの記録媒体に画像圧縮されて保存された際の圧縮率情報である事を示す情報である事を特徴とする画像再生装置。
11. 請求項１の画像再生装置であり、
    特徴情報とは、デジタル画像の番組ジャンル情報である事を特徴とする画像再生装置。
12. 請求項１の画像再生装置であり、
    特徴情報とは、緊急時に画面に表示するテロップを表示中であるである事を特徴とする画像再生装置。
13. 請求項１の画像再生装置であり、
    特徴情報とは、画像を視聴する際の周辺の明るさ情報であることを特徴とする画像再生装置。
14. デジタル画像情報を入力し、該デジタル画像の圧縮ノイズ除去、精細度を向上させる解像度向上処理を行なう、画像再生装置において、該デジタル画像の圧縮ノイズ除去を行った画像について解像感向上処理を行なう事を特徴とする画像再生装置。
15. デジタル画像情報を入力し、該デジタル画像の圧縮ノイズ除去、精細度を向上させる解像度向上処理、フレームレートを高速化させるフレームレート変換を有する画像再生装置において、該デジタル画像に対して圧縮ノイズ除去を行った画像について解像度向上処理を行ない、その処理後の画像についてフレームレート変換を行なう事を特徴とする画像再生装置。
16. 請求項１５の画像再生装置において、
    フレームレート変換を行なう際に用いる動き情報の検出は、圧縮ノイズ除去部に入力されたデジタル画像に対して行なう事を特徴とする画像再生装置。
17. デジタル画像内の縦または横方向に連続した数画素の画素値の勾配に応じて、ノイズ除去の実行を切り替えることを特徴とする画像再生装置。
18. 画像圧縮のブロックノイズを除去するノイズ除去部に入力される画像のサイズが、画像圧縮データを伸張するデコーダ部でデコードされた画像サイズから拡大や縮小された場合に、その拡大率に応じて、ブロックノイズを行う画像位置を変えることを特徴とする画像再生装置。
19. 請求項１８の画像再生装置において、ノイズ除去部とノイズ除去部を制御する高画質化制御部からノイズ除去部に指定する指定信号は、拡大されたブロックサイズの整数値と少数値を指定し、ノイズ除去部で小数値計算を行いブロック境界位置を決定する事を特徴とする画像再生装置。
20. 圧縮ノイズを除去するノイズ除去部で、ノイズ除去を行うか判定を行う画像内の領域について、画素値を修正することを特徴とする画像再生装置。
21. 請求項２０の画像再生装置において、画素値の修正は、ＹＵＶ変換した場合のＵとＶの値をある固定値にする事を特徴とする画像再生装置。
22. 請求項２１の画像再生装置において、画素値の修正は、ノイズ除去後の画素に付加する補正値を定数倍した値を付加することを特徴とする画像再生装置。

Images