JP6574682B2 - コントラスト補正装置及びプログラム - Google Patents

Description

本発明は、フレームレートを変換した映像の主観画質の低下を補正するコントラスト補正装置及びプログラムに関する。

従来、フレームレートを変換する一般的な手法として、線形補間フレーム内挿法と動き補正フレーム内挿法が知られている（例えば、非特許文献１参照）。線形補間フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像に対して、線形フィルタ処理を適用して内挿フレームを生成する。動き補正フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像間で動き推定を行い、その結果を用いて内挿フレーム位置に動き補正フレーム内挿を行う。また、動き推定精度や確度が高くないと判定された空間領域では線形補間フレーム内挿法を用いることで、動き推定誤りに伴うブロック歪などのアーティファクトの発生を抑制することができる。

また、特許文献１には、動き補正フレーム内挿法を用いてフレームレート変換を行うテレビジョンにおいて、例えば５０Ｈｚから１００Ｈｚにフレームレートを変換後にチャンネル番号等のキャラクタ文字を合成するのは回路規模が大きくなるため、フレームレート変換前にキャラクタ文字を合成してからフレームレート変換を行うこと、さらにキャラクタ文字を合成するオンスクリーン表示領域では、動き補正フレーム内挿を行わないなどの工夫で、高画質なフレームレート変換を行うことが記載されている。

また、特許文献２には、動き補正フレーム内挿法を用いてフレームレート変換を行う処理において、映像の特徴を抽出し、抽出した特徴に応じて映像を複数の領域に分割し、領域毎に最適な方法で補間フレーム画像を生成することが記載されている。

特許第４８７８６２８号公報 特開２０１０−２８３５４８号公報

「ハイビジョン技術」、日本放送出版協会、1988年11月

フレームレートを変換する場合には、原画像が持つ映像表現をなるべく損なわないようにすることが望ましい。しかし、従来のフレームレート変換法は、視覚のコントラスト感度を考慮したコントラスト補正を行わないため、誤り無くフレーム内挿を行うことができたとしても、主観画質が低下するという課題がある。この原因として、フレームレート変換に伴う視覚のコントラスト感度の変化により、本来知覚されづらいはずのコントラスト差分が知覚される、又はその逆の現象が発生することが考察される。

図４に、明所視における視覚の時空間コントラスト感度特性を示す。横軸は空間周波数を表し、縦軸はコントラスト感度を表す。ここで、コントラスト感度はコントラスト閾値の逆数であり、コントラスト閾値は刺激の検出ができる最低のマイケルソン（Michelson）コントラストである。なお、時空間コントラスト感度特性の詳細については、J. G. Robson, "Spatial and Temporal Contrast-Sensitivity Functions of the Visual System", Journal of the Optical Society of America, Vol. 56, Issue 8, pp. 1141-1142 (Mar. 1966)を参照されたい。

図４では時間周波数を変化させた場合のコントラスト感度を示しており、白丸のプロットは時間周波数が１サイクル／秒の場合を示し、黒丸のプロットは時間周波数が６サイクル／秒の場合を示し、白三角のプロットは時間周波数が１６サイクル／秒の場合を示し、黒三角のプロットは時間周波数が２２サイクル／秒の場合を示す。なお、図４では時間周波数が２２サイクル／秒（４４フレーム／秒）までしか示されていないが、それ以上の場合は値を外挿して計算することができる。２２サイクル／秒より時間周波数が上がっても、コントラスト感度は指数関数的にしか減少しない。

図５を参照してマイケルソンコントラストについて説明する。図５（ａ）に示す縞模様（正弦波格子）の輝度は図５（ｂ）で示される。縞模様の最大輝度をＬ_maxとし、縞模様の最小輝度をＬ_minとすると、マイケルソンコントラストＣは式（１）で表される。

図４より、視覚の時空間コントラスト感度は、時間周波数が１サイクル／秒といった低い場合には中間周波数帯域が高い帯域通過型の特性を示す。一方、一般的な映像のように時間周波数が８サイクル／秒（すなわち、１６フレーム／秒）を超える場合には低域通過型の特性を示し、時間周波数が上昇するほど全ての空間周波数帯域にわたり感度が低下する。以上より、フレームレート変換においてフレームレートが低下する場合と上昇する場合について、以下の課題が考えられる。

フレームレート変換によりフレームレートが低下する場合は、図４より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が上昇するため、本来知覚されづらいはずのコントラスト差分が知覚されやすくなるという現象が発生する。例えば、１２０フレーム／秒のスーパーハイビジョン映像から２４フレーム／秒のデジタルシネマ映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が上昇するため、フレームレート変換前の１２０フレーム／秒の映像を視聴する際には知覚されづらかったコントラスト差分が知覚されやすくなる。

また、フレームレート変換によりフレームレートが上昇する場合は、図４より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が低下するため、本来知覚されやすいはずのコントラスト差分が知覚されづらくなるという現象が発生する。例えば、２４フレーム／秒のデジタルシネマ映像から１２０フレーム／秒のスーパーハイビジョン映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が低下するため、フレームレート変換前の２４フレーム／秒の映像を視聴する際には知覚されやすかったコントラスト差分が知覚されづらくなる。

かかる事情に鑑みてなされた本発明の目的は、フレームレートを変換した映像のコントラストを補正して主観画質を向上させることが可能なコントラスト補正装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るコントラスト補正装置は、フレームレートが変換されたフレームレート変換映像のコントラストを補正するコントラスト補正装置であって、フレームレート変換映像の各フレーム画像の空間周波数帯域を分割して、空間周波数帯域分割画像を生成する空間周波数帯域分割部と、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して、帯域毎コントラスト補正画像を生成するコントラスト補正部と、前記帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力するフレーム画像再構成部と、を備え、前記コントラスト補正部は、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを、前記フレームレートが高く変換された場合には大きくなり、前記フレームレートが低く変換された場合には小さくなるように補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、前記時空間コントラスト感度特性に基づき、フレームレート変換後の時間周波数におけるコントラスト感度に対するフレームレート変換前の時間周波数におけるコントラスト感度の比で表される補正係数を求め、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを前記補正係数倍になるように補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記空間周波数帯域分割部は、前記時空間コントラスト感度特性を基準に、周波数分解能にあたる分解階数を決定することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、空間の異方性を考慮して前記空間周波数帯域分割画像のコントラストを空間周波数帯域毎に補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記空間周波数帯域分割部は、ウェーブレット分解を用いて各フレーム画像を空間周波数帯域分割画像に分解し、前記フレーム画像再構成部は、ウェーブレット再構成を用いて空間周波数帯域分割画像をフレーム画像に逆変換することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記コントラスト補正装置として機能させることを特徴とする。

本発明によれば、フレームレートを変換した映像の主観画質を向上させることができるようになる。

本発明の一実施形態に係るコントラスト補正装置の構成例を示すブロック図である。 本発明の一実施形態に係るコントラスト補正装置における空間周波数帯域分割部の処理を示す図である。 本発明の一実施形態に係るコントラスト補正装置におけるコントラスト補正部の処理を示す図である。 明所視における視覚の時空間コントラスト感度特性を示す図である。 マイケルソンコントラストを説明する図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

本発明の一実施形態に係るコントラスト補正装置について、以下に説明する。図１に、本発明の一実施形態に係るコントラスト補正装置の構成例を示す。図１に示す例では、コントラスト補正装置１は、空間周波数帯域分割部１１と、コントラスト補正部１２と、フレーム画像再構成部１３とを備える。コントラスト補正装置１は、フレームレート変換映像と、時空間コントラスト感度特性情報と、空間周波数情報と、時間周波数情報とを入力し、フレームレート変換映像のコントラストを補正したコントラスト補正映像を出力する。

フレームレート変換映像とは、任意の手法によりフレームレートが変換された映像である。

時空間コントラスト感度特性情報とは、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性の情報である。時空間コントラスト感度特性の一例は図４に示したとおりである。図４のコントラスト感度はコントラストとして式（１）に示したマイケルソンコントラストを用いているが、コントラストとして一般的なＬ_max／Ｌ_minを用いてもよい。また、本実施形態では、コントラストの算出に用いるＬ_max及びＬ_minを絶対値とする。

空間周波数情報とは、フレームレート変換映像の空間周波数（空間解像度）を示す情報である。なお、フレームレート変換映像の空間周波数はフレームレート変換前の映像の空間周波数と同一である。本実施形態では、空間周波数の単位をサイクル／度とする。

時間周波数情報とは、フレームレート変換映像のフレームレート変換前後の時間周波数を示す情報である。本実施形態では、時間周波数の単位をサイクル／秒とする。フレームレートの単位はフレーム／秒であるため、時間周波数はフレームレートの１／２倍となる。

空間周波数帯域分割部１１は、フレームレート変換映像を入力して、これを空間周波数帯域分割して、空間周波数帯域分割画像をコントラスト補正部１２に出力する。空間周波数帯域分割は、フーリエ変換、オクターブ分解、ウェーブレット分解などにより行う。本実施形態では、ウェーブレット分解を行うものとして説明する。なおウェーブレット分解は、各分解階数におけるパワーレベルを均等に保つために、パーセバルの等式を満たすように処理を行う。

図２に、空間周波数帯域分割部１１のウェーブレット分解処理を示す。図２では周波数分解能にあたる分解階数（ウェーブレット分解階数）ｎが４の場合を示している。なお、空間高周波数帯域を更にウェーブレット分解してもよいし、特定の空間周波数帯域（例えばＨＨ¹）のみを更にウェーブレット分解してもよい。

空間周波数帯域分割部１１は、時空間コントラスト感度特性情報及び空間周波数情報を入力し、周波数分解能にあたる分解階数ｎを、時空間コントラスト感度特性を基準に空間周波数から決定してもよい。この場合、図４に示したように、一般的な映像の時間周波数では時空間コントラスト感度特性が低域通過型を示すため、映像を標準視距離で見た際にｎ階ウェーブレット分解した空間低周波帯域が時空間コントラスト感度特性においてフラットな領域に入るように分解階数ｎを決定する。

スーパーハイビジョンにおける具体例としては、水平画素数が７６８０画素、標準視距離０．７５Ｈ（Ｈは画面高）における視野角が約１００度であるため、空間周波数は７６．８画素／度となり、単位をサイクル／度に変換すると約４０サイクル／度となる。そして、図４に示したように、コントラスト感度がほぼフラットな領域になるのは空間周波数が約２．５サイクル／度以下であり、ウェーブレット分解はオクターブ分解の一種であるため、分解階数ｎは４あればよいことになる（４０×（１/２）⁴＝２．５）。

コントラスト補正部１２は、空間周波数帯域分割部１１により生成された空間周波数帯域分割画像のコントラストを、変換前後のフレームレートに基づいて空間周波数帯域毎に補正して、補正後の空間周波数帯域分割画像（帯域毎コントラスト補正画像）を生成し、フレーム画像再構成部１３に出力する。

コントラスト補正部１２は、空間周波数帯域分割画像の帯域毎の補正前のコントラストを、空間周波数帯域毎に、絶対値の最大値（最大絶対値）をＬ_max、絶対値の最小値（最小絶対値）をＬ_minとして算出し、このコントラストを補正する。なお、ｎ階分解の最低周波帯域（ＬＬⁿ）では、空間低周波帯域成分は全て正の値となる。

例えば、コントラスト補正部１２は、フレームレート変換映像がフレームレートを高くするように変換された映像である場合には、空間周波数帯域分割画像のコントラストが大きくなるように補正し、フレームレート変換映像がフレームレートを低くするように変換された映像である場合には、空間周波数帯域分割画像のコントラストが小さくなるように補正する。

あるいは、コントラスト補正部１２は、空間周波数帯域分割部１１により生成された空間周波数帯域分割画像のコントラストの補正量を決定するために、時空間コントラスト感度特性を用い、コントラスト感度の変化率に応じてコントラストを補正してもよい。

また、斜め方向のコントラスト感度は低下することが知られているため、コントラスト補正部１２は、さらに空間の異方性を考慮して空間周波数帯域分割画像のコントラストを空間周波数帯域毎に補正してもよい。例えば、斜め方向用の時空間コントラスト感度特性を別途用意するか、あるいは時空間コントラスト感度特性を補正して斜め方向のコントラスト感度を推定する。

フレーム画像再構成部１３は、コントラスト補正部１２により生成された帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正されたコントラスト変換映像をコントラスト補正装置１の外部に出力する。空間周波数帯域分割部１１においてｎ階ウェーブレット分解を行った場合には、フレーム画像再構成部１３においてｎ階ウェーブレット再構成を行う。

（実施例）
実施例として、２４フレーム／秒の４Ｋデジタルシネマを６０フレーム／秒の４Ｋテレビジョンにフレームレートを変換したフレームレート変換映像のコントラストを、時空間コントラスト感度特性を用いて補正する例について、以下に説明する。４Ｋデジタルシネマは表示する際のフリッカ防止のために、一般的に同じフレームを２回又は３回照射する。そのため、ここではシャッタ開口率５０％のフレームを２回ずつ照射するものとし、フレームレートを４８フレーム／秒とみなす。単位をサイクル／秒にするとフレームレート変換前は２４サイクル／秒であり、フレームレート変換後は３０サイクル／秒である。

４Ｋテレビジョンは水平画素数が３８４０（又は４０９６）画素、標準視距離１．５Ｈにおける視野角が約６０度であるため、空間周波数は６４画素／度となり、単位をサイクル／度に変換すると３２サイクル／度となる。図４に示した時空間コントラスト感度特性より、時空間コントラスト感度特性としてフラットな領域になるのは空間周波数が約２．５サイクル／度以下であるから、空間周波数帯域分割部１１はフレームレート変換映像に対して４階ウェーブレット分解を行う。

空間周波数が３２サイクル／度の画像を４階ウェーブレット分解すると、分解階数ｎ＝１の帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）の空間周波数は３２〜１６サイクル／度となり、分解階数ｎ＝２の帯域（ＬＨ²，ＨＬ²，ＨＨ²）の空間周波数は１６〜８サイクル／度となり、分解階数ｎ＝３の帯域（ＬＨ³，ＨＬ³，ＨＨ³）の空間周波数は８〜４サイクル／度となり、分解階数ｎ＝４の高周波帯域（ＬＨ⁴，ＨＬ⁴，ＨＨ⁴）の空間周波数は４〜２サイクル／度となり、分解階数ｎ＝４の低周波帯域（ＬＬ⁴）の空間周波数は２〜０サイクル／度となる。

コントラスト補正部１２は、時空間コントラスト感度特性より、フレームレート変換前後の時間周波数についてそれぞれ、空間周波数帯域分割画像の各空間周波数のコントラスト感度を求める。例えば、分解階数ｎ＝３の帯域（ＬＨ³，ＨＬ³，ＨＨ³）のフレームレート変換前のコントラスト感度を、空間周波数代表値を６サイクル／度として図４に示した時空間コントラスト感度特性から求めると約１０であり、フレームレート変換後のコントラスト感度は約７である。また、フレームレート変換後の時間周波数におけるコントラスト感度に対するフレームレート変換前の時間周波数におけるコントラスト感度の比を補正係数Ｍとして求める。これらをまとめると下記の表１のようになる。なお、図４は時空間コントラスト感度特性の一例であり、コントラスト感度はこの値に限られるものではなく、またより多くの時間周波数のコントラスト感度を含むものであってもよい。

コントラスト補正部１２は、フレームレート変換映像の各空間周波数帯域分割画像のコントラストが補正係数倍になるように補正する。なお、最低周波数帯域である分解階数ｎ＝４の低周波帯域（ＬＬ⁴、ＣＰＤ＝０〜２）については、便宜的に直流成分だとみなしてコントラストの補正を行わなくてもよいし、同様に補正を行ってもよい。

コントラスト感度の逆数がコントラスト閾値となり、刺激の検出ができる最低のコントラストとなる。コントラスト補正部１２は、各空間周波数帯域において、コントラスト閾値の変化に応じて補正を行うものである。この補正を行うことで、例えばコントラスト閾値が上昇（コントラスト感度が低下）した場合には、フレームレート変換前にコントラスト差分が知覚されていたが変換後は知覚されなくなったものを知覚されるように補正することができる。また、コントラスト閾値が低下（コントラスト感度が上昇）した場合には、フレームレート変換前にコントラスト差分が知覚されていなかったが変換後は知覚されるようになったものを知覚されないように補正することができる。

図３は、コントラスト補正処理に用いるコントラスト補正関数ｙ＝ｆ（ｘ）を示す図であり、横軸ｘはコントラスト補正前の要素の絶対値を示し、縦軸ｙはコントラスト補正後の要素の絶対値を示す。最大絶対値と最小絶対値の平均値Ｌ_ave＝（Ｌ_max＋Ｌ_min）／２を一定に保ったままコントラストを補正係数倍に変換すると、コントラスト変換後の要素の最大絶対値Ｌ’_maxはＬ_ave＋（Ｌ_max−Ｌ_ave）×Ｍとなり、コントラスト変換後の要素の最小絶対値Ｌ’_minはＬ_ave−（Ｌ_ave−Ｌ_min）×Ｍとなる。コントラスト補正部１２は、コントラスト補正関数に従ってコントラストを変換した後、コントラスト変換前の要素の値と同一の正負の符号を付す。また、コントラスト変換後の要素の値がその下限値又は上限値を超える場合は、下限値又は上限値でクリップする。

上述したように、コントラスト補正装置１は、空間周波数帯域分割部１１によりフレームレート変換映像の各フレーム画像の空間周波数帯域を分割して空間周波数帯域分割画像を生成し、コントラスト補正部１２により空間周波数帯域分割画像の空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成し、フレーム画像再構成部１３により帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力する。かかる構成により、コントラスト補正装置１は、フレームレート変換映像の主観画質を向上させることが可能となる。

例えば、表１では、分解階数ｎ＝３の帯域の変換前コントラスト感度は１０であることから変換前のコントラスト閾値は０．１であり、変換後コントラスト感度は７であることから変換後のコントラスト閾値は０．１４３である。分解階数ｎ＝３の帯域の要素の絶対値の最大値Ｌ_maxが５５であり、要素の絶対値の最小値Ｌ_minが４５である場合、マイケルソンコントラストは（５５−４５）／（５５＋４５）＝０．１となる。この場合、フレームレート変換前の映像ではコントラストがコントラスト閾値以上であるため知覚されるが、フレームレート変換映像ではコントラストがコントラスト閾値より低いために知覚されなくなる。しかし、コントラスト補正装置１ではコントラスト補正部１２により、コントラストを例えば補正係数倍にすると補正後のコントラストが０．１４３になるため、フレームレート変換映像でもコントラストを知覚することができるようになる。

なお、上述したコントラスト補正装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コントラスト補正装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ コントラスト補正装置
１１ 空間周波数帯域分割部
１２ コントラスト補正部
１３ フレーム画像再構成部

Claims (7)

1. フレームレートが変換されたフレームレート変換映像のコントラストを補正するコントラスト補正装置であって、
   前記フレームレート変換映像の各フレーム画像の空間周波数帯域を分割して、空間周波数帯域分割画像を生成する空間周波数帯域分割部と、
   前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成するコントラスト補正部と、
   前記帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力するフレーム画像再構成部と、
   を備え、
   前記コントラスト補正部は、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを、前記フレームレートが高く変換された場合には大きくなり、前記フレームレートが低く変換された場合には小さくなるように補正することを特徴とするコントラスト補正装置。
2. 前記コントラスト補正部は、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを補正することを特徴とする、請求項１に記載のコントラスト補正装置。
3. 前記コントラスト補正部は、前記時空間コントラスト感度特性に基づき、フレームレート変換後の時間周波数におけるコントラスト感度に対するフレームレート変換前の時間周波数におけるコントラスト感度の比で表される補正係数を求め、前記空間周波数帯域分割画像の空間周波数帯域毎にコントラストを前記補正係数倍になるように補正することを特徴とする、請求項２に記載のコントラスト補正装置。
4. 前記空間周波数帯域分割部は、前記時空間コントラスト感度特性を基準に、周波数分解能にあたる分解階数を決定することを特徴とする、請求項２又は３に記載のコントラスト補正装置。
5. 前記コントラスト補正部は、空間の異方性を考慮して前記空間周波数帯域分割画像のコントラストを空間周波数帯域毎に補正することを特徴とする、請求項１から４のいずれか一項に記載のコントラスト補正装置。
6. 前記空間周波数帯域分割部は、ウェーブレット分解を用いて各フレーム画像を空間周波数帯域分割画像に分解し、
   前記フレーム画像再構成部は、ウェーブレット再構成を用いて空間周波数帯域分割画像をフレーム画像に逆変換することを特徴とする、請求項１から５のいずれか一項に記載のコントラスト補正装置。
7. コンピュータを、請求項１から６のいずれか一項に記載のコントラスト補正装置として機能させるためのプログラム。