JP2007336531A - 画像補正回路、画像補正方法および画像表示装置 - Google Patents

画像補正回路、画像補正方法および画像表示装置 Download PDF

Info

Publication number
JP2007336531A
JP2007336531A JP2007131588A JP2007131588A JP2007336531A JP 2007336531 A JP2007336531 A JP 2007336531A JP 2007131588 A JP2007131588 A JP 2007131588A JP 2007131588 A JP2007131588 A JP 2007131588A JP 2007336531 A JP2007336531 A JP 2007336531A
Authority
JP
Japan
Prior art keywords
luminance
input
output characteristic
distribution
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007131588A
Other languages
English (en)
Other versions
JP4930781B2 (ja
Inventor
Shigeru Harada
茂 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007131588A priority Critical patent/JP4930781B2/ja
Publication of JP2007336531A publication Critical patent/JP2007336531A/ja
Application granted granted Critical
Publication of JP4930781B2 publication Critical patent/JP4930781B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)

Abstract

【課題】入力画像の内容によらずに効果的なコントラスト改善を実現することが可能な画像補正回路を提供する。
【解決手段】黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23が、黒側中間輝度分布61および白側中間輝度領域62を画像フレームごとに取得する。特性線決定部24が、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1を画像フレームごとに決定する。γ補正実行回路31が、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1に基づいて、輝度重心G1よりも低輝度側および高輝度側の領域のYUV信号(Yin,Uin,Vin)に対する画像補正を実行する。入力画像データの内容によらず、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1が、単純な曲線になりやすくなる。
【選択図】図1

Description

本発明は、画像信号に対して補正処理を行う機能を有する画像補正回路、画像補正方法および画像表示装置に関する。
通常、テレビジョン受像機、VTR(Video Tape Recorder)、デジタルカメラ、テレビジョンカメラあるいはプリンタ等の機器は、入力画像に画質補正を施してから出力する画像処理機能(例えば明暗やコントラストの調整、輪郭補正などの機能)を有している。こうした機能は、主に全体に暗くコントラストが低い画像や、細部がぼやけた画像に対して効果的に適用される。
これらの機能のうち、コントラスト調整は、通常、いわゆるガンマ特性を表すガンマ曲線を補正することによって行われ、一例として入力画像のヒストグラム分布による輝度分布を利用する方法がある。具体的には、例えば図15(A)に示したように、輝度分布が低輝度領域(黒レベル領域)に分布しているもの(輝度分布106A)である場合には、例えば図15(B)に示したように、ガンマ曲線がL101からL102のように補正される。また、同様に例えば図16(A)に示したように、輝度分布が高輝度領域(白レベル領域)に分布しているもの(輝度分布106B)である場合には、例えば図16(B)に示したように、ガンマ曲線がL101からL103のように補正され、例えば図17(A)に示したように、輝度分布が中間輝度領域に分布しているもの(輝度分布106C)である場合には、例えば図17(B)に示したように、ガンマ曲線がL101からL104へと補正されるようになっている。なお、このガンマ曲線を補正する際に各輝度レベルごとに設定される補正量の度合いは、ゲイン(利得)と呼ばれる。
また、例えば特許文献1,2には、入力画像データの輝度分布をヒストグラム分布として検出すると共にこの輝度ヒストグラム分布に基づいて、分布ピークごとにガンマ曲線の補正を行うようにしたコントラスト改善方法が提案されている。
特開2006−93753号公報 特開2005−175933号公報
ここで、従来の輝度ヒストグラム分布を利用したコントラスト改善方法は、図15〜図17のように、全ての輝度領域で検出した分布結果を全ての輝度領域のコントラスト改善に反映させたり、上記特許文献1,2のように、部分的な輝度領域で検出した分布結果をその部分のコントラスト改善に反映させるものである。ところがそのようなコントラスト改善方法の場合、例えば以下に説明するように、入力画像の内容によっては効果的なコントラスト改善がなされない場合や、表示映像が不自然なものとなる場合が生じてしまっていた。
すなわち、例えば画像フレーム内の輝度ヒストグラム分布において分布ピークが1つだけの場合や少数の場合には、各分布ピークに応じてガンマ曲線の補正がなされることで、効果的なコントラスト改善を実現できると考えられる。ところが、輝度ヒストグラム分布に分布ピークが多数存在するような場合、部分的な輝度領域での分布結果を利用してそのような多数の分布ピークごとに補正を行うと、例えば図18(A),(B)に示したガンマ曲線L105A,L105Bのように、ガンマ曲線が複雑なものとなってしまう。よって、例えば図18(A)に示したようにコントラスト改善の効果が小さくなってしまうと共に、効果を大きくしようとして曲線の傾きを大きくすると例えば図18(B)に示したガンマ曲線L105Bのように負の傾きを持つ曲線となり、表示映像が不自然なものとなってしまうこととなる。
このように、全ての輝度領域で検出した分布結果を全ての輝度領域のコントラスト改善に反映させたり、部分的な輝度領域で検出した分布結果をその部分のコントラスト改善に反映させている従来の技術では、入力画像の内容によらずに効果的なコントラスト改善を施すのが困難であった。
本発明はかかる問題点に鑑みてなされたもので、その目的は、入力画像の内容によらずに効果的なコントラスト改善を実現することが可能な画像補正回路、画像補正方法および画像表示装置を提供することにある。
本発明の第1の画像補正回路は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得する輝度分布取得手段と、得られた黒側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定する決定手段と、決定された低輝度領域入出力特性曲線に基づいて、基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段とを備えたものである。なお、「基準入出力特性線」は、線形の特性線には限られず、曲線で表される特性線であってもよい。
本発明の第1の画像補正方法は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得し、得られた黒側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定し、決定された低輝度領域入出力特性曲線に基づいて、基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行するようにしたものである。
本発明の第1の画像表示装置は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得する輝度分布取得手段と、得られた黒側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定する決定手段と、決定された低輝度領域入出力特性曲線に基づいて、基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と、画像補正された入力画像データに基づいて画像表示を行う表示手段とを備えたものである。
本発明の第1の画像補正回路、画像補正方法および画像表示装置では、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域のうち、黒側中間輝度分布が取得される。また、得られたこの黒側中間輝度分布に基づいて、基準点と最低輝度点とを通る低輝度領域入出力特性曲線が決定される。そして決定された低輝度領域入出力特性曲線に基づいて、基準輝度よりも低輝度側の領域の入力画像データに対する画像補正がなされる。よって、局所的な領域の輝度分布である黒側中間輝度分布に基づいて、この領域よりも広範な領域である、基準輝度よりも低輝度側の領域の入出力特性曲線(低輝度領域入出力特性曲線)が決定されるため、この低輝度領域入出力特性曲線が入力画像データの内容によらず、単純な曲線になりやすくなる。
本発明の画像補正回路では、上記低輝度領域入出力特性曲線が、基準入出力特性線よりも下側に位置すると共に変曲点を有しない曲線であるのが好ましい。なお、「変曲点」とは、その曲線を規定する関数の二次導関数の符号が、正から負へと、または負から正へと変化する点のことを意味する。このように構成した場合、低輝度領域入出力特性曲線が最も単純な曲線となり、コントラストの改善効果がより大きくなる。
また、上記輝度分布取得手段がさらに、中間輝度領域の最高輝度と基準輝度との間の領域の輝度分布である白側中間輝度分布を取得すると共に、上記決定手段がさらに、得られた白側中間輝度分布に基づいて基準点と基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定し、上記補正実行手段が、決定された低輝度領域入出力特性曲線および高輝度領域入出力特性曲線に基づいて、それぞれ、基準輝度よりも低輝度側および高輝度側の領域の入力画像データに対する画像補正を実行するようにするのが好ましい。このように構成した場合、取得された黒側中間輝度分布および白側中間輝度分布に基づいて、それぞれ低輝度領域入出力特性曲線および高輝度領域入出力特性曲線が決定され、これらの特性曲線に基づいて、基準輝度よりも低輝度側および高輝度側の領域双方の入力画像データに対して画像補正がなされるようになる。よって、低輝度領域入出力特性曲線に加えて高輝度領域入出力特性曲線も入力画像の内容によらずに単純な曲線になりやすくなり、コントラスト改善効果がより大きくなる。
本発明の第2の画像補正回路は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得する輝度分布取得手段と、得られた白側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定する決定手段と、決定された高輝度領域入出力特性曲線に基づいて、基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段とを備えたものである。
本発明の第2の画像補正方法は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得し、得られた白側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定し、決定された高輝度領域入出力特性曲線に基づいて、基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行するようにしたものである。
本発明の第2の画像表示装置は、予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正するものであって、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得する輝度分布取得手段と、得られた白側中間輝度分布に基づいて、基準輝度に対応して定まる基準入出力特性線上の基準点とこの基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定する決定手段と、決定された高輝度領域入出力特性曲線に基づいて、基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と、画像補正された入力画像データに基づいて画像表示を行う表示手段とを備えたものである。
本発明の第2の画像補正回路、画像補正方法および画像表示装置では、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域のうち、白側中間輝度分布が取得される。また、得られたこの白側中間輝度分布に基づいて、基準点と最高輝度点とを通る高輝度領域入出力特性曲線が決定される。そして決定された高輝度領域入出力特性曲線に基づいて、基準輝度よりも高輝度側の領域の入力画像データに対する画像補正がなされる。よって、局所的な領域の輝度分布である白側中間輝度分布に基づいて、この領域よりも広範な領域である、基準輝度よりも高輝度側の領域の入出力特性曲線(高輝度領域入出力特性曲線)が決定されるため、この高輝度領域入出力特性曲線が入力画像の内容によらず、単純な曲線になりやすくなる。
本発明の第1の画像補正回路、画像補正方法または画像表示装置によれば、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域のうち、黒側中間輝度分布を取得すると共に、この黒側中間輝度分布に基づいて基準点と最低輝度点とを通る低輝度領域入出力特性曲線を決定し、この決定された低輝度領域入出力特性曲線に基づいて基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行するようにしたので、入力画像データの内容によらず、低輝度領域入出力特性曲線を単純な曲線にしやすくすることができる。よって、例えば画像フレーム内の輝度ヒストグラム分布が多数の分布ピークを有するような場合であっても、不自然な表示映像とすることなく、効果的なコントラスト改善を実現することが可能となる。
また、本発明の第2の画像補正回路、画像補正方法または画像表示装置によれば、画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域のうち、白側中間輝度分布を取得すると共に、この白側中間輝度分布に基づいて基準点と最高輝度点とを通る高輝度領域入出力特性曲線を決定し、この決定された高輝度領域入出力特性曲線に基づいて基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行するようにしたので、入力画像データの内容によらず、高輝度領域入出力特性曲線を単純な曲線にしやすくすることができる。よって、例えば画像フレーム内の輝度ヒストグラム分布が多数の分布ピークを有するような場合であっても、不自然な表示映像とすることなく、効果的なコントラスト改善を実現することが可能となる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る画像表示装置の全体構成を表すものである。この画像表示装置は、チューナ11、Y/C分離回路12、クロマデコーダ13、スイッチ14、遅延回路15、入出力特性線生成部2および画像処理部3からなる画像処理機能部と、マトリクス回路41、ドライバ42およびディスプレイ5からなる画像表示機能部とを備えている。なお、本発明の第1の実施の形態に係る画像補正回路および画像補正方法は、本実施の形態に係る画像表示装置によって具現化されるので、以下、併せて説明する。
この画像表示装置へ入力される画像信号は、TV(TeleVision)からのテレビ信号のほか、VCR(Video Cassette Recorder)やDVD(Digital Versatile Disc)等の出力であってよい。このように複数種の媒体から画像情報を取り込み、各自について画面表示を行うことは、近年のテレビジョンやパーソナルコンピュータ(PC)においては一般的になってきている。
チューナ11は、TVからのテレビ信号を受信すると共に復調し、コンポジット信号(CVBS;Composite Video Burst Signal)として出力するものである。
Y/C分離回路12は、チューナ11からのコンポジット信号、またはVCRやDVD1からのコンポジット信号をそれぞれ、輝度信号Y1と色信号C1とに分離して出力するものである。
クロマデコーダ13は、Y/C分離回路12によって分離された輝度信号Y1および色信号C1を、輝度信号Y1および色差信号U1,V1からなるYUV信号(Y1,U1,V1)として出力するものである。
なお、このYUV信号は、2次元ディジタル画像の画像データであり、画像上の位置に対応する画素値の集合である。そのうち、輝度信号Yは輝度レベルを表現し、白100%である白レベルと、黒100%である黒レベルとの間の振幅値をとるようになっている。また、画像信号の白100%は、IRE(Institute of Radio Engineers)という画像信号の相対的な比を表す単位において、100(IRE)と定められている。日本のNTSC(National Television Standards Committee)信号の規格では、白レベルが100IRE,黒レベルが0IREである。一方、色差信号U,Vはそれぞれ、青(B;Blue)から輝度信号Yを引いた信号B−Y、赤(R;Red)から輝度信号Yを引いた信号R−Yに対応しており、これらU信号,V信号を輝度信号Yと組み合わせることによって、色(色相,彩度,輝度)が表現されるようになっている。
スイッチ14は、複数種の媒体からのYUV信号(ここではYUV信号(Y1,U1,V1)、およびDVD2からのYUV信号(Y2,U2,V2))を切り換えることにより、選択した信号をYUV信号(Yin,Uin,Vin)として出力するものである。
入出力特性線生成部2は、後述する画像処理部3内のγ補正実行回路31で用いられる入出力特性線(γ曲線)を適応的に生成するものであり、輝度分布取得回路21と、黒側中間輝度分布取得回路22と、白側中間輝度分布取得回路23と、特性線決定部24を有している。
輝度分布取得回路21は、スイッチ14から出力されるYUV信号(Yin,Uin,Vin)のうちの輝度信号Yinに基づいて、ヒストグラム分布からなる輝度分布を取得すると共に取得した輝度分布の輝度重心を求め、この輝度重心を中心とする中間輝度領域を決定するものである。なお、輝度重心とは、1つの画像フレームの輝度分布において、輝度と度数との積の総和(全積分値)を度数の総和で割った値に当たる輝度位置のことである。
図2は、輝度分布取得回路21によって取得される輝度分布の一例(輝度分布6)を表したものであり、縦軸がヒストグラム分布の度数を、横軸が輝度レベルを表している。
輝度分布取得回路21は、このような輝度分布6を、例えば、画像表示する際の1フレーム分のデータや、1フィールド分のデータである画像フレームのデータ(1画面を構成する画像データ)ごとに取得する。また、このような輝度分布6に基づいて画像フレームごとに輝度分布の輝度重心(例えば、図2中の輝度重心G1)を求めると共に、得られた輝度重心G1を中心として低輝度側および高輝度側にそれぞれ所定の幅(図2の例では、それぞれ3階調分の幅)を設定した範囲を、各画像フレームとの中間輝度領域として決定するようになっている。ここで、輝度重心Gは、例えば以下の式(1)のようにして求められ、画像フレームごとに輝度分布が得られることから、この輝度重心Gも画像フレームごとに求められるようになっている。なお、このようにして得られた輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータは、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23へ出力される。
Figure 2007336531
黒側中間輝度分布取得回路22は、輝度分布取得回路21で取得された輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、例えば図3(A)に示したように、画像フレームごとに決定された中間輝度領域6Mのうち、輝度重心Gよりも低輝度の領域(黒側中間輝度領域6BM)の輝度分布である黒側中間輝度分布61を、画像フレームごとに取得するものである。また、白側中間輝度分布取得回路23も同様に、輝度分布取得回路21で取得された輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、例えば図3(B)に示したように、画像フレームごとに決定された中間輝度領域6Mのうち、輝度重心Gよりも高輝度の領域(白側中間輝度領域6WM)の輝度分布である白側中間輝度分布62を、画像フレームごとに取得するものである。
図1の説明に戻り、特性線決定部24は、黒側中間輝度分布取得回路22で得られた黒側中間輝度分布61および白側中間輝度分布取得回路23で得られた白側中間輝度分布62に基づいて、例えば図4(A)に示したように、入力輝度信号Yin=出力輝度信号Youtを表す基準入出力特性線L0に適応的変更が加えられた、入出力特性線(γ曲線)Lout1を決定するものである。このγ曲線Lout1は、具体的には、輝度重心G1およびその輝度重心G1での基準入出力特性線L0上の値によって定まる重心点P1と基準入出力特性線L0上の最低輝度点P3とを通る低輝度領域入出力特性曲線LB1と、重心点P1と基準入出力特性線L0上の最高輝度点P4とを通る高輝度領域入出力特性曲線LW1とから構成されている。また、これら低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1は、それぞれ、基準入出力特性線L0よりも下または上に位置すると共に、いずれも変曲点を有しない曲線(例えば、2次曲線)で表され、γ曲線Lout1全体としてS字カーブを示すようになっている。
なお、上記したように輝度重心は画像フレームごとに求められることから、例えば図4(B)に示したように、重心点、低輝度領域入出力特性曲線、高輝度領域入出力特性曲線およびγ曲線もそれぞれ画像フレームごとに得られ、画像フレームによって異なる場合が有り得る(例えば、図中の輝度重心G2、重心点P2、低輝度領域入出力特性曲線LB2、高輝度領域入出力特性曲線LW2およびγ曲線Lout2)。
また、特性線決定部24は、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1におけるゲインの値、すなわち基準入出力特性線L0からの適応的変化量を、それぞれ、黒側中間輝度分布61での分布総量および白側中間輝度分布62での分布総量に基づいて、適切なものに決定するようになっている。
ここで、図5(A)は、黒側中間輝度領域6BMでの分布総量と、低輝度領域入出力特性曲線LB1でのゲイン(黒側ゲインBg)との関係を表したものであり、図5(B)は、白側中間輝度領域6WMでの分布総量と、高輝度領域入出力特性曲線LW1でのゲイン(白側ゲインWg)との関係を表したものである。
これら図5(A),図5(B)では、それぞれ、黒側分布閾値Bt0〜Bt3および白側分布閾値Wt0〜Wt3によって、横軸の分布総量の値に応じた5つの領域B0〜B4および領域W0〜W4が存在している。
具体的には、図5(A)において、分布総量が黒側分布閾値Bt0以下である領域B0では、黒側ゲインBgの値が「0」となり、分布総量が黒側分布閾値Bt0よりも大きいと共に黒側分布閾値Bt1以下である領域B1では、分布総量が大きくなるのに応じて黒側ゲインBgの値も増加(この場合、線形に増加)している。また、分布総量が黒側分布閾値Bt1よりも大きいと共に黒側分布閾値Bt2以下である領域B2では、黒側ゲインBgが黒側ゲイン閾値Bg2に制限されて一定値となり、さらに分布総量が黒側分布閾値Bt2よりも大きい領域B3,B4では、黒側ゲインBgがこの黒側ゲイン閾値Bg2未満に制限されている。すなわち、分布総量が黒側分布閾値Bt2よりも大きいと共に黒側分布閾値Bt3以下である領域B3では、分布総量が大きくなるのに応じて黒側ゲインBgの値が減少(この場合、線形に減少)し、分布総量が黒側分布閾値Bt3よりも大きい領域B4では、黒側ゲインBgが黒側ゲイン閾値Bg2よりも値の小さい黒側ゲイン閾値Bg1に制限され、一定値となっている。
一方、図5(B)においても同様に、分布総量が白側分布閾値Wt0以下である領域W0では、白側ゲインWgの値が「0」となり、分布総量が白側分布閾値Wt0よりも大きいと共に白側分布閾値Wt1以下である領域W1では、分布総量が大きくなるのに応じて白側ゲインWgの値も増加(この場合、線形に増加)している。また、分布総量が白側分布閾値Wt1よりも大きいと共に白側分布閾値Wt2以下である領域W2では、白側ゲインWgが白側ゲイン閾値Wg2に制限されて一定値となり、さらに分布総量が白側分布閾値Wt2よりも大きい領域W3,W4では、白側ゲインWgがこの白側ゲイン閾値Wg2未満に制限されている。すなわち、分布総量が白側分布閾値Wt2よりも大きいと共に白側分布閾値Wt3以下である領域W3では、分布総量が大きくなるのに応じて白側ゲインWgの値が減少(この場合、線形に減少)し、分布総量が白側分布閾値Wt3よりも大きい領域W4では、白側ゲインWgが白側ゲイン閾値Wg2よりも値の小さい白側ゲイン閾値Wg1に制限され、一定値となっている。
このようにして、黒側中間輝度領域6BMおよび白側中間輝度領域6WMでの分布総量に応じて、黒側分布閾値Bt1および白側分布閾値Wt1までは分布総量に応じて黒側ゲインBgおよび白側ゲインWgも増加する一方、分布総量がこれら黒側分布閾値Bt1および白側分布閾値Wt1よりも大きい場合には黒側ゲインBgおよび白側ゲインWgの値が制限されることで、詳細は後述するが、中間輝度領域6Mでのゲインが過剰とならないように調整されるようになっている。
図1の説明に戻り、遅延回路15は、スイッチ14から出力される色差信号Uin,Vinに対して遅延をかけ、入出力特性線生成部2から出力されるγ曲線Loutとの間で同期をとって、画像処理部3へ出力するものである。
画像処理部3は、入出力特性線生成部2によって適応的に生成されたγ曲線Loutを利用して、スイッチ14から出力されて遅延回路15を介したYUV信号(Yin,Uin,Vin)に対して所定の画像処理を施すものであり、本実施の形態の画像表示装置では、このYUV信号(Yin,Uin,Vin)に対してコントラスト改善処理を施すγ補正実行回路31により構成されている。
このγ補正実行回路31は、入出力特性線生成部2によって適応的に生成されたγ曲線Loutを利用して、YUV信号(Yin,Uin,Vin)に対してコントラスト改善処理を施すものである。具体的には、例えば図4(A),図4(B)に示したように画像フレームごとに決定されたγ曲線Lout1,Lout2によって、各輝度レベルごとのゲインで表される度合いで、入力輝度信号Yinの明暗調整を行う。なお、このようにして画像処理(コントラスト調整)後のYUV信号(Yout,Uout,Vout)は、マトリクス回路41へ出力される。
マトリクス回路41は、画像処理部3によって画像処理後のYUV信号(Yout,Uout,Vout)をRGB信号に再生すると共に、再生されたRGB信号(Rout,Gout,Bout)をドライバ42へ出力するものである。
ドライバ42は、マトリクス回路41から出力されるRGB信号(Rout,Gout,Bout)に基づいてディスプレイ5に対する駆動信号を生成し、この駆動信号をディスプレイ5へ出力するものである。
ディスプレイ5は、ドライバ42から出力される駆動信号に応じて、画像処理部3によって画像処理後のYUV信号(Yout,Uout,Vout)に基づく画像表示を行うものである。このディスプレイ5は、どのような種類のディスプレイデバイスであってもよく、例えばCRT(Cathode-Ray Tube)51や、LCD(Liquid Crystal Display)52、図示しないPDP(Plasma Display Panel)等が用いられる。
ここで、入出力特性線生成部2および画像処理部3が、本発明における「画像補正回路」の一具体例に対応し、輝度分布取得回路21、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23が、本発明における「輝度分布取得手段」の一具体例に対応する。また、特性線決定部24が本発明における「決定手段」の一具体例に対応し、γ補正実行回路31が本発明における「補正実行手段」の一具体例に対応する。また、黒側分布閾値Bt1,Bt2が、それぞれ本発明における「第1の黒側分布閾値」および「第2の黒側分布閾値」の一具体例に対応し、黒側ゲイン閾値Bg2が本発明における「黒側ゲイン閾値」の一具体例に対応する。また、白側分布閾値Wt1,Wt2が、それぞれ本発明における「第1の白側分布閾値」および「第2の白側分布閾値」の一具体例に対応し、白側ゲイン閾値Wg2が本発明における「白側ゲイン閾値」の一具体例に対応する。
次に、図1〜図5を参照して、本実施の形態の画像表示装置の動作について説明する。
まず、この画像表示装置へ入力される画像信号が、YUV信号に復調される。具体的には、TVからのテレビ信号は、チューナ11で復調されてコンポジット信号となり、VCRやDVD1からは、コンポジット信号が直接、画像表示装置へ入力される。そしてこれらコンポジット信号は、Y/C分離回路12において、輝度信号Y1と色信号C1とに分離され、クロマデコーダ13において、YUV信号(Y1,U1,V1)にデコードされる。一方、DVD2からは、YUV信号(Y2,U2,V2)が直接、画像表示装置へ入力される。
次いで、スイッチ14において、これらYUV信号(Y1,U1,V1)とYUV信号(Y2,U2,V2)とのうち、一方のYUV信号が選択され、YUV信号(Yin,Uin,Vin)として出力される。そして、このYUV信号(Yin,Uin,Vin)のうち、輝度信号Yinは、入出力特性線生成部2および画像処理部3内のγ補正実行回路31へ出力される一方、色差信号Uin,Vinは、それぞれ遅延回路15へ出力される。
ここで、入出力特性線生成部2では、入力される輝度信号Yinに基づいて、以下のようなγ曲線Loutの生成動作がなされる。
具体的には、まず輝度分布取得回路21では、スイッチ14から出力されるYUV信号(Yin,Uin,Vin)のうちの輝度信号Yinに基づいて、例えば図2に示したような、ヒストグラム分布からなる輝度分布が画像フレームごとに取得される。また、取得したこの輝度分布に基づいて、画像フレームごとに輝度重心G1が求められ、この輝度重心を中心として低輝度側および高輝度側にそれぞれ所定の幅を設定することで、画像フレームごとに中間輝度領域が決定される。
次いで、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23では、輝度分布取得回路21で取得された輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、それぞれ、黒側中間輝度分布61および白側中間輝度分布62が、画像フレームごとに取得される。
次いで、特性線決定部24では、黒側中間輝度分布取得回路22で得られた黒側中間輝度分布61および白側中間輝度分布取得回路23で得られた白側中間輝度分布62に基づいて、基準入出力特性線L0に適応的変更が加えられ、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1からなる入出力特性線(γ曲線)Lout1が決定される。また、この際これら低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1におけるゲイン(黒側ゲインBgおよび白側ゲインWg)の値、すなわち基準入出力特性線L0からの適応的変化量が、それぞれ、黒側中間輝度分布61での分布総量および白側中間輝度分布62での分布総量に基づいて、例えば図5(A),図5(B)に示したように適切なものに決定される。具体的には、黒側中間輝度領域6BMおよび白側中間輝度領域6WMでの分布総量に応じて、黒側分布閾値Bt1および白側分布閾値Wt1までは分布総量に応じて黒側ゲインBgおよび白側ゲインWgも増加する一方、分布総量がこれら黒側分布閾値Bt1および白側分布閾値Wt1よりも大きい場合には、黒側ゲインBgおよび白側ゲインWgの値が、中間輝度領域6Mでのゲインが過剰とならないように制限される。なお、このようにして画像フレームごとに適応的に生成されたγ曲線Loutは、画像処理部3内のγ補正実行回路31へ出力される。
一方、遅延回路15では、色差信号Uin,Vinに対して遅延がかけられ、その結果、入出力特性線生成部2から出力されるγ曲線Loutとの間で、同期がとられる。
次いで、画像処理部3のγ補正実行回路31では、スイッチ14から出力された輝度信号Yinと、スイッチ14から出力されて遅延回路15を介した色差信号Uin,Vinとに基づいて、入出力特性線生成部2から供給されるγ曲線Loutを利用することにより、これらYUV信号(Yin,Uin,Vin)に対して、コントラスト改善処理が施される。具体的には、低輝度領域入出力特性曲線LB1における黒側ゲインBgおよび高輝度領域入出力特性曲線LW1における白側ゲインWgで表される度合いで、輝度レベルごとに明暗調整がなされる。
ここで、このγ曲線Loutは、局所的な領域の輝度分布である黒側中間輝度分布61および白側中間輝度分布62に基づいて、これら黒側中間輝度分布61および白側中間輝度分布62よりも広範な領域(輝度重心G1よりも低輝度側および高輝度側の領域)の入出力特性線である低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1から構成されているため、これら低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1、ひいてはγ曲線Loutが、入力画像(YUV信号(Yin,Uin,Vin))の内容によらず、単純な曲線になりやすくなる。具体的には、本実施の形態では、これら低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1が、変曲点をもたない2次曲線から構成されているため、入力画像の内容、すなわち画像フレームごとの入力輝度信号Yinのヒストグラム分布によらず、γ曲線Loutが常に単純なS字カーブとなる。
したがって、例えば輝度分布に多数のピークが存在するような入力画像の場合、従来の画像表示装置では、前述の図15(A),(B)に示したガンマ曲線L105A,L105Bのようにガンマ曲線が複雑なものとなり、コントラスト改善の効果が小さくなってしまったり(図15(A))、負の傾きを持つ曲線となって表示映像が不自然なものとなってしまう(図15(B))のに対し、本実施の形態の画像表示装置では、γ曲線Loutが常に単純なS字カーブになりやすいことから、従来と比べ、表示映像のコントラストがより効果的に改善されると共に、不自然な映像となるのが回避される。
また、図5(A),図5(B)のように、黒側中間輝度領域6BMまたは白側中間輝度領域6WMでの分布総量に応じて、黒側分布閾値Bt1および白側分布閾値Wt1までは分布総量に応じて黒側ゲインBgおよび白側ゲインWgも増加することから、分布総量に応じてコントラストが大きくなるよう、適切にゲインが設定される。また、分布総量がこれら黒側分布閾値Bt1または白側分布閾値Wt1よりも大きい場合には、黒側ゲインBgおよび白側ゲインWgの値が、中間輝度領域6Mでのゲインが過剰とならないように制限されるため、例えば人物の肌が拡大して表示されるような映像であっても、肌の凹凸が過剰に強調されることはなく、より自然な映像表示となる。また、分布総量が黒側分布閾値Bt2または白側分布閾値Wt2よりも大きい場合には、黒側ゲインBgおよび白側ゲインWgの値がさらに制限(黒側ゲイン閾値Bg2または白側ゲイン閾値Wg2未満に制限)されるため、分布総量がさらに大きくなっても、中間輝度領域6Mでのゲインは過剰とならないよう、確実に制限される。
次いで、マトリクス回路41では、コントラスト処理後のYUV信号(Yout,Uout,Vout)がRGB信号(Rout,Gout,Bout)に再生され、ドライバ42では、このRGB信号(Rout,Gout,Bout)に基づいて駆動信号が生成され、この駆動信号に基づいて、ディスプレイ5に、画像が表示される。
以上のように、本実施の形態では、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23において、画像フレーム内での輝度信号Yinの輝度分布6における中間輝度領域6Mのうち、黒側中間輝度分布61および白側中間輝度分布62を画像フレームごとにそれぞれ取得すると共に、特性線決定部24において、これら黒側中間輝度分布61および白側中間輝度分布62に基づいて、基準点(輝度重心G1)と最低輝度点P3とを通る低輝度領域入出力特性曲線LB1および輝度重心G1と最高輝度点P4とを通る高輝度領域入出力特性曲線LW1を画像フレームごとにそれぞれ決定し、γ補正実行回路31において、これら決定された低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1に基づいて、それぞれ輝度重心G1よりも低輝度側および高輝度側の領域のYUV信号(Yin,Uin,Vin)に対する画像補正を実行するようにしたので、入力画像データの内容によらず、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1をそれぞれ単純な曲線にしやすくすることができる。よって、例えば画像フレーム内の輝度ヒストグラム分布が多数の分布ピークを有するような場合であっても、不自然な表示映像とすることなく、効果的なコントラスト改善を実現することが可能となる。
また、画像フレームごとに輝度重心および中間輝度領域を決定するようにしたので、輝度分布6の分布態様、すなわち表示映像の内容によらず、最適なコントラスト改善を行うことが可能となる。
また、黒側中間輝度領域6BMまたは白側中間輝度領域6WMでの分布総量が黒側分布閾値Bt1または白側分布閾値Wt1よりも大きい場合には、黒側ゲインBgおよび白側ゲインWgの値を制限するようにしたので、中間輝度領域6Mでのゲインが過剰となるのを回避することができる。よって、例えば人物の肌を拡大して表示するような映像であっても、肌の凹凸が過剰に強調されることはなく、より自然な映像表示とすることが可能となる。
また、黒側中間輝度領域6BMまたは白側中間輝度領域6WMでの分布総量が黒側分布閾値Bt2または白側分布閾値Wt2よりも大きい場合には、黒側ゲインBgおよび白側ゲインWgの値をさらに制限(黒側ゲイン閾値Bg2または白側ゲイン閾値Wg2未満に制限)するようにしたので、分布総量がさらに大きくなっても、中間輝度領域6Mでのゲインは過剰とならないよう、確実に制限することができる。
さらに、黒側中間輝度分布取得回路22と白側中間輝度分布取得回路23とを別々に設けるようにしたので、低輝度領域でのコントラスト改善動作と高輝度領域でのコントラスト改善動作とを、それぞれ独立して行うことが可能となる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。本実施の形態の画像表示装置は、第1の実施の形態の画像表示装置における入出力特性線生成部2において、黒側輝度分布取得回路25および白側輝度分布取得回路26をさらに設けるようにしたものである。
図6は、本実施の形態に係る入出力特性線生成部2Aの構成を表すものである。本実施の形態の入出力特性線生成部2Aは、輝度分布取得回路21と、黒側中間輝度分布取得回路22と、白側中間輝度分布取得回路23と、特性線決定部24と、黒側輝度分布取得回路25と、白側輝度分布取得回路26とから構成されている。なお、第1の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
黒側輝度分布取得回路25は、輝度分布取得回路21で取得された輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、例えば図7(A)に示したように、画像フレームごとに決定された中間輝度領域6Mよりも低輝度側の領域(黒側輝度領域6B)の輝度分布である黒側輝度分布63を、画像フレームごとに取得するものである。また、白側輝度分布取得回路26も同様に、輝度分布取得回路21で取得された輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、例えば図7(B)に示したように、画像フレームごとに決定された中間輝度領域6Mよりも高輝度側の領域(白側輝度領域6W)の輝度分布である白側輝度分布64を、画像フレームごとに取得するものである。
ここで、輝度分布取得回路21、黒側中間輝度分布取得回路22、白側中間輝度分布取得回路23、黒側輝度分布取得回路25および白側輝度分布取得回路26が、本発明における「輝度分布取得手段」の一具体例に対応する。
本実施の形態の入出力特性線生成部2Aでは、入力される輝度信号Yinに基づいて、以下のようなγ曲線Loutの生成動作がなされる。
まず、輝度分布取得回路21では、第1の実施の形態と同様にして、輝度信号Yinに基づいてヒストグラム分布からなる輝度分布6が画像フレームごとに取得されると共に、取得したこの輝度分布に基づいて、輝度重心G1および中間輝度領域6Mが画像フレームごとに決定される。次いで、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23でも、第1の実施の形態と同様にして、輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、黒側中間輝度分布61および白側中間輝度分布62が画像フレームごとに取得される。一方、黒側輝度分布取得回路25および白側輝度分布取得回路26では、輝度分布6、輝度重心Gおよび中間輝度領域6Mのデータに基づいて、黒側輝度分布63および白側輝度分布64が画像フレームごとに取得される。
次いで、特性線決定部24では、第1の実施の形態と同様にして、黒側中間輝度分布取得回路22で得られた黒側中間輝度分布61および白側中間輝度分布取得回路23で得られた白側中間輝度分布62に基づいて、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1が作成される。
ここで、本実施の形態の特性線決定部24では、最終的にγ曲線Loutを決定する際に、これら低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1に加え、黒側輝度分布取得回路25で得られた黒側輝度分布63および白側輝度分布取得回路26で得られた白側輝度分布64をも加味して決定するようになっている。具体的には、例えば図8(A)に示したγ曲線Lout11のように、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1のゲインに対し、黒側輝度分布63に基づいて作成された入出力特性線L10Bおよび白側輝度分布64に基づいて作成された入出力特性線L10Wのゲインを重畳することによって、最終的に低輝度領域入出力特性曲線LB11および高輝度領域入出力特性曲線LW11からなるγ曲線Lout11を決定するようになっている。よって、中間輝度領域6Mでの輝度分布に加え、黒側輝度領域6Bおよび白側輝度領域6Wでの輝度分布も考慮してγ曲線Lout11を決定することにより、γ曲線がよりきめ細やかに調整される。
また、例えば図8(B)に示したように、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1のゲインに対し、入出力特性線L10Bおよび入出力特性線L10Wのゲインを重畳した結果、低輝度領域入出力特性曲線LB11または高輝度領域入出力特性曲線LW11のゲインが過剰となり、黒側輝度領域6Bや白側輝度領域6Wの一部の輝度領域がつぶれてしまい、階調表現ができなくなってしまうような場合には、入出力特性線L10Bおよび入出力特性線L10Wのゲインが小さくなるように補正され、最終的に低輝度領域入出力特性曲線LB11または高輝度領域入出力特性曲線LW11のゲインが過剰とならないようになっている。よって、黒側輝度領域6Bや白側輝度領域6Wの一部がつぶれてしまうのが回避され、階調表現が確実に確保されるようになる。
なお、この他にも例えば図9(A)に示したように、黒側輝度分布63または白側輝度分布64に基づいて作成された入出力特性線が、図中の入出力特性線L20のような形状の場合も、同様に図中のγ曲線Lout21のように決定され、このときのゲインが過剰となる場合も、同様に例えば図9(B)に示した入出力特性線L21のように、γ曲線Lout21のゲインが過剰とならないように補正される。
以上のように、本実施の形態では、最終的にγ曲線Loutを決定する際に、低輝度領域入出力特性曲線LB1および高輝度領域入出力特性曲線LW1に加え、黒側輝度分布取得回路25で得られた黒側輝度分布63および白側輝度分布取得回路26で得られた白側輝度分布64をも加味して決定するようにしたので、黒側輝度領域6Bおよび白側輝度領域6Wでの輝度分布も考慮してγ曲線Lout11を決定することにより、γ曲線をよりきめ細やかに調整することができる。
具体的には、例えば入出力特性線L10Bおよび入出力特性線L10Wのゲインを重畳した結果、低輝度領域入出力特性曲線LB11または高輝度領域入出力特性曲線LW11のゲインが過剰となり、黒側輝度領域6Bや白側輝度領域6Wの一部の階調表現ができなくなってしまうような場合に、入出力特性線L10Bおよび入出力特性線L10Wのゲインが小さくなるように補正するようにしたので、黒側輝度領域6Bや白側輝度領域6Wの一部がつぶれてしまうのを回避し、階調表現を確実に確保することが可能となる。
また、黒側輝度分布取得回路25と白側輝度分布取得回路26とを別々に設けるようにしたので、本実施の形態においても、低輝度領域でのコントラスト改善動作と高輝度領域でのコントラスト改善動作とを、それぞれ独立して行うことが可能となる。
以上、第1および第2の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
例えば、上記実施の形態では、図2に示したような全体の輝度領域での輝度分布6に基づいて輝度重心G1を求め、これに基づいて中間輝度領域6Mを決定する場合に、輝度重心G1を中心として低輝度側である黒側および高輝度側である白側において均等な所定の幅(図2の例では、それぞれ3階調分の幅)に設定された範囲を各画像フレームの中間輝度領域6Mとして決定する場合について説明したが、輝度重心G1の輝度レベル位置に応じて、中間輝度分布を取得する領域となる可変中間輝度領域6Mv、可変黒側中間輝度領域6BMvおよび可変白側中間輝度領域6WMvを、それぞれ以下のように変動させるようにしてもよい。具体的には、例えば図10(A)に示したように、輝度重心が中間輝度付近にある場合(輝度重心G1c)、例えば図10(B)に示したように、可変中間輝度領域6Mvの中での可変黒側中間輝度領域6BMv(下記可変白側中間輝度領域6WMvの領域幅と等しい)および可変白側中間輝度領域6WMv(上記可変黒側中間輝度領域6BMvの領域幅と等しい)を、輝度重心G1cを中心に均等な領域で中間黒側輝度分布および中間白側輝度分布を取得する。これにより、輝度重心G1cの状態における適切な中間輝度領域を得ることができ、基準点P20を通る低輝度領域入出力特性曲線LB0および高輝度領域入出力特性曲線LW0から構成される入出力特性曲線Lout0によって黒や白のゲインが過度に補正されることなく、より効果的なコントラスト改善を行うことが可能となる。一方、例えば図11(A)に示したように、輝度重心が輝度重心G1cよりも低輝度側に位置する場合(輝度重心G1l)、中間輝度領域6Mに基づき、基準点P30を通る低輝度領域入出力特性曲線LB3および高輝度領域入出力特性曲線LW3から構成される入出力特性曲線Lout3による補正では、低輝度領域入出力特性曲線LB3によって図11(A)に示したように黒のゲインを過度に下げることになるため、黒のディテイルが再現できずに黒つぶれを招いてしまうことになる。また、例えば図12(A)に示したように、輝度重心が輝度重心G1cよりも高輝度側に位置する場合(輝度重心G1h)、中間輝度領域6Mに基づき、基準点P50を通る低輝度領域入出力特性曲線LB5および高輝度領域入出力特性曲線LW5から構成される入出力特性曲線Lout5による補正では、高輝度領域入出力特性曲線LW5によって図11(A)に示したように白のゲインを過度に上げることになるため、白のディテイルが再現できずに白つぶれを招いてしまうことになる。そこで、このように輝度重心G1が黒側や白側に偏って位置する場合には、可変中間輝度領域6Mvの領域幅を中間輝度領域6Mと同じ幅の範囲とするものの、例えば図11(B)に示したように、可変中間輝度領域6Mvの中での可変黒側中間輝度領域6BMv(下記可変白側中間輝度領域6WMvの領域幅よりも狭い)および可変白側中間輝度領域6WMv(上記可変黒側中間輝度領域6BMvの領域幅よりも広い)を、輝度重心G1lを中心に不均等な領域で中間黒側輝度分布および中間白側輝度分布を取得したり、例えば図12(B)に示したように、可変中間輝度領域6Mvの中での可変黒側中間輝度領域6BMv(下記可変白側中間輝度領域6WMvの領域幅よりも広い)および可変白側中間輝度領域6WMv(上記可変黒側中間輝度領域6BMvの領域幅よりも狭い)を、輝度重心G1hを中心に不均等な領域で中間黒側輝度分布および中間白側輝度分布を取得したりするようにする。すなわち、輝度重心が偏って位置する側の領域の幅を狭くすると共に、その反対側の領域の幅を広くするようにする。これにより、輝度重心G1lや輝度重心G1hの状態における適切な中間輝度領域を得ることができ、基準点P30を通る低輝度領域入出力特性曲線LB4および高輝度領域入出力特性曲線LW4から構成される入出力特性曲線Lout4(図11(B))や基準点P50を通る低輝度領域入出力特性曲線LB6および高輝度領域入出力特性曲線LW6から構成される入出力特性曲線Lout6(図12(B))によって黒または白のゲインが過度に補正されることなく、より効果的なコントラスト改善を行うことが可能となる。
また、上記実施の形態では、中間輝度領域6Mを決定する際の基準輝度である輝度重心を画像フレームごとに求める場合で説明したが、例えば図13(A)に示したように、基準輝度G10およびこれに基づく中間輝度領域6Mを、予め設定された固定のものとしてもよい。このように構成した場合でも、例えば図13(B)に示したγ曲線Lout10のように、従来と比べてγ曲線を単純化し得るので、従来よりも不自然な表示映像とすることなく、効果的なコントラスト改善を実現することが可能である。
また、上記実施の形態では、図2に示したような全体の輝度領域での輝度分布6に基づいて輝度重心G1を求め、これに基づいて中間輝度領域6Mを決定するようにした場合で説明したが、例えば図14に示したように、所定の初期中間輝度領域6M0での輝度分布に基づいて輝度重心(中間輝度重心G1M)を求め、この中間輝度重心6Mを中心として低輝度側および高輝度側にそれぞれ所定の幅(図14の例では、それぞれ3階調分の幅)を設定した範囲を、各画像フレームとの中間輝度領域6Mとして決定するようにしてもよい。このように構成した場合も、上記実施の形態と同様の効果を得ることが可能である。
また、上記実施の形態では、黒側中間輝度領域6BMまたは白側中間輝度領域6WMでの分布総量と黒側ゲインBgまたは白側ゲインWgとの関係を、図5(A),図5(B)を用いて具体的に説明したが、これに限られるものではない。例えば、領域B2,W2や領域B4,W4において、黒側ゲインBgおよび白側ゲインWgが一定の値ではなく、ゲインが過剰とならない程度に微増していたり、逆に減少するようにしてもよい。また、領域B0,W2から黒側ゲインBgおよび白側ゲインWgが増加するようにしてもよく、また、領域B3,W3を設けずに領域B2,W2から直接領域B4,W4のようにゲインが減少するようにしてもよい。
また、上記実施の形態では、入出力特性線生成部2において、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23を、入出力特性線生成部2Aにおいて、これらに加え黒側輝度分布取得回路25および白側輝度分布取得回路26を設け、低輝度側のコントラスト改善処理と高輝度側でのコントラスト改善処理とを同時に行うようにした場合で説明したが、黒側中間輝度分布取得回路22および白側中間輝度分布取得回路23の一方のみを設けたり、これに加えて黒側輝度分布取得回路25および白側輝度分布取得回路26の一方のみを設けるようにし、低輝度側および高輝度側の一方のみでコントラスト改善処理を行うようにしてもよい。このように構成した場合でも、従来よりは不自然な表示映像とすることなく、効果的なコントラスト改善を実現することが可能である。
さらに、上記実施の形態では、画像処理部3がγ補正実行回路31を含むようにした場合について説明したが、画像処理部3の構成はこれには限られず、例えば他の画像処理用の回路例を含むようにしてもよく、また、このような回路を複数設けるようにしてもよい。
本発明の第1の実施の形態に係る画像表示装置の全体構成を表す回路ブロック図である。 輝度分布と輝度重心および中間輝度領域との関係を説明するための特性図である。 黒側中間輝度分布および白側中間輝度分布を説明するための特性図である。 第1の実施の形態に係る入出力特性線の具体例を表す特性図である。 中間輝度領域での分布総量とゲインとの関係の具体例を説明するための特性図である。 本発明の第2の実施の形態に係る入出力特性線生成部の構成を表す回路ブロック図である。 黒側輝度分布および白側輝度分布を説明するための特性図である。 第2の実施の形態に係る入出力特性線の具体例を表す特性図である。 第2の実施の形態に係る入出力特性線の他の具体例を表す特性図である。 本発明の変形例に係る輝度分布と基準輝度および中間輝度領域との関係を説明するための特性図である。 本発明の変形例に係る輝度分布と基準輝度および中間輝度領域との関係を説明するための特性図である。 本発明の変形例に係る輝度分布と基準輝度および中間輝度領域との関係を説明するための特性図である。 本発明の変形例に係る輝度分布と基準輝度および中間輝度領域との関係を説明するための特性図である。 本発明の変形例に係る輝度分布と初期基準輝度、初期中間輝度領域および中間輝度重心との関係を説明するための特性図である。 従来の画像表示装置における輝度分布とガンマ曲線の変化態様との関係の一例を説明するための特性図である。 従来の画像表示装置における輝度分布とガンマ曲線の変化態様との関係の他の例を説明するための特性図である。 従来の画像表示装置における輝度分布とガンマ曲線の変化態様との関係の他の例を説明するための特性図である。 従来の画像表示装置におけるガンマ曲線の変化態様の他の例を表す特性図である。
符号の説明
11…チューナ、12…Y/C分離回路、13…クロマデコーダ、14…スイッチ、15…遅延回路、2,2A…入出力特性線生成部、21…輝度分布取得回路、22…黒側中間輝度分布取得回路、23…白側中間輝度分布取得回路、24…特性線決定部、25…黒側輝度分布取得回路、26…白側輝度分布取得回路、3…画像処理部、31…γ補正実行回路、41…マトリクス回路、42…ドライバ、5…ディスプレイ、51…CRT、52…LCD、6…輝度分布、61…黒側中間輝度分布、62…白側中間輝度分布、63…黒側輝度分布、64…白側輝度分布、6M…中間輝度領域、6Mv…可変中間輝度領域、6M0…初期中間輝度領域、6BM…黒側中間輝度領域、6BMv…可変黒側中間輝度領域、6WM…白側中間輝度領域、6WMv…可変白側中間輝度領域、6B…黒側輝度領域、6W…白側輝度領域、Y1,Y2,Yin,Yout…輝度信号、C1…色信号、U1,U2,Uin,Uout,V1,V2,Vin,Vout…色差信号、Rout,Gout,Bout…RGB信号、G0…初期基準輝度、G1,G1c,G1l,G1h,G2…輝度重心、G1M…中間輝度重心、G10…基準輝度、P1,P2…重心点、P10,P20,P30,P50…基準点、P3…最低輝度点、P4…最高輝度点、Bt0〜Bt3…黒側分布閾値、Wt0〜Wt3…白側分布閾値、Bg…黒側ゲイン、Bg1,Bg2…黒側ゲイン閾値、Wg…白側ゲイン、Wg1,Wg2…白側ゲイン閾値、L0…基準入出力特性線、Lout,Lout0〜Lout6,Lout10,Lout11,Lout21…入出力特性線(γ曲線)、LB0〜LB6,LB11…低輝度領域入出力特性線、LW0〜LW6,LW11…高輝度領域入出力特性線。

Claims (17)

  1. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する装置であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得する輝度分布取得手段と、
    得られた黒側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定する決定手段と、
    決定された前記低輝度領域入出力特性曲線に基づいて、前記基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と
    を備えたことを特徴とする画像補正回路。
  2. 前記低輝度領域入出力特性曲線は、前記基準入出力特性線よりも下側に位置すると共に、変曲点を有しない曲線である
    ことを特徴とする請求項1に記載の画像補正回路。
  3. 前記輝度分布取得手段は、さらに、前記中間輝度領域の最低輝度よりも低輝度側の領域の輝度分布である黒側輝度分布を取得し、
    前記決定手段は、得られた前記黒側輝度分布をも加味して、前記低輝度領域入出力特性曲線を決定する
    ことを特徴とする請求項1に記載の画像補正回路。
  4. 前記決定手段は、さらに、前記黒側中間輝度分布に加えて前記黒側輝度分布を加味することで低輝度領域入出力特性曲線におけるゲインが過剰とならないように、低輝度領域入出力特性曲線を決定する
    ことを特徴とする請求項3に記載の画像補正回路。
  5. 前記決定手段は、前記黒側中間輝度分布の分布量が所定の第1の黒側分布閾値以下の場合、その分布量が大きくなるのに応じて前記低輝度領域入出力特性曲線におけるゲインを増加させる一方、前記黒側中間輝度分布の分布量が前記第1の黒側分布閾値よりも大きいと共に所定の第2の黒側分布閾値以下の場合、前記低輝度領域入出力特性曲線におけるゲインを所定の黒側ゲイン閾値に制限する
    ことを特徴とする請求項1に記載の画像補正回路。
  6. 前記決定手段は、前記黒側中間輝度分布の分布量が前記第2の黒側分布閾値よりも大きい場合、前記低輝度領域入出力特性曲線におけるゲインを前記黒側ゲイン閾値未満に制限する
    ことを特徴とする請求項5に記載の画像補正回路。
  7. 前記輝度分布取得手段は、さらに、前記中間輝度領域の最高輝度と前記基準輝度との間の領域の輝度分布である白側中間輝度分布を取得し、
    前記決定手段は、さらに、得られた白側中間輝度分布に基づいて、前記基準点と前記基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定し、
    前記補正実行手段は、決定された低輝度領域入出力特性曲線および高輝度領域入出力特性曲線に基づいて、それぞれ、前記基準輝度よりも低輝度側および高輝度側の領域の入力画像データに対する画像補正を実行する
    ことを特徴とする請求項1に記載の画像補正回路。
  8. 前記高輝度領域入出力特性曲線は、前記基準入出力特性線よりも上側に位置すると共に、変曲点を有しない曲線である
    ことを特徴とする請求項7に記載の画像補正回路。
  9. 前記輝度分布取得手段は、さらに、前記中間輝度領域よりも高輝度側の領域の輝度分布である白側輝度分布を取得し、
    前記決定手段は、得られた前記白側輝度分布をも加味して、前記高輝度領域入出力特性曲線を決定する
    ことを特徴とする請求項7に記載の画像補正回路。
  10. 前記決定手段は、さらに、前記白側輝度分布を加味することで高輝度領域入出力特性曲線におけるゲインが過剰とならないように、高輝度領域入出力特性曲線を決定する
    ことを特徴とする請求項9に記載の画像補正回路。
  11. 前記決定手段は、前記白側中間輝度分布の分布量が所定の第1の白側分布閾値以下の場合、その分布量が大きくなるのに応じて前記高輝度領域入出力特性曲線におけるゲインを増加させる一方、前記白側中間輝度分布の分布量が前記第1の白側分布閾値よりも大きいと共に所定の第2の白側分布閾値以下の場合、前記高輝度領域入出力特性曲線におけるゲインを所定の白側ゲイン閾値に制限する
    ことを特徴とする請求項7に記載の画像補正回路。
  12. 前記決定手段は、前記白側中間輝度分布の分布量が前記第2の白側分布閾値よりも大きい場合、前記高輝度領域入出力特性曲線におけるゲインを前記白側ゲイン閾値未満に制限する
    ことを特徴とする請求項11に記載の画像補正回路。
  13. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する装置であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得する輝度分布取得手段と、
    得られた白側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定する決定手段と、
    決定された前記高輝度領域入出力特性曲線に基づいて、前記基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と
    を備えたことを特徴とする画像補正回路。
  14. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する方法であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得し、
    得られた黒側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定し、
    決定された前記低輝度領域入出力特性曲線に基づいて、前記基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行する
    ことを特徴とする画像補正方法。
  15. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する方法であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得し、
    得られた白側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定し、
    決定された前記高輝度領域入出力特性曲線に基づいて、前記基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行する
    ことを特徴とする画像補正方法。
  16. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する表示装置であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最低輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である黒側中間輝度分布を取得する輝度分布取得手段と、
    得られた黒側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最低輝度点とを通る低輝度領域入出力特性曲線を決定する決定手段と、
    決定された前記低輝度領域入出力特性曲線に基づいて、前記基準輝度よりも低輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と、
    画像補正された入力画像データに基づいて画像表示を行う表示手段と
    を備えたことを特徴とする画像表示装置。
  17. 予め定められた基準入出力特性線に適応的変更を加えて得られる画像フレームごとの入出力特性線に基づいて入力画像データを補正する表示装置であって、
    画像フレーム内での入力画像データの輝度分布における所定の中間輝度領域の最高輝度と前記中間輝度領域の中央に位置する基準輝度との間の領域の輝度分布である白側中間輝度分布を取得する輝度分布取得手段と、
    得られた白側中間輝度分布に基づいて、前記基準輝度に対応して定まる前記基準入出力特性線上の基準点と前記基準入出力特性線上の最高輝度点とを通る高輝度領域入出力特性曲線を決定する決定手段と、
    決定された前記高輝度領域入出力特性曲線に基づいて、前記基準輝度よりも高輝度側の領域の入力画像データに対する画像補正を実行する補正実行手段と、
    画像補正された入力画像データに基づいて画像表示を行う表示手段と
    を備えたことを特徴とする画像表示装置。
JP2007131588A 2006-05-17 2007-05-17 画像補正回路、画像補正方法および画像表示装置 Expired - Fee Related JP4930781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007131588A JP4930781B2 (ja) 2006-05-17 2007-05-17 画像補正回路、画像補正方法および画像表示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006138164 2006-05-17
JP2006138164 2006-05-17
JP2007131588A JP4930781B2 (ja) 2006-05-17 2007-05-17 画像補正回路、画像補正方法および画像表示装置

Publications (2)

Publication Number Publication Date
JP2007336531A true JP2007336531A (ja) 2007-12-27
JP4930781B2 JP4930781B2 (ja) 2012-05-16

Family

ID=38935507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007131588A Expired - Fee Related JP4930781B2 (ja) 2006-05-17 2007-05-17 画像補正回路、画像補正方法および画像表示装置

Country Status (1)

Country Link
JP (1) JP4930781B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225349A (ja) * 2008-03-18 2009-10-01 Sony Corp 映像信号処理装置、表示装置、及び映像信号処理方法
WO2011000392A1 (en) * 2009-07-02 2011-01-06 Hi-Key Limited Method and camera system for improving the contrast of a camera image
WO2011013745A1 (ja) 2009-07-31 2011-02-03 シャープ株式会社 階調調整装置、画像表示装置、テレビ受像機、プログラム、及び、プログラムが記録されたコンピュータ読み取り可能な記憶媒体
US8285040B1 (en) * 2008-12-09 2012-10-09 Csr Technology Inc. Method and apparatus for adaptive contrast enhancement of image data
JP2014512740A (ja) * 2011-03-15 2014-05-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9111330B2 (en) 2011-05-27 2015-08-18 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583596A (ja) * 1991-09-20 1993-04-02 Dainippon Printing Co Ltd 階調補正装置
JPH0799619A (ja) * 1993-05-24 1995-04-11 Sony Corp 画像処理装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JPH0856316A (ja) * 1994-06-09 1996-02-27 Sony Corp 画像処理装置
JP2006098614A (ja) * 2004-09-29 2006-04-13 Pioneer Electronic Corp コントラスト補正方法、コントラスト補正回路及び表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583596A (ja) * 1991-09-20 1993-04-02 Dainippon Printing Co Ltd 階調補正装置
JPH0799619A (ja) * 1993-05-24 1995-04-11 Sony Corp 画像処理装置
JPH0856316A (ja) * 1994-06-09 1996-02-27 Sony Corp 画像処理装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JP2006098614A (ja) * 2004-09-29 2006-04-13 Pioneer Electronic Corp コントラスト補正方法、コントラスト補正回路及び表示装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225349A (ja) * 2008-03-18 2009-10-01 Sony Corp 映像信号処理装置、表示装置、及び映像信号処理方法
US8285040B1 (en) * 2008-12-09 2012-10-09 Csr Technology Inc. Method and apparatus for adaptive contrast enhancement of image data
WO2011000392A1 (en) * 2009-07-02 2011-01-06 Hi-Key Limited Method and camera system for improving the contrast of a camera image
WO2011013745A1 (ja) 2009-07-31 2011-02-03 シャープ株式会社 階調調整装置、画像表示装置、テレビ受像機、プログラム、及び、プログラムが記録されたコンピュータ読み取り可能な記憶媒体
JP2015233323A (ja) * 2011-03-15 2015-12-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
JP2015080216A (ja) * 2011-03-15 2015-04-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
JP2014512740A (ja) * 2011-03-15 2014-05-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
JP2015233286A (ja) * 2011-03-15 2015-12-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像データ変換のための方法及び装置
US9224363B2 (en) 2011-03-15 2015-12-29 Dolby Laboratories Licensing Corporation Method and apparatus for image data transformation
US9916809B2 (en) 2011-03-15 2018-03-13 Dolby Laboratories Licensing Corporation Method and apparatus for image data transformation
US10255879B2 (en) 2011-03-15 2019-04-09 Dolby Laboratories Licensing Corporation Method and apparatus for image data transformation
US9111330B2 (en) 2011-05-27 2015-08-18 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US11218709B2 (en) 2011-05-27 2022-01-04 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US11736703B2 (en) 2011-05-27 2023-08-22 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US11917171B2 (en) 2011-05-27 2024-02-27 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9532022B2 (en) 2011-12-19 2016-12-27 Dolby Laboratories Licensing Corporation Color grading apparatus and methods

Also Published As

Publication number Publication date
JP4930781B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
EP1858247B1 (en) Image correction circuit, image correction method and image display
TWI387318B (zh) 影像校正電路、影像校正方法以及影像顯示器
KR101263420B1 (ko) 화상처리장치, 화상표시장치 및 화상처리방법
JP4950031B2 (ja) 画像表示装置及び画像表示方法
US7719619B2 (en) Image processing apparatus
JP4967454B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP4930781B2 (ja) 画像補正回路、画像補正方法および画像表示装置
US8102473B2 (en) Image correction circuit, image correction method and image display
US20080297531A1 (en) Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program
JP3709981B2 (ja) 階調補正装置及び方法
WO2017159182A1 (ja) 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体
JP2002132225A (ja) 映像信号補正装置およびそれを用いたマルチメディア計算機システム
JP2004266757A (ja) 画像処理装置および方法
JP2003348377A (ja) 画像表示装置および画像処理装置、並びに画像処理方法
JP5012195B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP2008193645A (ja) 明るさ補正装置、その方法、および、表示装置
JP2007060169A (ja) 画像処理装置、画像表示装置および画像処理方法
JP4470587B2 (ja) 画像表示装置
JP2009278227A (ja) 画像補正装置及び方法
JP2004080269A (ja) 映像信号処理装置
KR20070023530A (ko) 화상 처리 장치, 화상 표시 장치 및 화상 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees