JP5112528B2 - 映像表示装置及び映像処理方法 - Google Patents
映像表示装置及び映像処理方法 Download PDFInfo
- Publication number
- JP5112528B2 JP5112528B2 JP2011044373A JP2011044373A JP5112528B2 JP 5112528 B2 JP5112528 B2 JP 5112528B2 JP 2011044373 A JP2011044373 A JP 2011044373A JP 2011044373 A JP2011044373 A JP 2011044373A JP 5112528 B2 JP5112528 B2 JP 5112528B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- video
- format
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000006243 chemical reaction Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 17
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/642—Multi-standard receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Television Systems (AREA)
Description
本発明の実施の形態は、映像表示装置及び映像信号の映像処理方法に関する。
ゲーム機器を接続することにより、ユーザーがゲームを楽しむことのできるテレビジョン受信装置（以下「テレビ」という。）が普及している。ユーザーは、テレビの外部入力端子にゲーム機器を接続して動作させることにより、ゲーム機器で生成された映像及び音声がテレビのディスプレイ及びスピーカから出力される。即ち、テレビをゲーム機器の外部出力装置として用いることにより、ユーザーは大きな画面でゲームを楽しむことができる。
テレビは種々の映像入力に対応するものがある。例えば、テレビに、Ｄ端子（Ｄ１〜Ｄ５端子）、コンポーネント端子、Ｓ端子、ＲＣＡ端子、コンポジット映像信号端子及びＨＤＭＩ（High-Definition Multimedia Interface）端子等を備え、これらの端子からの映像入力を受け付ける。また、テレビは、各端子に入力される種々の映像信号フォーマットに対応しており、例えば、４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉ、１０８０ｐ等の映像信号を処理することができる。
近年、テレビには、種々の超解像処理により、入力された映像の画質改善を可能にする技術が搭載されることがある。例えば、再構成型超解像処理機能を有するテレビでは、オリジナル映像が本来有している鮮鋭な画像を復元することができる。
また、比較的低画質の映像信号に対して、斜め方向の解像度を向上させることが可能な自己合同性型超解像処理及び色超解像処理の処理機能を搭載したテレビも開発されている。
しかしながら、ゲーム等の出力が入力されるＤ端子を介して入力された４：４：４フォーマットの映像信号については、他の４：２：２フォーマットの映像信号と比較して、高画質化のための処理を加えることが困難であった。このため、Ｄ端子に入力された映像信号については、単純スケーリング処理しかされず、斜め線がギザギザになりやすいという画質劣化の問題があった。
本発明は、Ｄ端子を介して入力される映像信号について超解像処理を施すことを可能にして、十分な高画質化を図ることができる映像表示装置及び映像処理方法を提供することを目的とする。
本発明の一態様の映像表示装置は、入力映像信号が４：４：４フォーマットの映像信号である場合には、前記入力映像信号をオーバサンプリングしてデジタル信号に変換するＡ／Ｄ変換器と、前記入力映像信号が４：４：４フォーマットの映像信号である場合には、前記Ａ／Ｄ変換器からの映像信号の色の標本点を少なくして４：２：２フォーマットの映像信号に変換する変換部と、前記４：４：４フォーマットよりも色の標本点が少ない映像信号に対して自己合同性型超解像処理及び色超解像処理の少なくとも一方の処理を行う第１の超解像処理部を含み、供給された映像信号に映像処理を施して表示モジュールに出力する映像処理モジュールと、入力映像信号が前記４：４：４フォーマットの映像信号でない場合には、前記入力映像信号を前記変換部により変換させることなく前記映像処理モジュールに供給し、前記入力映像信号が前記４：４：４フォーマットの映像信号である場合には、前記入力映像信号を前記変換部によって変換させた後前記映像処理モジュールに供給するコントローラと、を具備する。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施形態に係る映像表示装置を示すブロック図である。
図１に示すように、映像表示装置であるテレビジョン受信装置（テレビ）１は、チューナ１１と、外部入力端子１２と、前段モジュール１３と、フレームメモリ１４と、映像処理モジュール３０と、セレクタ２１と、コントローラ２０と、オーディオプロセッサ１６と、音声遅延処理モジュール１７と、を具備する。なお説明の都合上、フレームメモリ１４と映像処理モジュール３０とを区別しているが、フレームメモリ１４は映像処理モジュール３０の機能の一部とみなすこともできるし、フレームメモリ１４及び映像処理モジュール３０等は、ひとつのシステムＬＳＩに実装されていてもよい。
そして、テレビ１は、アンテナ２がチューナ１１と、ゲーム操作部４を有するゲーム機器３が外部入力端子１２と接続され、表示モジュールである表示パネル１５に映像を、音声出力モジュールであるスピーカ１８に音声を出力する。
チューナ１１は、ＢＳ放送、ＣＳ放送等の衛星放送、地上波放送等の放送信号等を選局／処理して、映像信号及び音声信号を出力する。チューナ１１は、ケーブルＴＶ回線等の通信回線からの信号も受信可能である。
外部入力端子１２としては、Ｄ端子（Ｄ１〜Ｄ５端子）、コンポーネント端子、Ｓ端子、ＲＣＡ端子、コンポジット映像信号端子及びＨＤＭＩ（High-Definition Multimedia Interface）端子等があり、コンポジッット信号、Ｓ端子信号、色差信号、Ｄ−ｓｕｂ信号等の信号形態によるゲーム機器３及びハードディスクレコーダー等をはじめとする外部装置からの映像信号／音声信号を外部入力として受ける。
テレビ１で処理可能な映像フォーマットとしては、例えば、４８０ｉ、４８０ｐ、７２０ｐ、１０８０ｉ、１０８０ｐ等の種々の映像フォーマットが有る。また、テレビ１は、色信号の帯域を低減させるための種々のクロマフォーマットに対応しており、例えば間引きを行わない４：４：４フォーマットの外、色差信号を輝度信号の１／２に間引く４：２：２フォーマットや、１／４に間引く４：２：０フォーマット、４：１：１フォーマット等の映像信号に対する処理が可能である。
前段モジュール１３は、チューナ１１及び外部入力端子１２からの複数の映像信号／音声信号等が入力され、いずれかの映像信号／音声信号を選択して前段処理を行う。前段モジュール１３は、後述するように、アナログ映像信号をデジタル信号に変換するＡ／Ｄ変換機能及びクロマフォーマットを変換するクロマフォーマット変換機能を有する。前段モジュール１３は、前段処理後の映像信号をフレームメモリ１４に、音声信号をオーディオプロセッサ１６に出力する。
映像信号はフレームメモリ１４を介して、後に詳述する映像処理モジュール３０で信号処理され、表示映像信号が表示パネル１５に出力される。音声信号は、オーディオプロセッサ１６で信号処理された後に、映像信号の遅延時間に応じて、音声信号を遅延処理する音声遅延処理モジュール１７を介してスピーカ１８に出力される。
コントローラ２０は、ユーザー指示が入力されるセレクタ２１の設定等に応じて、テレビ１の全体の制御を行うＣＰＵである。コントローラ２０は、前段モジュール１３及び映像処理モジュール３０を、入力された映像信号のフォーマットに応じて制御して、各映像フォーマットに最適な映像処理を行わせるようになっている。例えば、コントローラ２０は、前段モジュール１３に外部入力端子１２中のＤ端子からの４：４：４フォーマットの映像信号を選択させる場合には、前段モジュール１３にこの映像信号を例えば４：２：２フォーマットの映像信号に変換させた後出力させる。そして、この場合には、コントローラ２０は、映像処理モジュール３０を制御して、クロマフォーマット変換後の映像信号に対して、４：２：２超解像モジュール及び４：４：４超解像モジュールによる両方の超解像処理を実施させるようになっている。
なお、セレクタ２１は、ユーザ操作に基づいて、チューナ１１からの映像信号及び外部入力端子１２の各端子のいずれの映像信号を選択するかを決定してコントローラ２０に指示する。
図２は図１の詳細な構成、特に前段モジュール１３及び映像処理モジュール３０の具体的な構成を示すブロック図である。
本実施の形態のテレビ１は前段モジュール１３として、Ａ／Ｄ変換器２７、セレクタ２８及びクロマフォーマット変換部２９を備えている。Ａ／Ｄ変換器２７は、入力された映像信号をデジタル信号に変換して出力する。Ａ／Ｄ変換器２７は、入力された映像信号をオーバーサンプリングしてデジタル信号に変換することができる。
セレクタ２８は、コントローラ２０に制御されて、Ａ／Ｄ変換器２７の出力のうち、４：４：４フォーマットの映像信号であって、解像度が比較的低い、例えば、４８０ｉ、４８０ｐ、７２０ｐ等の映像信号をクロマフォーマット変換部２９に与え、その他の映像信号については直接フレームメモリ１４に与えるようになっている。なお、セレクタ２８は、Ａ／Ｄ変換器２７の出力のうち、Ｄ端子を介して入力された４：４：４フォーマットの映像信号のみをクロマフォーマット変換部２９に与えるようにしてもよい。
クロマフォーマット変換部２９は、入力された４：４：４フォーマットの映像信号を、４：４：４フォーマットよりも色の標本点が少ないクロマフォーマットの映像信号、例えば、４：２：２、４：２：０、４：１：１フォーマット等の映像信号に変換してフレームメモリ１４に与える。なお、クロマフォーマット変換部２９は、Ｄ端子を介して入力された４：４：４フォーマットの映像信号を、４：２：２フォーマットの映像信号に変換するものであってもよい。
前段モジュール１３によって、少なくともＤ端子を介して入力された４：４：４フォーマットの映像信号については、４：２：２フォーマットの映像信号に変換されてフレームメモリ１４に供給される。
なお、４：４：４フォーマットの映像信号を４：２：２フォーマットの映像信号に変換することにより、色信号成分の解像度が低下する。しかしながら、Ａ／Ｄ変換器２７において、オーバーサンプリングによってＡ／Ｄ変換を行っており、クロマフォーマット変換による解像度の低下による画質劣化は僅かである。
図２において、テレビ１は、フレームメモリ１４と、映像処理モジュール３０と、映像解析モジュール２２と、同期信号生成モジュール４１と、クロック４２と、同期補正モジュール４３と、表示同期信号生成モジュール４４と、を有する。
映像処理モジュール３０は、ＩＰ変換／ＮＲモジュール３１、４：２：２超解像モジュール３２、４：４：４超解像モジュール３３、スケーラー３４、高画質化モジュール３５、倍速処理モジュール３６によって構成されている。
映像解析モジュール２２は、フレームメモリ１４に記憶された映像信号を解析し、コントローラ２０が映像処理モジュール３０の制御に用いるフレーム情報を出力する。即ち、映像解析モジュール２２は、例えば輝度レベルのダイナミックレンジをｎ分割し、１フレーム分の映像信号に対して、各輝度レベル１〜ｎに対応している画素数をカウントすることにより１フレーム分の輝度のヒストグラムデータを取得したりする。また、映像解析モジュール２２は、例えば映像信号の周波数分布も検出する。
同期信号生成モジュール４１は、入力された映像信号から同期信号を分離し生成する。クロック４２は所定の周波数の信号を発生し、表示同期信号生成モジュール４４はクロック４２が発生した信号をもとに、表示パネル１５が表示する表示映像信号の同期信号（表示同期信号）を発生する。
同期補正モジュール４３は、同期信号生成モジュール４１が生成した映像信号の入力同期信号と、表示同期信号生成モジュール４４が発生した表示同期信号と、を同期させる。表示装置として、フラットパネルディスプレイ（以下、ＦＰＤという）を採用した場合には、ＦＰＤにおいて表示に用いる水平及び垂直同期信号（以下、表示用同期信号という）は、入力映像信号の水平及び垂直同期信号（入力同期信号）とは非同期に発生される。ＦＰＤの表示用同期信号の周波数には許容範囲があり、入力同期信号がこの許容範囲（以下、同期補償期間という）内であれば、ＦＰＤは常に入力映像信号に基づく表示を行うことができる。
しかし、表示用同期信号を入力同期信号に同期させない場合には、表示用同期信号の周波数と入力同期信号の周波数との差から表示用メモリがオーバーフロー又はアンダーフローする虞がある。この理由から、同期補正モジュール４３は、表示同期信号を入力同期信号に同期化するようになっている。同期補正モジュール４３は、所定の同期補償期間にある入力同期信号に同期した表示同期信号を生成し、表示パネル１５に出力する。
映像処理モジュール３０中のＩＰ（Interlace／Progressive）変換／ＮＲ（Noise Reduction）モジュール３１は、インターレース方式の映像信号をプログレッシブ方式の映像信号へ変換するＩＰ変換処理を行うとともに、映像の、ざらつき、ちらつき、ブロッキングノイズ及び、モスキートノイズを低減するノイズリダクション処理を行う。即ち、ＩＰ変換／ＮＲモジュール３１は、ＩＰ変換処理モジュールとＮＲモジュールとから構成されている。なお、プログレッシブ方式の入力映像信号に対しては、ＩＰ変換処理は行われない。また、入力映像信号のノイズが少ない場合等にはノイズリダクション処理を省略してもよい。即ち、ＩＰ変換／ＮＲモジュール３１では、ＩＰ変換及びノイズリダクション処理の少なくとも一方が行われる。
４：２：２超解像モジュール３２は、自己合同性型超解像処理部及び色超解像処理部を備えている。自己合同性型超解像処理部は、フレーム内の“ある画像の近傍にそれと似た画像が存在する”という性質（自己合同性）を利用し、エッジの近傍のそれに似た信号を用いて元の画素の間にある信号を生成する。即ち、自己合同性型超解像処理部は、物体の境目や線などのエッジ部に対して処理を行い、エッジ部の周辺部から映像信号が近似した箇所を検出し、その画像を重ね合わせることで、より高精細な画像を生成する。自己合同性型超解像処理部の処理によって、画像の精細感が高められ、映像の鮮鋭感は更に向上する。
色超解像処理部は、輝度信号だけでなく色信号にも上記の自己合同性型超解像処理を行ない、色解像度を２倍に向上させる。これにより、画像の色のキレや精細感を向上させることができる。
デジタル放送においては、色の標本点を水平及び垂直方向に１／２に間引く４：２：０フォーマットの映像信号が用いられることがある。このような映像信号に対して、色超解像処理を施すことで、圧縮されて欠落した色情報の信号を明るさ情報の２分の１まで復元し、豊かな色彩を再現することができる。即ち、色超解像処理部は、細部にいたる色の情報量を増やすことで、輪郭部のにじみを抑制して鮮鋭に映し、画面全体の精細感を向上させる。
色超解像処理部は、色超解像処理を行うために、合同点探索処理及び位相合わせ処理を行う。色超解像処理部は、合同点探索処理によって、入力画素に対する自己合同性を有する画素を検出して新たな標本点として用いる。しかし、４：２：０フォーマットでは、輝度信号の画素位置に対して色差信号の画素の位置が垂直方向へシフトする位相オフセットを有している。そこで、色超解像処理部は、位相合わせ処理によって、輝度の位相に応じて色信号の位相を補正する位相合わせ処理を行っている。
この４：２：２超解像モジュール３２においては、４：４：４フォーマットの映像信号に対して信号処理を行うことができない。なお、４：４：４フォーマットの映像信号については、色信号に対する間引き処理は行われていないことから、色超解像処理を施さなくても十分な解像度が得られる。
また、４：２：２超解像モジュール３２における処理は、垂直方向の画素補間を伴い、４：２：２超解像モジュール３２は、基本的に、表示パネル１５の垂直方向画素数の１／２よりも大きい画素数の映像信号に対する処理も行うことができない。なお、画素圧縮処理又は間引き処理を行うことを前提に、表示パネル１５の垂直方向画素数の１／２よりも大きい画素数の映像信号に対する自己合同性型超解像処理及び色超解像処理を行うようにしてもよい。例えば、４：２：２超解像モジュール３２は、表示パネル１５がＨＤ解像度である場合には、４８０ｉ，４８０ｐの映像信号だけでなく４：２：２フォーマットの７２０ｐの映像信号に対する超解像処理を行うようにしてもよい。
このように、４：２：２超解像モジュール３２においては、垂直方向の画素数による制限及びクロマフォーマット上の制限から、全ての映像信号を超解像処理することはできない。例えばＤ端子に入力される４８０ｐの映像信号が４：４：４フォーマットである場合には、この映像信号に対して、４：２：２超解像モジュール３２による超解像処理を行うことはできない。しかしながら、Ｄ端子に入力される４：４：４フォーマットの４８０ｐの映像信号であっても、十分な解像度を有しているとは言えず、超解像処理による解像度の向上が期待される。
そこで、本実施の形態においては、Ｄ端子に入力される４：４：４フォーマットの４８０ｐの映像信号等については、一旦４：２：２フォーマットに変換した後、超解像モジュール３２に与えることにより、自己合同性型超解像処理及び色超解像処理による超解像処理によって解像度を向上させるようになっている。
セレクタ３７は、ＩＰ変換／ＮＲモジュール３１からの映像信号が、４：２：２超解像モジュール３２によって処理可能な解像度を有し４：４：４フォーマットよりも色の標本点が少ないクロマフォーマットの場合には、この映像信号を４：２：２超解像モジュール３２を介して４：４：４超解像モジュール３３に与え、それ以外の映像信号の場合には、当該映像信号を４：２：２超解像モジュール３２を介することなく直接４：４：４超解像モジュール３３に与えるようになっている。
例えば、セレクタ３７は、ＩＰ変換／ＮＲモジュール３１からの映像信号が、４８０ｉ、４８０ｐ又は７２０ｐであって、４：２：２フォーマットの映像信号を、４：２：２超解像モジュール３２に与える。これにより、Ｄ端子を介して入力された４：４：４フォーマットの映像信号については、４：２：２フォーマットに変換された後、４：２：２超解像モジュール３２に供給されることになり、自己合同性型超解像処理及び色超解像処理が施されることになる。
なお、４：２：２超解像モジュール３２は、複数フレームを用いて超解像処理を行う複数フレーム超解像処理部を備えていてもよい。
４：４：４超解像モジュール３３は、再構成型超解像処理を行うものであり、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、映像の元の解像度を超える映像を生成する。即ち、第１解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の映像信号を復元する。ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の映像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる映像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする映像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い映像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、映像の相関性を利用する。なお、超解像モジュール３３は、公知技術、例えば、入力映像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する映像を復元する技術を用いる。
スケーラー３４は、表示パネル１５の仕様と異なる映像信号に対して、表示パネル１５の仕様にあわせたスケーリング処理を行う。例えば、入力映像信号のアスペクト比が４：３で、表示パネルのアスペクト比が１６：９の場合、スケーラー３４は、入力映像信号を、アスペクト比が１６：９の表示映像信号に変換する。
高画質化モジュール３５は、映像の画質を改善するために、例えば、色補正（ガンマ補正、ホワイトバランス調整、ブライトネス調整、コントラスト調整）、シャープネス調整、輪郭強調（エッジエンハンスメント）、及び応答速度向上等の高画質化処理を行う。
倍速処理モジュール３６は、フレーム周波数５０Ｈｚの場合は１００Ｈｚへ、６０Ｈｚ場合は１２０Ｈｚと、フレーム周波数を倍にあげ、残像感を低減する倍速処理を行う。倍速処理としては、動き補償予測に基づき、連続する２つのフレームの間に挿入するための補間フレームを生成する方式でもよいし、単純に同じ映像を２回表示する、いわゆる「単純二度振り方式（Simple double repeat method)」であってもよい。
次に、このように構成された実施の形態の動作について図３のフローチャートを参照して説明する。
アンテナ２に誘起した映像信号はチューナ１１によって選局された後、前段モジュール１３に供給される（ステップＳ１）。一方、ゲーム機器３からの映像信号は外部入力端子１２を介して前段モジュール１３に供給される。いま、ユーザの選局操作によって、チューナ１１からの高解像度の映像信号、例えば、１０８０ｐの４：４：４フォーマットの映像信号が選択されるものとする。前段モジュール１３は、入力された映像信号がアナログ信号である場合には、Ａ／Ｄ変換器２７によっデジタル信号に変換する。
コントローラ２０は、ステップＳ２において、選択された映像信号の映像フォーマットが高解像度の４：４：４フォーマットであることを検出すると、前段モジュール１３のセレクタ２８を制御して、この映像信号をフレームメモリ１４に与えて記憶させる。映像処理モジュール３０は、フレームメモリ１４に格納された映像信号を読み出して、各部における処理を実行する。
コントローラ２０は、セレクタ３７を制御して、ＩＰ変換／ＮＲモジュール３１の出力を４：４：４超解像モジュール３３に与える。これにより、フレームメモリ１４から読出された映像信号は、ＩＰ変換／ＮＲモジュール３１によってＮＲ処理が施された後、４：４：４超解像モジュール３３によって再構成型超解像処理が施されて、高解像度化される。４：４：４超解像モジュール３３からの映像信号は、スケーラー３４、高画質化モジュール３５及び倍速処理モジュール３６において各処理が行われた後、表示映像信号として表示パネル１５に供給される。
こうして、表示パネル１５の表示下面上には、超解像処理されて高画質化された映像が表示される。
次に、ユーザが、Ｄ端子を介して入力されたゲーム機器３からの４：４：４フォーマットの映像信号を選択するものとする。前段モジュール１３は、Ｄ端子を介して入力された４８０ｐのアナログ映像信号を、Ａ／Ｄ変換器２７によっデジタル信号に変換する。
コントローラ２０は、ステップＳ２において、選択された映像信号の映像フォーマットが比較的低い解像度の４：４：４フォーマットであることを検出すると、処理をステップＳ３，Ｓ４からステップＳ５に移行して、クロマフォーマット変換を行う。即ち、コントローラ２０は、前段モジュール１３のセレクタ２８を制御して、ゲーム機器３等からの映像信号をクロマフォーマット変換部２９に与える。クロマフォーマット変換部２９は、入力された映像信号について色信号の標本点を少なくして、例えば、４：２：２フォーマットに変換する。クロマフォーマット変換部２９によってクロマフォーマットが変換された映像信号は、フレームメモリ１４に与えられて記憶される。
映像処理モジュール３０は、フレームメモリ１４に格納された映像信号を読み出して、各部における処理を実行する。コントローラ２０は、セレクタ３７を制御して、ＩＰ変換／ＮＲモジュール３１からのＮＲ処理後の映像信号を４：２：２超解像モジュール３２に与える。
４：２：２超解像モジュール３２は、入力された映像信号に対して、自己合同性型超解像処理及び色超解像処理を行って（ステップＳ６）、輝度及び色の斜め方向の解像度を向上させた後、４：４：４超解像モジュール３３に与える。これにより、Ｄ端子から入力された比較的低い解像度の映像信号についても高解像度化される。更に、４：２：２超解像モジュール３２の出力は、４：４：４超解像モジュール３３に供給されて再構成型超解像処理が施される（ステップＳ７）。４：４：４超解像モジュール３３からの映像信号は、スケーラー３４、高画質化モジュール３５及び倍速処理モジュール３６において各処理が行われた後、表示映像信号として表示パネル１５に供給される。
こうして、表示パネル１５の表示下面上には、Ｄ端子を介して入力された比較的低解像度の映像信号であっても、再構成型超解像処理だけでなく、自己合同性型超解像処理及び色超解像処理によって十分に高解像度化されて、高画質の映像が表示される。
このように本実施の形態においては、比較的低い解像度の４：４：４フォーマットの映像信号については、４：２：２フォーマットに変換した後映像信号を処理を施す。４：２：２フォーマットに変換することにより色の標本点が少なくなるが、Ａ／Ｄ変換時のオーバサンプリングによって、標本点の低下による画質の劣化は僅かであり、一方、４：２：２フォーマットに変換することにより、自己合同性型超解像処理及び色超解像度処理が加えられるので、十分な高解像度化を図ることができ、画質を著しく向上させることが可能である。これにより、例えば、Ｄ端子に入力されるゲーム機器等からの４：４：４フォーマットの映像信号を十分に高解像度化及び高画質化することができる。
（変形例）
図４は本発明の変形例を示すブロック図である。図４において図２と同一の構成要素には同一符号を付して説明を省略する。
図４は本発明の変形例を示すブロック図である。図４において図２と同一の構成要素には同一符号を付して説明を省略する。
本変形例は、クロマフォーマット変換部２９に代えてクロマフォーマット変換部２９’を採用した点が図２の構成と異なる。クロマフォーマット変換部２９’は、コントローラ２０から与えられる変換パラメータに従って、クロマフォーマット変換を行うようになっている。コントローラ２０は、Ａ／Ｄ変換器２７の出力のうち、４：４：４フォーマットの映像信号であって、解像度が比較的低い、例えば、４８０ｉ、４８０ｐ、７２０ｐ等の映像信号については、４：４：４フォーマットよりも色の標本点が少ないクロマフォーマットの映像信号、例えば、４：２：２、４：２：０、４：１：１フォーマット等の映像信号に変換するための変換パラメータをクロマフォーマット変換部２９’に与える。また、コントローラ２０は、４：４：４フォーマットの映像信号であって解像度が比較的低い映像信号以外の映像信号については、クロマフォーマット変換することなくそのまま出力するための変換パラメータをクロマフォーマット変換部２９’に与えるようになっている。
これにより、クロマフォーマット変換部２９’は、４：４：４フォーマットの映像信号であって解像度が比較的低い映像信号については、４：４：４フォーマットよりも色の標本点が少ないクロマフォーマットの映像信号、例えば、４：２：２、４：２：０、４：１：１フォーマット等の映像信号に変換してフレームメモリ１４に出力する。
他の構成及び作用効果は、上述した実施の形態と同様である。
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…テレビジョン受信装置、２…アンテナ、３…ゲーム機器、４…ゲーム操作部、１１…チューナ、１２…外部入力端子、１３…前段モジュール、１４…フレームメモリ、１５…表示パネル、１６…オーディオプロセッサ、１７…音声遅延処理モジュール、１８…スピーカ、２０…コントローラ、２１、２８，３７…セレクタ、２２…映像解析モジュール、２７…Ａ／Ｄ変換器、２９…クロマフォーマット変換部、３０…映像処理モジュール、３１…ＩＰ変換／ＮＲモジュール、３２…４：２：２超解像モジュール、３３…４：４：４超解像モジュール、３４…スケーラー、３５…高画質化モジュール、３６…倍速処理モジュール、４１…同期信号生成モジュール、４２…クロック、４３…同期補正モジュール、４４…表示同期信号生成モジュール。
Claims (6)
- 入力映像信号が４：４：４フォーマットの映像信号である場合には、前記入力映像信号をオーバサンプリングしてデジタル信号に変換するＡ／Ｄ変換器と、
前記入力映像信号が４：４：４フォーマットの映像信号である場合には、前記Ａ／Ｄ変換器からの映像信号の色の標本点を少なくして４：２：２フォーマットの映像信号に変換する変換部と、
前記４：４：４フォーマットよりも色の標本点が少ない映像信号に対して自己合同性型超解像処理及び色超解像処理の少なくとも一方の処理を行う第１の超解像処理部を含み、供給された映像信号に映像処理を施して表示モジュールに出力する映像処理モジュールと、
入力映像信号が前記４：４：４フォーマットの映像信号でない場合には、前記入力映像信号を前記変換部により変換させることなく前記映像処理モジュールに供給し、前記入力映像信号が前記４：４：４フォーマットの映像信号である場合には、前記入力映像信号を前記変換部によって変換させた後前記映像処理モジュールに供給するコントローラと、
を具備することを特徴とする映像表示装置。 - 前記コントローラは、４８０ｉ，４８０ｐ又は７２０ｐの４：４：４フォーマットの映像信号を前記変換部によって変換させた後、前記映像処理モジュールに供給することを特徴とする請求項１に記載の映像表示装置。
- 前記コントローラは、Ｄ端子を介して入力された４：４：４フォーマットの映像信号を前記変換部によって変換させた後、前記映像処理モジュールに供給することを特徴とする請求項１又は２に記載の映像表示装置。
- 前記映像処理モジュールは、再構成型超解像処理部を含むことを特徴とする請求項１乃至３のいずれか１つに記載の映像表示装置。
- コントローラによって、入力映像信号が４：４：４フォーマットの映像信号であるか否かを判定し、
前記入力映像信号が前記４：４：４フォーマットの映像信号である場合には、Ａ／Ｄ変換器によって、前記入力映像信号をオーバサンプリングしてデジタル信号に変換し、
前記入力映像信号が前記４：４：４フォーマットの映像信号である場合には、変換部によって、前記Ａ／Ｄ変換器からの映像信号の色の標本点を少なくして４：２：２フォーマットの映像信号に変換し、
映像処理モジュールが、前記入力映像信号が前記４：４：４フォーマットの映像信号でない場合には、前記入力映像信号をそのまま映像処理し、前記入力映像信号が前記４：４：４フォーマットの映像信号である場合には、前記入力映像信号を前記変換部によって変換させた後、自己合同性型超解像処理及び色超解像処理の少なくとも一方の処理を行う第１の超解像処理部による処理を含む映像処理を施す
ことを特徴とする映像処理方法。 - 前記入力映像信号がＤ端子を介して入力された４：４：４フォーマットの映像信号である場合には、前記変換部による変換後の映像信号に対して、前記第１の超解像処理部による処理を含む映像処理を行うことを特徴とする請求項５に記載の映像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044373A JP5112528B2 (ja) | 2011-03-01 | 2011-03-01 | 映像表示装置及び映像処理方法 |
| EP11195985A EP2495963A2 (en) | 2011-03-01 | 2011-12-29 | Video display apparatus and video processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044373A JP5112528B2 (ja) | 2011-03-01 | 2011-03-01 | 映像表示装置及び映像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012182674A JP2012182674A (ja) | 2012-09-20 |
| JP5112528B2 true JP5112528B2 (ja) | 2013-01-09 |
Family
ID=45476355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011044373A Expired - Fee Related JP5112528B2 (ja) | 2011-03-01 | 2011-03-01 | 映像表示装置及び映像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP2495963A2 (ja) |
| JP (1) | JP5112528B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152540B (zh) * | 2013-03-11 | 2016-01-20 | 深圳创维－Rgb电子有限公司 | 分辨率转换方法及装置、超高清电视机 |
| WO2014199521A1 (ja) | 2013-06-14 | 2014-12-18 | 株式会社東芝 | 映像送信装置、映像表示装置、及び映像送信方法 |
| GB201500719D0 (en) | 2015-01-15 | 2015-03-04 | Barco Nv | Method for chromo reconstruction |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001292459A (ja) * | 2000-04-06 | 2001-10-19 | Nippon Television Network Corp | 映像信号の変換、伝送方法及び装置 |
| JP2002171535A (ja) * | 2000-12-04 | 2002-06-14 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| JP4044826B2 (ja) * | 2002-07-25 | 2008-02-06 | 富士通株式会社 | 半導体集積回路 |
| JP2006191216A (ja) * | 2005-01-04 | 2006-07-20 | Nec Electronics Corp | オーバーサンプリングａ／ｄ変換回路 |
| JP2006203795A (ja) * | 2005-01-24 | 2006-08-03 | Matsushita Electric Ind Co Ltd | 映像信号処理回路および撮像装置 |
| JP2009100407A (ja) * | 2007-10-19 | 2009-05-07 | Toshiba Corp | 画像処理装置及びその方法 |
| JP4908440B2 (ja) * | 2008-03-06 | 2012-04-04 | 株式会社東芝 | 画像処理装置及び方法 |
| JP2010226411A (ja) * | 2009-03-24 | 2010-10-07 | Panasonic Corp | 映像信号処理装置 |
| JP5448981B2 (ja) * | 2009-04-08 | 2014-03-19 | 株式会社半導体エネルギー研究所 | 液晶表示装置の駆動方法 |
-
2011
- 2011-03-01 JP JP2011044373A patent/JP5112528B2/ja not_active Expired - Fee Related
- 2011-12-29 EP EP11195985A patent/EP2495963A2/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP2495963A2 (en) | 2012-09-05 |
| JP2012182674A (ja) | 2012-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8385422B2 (en) | Image processing apparatus and image processing method | |
| JP4521468B1 (ja) | 画像処理装置及び画像処理方法 | |
| JP4444354B2 (ja) | 画像処理装置、および画像処理方法 | |
| US20040239803A1 (en) | Method and system for changing the frame rate to be optimal for the material being displayed while maintaining a stable image throughout | |
| KR20050000956A (ko) | 비디오 포맷 변환 장치 | |
| JP2004120757A (ja) | 映像信号を処理するための方法および映像処理ユニット | |
| JP2010041336A (ja) | 画像処理装置、および画像処理方法 | |
| US8593575B2 (en) | Video display apparatus for shortened-delay processing of a video signal and video processing method | |
| US8284324B2 (en) | Video display apparatus and video processing method | |
| US20130271650A1 (en) | Video display apparatus and video processing method | |
| JP4427592B2 (ja) | 画像処理装置、および画像処理方法 | |
| JP5112528B2 (ja) | 映像表示装置及び映像処理方法 | |
| JP5178579B2 (ja) | 画像処理装置 | |
| JP2009025505A (ja) | 映像信号処理装置、映像信号処理方法、およびプログラム | |
| US20110051004A1 (en) | Video signal processing apparatus and method and program for processing video signals | |
| JP5259867B2 (ja) | 映像表示装置及び映像処理方法 | |
| US8270773B2 (en) | Image processing apparatus and image processing method | |
| KR100943902B1 (ko) | 디지털 ｔｖ 모니터용 범용 영상 처리 장치 | |
| JP4869302B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4991884B2 (ja) | 画像処理装置、および画像処理方法 | |
| JP4677755B2 (ja) | 画像フィルタ回路及び補間処理方法 | |
| JP5075923B2 (ja) | 画像処理装置、および画像処理方法 | |
| JP2010039135A (ja) | 画像処理装置および画像処理方法 | |
| JP4897036B2 (ja) | 画像処理装置、および画像処理方法 | |
| JP2011154587A (ja) | 映像信号処理装置及び映像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121010 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |