JP2018129700A - 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム - Google Patents

信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム Download PDF

Info

Publication number
JP2018129700A
JP2018129700A JP2017021951A JP2017021951A JP2018129700A JP 2018129700 A JP2018129700 A JP 2018129700A JP 2017021951 A JP2017021951 A JP 2017021951A JP 2017021951 A JP2017021951 A JP 2017021951A JP 2018129700 A JP2018129700 A JP 2018129700A
Authority
JP
Japan
Prior art keywords
video
signal
pixel
video signal
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017021951A
Other languages
English (en)
Inventor
鈴木 秀樹
Hideki Suzuki
秀樹 鈴木
吉山 和良
Kazuyoshi Yoshiyama
和良 吉山
涼二 櫻井
Ryoji Sakurai
涼二 櫻井
靖 手塚
Yasushi Tezuka
靖 手塚
茂樹 谷口
Shigeki Taniguchi
茂樹 谷口
智夫 西垣
Tomoo Nishigaki
智夫 西垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017021951A priority Critical patent/JP2018129700A/ja
Publication of JP2018129700A publication Critical patent/JP2018129700A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】1つの画面上で部分的に映像方式を変えること。【解決手段】映像信号生成装置は、第1映像方式の第1映像を表す第1映像信号と、第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する。表示装置は、1つのフレーム内の第3映像信号について、第1映像信号の部分に、第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、第2映像信号の部分に、第2映像方式の場合の第2マッピングを用いて駆動信号を生成する。【選択図】図2

Description

本発明は、信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラムに関する。
近年、テレビジョン装置やモバイル端末等の表示装置には、高画質技術が採用された映像コンテンツが導入されている。高画質技術として、例えば、幅広いダイナミックレンジであるHDR(High Dynamic Rage:ハイダイナミックレンジ)、高解像度である4K、8K等が採用されてきている。
一方、映像コンテンツを伝送する際に、例えば、その映像のジャンルなどをメタデータとして、映像コンテンツの信号に付加して伝送するシステムが知られている。このシステムでは、受信装置は、映像コンテンツを表示するときに、メタデータに基づいた設定で視聴を可能とする。
例えば、引用文献1には、送信装置が、映像の画素データと画素データとは異なる付加データとを1つの伝送ピクセルに含めて1つの伝送ピクセルを伝送し、1つの伝送ピクセルにおいて画素データが占める領域のサイズを示すサイズ情報を伝送することが記載されている。また、引用文献1には、受信装置が、サイズ情報が示すサイズに基づいて、1つの伝送ピクセルにおける画素データの位置を特定し、画素データと付加データとを抽出することが記載されている。
特開2016−139981号公報
ところで、表示装置は、様々な映像方式の映像を表示する。例えば、表示装置は、ダイナミックレンジや解像度等の異なる映像を表示する。一方、表示装置は、これらの映像方式が異なる映像を、同時に表示することが求められている。
しかしながら、従来技術では、表示装置は、映像方式が異なる映像を同時に表示する場合、いずれか一方の映像の映像方式に併せて、複数の映像を同時に表示していた。例えば、表示装置は、HDR(High Dynamic Rage:ハイダイナミックレンジ)の映像とSDR(Standard Dynamic Rage:スタンダードダイナミックレンジ)の映像を同時に表示する場合、HDRの映像をSDRの映像に変換する。つまり、表示装置は、SDRで、複数の映像を同時に表示していた。
例えば、引用文献1記載の技術では、伝送ピクセルにHDR付加情報を含め、コントラスト比が高い映像を生成する。しかし、引用文献1記載の技術では、例えば、画面上で部分的に映像方式を変えることができず、画面全体で1つの映像方式で映像を出力していた。
本発明は上記の点に鑑みてなされたものであり、1つの画面上で部分的に映像方式を変えることができる信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、出力プログラムを提供する。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、信号生成装置と出力装置を具備する信号処理システムにおいて、前記信号生成装置は、第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する信号生成部を備え、前記出力装置は、1つのフレーム内の前記第3映像信号について、前記第1映像信号の部分に、前記第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、前記第2映像信号の部分に、前記第2映像方式の場合の第2マッピングを用いて駆動信号を生成する処理部を備える信号処理システムである。
本発明によれば、1つの画面上で部分的に映像方式を変えることができる。
本発明の第1の実施形態に係る表示を説明する説明図である。 本実施形態に係る映像処理システムの概念図である。 本実施形態に係る映像信号生成装置の構成を示す概略ブロック図である。 本実施形態に係る放送のデータ構成の一例を表す概略図である。 本実施形態に係るマルチ画面設定情報を示す概略図である。 本実施形態に係る画素を説明するための説明図である。 本実施形態に係る拡張映像信号の構成の一例を表す概略図である。 本実施形態に係る拡張映像信号の構成の別の一例を表す概略図である。 本実施形態に係る表示装置の構成を示す概略ブロック図である。 本実施形態に係る制御情報のデータ構成の一例を表す概略図である。 本実施形態に係る映像処理部の構成を示す概略ブロック図である。 本実施形態に係る光量制御処理を説明する説明図である。 本実施形態に係る映像信号生成装置の動作の一例を示すフロー図である。 本実施形態に係る表示装置の動作の一例を示すフロー図である。 本発明の第2の実施形態に係る制御情報のデータ構成の一例を表す概略図である。 本実施形態に係る表示装置の構成を示す概略ブロック図である。 本発明の第3の実施形態に係る画素映像方式信号の構成の別の一例を表す概略図である。 本実施形態に係る映像信号生成装置の構成を示す概略ブロック図である。 本実施形態に係る表示装置の構成を示す概略ブロック図である。 本実施形態に係る映像処理部の構成を示す概略ブロック図である。 本発明の第4の実施形態に係る拡張映像信号の構成の一例を表す概略図である。 本実施形態に係る拡張映像信号の構成の別の一例を表す概略図である。 本発明の第5の実施形態に係る拡張映像信号の構成の一例を表す概略図である。 本発明の第6の実施形態に係る拡張映像信号の構成の一例を表す概略図である。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の第1の実施形態に係る表示を説明する説明図である。
図1において、映像信号生成装置1は、表示装置2に接続されている。
映像信号生成装置1は、複数の伝送路から映像信号を受信し、表示装置2で視聴可能な信号に変換する。映像信号生成装置1は、変換後の信号を表示装置2へ出力する。
ここで、映像信号生成装置1は、例えば、セットトップボックスである。ただし、映像信号生成装置1は、HDD(ハードディスクドライブ)やBD(ブルーレイディスク)等の記録媒体を再生する機能や、これらの記録媒体へ録画する機能を備えるレコーダ等であっても良い。また、映像信号生成装置1は、表示装置2と一体型であっても良い。
表示装置2は、セットトップボックスが出力した信号を受信する。表示装置2は、受信した信号を表示用の駆動信号(以下、「駆動信号」とも称する)に変換し、駆動信号に基づいて映像を表示する。例えば、駆動信号は、液晶ディスプレイの表示に用いられる場合、アクティブマトリクス駆動や単純マトリクス駆動に用いられ、各画素の素子に供給される電力を制御する。ここで、表示装置2は、1つのフレームにおいて、HDRの駆動信号とSDRの駆動信号の両方を生成する機能を有し、HDR映像とSDR映像の両方を同時に表示する機能を有している。
ここで、HDR映像とは、HDRの方式に従って生成された駆動信号により、ディスプレイに表示された映像をいう。また、SDR映像とは、SDRの方式に従って生成された駆動信号により、ディスプレイに表示された映像をいる。
表示装置2は、例えば、テレビジョン装置である。ただし、表示装置2は、スマートフォン端末、タブレット端末であっても良い。なお、表示装置2は、そのディスプレイに、液晶とバックライトを用いても良いし、有機発光ダイオードを用いても良い。また、バックライトは、直下型方式でも良いし、エッジライト方式でも良い。また、本実施形態では、部分駆動(ローカルディミング)、つまり、バックライトの発する光の光量、又は光を発するか否かを、部分的に制御できる例について説明する。ただし、本発明はこれに限らず、表示装置2は、部分駆動をせずに、全面の光量を制御するものであっても良い。
図1において、表示装置2は、映像I11と映像I12が表示されている。なお、各映像は、静止画像であっても良いし、動画像であっても良い。
映像I11は、SDR映像であり、映像I12は、HDRのうち、PQ(パーセプチュアル クォンタリゼーション)方式の映像である。ここで、HDRとは、映像の持つ光学輝度の高低の幅(ダイナミックレンジ)を拡大する高画質技術である。HDRは、SDRよりも、ダイナミックレンジが広い。
なお、輝度には、光学輝度と画像輝度との2種類がある。光学輝度とは、光源の明るさを表す心理物理量の1つである。光学輝度は、例えば、表示装置2等のディスプレイの明るさを表すときに用いる。画像輝度とは、映像ソースの表色系における明るさである。
以下では、ダイナミックレンジとは、光学輝度のダイナミックレンジをいう。
符号I1で示す図は、表示装置2の表示について、その一部の画素毎に、映像方式を表した概念図である。ここで、映像方式とは、映像の方式を示し、例えば、画像の画質技術を示す。本実施形態では、映像方式には、HDRとSDRが含まれる。さらに、HDRは、PQ方式とHLG(ハイブリッド ログ−ガンマ)形式に分類できる。PQ方式のHDRを「HDR−PQ」、HLG方式のHDRを「HDR−HLG」とも称する。
符号I1で示す図において、「S」はSDRを表し、「P」はHDR−PQを表す。また、「n」は、データがないこと(noDATA)を表す。
映像I11の一部は、20個の画素について、SDRで表示されている。映像I12の一部は、6個の画像について、HDR−PQで表示されている。映像I13の部分は、データがなく、予め定められた色、又は、画像が表示さている。
ここで、HDRで表示されるとは、表示装置2が、映像信号をHDR用のマッピング(「HDR用マッピング」と称する)を用いて駆動信号に変換し、変換後の駆動信号を用いて、表示されることをいう。SDRで表示されるとは、表示装置2が、映像信号をSDR用のマッピング(「SDR用マッピング」と称する)を用いて駆動信号に変換し、変換後の駆動信号を用いて、表示されることをいう。
なお、マッピングとは、映像信号の信号値を駆動信号の信号値に変換するものである。また、マッピングとは、画像輝度を光学輝度に変換するものである。このマッピングは、映像方式の種類、例えば、ダイナミックレンジの種類によって異なる。例えば、マッピングは、HDRとSDRで異なり、また、HDR−PQとHDR−HLGでも異なる。
また、HDRとSDRでは、マッピングされる光学輝度の範囲、又は、光学輝度の最大値(「最大輝度」とも称する)が異なっている。例えば、最大輝度は、SDRでは100カンデラ/平方メートルであり、HDRでは1000カンデラ/平方メートルである。つまり、HDRとSDRでは、映像の輝度や明るさが異なる。また、HDRとSDRでは、コントラストも異なる。HDRでは、SDRと比較してコントラストが高くなり、SDRでは、HDRと比較してコントラストが低くなる。
図1の表示では、1つの画面(少なくとも1つのフレームの映像)において、映像が、一部がHDRで表示され、別の一部がSDRで表示されている。換言すれば、表示装置2は、画面上で部分的に映像方式を変えている。
なお、ダイナミックレンジの方式(「ダイナミックレンジ方式」と称する)が異なる映像方式とは、例えば、互いに、識別可能な信号の最小値と最大値の比率が異なる映像方式である。また例えば、ダイナミックレンジ方式が異なる映像方式は、信号がマッピングされる光学輝度の範囲、又は、光学輝度の最大値(「最大輝度」とも称する)が異なる映像方式である。また例えば、ダイナミックレンジ方式が異なる映像方式は、映像信号を駆動信号に変換するマッピングが異なる映像方式である。換言すれば、ダイナミックレンジ方式が異なる映像方式は、信号値と輝度値を対応付けるマッピングが異なる映像方式である。
また、ダイナミックレンジ方式が異なる映像方式とは、例えば、互いに、適用されるダイナミックレンジ技術が異なる映像方式であってもよい。具体的には、ダイナミックレンジ方式は、HDR、SDR、HDR−PQ、又は、HDR−HLGである。HDR(HDR−PQ又はHDR−HLGであってもよい)とSDRは、ダイナミックレンジ方式が異なる映像方式である。また、HDR、SDR、HDR−PQ、及び、HDR−HLGは、それぞれ、ダイナミックレンジ方式が異なる。
なお、各映像方式では、ITU−R(国際電気通信連合 無線通信部門)勧告の技術標準が用いられる。例えばSDRは、ITU−R BT.709、又は、ITU−R BT.2020で規定される技術標準が用いられる。HDR(HDR−PQ又はHDR−HLG)は、ITU−R BT.2100で規定される技術標準が用いられる。
<HDR−PQとHDR−HLGについて>
HDR−PQとHDR−HLGは、次のように、映像方式が異なる。
HDR−PQは、輝度値を相対的に扱う映像方式であり、一方、HDR−HLGは、最大値までの輝度値を絶対輝度(最大輝度は予め定められている)で扱う映像方式である。HDR−PQは、EOTFを規定している規格に従う映像方式であり、HDR−HLGは、EOTFを規定している規格に従った映像方式である。HDR−PQとHDR−HLGは、ガンマカーブ、つまり、信号値と輝度値を対応付けるマッピングが異なる。
<映像処理システム>
図2は、本実施形態に係る映像処理システムSの概念図である。
図2において、映像処理システムSは、放送局S11、レコーダS12、サーバS13、映像信号生成装置1、及び、表示装置2を具備する。
映像信号生成装置1は、例えば、放送局装置S11からHDR映像を表すHDR映像信号を受信し、レコーダS12からSDR映像を表すSDR映像信号を受信する。映像信号生成装置1は、例えば、ユーザから、これらの映像を同時に表示するマルチ画面表示を指示される。この場合、映像信号生成装置1は、HDR映像信号とSDR映像信号を、1つのフレーム内に含む映像信号(「合成映像信号」とも称する)を生成し、出力する。
なお、マルチ画面表示とは、番組を2つ並べて表示することに限らず、映像を2つ並べて表示することをいう。映像には、文字のみの映像も含まれる。なお、映像には、レイヤが異なる映像が含まれなくても良い。例えば、表示装置2が生成する字幕、文字スーパーについては、映像のレイヤとは異なるレイヤで描写され、これらは映像に含まれてなくても良い。また、映像信号生成装置1は、マルチ画面表示以外でも、HDR映像信号とSDR映像信号を、1つのフレーム内に含む合成映像信号を生成しても良い。例えば、1つの映像について、一部をHDR映像とし、別の一部をSDR映像とする場合である。この場合、映像信号生成装置1は、1つの映像(例えば、1つの伝送路や1つのチャンネルの映像)の映像信号について、HDR映像信号とSDR映像信号を、1つのフレーム内に含む合成映像信号を生成しても良い。
表示装置2は、合成映像信号を受信する。表示装置2は、1つのフレーム内の合成映像信号について、HDR映像信号の部分に、HDR用マッピングを用いて駆動信号を生成し、SDR映像信号の部分に、SDR用マッピングを用いて駆動信号を生成する。表示装置2は、生成した駆動信号に基づいて、1つの画面(フレーム)内に、HDR映像とSDR映像を混在させて表示する。
つまり、例えば、上述のHDR映像とは、HDR用マッピングを用いた駆動信号により、ディスプレイに表示された映像である。また、SDR映像とは、SDR用マッピングを用いた駆動信号により、ディスプレイに表示された映像である。
以下、図2の詳細を説明する。
放送局装置S11は、放送番組に関する放送データを、放送する。映像信号生成装置1及び表示装置2は、放送伝送路を介して到達した電波を受信する。放送伝送路は、例えば、所定の周波数帯域の放送波である。なお、放送伝送路は、放送波を中継する放送衛星BSを含んで構成されても良い。例えば、放送には、メディアトランスポート方式として、MMT(MPEG Media Transport)方式、MPEG−2 TS方式、又は、RTP(Real−time Transport Protocol)方式が用いられる。例えば、放送データには、制御情報、番組表、番組映像、文字情報等が含まれる。
レコーダ装置S12は、HDDやBD等の記録媒体を再生する機能や、これらの記録媒体へ録画する機能を備える。レコーダ装置S12は、例えば、HDMI(高精細度マルチメディアインターフェース:登録商標)端子やD端子、USB(ユニバーサル・シリアル・バス)端子とケーブルを介して(伝送路)、映像信号生成装置1と接続されている。レコーダ装置S12は、ケーブルを介して、信号を映像信号生成装置1へ出力する。
サーバ装置S13は、ネットワークコンテンツを示すコンテンツデータを、ネットワークNW(伝送路)を介して映像信号生成装置1へ送信する。ネットワークコンテンツとは、サーバ装置等が配信するコンテンツであり、映像(動画像、静止画像)や文字情報である。ネットワークコンテンツは、例えば、ニュース、天気予報、番組情報等である。ネットワークコンテンツには、SNS(ソーシャルネットワークシステム)やテレビ電話、プログラム等も含まれる。ネットワークNWは、インターネットやWAN(Wide Area Network)、又は、LAN(Local Area Network)等によって構成される情報通信ネットワークである。ネットワークでは、通信方式は、IPプロトコルで定められている。
映像信号生成装置1は、放送局装置S11から受信した電波の信号から、映像信号と映像方式情報を抽出する。ここで、映像方式情報とは、映像信号が表わす映像について、その映像方式を示す情報である。また、映像信号生成装置1は、レコーダ装置S12から受信した信号から、映像信号と映像方式情報を抽出する。映像信号生成装置1は、サーバ装置S13から受信したコンテンツデータから、映像を表すデータと映像方式情報を抽出する。
映像信号生成装置1は、マルチ画面表示について、映像と表示を対応付けたマルチ画面設定情報(図5参照)を、予め記憶している。マルチ画面設定情報は、各映像について、画面上の表示位置と、当該表示位置に表示させる映像と、を対応付けた情報である。なお、映像信号生成装置1は、商品出荷時、又は、ユーザにより、マルチ画面設定情報を設定され、そのマルチ画面設定情報を記憶している。
映像信号生成装置1は、マルチ画面表示を指示された場合、マルチ画面設定情報を読み出す。映像信号生成装置1は、マルチ画面設定情報に基づいて、各表示位置の画素に対して、当該に表示位置に表示させる映像の映像信号を配置する。これにより、映像信号生成装置1は、合成映像信号を生成する。
例えば、映像信号生成装置1は、各表示位置の画素単位で、映像方式情報を示す画素映像方式情報を生成する。この画素映像方式情報は、信号又はコンテンツデータから抽出された映像方式情報であって、当該画素に配置される映像の映像方式を示す映像方式情報である。
映像信号生成装置1は、合成映像信号と画素映像方式情報を、1つのフレーム内の画素毎に生成し、生成した合成映像信号と画素映像方式情報を示す画素映像方式信号の両方(両方を含む信号を「拡張映像信号」と称する)を、表示装置2へ送信する。
拡張映像信号において、画素映像方式信号は、サブ画素毎に合成映像信号に付加されても良いし(図7参照)、又は、画素毎に合成映像信号に付加されても良い(図8参照)。ここで、サブ画素とは、画素を構成する各色の画素をいい、例えば、画素がRGB(赤、緑、青)で構成される場合には、赤色の画素、緑色の画素、青色の画素の各々をいう。なお、拡張映像信号は、合成映像信号と画素映像方式信号とが、それぞれ別のフォーマットに従って生成され、別々に通知されたものであっても良い(他の実施形態を参照)。
表示装置2は、映像信号生成装置1が送信した拡張映像信号を受信する。
表示装置2は、受信した拡張映像信号に基づいて、画素毎に、駆動信号を生成する。具体的には、表示装置2は、各画素の画素映像方式情報が示す映像方式に応じて、マッピングを選択する(選択したマッピングを「選択マッピング」とも称する)。表示装置2は、各画素の映像信号に対してマッピングを選択し、選択マッピングを用いて、駆動信号を生成する。
マッピングは、映像方式毎に予め定められ、マッピングには、例えば、HDR−PQ用のマッピング(「HDR−PQ用マッピング」と称する)、HDR−HLG用のマッピング(「HDR−HLG用マッピング」と称する)、SDR用マッピングがある。
本実施形態では、例えば、表示装置2は、1つのフレーム内において、複数種類のマッピングを用いる場合がある。例えば、表示装置2は、1つのフレーム内において、合成映像信号の一部にHDR−PQ用マッピングを用いて駆動信号を生成し、別の一部にSDR用マッピングを用いて駆動信号を生成する。
表示装置2は、生成した駆動信号に基づいて、ダイナミックレンジ又はその方式が互いに異なる映像についてマルチ画面表示を行う。
図2において、表示装置2には、レコーダS12から送信されたメニュー画面がSDRで表示されている。なお、表示装置2には、映像信号生成装置1が記憶するメニュー画面がSDRで表示されても良い。また、表示装置2には、サーバ装置S13から送信された番組紹介情報がHDR−HLGで表示され、放送局装置S11から送信された映像がHDR−PQで表示されている。
<映像信号生成装置1について>
図3は、本実施形態に係る映像信号生成装置1の構成を示す概略ブロック図である。
映像信号生成装置1は、信号取得部11、方式取得部12、信号合成部13、設定記憶部14、設定部15、拡張信号生成部16、及び、送信部17を含んで構成される。なお、映像信号生成装置1は、その他、例えばSTBの一般的な公知の機能を備えても良い。
信号取得部11は、N個の信号取得部11−n(n=1〜N:Nは自然数)を含んで構成される。
信号取得部11−nは、信号又はコンテンツデータを、伝送路を介して受信する。信号又はコンテンツデータ、及び、伝送路は、信号取得部11−nに予め定められている。信号取得部11−nは、受信した信号又はコンテンツデータを復調し、復号が必要な場合には復調した信号を復号する。信号取得部11−nは、復調又は復号した信号から、映像信号と制御情報を抽出する。信号取得部11−nは、映像を識別する映像識別情報と対応付けて、抽出した映像信号を信号合成部13へ出力し、抽出した制御情報を方式取得部12へ出力する。なお、映像識別情報は、映像信号生成装置1の内部で映像信号を伝送する配線やポートであっても良いし、これらに対応付けられていても良い。
信号取得部11−nは、例えば、チューナーやネットワークボード等の受信回路である。この受信回路には、復調回路、復号回路、及び、制御情報と映像信号を分離する信号分離回路も含まれている。また、信号取得部11−nは、HDD等のディスクドライブを内蔵し、ディスクドライブが記憶する信号を取得しても良い。また、映像信号生成装置1の読取り機能を用いて、DVDディスクやBDディスク、メモリーカード等の記憶媒体S22から、信号を取得しても良い。
方式取得部12は、信号取得部11−1〜信号取得部11−Nの各々から、映像識別情報と制御情報を取得する。方式取得部12は、制御情報の一部(図4参照)から映像方式情報を抽出する。この映像方式情報は、対応付けられた映像識別情報が示す映像の映像方式を示す。つまり、方式取得部12は、映像毎に、当該映像の映像方式を示す映像方式情報を取得する。方式取得部12は、取得した映像識別情報と映像方式情報を拡張信号生成部へ出力する。
信号合成部13は、信号取得部11−1〜信号取得部11−Nの各々から、映像識別情報と映像信号を取得する。ここで、映像信号は、対応付けられた映像識別情報が示す映像の映像信号である。
信号合成部13は、設定記憶部14から表示設定情報を読み出し、表示設定情報がマルチ画面表示を示す場合、設定記憶部14からマルチ画面設定情報を読み出す。信号合成部13は、読み出したマルチ画面設定情報に基づいて、表示すべき映像を複数選択する。信号合成部13は、選択した複数の映像各々について、表示位置を決定する。信号合成部13は、決定した表示位置の画素に対して、選択した映像の映像信号を配置する。
これにより、信号合成部13は、合成映像信号を生成する。つまり、信号合成部13は、1つのフレーム内に、複数種類の映像信号を含む合成映像信号を生成する。
ここで、複数種類の映像信号とは、例えば、復号方式やデータフォーマット、画質技術等が異なる映像信号である。本実施形態では、信号合成部13は、ダイナミックレンジやその方式が異なる映像信号を取得する。つまり、信号合成部13は、1つのフレーム内に、ダイナミックレンジやその方式が異なる映像信号を含む、合成映像信号を生成する。
信号合成部13は、生成した合成映像信号を、拡張信号生成部16へ出力する。なお、映像信号の種類が1種類の場合、信号合成部13は、この映像信号を合成映像信号として、拡張信号生成部16へ出力する。
設定記憶部14は、設定情報を記憶する。この設定情報は、設定部15により設定され、又は、商品出荷時に設定され、或いは、ソフトウェアの更新により設定される。設定記憶部14は、例えば、設定情報として、表示設定情報やマルチ画面設定情報(図5)、チャンネル設定等を記憶する。ここで、表示設定情報には、マルチ画面表示が指示されているか否かを示す情報等が含まれる。
設定部15は、リモートコントローラから、ユーザの指示を示す信号を取得する。設定部15は、取得した信号に従って、設定記憶部14が記憶する設定情報を更新する。
例えば、設定部15は、ユーザが放送又は通信を選択した場合、選択した放送又は通信を受信する信号取得部11−nを選択する。選択された信号取得部11−nは、映像信号を信号合成部13へ出力する。また、放送又は通信において、ユーザがチャンネルを選択した場合、信号取得部11−nの受信周波数や通信先を変更することで、受信するチャンネルを変更する。ここで、マルチ画面表示の場合、ユーザは、複数の放送又は通信を選択できる。設定部15は、ユーザが選択した放送或いは通信、又は、チャンネルを示す映像識別情報を、設定情報として設定記憶部14に記憶する。
拡張信号生成部16は、設定情報記憶部14から設定情報を読み出す。例えば、拡張信号生成部16は、設定記憶部14から表示設定情報を読み出し、表示設定情報がマルチ画面表示を示す場合、設定記憶部14からマルチ画面設定情報を読み出す。
拡張信号生成部16は、方式取得部12から、映像識別情報と映像方式情報を取得する。
拡張信号生成部16は、マルチ画面設定情報の表示位置と映像識別情報を参照する。拡張信号生成部16は、方式取得部12から取得した情報のうち、参照した映像識別情報に対応する映像方式情報を選択する。拡張信号生成部16は、選択した映像方式情報を、参照した表示位置及び映像識別情報を対応付けて、設定情報記憶部14に記憶させる。
つまり、拡張信号生成部16は、各表示位置の映像と、その映像の映像方式を特定する。
拡張信号生成部16は、設定情報記憶部14に記憶させた設定情報に基づいて、複数の映像方式の映像が同時に表示されるか否か、つまり、複数の映像方式の映像が混在していないか否かを判定する。換言すれば、拡張信号生成部16は、1つのフレーム内の合成映像信号に、複数の映像方式の映像信号が混在していないか否かを判定する。
拡張信号生成部16は、拡張信号生成部16から取得した合成映像信号について、フレーム単位の合成映像信号(「フレーム合成映像信号」とも称する)を抽出する。拡張信号生成部16は、抽出したフレーム合成映像信号から、各表示位置の各画素について、合成映像信号(「画素合成映像信号」とも称する)を抽出する。
複数の映像方式の映像信号が混在していると判定した場合、拡張信号生成部16は、抽出した画素合成映像信号に対して、映像方式情報を示す信号を付加する。ここで、画素単位で付加された映像方式情報を、「画素映像方式情報」という。
具体的には、例えば、図5のマルチ画面設定情報では、表示位置が(X1,Y1)と(X2,Y2)を対角線の頂点とする四角形について、映像識別情報が「12345」であり、その映像の映像方式が「HDR−PQ」である設定を有する。この場合、拡張信号生成部16は、この四角形に含まれる画素の全てに対して、「HDR−PQ」を示す画素映像方式情報を付加する。
拡張信号生成部16は、上述の処理により、合成映像信号と画素映像方式信号を生成する。つまり、拡張信号生成部16は、拡張映像信号を生成する。拡張信号生成部16は、生成した拡張映像信号と、拡張映像信号の制御情報と、を送信部17へ出力する。
一方、複数の映像方式の映像信号が混在していないと判定した場合、拡張信号生成部16は、入力された合成映像信号と、合成映像信号の制御情報と、を送信部17へ出力する。
送信部17は、拡張信号生成部16から取得した拡張映像信号或いは合成映像信号と制御情報を変調し、符号化が必要な場合には変調した信号を符号化する。送信部17は、変調又は符号化した信号を、表示装置2へ送信する。
<制御情報の一例>
図4は、本実施形態に係る放送のデータ構成の一例を表す概略図である。
この図は、放送に含まれる制御情報のフォーマットの一例であり、方式取得部12は、この制御情報から映像方式情報を抽出する。
図4は、映像コンポーネント記述子のデータ構造の一例を示す。映像コンポーネント記述子は、映像コンポーネントに関するパラメータや説明を示す記述子である。
映像コンポーネント記述子において、video_dr_flag(ダイナミックレンジフラグ)は、映像方式情報を表す。video_dr_flagは、「01」が「HDR−PQ」であることを示し、「10」が「HDR−HLG」であることを示す。また、video_dr_flagは、「11」が「SDR」であることを示す。
方式取得部12は、video_dr_flagの値を抽出することで、映像方式情報を抽出する。
なお、映像方式情報は、コンポーネント記述(text_char)に記述されても良い。また、映像方式情報は、放送毎、チャンネル毎、番組毎、又は、日時範囲毎に指定されていても良い。
映像コンポーネント記述子は、MPT(MMT Package Table;MMTパッケージテーブル)のアセット記述子領域に記述される記述子である。MPTは、放送番組の構成要素であるアセット、つまり映像、音声のリストや、それらの提供条件を示す情報を含むテーブルである。MPTは、MMT(MPEG Media Transport)方式におけるMMT−SI(Service Information)である。換言すれば、MMT方式の場合、映像方式情報は、MPTに含まれ、また、MPTのアセット記述子領域に含まれる。
<マルチ画面設定情報の一例>
図5は、本実施形態に係るマルチ画面設定情報の一例を表す概略図である。
図示するようにマルチ画面設定情報は、設定、表示形状、表示位置、映像識別情報、映像、チャンネル、配信元、及び、映像方式情報の各項目の列を有している。設定は、マルチ画面設定を識別する情報である。表示形状は、映像を表示する領域の形状を表す。表示位置は、映像を表示する位置を表し、例えば、画面上の座標(ピクセル)で表される。
マルチ画面設定情報は、設定毎に、1つのフレーム内に表示する映像(映像識別情報)とその表示に関する情報(表示形状、表示位置)を対応付けた2次元の表形式のデータである。なお、映像方式情報は、拡張信号生成部16が、表示位置及び映像識別情報と対応付けて記憶させた情報である。
例えば、図5の1行目のレコードは、表示形状が「四角」であることを示す。つまり、表示位置(X1,Y1)と(X2,Y2)を対角線の頂点とする「四角」形に、映像識別情報「12345」の映像が表示される。また、映像識別情報「12345」の映像は、「HDRデジタル放送」のチャンネル「1ch」の映像であり、信号取得部11−1(n=1)で取得される。また、この映像の配信元は、XX放送局であり、この映像の映像方式は「HDR−PQ」である。
なお、図5の2行目のレコードは、表示形状が「楕円」であり、表示位置(X3,Y3)を中心とし、長径がA1、短径がB1であることを表す。
<拡張映像信号について>
以下、本実施形態に係る拡張映像信号について説明する。
図6は、本実施形態に係る画素を説明するための説明図である。
この図は、1つのフレームの映像信号とディスプレイの画素の関係を表す概念図である。ディスプレイは、例えば、水平方向にJ+1個、垂直方向にI+1個の画素を用いて、この映像信号の映像を表示する。
この図において、角丸の四角形の各々は、1つの画素を表す。また、垂直方向にi+1番目にあり、水平方向にj+1番目にある画素には、角丸の四角形に、番号「ij」を付している。以下、番号「ij」を付した画素を、画素Gijと表記する。
例えば、画素G00は、垂直方向に1番目(i=0)であり、水平方向に1番目(j=0)であるので、00が付されている。画素G01は、垂直方向に1番目(i=0)であり、水平方向に2番目(j=1)であるので、01が付されている。
例えば、アクティブマトリクス駆動方式の場合、垂直方向(行)の画素成分はゲート電極線に対応し、水平方向(列)の画素成分はソース電極線に対応する。例えば、iはゲート電極線の一部又は全部を識別でき、jはソース電極線の一部又は全部を識別できる。
図7は、本実施形態に係る拡張映像信号の構成の一例を表す概略図である。
この図は、ある画素の拡張映像信号には、当該画素の合成映像信号に当該画素の映像方式を示す画素映像方式情報が付加されていることを示す。この図の例では、サブ画素毎に、画素映像方式情報が付加されている。
例えば、拡張映像信号Sg11は赤色の映像信号、拡張映像信号Sg12は緑色の映像信号、拡張映像信号Sg13は青色の映像信号を表す。1つのサブ画素に対する拡張映像信号は、合成映像信号と画素方式情報の組合せで構成されている。図7において、各画素に置いて、画素映像方式信号Sg112、Sg122、Sg132は、それぞれ、合成映像信号Sg111、Sg121、Sg131の後に付加されている。
例えば、合成映像信号Sg111、Sg121、Sg131は、画素G00に対する映像信号であり、それぞれ、赤色の合成映像信号(R00)、緑色の合成映像信号(G00)、青色の合成映像信号(B00)が配置されている。
合成映像信号Sg112、Sg122、Sg132は、画素G00に対する画素映像方式信号であり、画素G00の映像方式を示す信号が配置されている。画素映像方式信号Sg112、Sg122、Sg123は、例えば、「01」が「HDR−PQ」であることを示し、「10」が「HDR−HLG」であることを示す。また、画素映像方式信号112、Sg122、Sg123は、「11」が「SDR」であることを示し、「00」は映像方式が不明であること、又は、映像信号を生成した装置が画素映像方式情報を付与できないことを示す。同様に、合成映像信号Sg123、Sg124は、画素G01の赤色のサブ画素に対する信号である。
なお、1つのサブ画素に対する拡張映像信号は、12ビットで構成される。この拡張映像信号は、合成映像信号は10ビットで構成され、画素映像方式情報は2ビットで構成される。
図8は、本実施形態に係る拡張映像信号の構成の別の一例を表す概略図である。
この図は、ある画素の拡張映像信号は、当該画素の合成映像信号に、当該画素の映像方式を示す画素映像方式情報が付加されていることを示す。この図の例では、画素毎に、画素映像方式情報が付加されている。図8において、各画素に置いて、画素映像方式信号Sg122は、合成映像信号Sg211の後に付加されている。
例えば、拡張映像信号Sg2では、1つの画素に対する拡張映像信号は、1つの画素(全サブ画素)の合成映像信号と画素方式情報の組合せで構成されている。
例えば、拡張映像信号Sg211は、画素G00に対する映像信号であり、当該画素の合成映像信号(P00)が配置されている。この合成映像信号(P00)には、赤色の合成映像信号(R00)、緑色の合成映像信号(G00)、青色の合成映像信号(B00)が含まれている。
拡張映像信号Sg212は、画素G00に対する画素映像方式信号であり、画素G00の映像方式を示す信号が配置されている。画素映像方式信号の各値とその意味は、図7のものと同じである。
同様に、拡張映像信号Sg213、Sg214は、画素G01に対する信号である。
なお、1つの画素に対する拡張映像信号は、1つの画素の合成映像信号に、2ビットの画素映像方式情報が付加されたものである。
上記の拡張映像信号は、次のようにして生成される。
つまり、信号合成部13は、合成映像信号が示す映像の画素(拡張映像信号が示す映像の画素)毎に、合成映像信号を示すビット列に対して、当該画素の映像方式情報を示すビット列(2ビット)を付加することで、前記第1ビット列と前記第2ビット列を含む拡張映像信号を生成する。
<表示装置2について>
図9は、本実施形態に係る表示装置2の構成を示す概略ブロック図である。
表示装置2は、入力部20、記憶部21、通信部22、復調部23−1、23−2、分離部24−1、24−2、24−3、制御情報処理部25、AP(アプリケーション)処理部26、表示制御処理部27、音声処理部28、出力部29、及び、映像処理部C2を含んで構成される。なお、表示装置2は、その他、例えばテレビジョン装置、スマートフォン端末、タブレット端末の一般的な公知の機能を備えても良い。
入力部20は、操作装置(リモートコントローラ)R1から、ユーザの指示を示す信号を取得する。入力部20は、取得した信号に従って、記憶部21が記憶する設定情報を更新する。入力部20は、ユーザが放送又は通信を選択した場合、選択した放送又は通信を受信するように、通信部22に指示する。通信部22は、選択した放送又は通信の映像信号を出力する。また、放送又は通信において、ユーザがチャンネルを選択した場合、通信部22の受信周波数や通信先を変更することで、受信するチャンネルを変更する。
記憶部21は、設定情報を記憶する。この設定情報は、入力部20により設定され、又は、商品出荷時に設定され、或いは、ソフトウェアの更新により設定される。
通信部22は、例えば、端子通信部22−1、放送受信部22−2、NW(ネットワーク)通信部22−3を含んで構成される。
端子通信部22−1は、映像信号生成装置1が送信した信号を受信する。端子通信部22−1は、受信した信号を復調部23−1へ出力する。端子通信部22−1は、例えば、HDMI(登録商標)端子やD端子、USB(ユニバーサル・シリアル・バス)端子に接続されたケーブルから、信号を受信する。
放送受信部22−2は、放送局装置S11が送信した電波の信号を受信する。通信部22−2は、受信した信号を復調部23−2へ出力する。放送受信部22−2は、例えば、チューナーであり、アンテナに接続されている。
NW通信部22−3は、放送局装置S11が送信した電波の信号を受信する。通NW通信部22−3は、受信した信号からデータを抽出する。NW通信部22−3は、抽出したデータを分離部24−2へ出力する。NW通信部22−3は、例えば、ネットワークボードであり、IP(Internet Protocol)プロトコルに従って、情報を抽出する。
復調部23−1は、端子通信部22−1から入力された信号を復調し、復号が必要な場合には復調した信号を復号する。復調部23−1は、復調又は復号した信号を、分離部24−1へ出力する。
復調部23−2は、放送受信部22−2から入力された信号を復調し、復号が必要な場合には復調した信号を復号する。復調部23−1は、復調又は復号した信号を、分離部24−2へ出力する。
分離部24−1、24−2は、入力された信号から、映像信号と音声信号と制御情報を分離する。分離部24−1、24−2は、分離した映像信号を映像処理部C2へ出力し、制御情報を制御情報処理部25へ出力する。
分離部24−3は、入力された情報から、アプリケーション情報と音声信号と制御情報を分離する。アプリケーション情報とは、例えば、マークアップ言語(例えば、XML、HTML)で記述された情報でも良いし、映像ファイルやプログラムであっても良い。分離部24−3は、分離したアプリケーション情報をAP処理部26へ出力し、制御情報を制御情報処理部25へ出力する。分離部24−1、24−2、24−3は、分離した音声信号を音声処理部28へ出力する。
ここで、端子通信部22−1、復調部23−1、及び、分離部24−1は、映像信号生成装置1から拡張映像信号とその制御情報を取得し、拡張映像信号を映像処理部C2へ出力し、制御情報を制御情報処理部25へ出力する。
制御情報処理部25は、入力された制御情報から、予め定められたフォーマットに従って各パラメータの値(以下、「制御値」称する)を抽出する。制御値は、映像又は音声を処理する際に用いられ、又は、この値に基づいてユーザに情報が提示される。制御情報処理部25は、抽出した制御値を表示制御処理部27及び映像処理部C2へ出力する。
AP処理部26は、入力されたアプリケーション情報から、当該アプリケーション情報に基づいた映像信号を生成する。AP処理部26は、例えば、ブラウザ機能を有し、マークアップ言語から、映像信号を生成する。AP処理部26は、生成した映像信号を映像処理部C2へ出力する。
表示制御処理部27は、記憶部21が記憶する設定情報、及び制御情報処理部25から入力された制御値に従って、映像の表示を制御する。
映像処理部C2は、入力された映像信号から、制御情報処理部25から入力された制御値、及び表示制御処理部の制御に基づいて、駆動信号を生成する。
映像処理部C2は、例えば、制御値が「拡張映像信号」を示す場合(図10参照)、拡張映像信号を駆動信号に変換する処理(「拡張映像信号処理」とも称する)を行う。
拡張映像信号処理において、映像処理部C2は、1つのフレーム内の映像信号について、HDR映像信号の部分に、HDR用マッピングを用いて駆動信号を生成し、SDR映像信号の部分に、HDR用マッピングを用いて駆動信号を生成する。また、映像処理部C2は、例えば、HDR−PQ映像信号の部分に、HDR−PQ用マッピングを用いて駆動信号を生成し、HDR−HLG映像信号の部分に、HDR−HLG用マッピングを用いて駆動信号を生成する。
例えば、映像信号生成装置1がマルチ画面表示を行う場合、映像処理部C2は、合成映像信号が示す映像の画素(拡張映像信号が示す映像の画素)毎に、マッピングを選択し、選択したマッピングを用いて、当該画素の駆動信号を生成する。
より具体的には、映像処理部C2は、当該画素の画素映像方式情報がHDRを示す場合、HDR用マッピングを選択し、当該画素の合成映像信号にHDR用マッピングを用いて駆動信号を生成する。映像処理部C2は、当該画素の画素映像方式情報がSDRを示す場合、SDR用マッピングを選択し、当該画素の合成映像信号にSDR用マッピングを用いて駆動信号を生成する。同様に、映像処理部C2は、当該画素の画素映像方式情報がHDR−PQを示す場合、HDR−PQ用マッピングを選択し、当該画素の合成映像信号にHDR−PQ用マッピングを用いて駆動信号を生成する。映像処理部C2は、当該画素の画素映像方式情報がHDR−HLGを示す場合、HDR−HLG用マッピングを選択し、当該画素の合成映像信号にHDR−HLG用マッピングを用いて駆動信号を生成する。
映像処理部C2は、生成した駆動信号を表示部292へ出力する。
上記のマッピングは、それぞれ異なったマッピングである。また、上記のマッピングは、ダイナミックレンジ(最大輝度値や方式も含む)に応じて異なるマッピングである。
また、拡張映像信号処理において、映像処理部C2は、画素映像方式情報に基づいて、表示部292のライトの光量を調整しても良い(「光量制御処理」とも称する)。例えば、表示部292が液晶ディスプレイの場合(図12参照)、映像処理部C2は、バックライトの光量を、部分的に調整する。
具体的には、映像処理部C2は、1つのフレーム内の映像を表示するときの光量について、HDR映像を表示する画素部分のライトの光量を、SDR映像を表示する画素部分のライトの光量より増大させる。換言すれば、映像処理部C2は、HDR映像を表示する画素部分のライトを、SDR映像を表示する画素部分のライトより明るくする。例えば、映像処理部C2は、ライトの光量、出力の範囲を広げる、又は、最大値を高くする。
なお、映像処理部C2は、1つのライト(例えば、LEDライト)で光量又は光を調整しても良いし、複数のライトで光量又は光を調整しても良い。
音声処理部28は、入力された音声信号から、音声駆動信号を生成する。音声処理部28は、音声駆動信号をスピーカー291へ出力する。ここで、音声処理部28は、映像処理部C2が出力する駆動信号と音声駆動信号を同期させて出力する。
出力部29は、スピーカー291と表示部292を含んで構成される。
スピーカー291は、入力された音声駆動信号に基づいて、音を出力する。
表示部292は、入力された駆動信号に基づいて、映像を表示する。表示部292は、例えば、液晶パネルである。ただし、表示部292は、有機発光ダイオードパネルであっても良いし、MEMS(微小電気機械システム)を採用したパネルであっても良い。
<拡張映像制御情報の一例>
図10は、本実施形態に係る制御情報のデータ構成の一例を表す概略図である。
図10の制御情報は、拡張映像信号に関する制御情報(「拡張映像制御情報」とも称する)である。例えば、映像信号生成装置1は、拡張映像制御情報を生成し、制御情報として表示装置2へ通知する。なお、図10の拡張映像制御情報は、EDID(Extended Display Identification Data)として通知する場合の一例である。
拡張映像制御情報は、画素付加情報の有無、画素付加方式、画素付加ビット数が含まれている。
画素付加情報の有無は、画素付加情報が付加されているか否か、つまり、映像信号が拡張映像信号であるか否かを表す。画素付加方式は、画素付加情報が付加されている位置(ビット)を表す。例えば、画素付加方式が「00」の場合はサブ画素毎に画素付加情報が付加され(図7)、「01」の場合は画素毎に画素付加情報が付加される(図8)。なお、画素付加方式が「10」の場合、合成映像信号と画素映像方式信号は、それぞれ別のフォーマットに従って生成され、別々に通知される(第3の実施形態を参照)。
画素付加ビット数は、画素付加情報のビット数を示す。
図10において、「バイト」は、EDIDにおいて何番目のバイト(8ビット)のデータに情報が配置されているかを示す。この図では、X番目のバイトのデータに、拡張映像制御情報が配置されていることを表す。
X番目のバイトのうち、1番目の1ビットが「Bit0」である。この1番目のビットには、画素付加情報の有無を示す情報が配置される。X番目のバイトのうち、この2〜3番目の2ビットが「Bit1−2」である。2〜3番目の2ビットには、画素付加方式を示す情報が配置される。X番目のバイトのうち、4〜5番目の2ビットが「Bit3−4」である。この4〜5番目の2ビットには、画素付加ビット数を示す情報が配置される。
<映像処理部について>
図11は、本実施形態に係る映像処理部C2の構成を示す概略ブロック図である。
映像処理部C2は、フレーム信号取得部C21、画素信号取得部C22、拡張方式取得部C23、選択部C24、信号生成部C25、レイヤ合成部C26、及び、光調整部C27を含んで構成される。なお、映像処理部C2は、その他、映像信号から駆動信号を生成する回路の一般的な公知の機能を備えても良い。
フレーム信号取得部C21は、制御情報処理部25から入力された制御値に基づいて、入力された映像信号について、各フレームの開始と終了のビットを選択する。つまり、フレーム信号取得部C21は、フレーム単位の映像信号(「フレーム映像信号」と称する)を取得する。フレーム信号取得部C21は、フレーム毎に、フレーム映像信号を画素信号取得部C22へ出力する。
画素信号取得部C22は、制御情報処理部25から入力された制御値に基づいて、入力されたフレーム映像信号について、各画素の映像信号を取得する。
画素信号取得部C22は、制御値のうち、画素付加情報の有無を示す情報が「1」の場合、映像信号が拡張映像信号であると判定する。この場合、画素信号取得部C22は、画素信号取得部C22は、1つの画素の拡張映像信号から、画素付加情報を抽出する。
より具体的には、画素付加伝送方式及び画素付加ビット数が「00」のとき、画素信号取得部C22は、各サブ画素の拡張映像信号から、2ビットの信号を画素付加情報として抽出する。一方、画素付加伝送方式が「01」で画素付加ビット数が「00」のとき、画素信号取得部C22は、各画素の拡張映像信号から、2ビットの信号を画素付加情報として抽出する。なお、映像部分(例えば、合成映像信号の部分)のビット数は、予めさだめられている。画素信号取得部C22は、このビット数のビットの後、2ビットの信号を画素付加情報として抽出する。
画素信号取得部C22は、抽出した画素付加情報を、拡張方式取得部C23へ出力する。
また、映像信号が拡張映像信号である場合には、画素信号取得部C22は、入力された映像信号から画素付加情報を取り除いた映像信号を、信号生成部C25へ出力する。この映像信号は、映像信号生成装置1がマルチ画面表示を行う場合、合成映像信号である。
画素信号取得部C22は、制御値のうち、画素付加情報の有無を示す情報が「0」の場合、映像信号が拡張映像信号でないと判定する。映像信号が拡張映像信号でない場合には、画素信号取得部C22は、入力された映像信号を信号生成部C25へ出力する。
画素信号取得部C22は、映像信号を、画素毎に、信号生成部C25へ出力する。信号生成部C25へ出力され、信号生成部C25の処理対象となっている画素を、「対象画素」とも称する。
拡張方式取得部C23は、画素信号取得部C22から入力された画素付加情報から、画素映像方式情報を抽出する。拡張方式取得部C23は、抽出した画素映像方式情報を選択部C24へ出力する。
選択部C24は、対象画素について、拡張方式取得部C23から入力された画素映像方式情報に基づいて、駆動信号生成部C252−1〜C252−mのうち、いずれか1つの駆動信号生成部C252−m(m=1、2、・・・M)を選択する。具体的には、選択部C24は、画素映像方式情報が表わす値に応じて、スイッチC251を開閉する。
例えば、選択部C24は、画素映像方式情報が「01」の場合、対象画素の映像信号がHDR−PQと判断する。この場合、選択部C24は、駆動信号生成部C252−2を選択する。選択部C24は、対象画素の映像信号、つまり、1画素分の映像信号が駆動信号生成部C252−2に入力されるまで、スイッチC251−2を閉じて他のスイッチを開く。
同様に、選択部C24は、画素映像方式情報が「10」の場合、画素の映像信号がHDR−HLGと判断する。この場合、選択部C24は、駆動信号生成部C252−3を選択し、対象画素の映像信号が駆動信号生成部C252−3に入力されるまで、スイッチC251−3を閉じて他のスイッチを開く。
選択部C24は、画素映像方式情報が「11」の場合、対象画素の映像信号がSDRと判断する。この場合、選択部C24は、駆動信号生成部C252−4を選択し、対象画素の映像信号が駆動信号生成部C252−4に入力されるまで、スイッチC251−4を閉じて他のスイッチを開く。
選択部C24は、画素映像方式情報が「00」の場合、対象画素の映像信号の映像方式は不明であると判断する。この場合、選択部C24は、駆動信号生成部C252−1を選択する。選択部C24は、デフォルト設定では、駆動信号生成部C252−1を選択する。
また、選択部C24は、入力された画素映像方式情報を、光調整部C27へ出力する。
なお、選択部C24は、制御値として、画面全体の輝度値や映像方式を取得しても良い。このとき、例えば、画素映像方式情報が「00」の場合、画面全体の映像方式に基づいて、駆動信号生成部C252−mを選択する。一方、画素映像方式情報が「00」以外の場合、画像全体の映像方式を無視して(採用せず)、画素映像方式情報が示す映像方式に基づいて、駆動信号生成部C252−mを選択する。換言すれば、選択部C24は、画面全体の映像方式よりも、画素映像方式情報が示す映像方式、つまり、画素単位の映像方式を優先する。
駆動信号生成部C252−mは、対象画素毎に、入力された映像信号(例えば、合成映像信号)から駆動信号を生成する。駆動信号生成部C252−mは、それぞれ、予め定められたマッピングを用いて、入力された映像信号から駆動信号を生成する。これらのマッピングは、駆動信号生成部C252−m毎に異なる。例えば、これらのマッピングでは、互いにOETFやEOTFが異なる。また、このマッピングは、回路で構成されても良いし、データとして記憶されていても良い。
なお、駆動信号生成部C252−mは、色域変換を行っても良く、映像信号に対して色域変換の後に又は前に、マッピングを用いても良い。
駆動信号生成部C252−1は、入力された映像信号に、予め定められたマッピング(「デフォルトマッピング」とも称する)を用いて駆動信号を生成する。
駆動信号生成部C252−2は、入力された映像信号に、HDR−PQ用マッピングを用いて駆動信号を生成する。つまり、駆動信号生成部C252−2に入力される映像信号は、HDR−PQ映像信号である。
駆動信号生成部C252−3は、入力された映像信号に、HDR−HLG用マッピングを用いて駆動信号を生成する。つまり、駆動信号生成部C252−2に入力される映像信号は、HDR−HLG映像信号である。
駆動信号生成部C252−4は、入力された映像信号に、SDR用マッピングを用いて駆動信号を生成する。つまり、駆動信号生成部C252−2に入力される映像信号は、SDR映像信号である。なお、SDR用マッピングとデフォルトマッピングは同じでも良く、この場合選択部は、画素映像方式情報が「00」の場合と「11」の場合、駆動信号生成部C252−4を選択する。
レイヤ合成部C26は、表示制御処理部27の制御に従って、映像や文字情報(字スーパーや字幕)を合成する。例えば、レイヤ合成部C26は、制御値によって文字情報の付加が指示されている場合、入力された駆動信号の一部に対して、文字情報を示す駆動信号で書き換える。つまり、レイヤ合成部C26は、映像信号が表わす映像のレイヤに対して、文字スーパーや字幕等の別のレイヤを重ねることで、レイヤを合成する。レイヤ合成部C26は、レイヤを合成した駆動信号を、表示部292へ出力する。
光調整部C27は、選択部C24から入力された画素映像方式情報に基づいて、光量制御処理を行う。光調整部C27は、対象画素に最も近い位置を照らす光源(ライト)について、出力値を決定する。光調整部C27は、光源の出力値について、画素映像方式情報が示す映像方式がHDRの場合、映像方式がSDRの場合と比較して、より高い値に決定する。なお、光調整部C27は、1つの光源に対して、複数の対象画素が存在する場合には、予め定められた規則に従って、出力値を決定する。
例えば、光調整部C27は、1つの光源に対する対象画素について、映像方式が1つでもHDRと判定される場合には、SDRの場合と比較して高い出力値としても良い。逆に、光調整部C27は、1つの光源に対する対象画素について、映像方式が1つでもSDRと判定される場合には、HDRの場合と比較して低い出力値としても良い。例えば、光調整部C27は、光源の出力値を5段階で調整する場合に、HDRの場合の出力値を最も高い「5」とし、SDRの場合の出力値を「3」とする。なお、画素が黒色の場合には、画素に対する光源について、出力値を最も低い「0」とする。出力値「0」は、光を消させる値であっても良い。また、光調整部C27は、HDR−PQの場合に出力値を「5」とし、HDR−HLGの場合に出力値を「4」としても良い。逆に、光調整部C27は、HDR−PQの場合に出力値を「4」とし、HDR−HLGの場合に出力値を「5」としても良い。
光調整部C27は、生成した出力値を示す信号(「光制御信号」とも称する)を、スピーカー291へ出力する。ここで、光調整部C27は、レイヤ合成部C26が出力する駆動信号と光制御信号を、フレーム単位で同期させて出力する。
図12は、本実施形態に係る光量制御処理を説明する説明図である。
図12は、表示部292が液晶パネルの場合に、液晶部分とバックライト部分を模式的に表している。この図では、便宜上、模式的に、液晶P1とバックライトBL1を離して表している。なお、バックライトは、直下型であり、複数の光源(LEDライト)各々の出力値を制御することで、部分駆動が可能なバックライトである。
液晶P1には、映像I21、I22、I23が表示されている。ここで、映像I21はSDR映像、映像I22はHDR−HLG映像、映像I23はHDR−PQ映像である。バックライト上に示した領域L11、L12、L13は、それぞれ、液晶P1の映像I21、I22、I23の直下の領域である。
光調整部C27は、領域L12と領域L13に含まれる光源に対して、領域L11に含まれる光源よりも高い出力値に決定し、この高い出力値を示す光制御信号を出力する。
<映像信号生成装置の動作について>
図13は、本実施形態に係る映像信号生成装置1の動作の一例を示すフロー図である。
(ステップS101)方式取得部12は、各映像について、当該映像の制御情報の一部から映像方式を取得する。その後、ステップS101へ進む。
(ステップS102)拡張信号生成部16は、ステップS101で取得した各映像の映像方式と設定情報に基づいて、複数の映像方式の映像信号が混在しているか否かを判定する。複数の映像方式の映像信号が混在していると判定された場合(YES)、ステップS103へ進む。一方、複数の映像方式の映像信号が混在していないと判定された場合(NO)、ステップS123へ進む。
(ステップS103)拡張信号生成部16は、取得した合成映像信号について、フォーマット情報に従って、1つのフレームを開始させるビットであるか否かを判定する。ここで、フォーマット情報とは、映像信号生成装置1が送信する映像信号のフォーマットを示す情報である。
1つのフレームを開始させるビット列であると判定した場合(YES)、拡張信号生成部16は、ビット列に、特定の信号(「フレーム開始系列」とも称する)を配置する。その後、ステップS104へ進む。この場合、以降の動作では、フレーム単位の動作が行われる。一方、1つのフレームが開始するビットではないと判定された場合(NO)、ステップS103に戻る。
(ステップS104)拡張信号生成部16は、フォーマット情報に従って、1つの画素を開始させるビット(「画素開始ビット」とも称する)であるか否かを判定する。
画素開始ビットであると判定された場合(YES)、ステップS105へ進む。この場合、以降の動作では、画素単位の動作が行われる。一方、画素開始ビットでないと判定された場合(NO)、ステップS104へ戻る。
(ステップS105)拡張信号生成部16は、1つの画素の合成映像信号を、順次、ビットに配置する。その後、ステップS106へ進む。
(ステップS106)拡張信号生成部16は、フォーマット情報に従って、1つの画素の合成映像信号を配置するビット列(「画素映像ビット列」とも称する)を終了させるか否かを判定する。例えば、拡張信号生成部16は、画素開始ビット以降のビット数をカウントし、10ビットに達した場合には、画素映像ビット列を終了させる判定する。画素映像ビット列を終了させると判定された場合(YES)、ステップS107へ進む。一方、画素映像ビット列を終了させないと判定された場合(NO)、ステップS105へ戻る。
(ステップS107)拡張信号生成部16は、直前のステップS105で配置された合成映像信号が表わす映像について、ステップS101で取得した映像方式を参照する。拡張信号生成部16は、参照した映像方式を示す信号を、画素付加信号としてビットに配置する。その後、ステップS108へ進む。
(ステップS108)拡張信号生成部16は、フォーマット情報に従って、画素付加信号を配置するビット列(「画素付加ビット列」とも称する)を終了させる否かを判定する。例えば、拡張信号生成部16は、画素映像ビット列より後のビット数をカウントし、2ビットに達した場合には、画素付加ビット列を終了させると判定する。画素付加ビット列を終了させると判定された場合(YES)、ステップS109へ進む。一方、画素付加ビット列を終了させないと判定された場合(NO)、ステップS108へ戻る。
以上のステップS105からS108の動作により、拡張信号生成部16は、1つの画素に、画素映像ビット列(例えば、10ビット)の後に画素付加ビット列(例えば、2ビット)を配置する。画素毎に、画素映像ビット列に画素付加ビット列が付加されたビット列(例えば、12ビット)を「画素ビット列」とも称する。
なお、画素映像ビット列に合成映像信号が配置され、画素映像ビット列に画素付加信号が配置された信号が、本実施形態に係る拡張映像信号である。また、「画素ビット列」に配置された拡張映像信号は、画素の拡張映像信号である。
(ステップS109)拡張信号生成部16は、1つのフレームの全画素について、ステップS104からS108の動作が終了したか否かを判定する。全画素について動作が終了したと判定された場合(YES)、動作を完了する。この場合、次のフレームについて、図13の動作が開始される。一方、全画素について動作が終了していないと判定された場合(NO)、ステップS104に戻り、次の画素に対してステップS105からS108の動作が行われる。
(ステップS123)拡張信号生成部16は、取得した合成映像信号について、フォーマット情報に従って、1つのフレームを開始させるビットであるか否かを判定する。なお、ステップS123以降で用いられるフォーマット情報は、ステップS103以降で用いられるフォーマット情報とは異なる。
1つのフレームを開始させるビット列であると判定した場合(YES)、拡張信号生成部16は、ビット列に、フレーム開始系列を配置する。その後、ステップS124へ進む。一方、1つのフレームが開始するビットではないと判定された場合(NO)、ステップS123に戻る。
(ステップS124)拡張信号生成部16は、フォーマット情報に従って、画素開始ビットであるか否かを判定する。画素開始ビットであると判定された場合(YES)、ステップS125へ進む。この場合、以降の動作では、画素単位の動作が行われる。一方、画素開始ビットでないと判定された場合(NO)、ステップS124へ戻る。
(ステップS125)拡張信号生成部16は、拡張信号生成部16は、1つの画素の合成映像信号を、順次、ビットに配置する。その後、ステップS126へ進む。
(ステップS126)拡張信号生成部16は、フォーマット情報に従って、画素映像ビット列を終了させるか否かを判定する。画素映像ビット列を終了させると判定された場合(YES)、ステップS129へ進む。一方、画素映像ビット列を終了させないと判定された場合(NO)、ステップS125へ戻る。
(ステップS129)拡張信号生成部16は、1つのフレームの全画素について、ステップS124からS126までの動作が終了したか否かを判定する。全画素について動作が終了したと判定された場合(YES)、動作を完了する。この場合、次のフレームについて、図13の動作が開始される。一方、全画素について動作が終了していないと判定された場合(NO)、ステップS124に戻り、次の画素に対してステップS125からS126までの動作が行われる。
<表示装置の動作について>
図14は、本実施形態に係る表示装置2の動作の一例を示すフロー図である。
(ステップS201)制御情報処理部25は、制御情報のうち、拡張映像制御情報を参照する。制御情報処理部25は、拡張映像制御情報に記述された変数とその制御値を抽出する。その後、ステップS202へ進む。
(ステップS202)画素信号取得部C22は、制御情報に基づいて、映像信号が拡張映像信号であるか否かと判定する。具体的には、画素信号取得部C22は、ステップS201で抽出された変数のうち、画素付加情報の有無が「有」(01)の場合に拡張映像信号であると判定し、「無」(00)の場合に拡張映像信号でないと判定する。
拡張映像信号であると判定された場合(YES)、ステップS203へ進む。一方、拡張映像信号でないと判定された場合(NO)、ステップS223へ進む。
(ステップS203)フレーム信号取得部C21は、取得した映像信号(拡張映像信号)について、フォーマット情報に従って、1つのフレームが開始されるか否かを判定する。例えば、フレーム信号取得部C21は、フレーム開始系列を検出し、フレーム開始系列を検出した場合に1つのフレームが開始されると判定する。
1つのフレームが開始されると判定した場合(YES)、フレーム信号取得部C21は、フレーム映像信号を画素信号取得部C22へ出力する。その後、ステップS204へ進む。この場合、以降の動作では、フレーム単位の動作が行われる。一方、1つのフレームが開始されないと判定した場合(NO)、ステップS203に戻る。
なお、表示装置2は、制御情報を用いてフォーマット情報を通知されても良いし、制御情報を用いてフォーマット情報の識別情報を指示されても良い。
(ステップS204)画素信号取得部C22は、フォーマット情報に従って、画素開始ビットであるか否かを判定する。画素開始ビットであると判定された場合(YES)、ステップS205へ進む。この場合、以降の動作では、画素単位の動作が行われる。ここで、動作(処理)の対象となる画素が、対象画素である。一方、画素開始ビットでないと判定された場合(NO)、ステップS204へ戻る。
(ステップS205)画素信号取得部C22は、1つの画素の合成映像信号を、順次、ビットから取得する。つまり、画素ビット列のうち、画素映像ビット列のビットを順次、取得する。その後、ステップS206へ進む。
(ステップS206)画素信号取得部C22は、フォーマット情報に従って、画素映像ビット列が終了したか否かを判定する。例えば、画素信号取得部C22は、画素開始ビット以降のビット数をカウントし、10ビットに達した場合には、画素映像ビット列が終了したと判定する。画素映像ビット列が終了したと判定された場合(YES)、ステップS207へ進む。この場合、画素信号取得部C22は、画素映像ビット列から、対象画素の合成映像信号の全てを取得している。一方、画素映像ビット列が終了していないと判定された場合(NO)、ステップS205へ戻る。
(ステップS207)画素信号取得部C22は、画素付加信号を、順次、ビットから取得する。つまり、画素ビット列のうち、画素付加ビット列のビットを順次、取得する。その後、ステップS208へ進む。
(ステップS208)画素信号取得部C22は、フォーマット情報に従って、画素付加ビット列が終了したか否かを判定する。例えば、画素信号取得部C22は、画素付加ビット列より後のビット数をカウントし、2ビットに達した場合には、画素付加ビット列が終了したと判定する。画素付加ビット列が終了したと判定された場合(YES)、ステップS209へ進む。この場合、画素信号取得部C22は、画素付加ビット列から、対象画素の画素付加信号の全てを取得している。一方、画素付加ビット列が終了していないと判定された場合(NO)、ステップS208へ戻る。
(ステップS209)拡張方式取得部C23は、フォーマット情報に従って、ステップS208で取得された画素付加信号が示す画素付加情報から、画素映像方式情報を抽出する。この画素映像方式情報は、対象画素の映像方式を示している。その後、ステップS210へ進む。
(ステップS210)選択部C24は、ステップS209で抽出された画素映像方式情報に基づいて、マッピングを選択する。具体的には、選択部C24は、画素映像方式情報が示す映像方式のマッピング(選択マッピング)を用いる駆動信号生成部C252−mを選択する。例えば、選択部C24は、駆動信号生成部C252−2〜C252−4のうち、いずれかの駆動信号生成部C252−mを選択する。その後、ステップS211へ進む。
(ステップS211)選択部C24は、ステップS210で選択された駆動信号生成部C252−mに、ステップS205で取得した合成映像信号を入力する。つまり、選択部C24は、この駆動信号生成部C252−mに、対象画素の合成映像信号を入力する。
ステップS210で選択された駆動信号生成部C252−mは、入力された合成映像信号に、駆動信号生成部C252−mに設定されたマッピングを用いて、駆動信号を生成する。その後、ステップS212へ進む。
(ステップS212)1つのフレームの全画素について、ステップS204からS211までの動作が終了した場合(YES)、動作を完了する。この場合、次のフレームについて、図14の動作が開始される。一方、それ以外の場合(NO)、ステップS204に戻り、次の画素を対象画素とし、対象画素に対してステップS205からS211までの動作が行われる。
(ステップS223)フレーム信号取得部C21は、取得した映像信号について、フォーマット情報に従って、1つのフレームが開始されるか否かを判定する。なお、ステップS223以降で用いられるフォーマット情報は、ステップS203以降で用いられるフォーマット情報とは異なる。
1つのフレームが開始されると判定した場合(YES)、フレーム信号取得部C21は、フレーム映像信号を画素信号取得部C22へ出力する。その後、ステップS224へ進む。この場合、以降の動作では、フレーム単位の動作が行われる。一方、1つのフレームが開始されないと判定した場合(NO)、ステップS223に戻る。
(ステップS224)画素信号取得部C22は、フォーマット情報に従って、画素開始ビットであるか否かを判定する。画素開始ビットであると判定された場合(YES)、ステップS225へ進む。この場合、以降の動作では、画素単位の動作が行われる。一方、画素開始ビットでないと判定された場合(NO)、ステップS224へ戻る。
(ステップS225)画素信号取得部C22は、1つの画素の合成映像信号を、順次、ビットから取得する。その後、ステップS226へ進む。
(ステップS226)画素信号取得部C22は、フォーマット情報に従って、画素映像ビット列が終了したか否かを判定する。例えば、画素信号取得部C22は、画素開始ビット以降のビット数をカウントし、10ビットに達した場合には、画素映像ビット列が終了したと判定する。画素映像ビット列が終了したと判定された場合(YES)、ステップS231へ進む。この場合、画素信号取得部C22は、画素映像ビット列から、対象画素の合成映像信号の全てを取得している。一方、画素映像ビット列が終了していないと判定された場合(NO)、ステップS225へ戻る。
(ステップS231)選択部C24は、予め定められた駆動信号生成部C252−1に、ステップS225で取得した合成映像信号を入力する。つまり、選択部C24は、この駆動信号生成部C252−1に、対象画素の合成映像信号を入力する。
駆動信号生成部C252−1は、入力された合成映像信号に、デフォルトマッピングを用いて、駆動信号を生成する。その後、ステップS232へ進む。
(ステップS232)1つのフレームの全画素について、ステップS224からS226までの動作が終了した場合(YES)、動作を完了する。この場合、次のフレームについて、図14の動作が開始される。一方、それ以外の場合(NO)、ステップS224に戻り、次の画素を対象画素とし、対象画素に対してステップS225からS226までの動作が行われる。
このように、本実施形態によれば、映像処理システムS(信号処理システム)は、映像信号生成装置1(信号生成装置)と表示装置2(出力装置)を具備する。
信号生成装置1の信号合成部13及び拡張信号生成部16(信号生成部)は、HDR(第1映像方式)のHDR映像(第1映像)を表すHDR映像信号(第1映像信号)と、HDRとダイナミックレンジの方式が異なるSDR(第2映像方式)のSDR映像(第2映像)を表すSDR映像信号(第2映像信号)と、を1つのフレーム内に含む合成映像信号(第3映像信号)を生成する。
表示装置2の映像処理部C2(処理部)は、1つのフレーム内の合成映像信号について、HDR映像信号の部分に、HDR用マッピングを用いて駆動信号を生成し、SDR映像信号の部分に、SDR用マッピングを用いて駆動信号を生成する。
これにより、映像処理システムSは、1つの画面上で部分的にHDRとSDRを変えることができる。
なお、HDRは、複数の映像方式(HDR−PQ、HDR−HLG)があっても良い。また、HDRを第1映像方式、SDRを第2映像方式として説明するが、本発明はこれに限らず、逆であっても良い。つまり、SDRが第1映像方式、HDRが第2映像方式であっても良い(以下、同様)。
また、本実施形態によれば、拡張信号生成部16は、合成映像信号の画素単位で映像方式(例えば、HDR又はSDR)を示す画素映像方式情報を生成する。
映像処理部C2は、対象画素毎に、対象画素の画素映像方式情報がHDRを示す場合、HDR用マッピングを選択し、HDR映像信号にHDR用マッピングを用いて駆動信号を生成する。映像処理部C2は、対象画素毎に、対象画素の画素映像方式情報がHDRを示す場合、HDR用マッピングを選択し、SDR映像信号にSDR用マッピングを用いて駆動信号を生成する。また、出力部29は、この駆動信号に基づいて、合成映像信号が表わす映像のうち、HDR映像の部分をHDR映像として表示し、SDR映像の部分をSDR映像として表示する。
これにより、映像処理システムSは、1つの画面上で、画素単位で、HDR映像とSDR映像の両方を表示することができる。
また、例えば、映像処理システムSは、1つの画面上で、各映像方式の映像のサイズや、各映像の表示領域の形状を設定又は変更できる。これにより、映像処理システムSは、様々な大きさ、形状の映像って映像方式の異なる映像についても、その映像を同時に又は部分的に表示できる。
また、本実施形態によれば、拡張信号生成部16は、HDR−PQ方式のHDR−PQ映像を表すHDR−PQ映像信号、又は、HDR−HLG方式のHDR−HLG映像を表すHDR−HLG映像信号を、1つのフレーム内に含む合成映像信号を生成しても良い。
映像処理部C2は、合成映像信号の画素の画素映像方式情報がHDR−PQを示す場合、HDR−PQ映像信号を駆動信号にマッピングするHDR−PQ用マッピングを選択する。映像処理部C2は、前記第3映像信号の画素の前記画素映像方式情報が前記HDRを示す場合、前記HDR−HLG映像信号を駆動信号にマッピングするHDR−HLG用マッピングを前記第1マッピングとして選択し、前記HDR−HLG映像信号にHDR−HLG用マッピングを用いて駆動信号を生成する。
出力部29は、駆動信号に基づいて、合成映像信号が表わす映像のうち、HDR−PQ映像の部分をHDR−PQ映像として表示し、HDR−HLG映像の部分をHDR−HLG映像として表示する。
これにより、映像処理システムSは、1つの画面上で、画素単位で、HDR−PQ映像とHDR−HLG映像の両方を表示することができる。
また、本実施形態によれば、拡張信号生成部16は、合成映像信号の画素毎に、合成映像信号を示す画素映像ビット列(第1ビット列)に対して、当該画素の映像方式情報を示す画素付加ビット列(第2ビット列)を付加する。これにより、拡張信号生成部16は、合成映像信号の画素毎に、画素映像ビット列と画素付加ビット列を、画素ビット列として含む拡張映像信号を生成する。
映像処理部C2は、合成映像信号の画素毎に(拡張映像信号の画素毎に)、拡張映像信号から画素映像ビット列と画素付加ビット列を抽出し、当該画素映像ビット列がHDRを示す場合に当該画素映像ビット列にHDR用マッピングを用いて駆動信号を生成する。映像処理部C2は、当該画素映像ビット列がSDRを示す場合に当該画素映像ビット列にSDR用マッピングを用いて駆動信号を生成する。
これにより、映像処理システムSは、画素映像ビット列と画素付加ビット列を、画素毎に併せて通知でき、また、抽出できる。例えば、合成映像信号と画素映像方式情報を別々に通知、抽出する場合と比較して、映像処理システムSは、より容易に同期を取ることができる。また、合成映像信号と画素映像方式情報の一方のみを喪失する可能性が低いので、映像処理システムSは、より確実に、HDR映像とSDR映像の両方を表示することができる。
また、本実施形態によれば、設定部15は、HDR映像の表示位置とSDR映像の表示位置を設定する。映像信号取得部11は、第1伝送路でHDR映像信号を受信し、第2伝送路でSDR映像信号を受信する。ここで、伝送路としては、例えば、放送伝送路、ケーブル、インターネット或いはLAN、自装置内の配線がある。また、第1伝送路と第2伝送路は、これらの伝送路のうち、異なる伝送路である。方式取得部12は、第1伝送路で取得した信号からHDR映像信号の映像方式(HDR)を示す第1映像方式情報を取得し、第1伝送路又は第2伝送路で取得した信号からSDR映像信号の映像方式(SDR)を示す第2映像方式情報を取得する。映像処理部C2は、HDR映像の表示位置の画素について第1映像方式情報に基づいて画素映像方式情報を生成し、SDR映像の表示位置の画素について第2映像方式情報に基づいて画素映像方式情報を生成する。
このように、映像処理システムSでは、映像信号生成装置1は、合成する映像の映像方式を取得し、それぞれの映像を表示する表示位置の画素に対して、取得した映像方式を示す画素映像方式信号を配置する。これにより、映像処理システムSは、1つの画面上で、HDR映像とSDR映像の両方を表示することができる。
また、本実施形態によれば、通信部22(拡張映像信号取得部)は、HDR映像信号と、HDRとダイナミックレンジの方式が異なるSDR映像信号と、を1つのフレーム内に含む合成映像信号を取得する。映像処理部C2(光量調整部C27)は、1つのフレーム内の合成映像信号が表わす映像を表示するときの光量について、HDR映像を表示する画素部分の光量を、SDR映像を表示する画素部分の光量よりも、増大させる。
これにより、映像処理システムSは、HDRとSDRに応じて、例えばバックライトを部分駆動させることができる。これにより、映像処理システムSは、HDR映像の部分とSDR映像の部分で、発光可能な光量範囲を変更することができる。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
本実施形態では、映像処理システムSにおいて、放送局等の映像信号生成装置1は、映像信号又は拡張映像信号を放送する。本実施形態に係る表示装置2aは、放送を受信し、受信した放送に基づいて、ダイナミックレンジ又はその方式が互いに異なる映像についてマルチ画面表示を行う。
なお、放送局等の装置は、映像信号生成装置1のすべてを備えなくても良い。例えば、映像は、予め合成されたものを装置に入力しても良い。つまり、放送局等の装置は、拡張映像信号を送信可能なものであれ良い。
<制御情報の一例>
図15は、本発明の第2の実施形態に係る放送のデータ構成の一例を表す概略図である。
この図は、図4の制御情報の「video_dr_flag」の値を表す。ただし、図4の制御情報の場合とは、取り得る値が異なる。なお、図4の制御情報と同様に、例えば、「video_dr_flag」は、MMT方式の場合、映像方式情報は、MPTに含まれ、また、MPTのアセット記述子領域に含まれても良い。
video_dr_flagは、映像方式、画素付加情報の有無、及び、画素付加伝送方式を表す。具体的には、video_dr_flagは、「00」が「SDR」であることを示し、「01」が「HDR」であることを示す。また、video_dr_flagは、「10」が「MDR1」であることを示し、「01」が「MDR2」であることを示す。
「MDR1」と「MDR2」は、異なる映像方式の映像が表示されること、つまり、拡張映像信号が送信されることを示す。ここで、「MDR1」の場合、表示装置2は、画素の拡張映像信号から画素付加情報、つまり、画素映像方式情報を抽出する。「MDR2」の場合、表示装置2aは、合成映像信号と画素映像方式信号とを、それぞれ別のフォーマットで受信する(第3の実施形態を参照)。このように、映像処理システムSは、画素付加伝送方式を選択できても良く、表示装置2、2aは、通知された画素付加伝送方式に従って、合成映像信号を処理しても良い。
video_dr_flagは、3ビット以上であっても良い。この場合、video_dr_flagは、HDR−PQとHDR−HLGの値を分けても良い。
<表示装置について>
図16は、本実施形態に係る表示装置2aの構成を示す概略ブロック図である。本実施形態に係る表示装置2a(図16)と第1の実施形態に係る表示装置2(図9)とを比較すると、制御情報処理部25a及び映像処理部C2aが異なる。しかし、他の構成要素が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略する。
制御情報処理部25aは、分離部24−2から入力された制御情報から、予め定められたフォーマットに従って制御値を抽出する。つまり、制御情報処理部25aは、放送受信部22−2が受信した放送に含まれる制御情報から、制御値を抽出する。
具体的には、制御情報処理部25aは、図4の制御情報から、図15の値を取る「video_dr_flag」の値を制御値として抽出する。制御情報処理部25aは、抽出した制御値、つまり、画素付加情報の有無を示す情報を映像処理部C2aへ出力する。
映像処理部C2aにおいて、画素信号取得部C22は、制御情報処理部25aが出力した制御値として、画素付加情報の有無を示す情報を取得する。画素信号取得部C22aが行う処理は、第1の実施形態に係る画素信号取得部C22が行う処理と同じである。
映像処理部C2aは、分離部24−2から入力された映像信号から、制御情報処理部25aから入力された制御値、及び表示制御処理部の制御に基づいて、駆動信号を生成する。つまり、制御情報処理部25aは、放送受信部22−2が受信した放送に含まれる映像情報から、駆動信号を抽出する。映像処理部C2aが行う処理は、第1の実施形態に係る映像処理部C2が行う処理と同じである。
このように、本実施形態によれば、通信部22(放送受信部22−2)は、HDR映像信号と、HDRとダイナミックレンジの方式が異なるSDR映像信号と、を1つのフレーム内に含む合成映像信号を、放送によって取得する。映像処理部C2aは、1つのフレーム内の合成映像信号について、HDR映像信号の部分に、HDR用マッピングを用いて駆動信号を生成し、SDR映像信号の部分に、SDR用マッピングを用いて駆動信号を生成する。
これにより、映像処理システムSは、放送についても、1つの画面上で部分的にHDRとSDRを変えることができる。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
本実施形態では、映像信号生成装置1bは、拡張映像信号、つまり、合成映像信号と画素映像方式信号を、それぞれ別のフォーマットに従って生成し、別々に通知する。表示装置2bは、合成映像信号と画素映像方式信号とを、それぞれ別のフォーマットで受信し、拡張映像信号に対する処理を行う。
<制御情報の一例>
図17は、本発明の第3の実施形態に係る画素映像方式信号の構成の別の一例を表す概略図である。
この図は、拡張映像信号のうち、画素映像方式信号の構成を示す。
画素映像方式信号Sg3は、画素毎の画素付加情報が連なっている。例えば、画素映像方式信号Sg311は、画素G00に対する画素付加情報であり、画素G00の映像方式を示す信号が配置されている。画素映像方式信号Sg312は、画素G01に対する画素付加情報であり、画素G01の映像方式を示す信号が配置されている。
画素映像方式信号の値は、図7の場合と同じである。なお、1フレーム分の画素映像方式信号は、図17の場合、2ビット×(I+1)×(J+1)となる。
<映像信号生成装置1bについて>
図18は、本実施形態に係る映像信号生成装置1bの構成を示す概略ブロック図である。本実施形態に係る映像信号生成装置1b(図18)と第1の実施形態に係る映像信号生成装置1(図3)とを比較すると、拡張信号生成部16b及び送信部17bが異なる。しかし、他の構成要素が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略する。
拡張信号生成部16bは、第1の実施形態に係る拡張信号生成部16と同様に、拡張信号生成部16は、各表示位置の映像と、その映像の映像方式を特定する。
拡張信号生成部16bは、設定情報に基づいて、複数の映像方式の映像が同時に表示されるか否か、つまり、複数の映像方式の映像が混在していないか否かを判定する。
複数の映像方式の映像信号が混在していると判定した場合、拡張信号生成部16bは、少なくとも1つのフレームについて、当該フレーム内の画素についての画素映像方式情報を組合せる(図17参照)。拡張信号生成部16bは、少なくとも1つのフレームの画素映像方式情報を、予め定められたフォーマット情報に従って生成する。生成された情報を、「画素付加通知情報」と称する。
拡張信号生成部16bは、生成した画素付加通知情報と、入力された合成映像信号と、を別々に、送信部17bへ出力する。
送信部17bは、画素付加通知情報と合成映像信号とを、別々に表示装置2へ送信する。例えば、送信部17bは、画素付加通知情報を制御情報として通知する。また、送信部17bは、合成映像信号を、画素付加通知情報とは異なるフォーマット情報に従って送信する。
<表示装置について>
図19は、本実施形態に係る表示装置2aの構成を示す概略ブロック図である。本実施形態に係る表示装置2b(図19)と第1の実施形態に係る表示装置2(図9)とを比較すると、制御情報処理部25b及び映像処理部C2bが異なる。しかし、他の構成要素が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略する。
制御情報処理部25bは、入力された制御情報のうち、画素付加通知情報から、少なくとも1つのフレームの画素映像方式情報を、制御値として抽出する。制御情報処理部25aは、抽出した制御値、つまり、画素映像方式情報を映像処理部C2aへ出力する。
<映像処理部について>
図20は、本実施形態に係る映像処理部C2bの構成を示す概略ブロック図である。
本実施形態に係る映像処理部C2b(図20)と第1の実施形態に係る映像処理部C2(図11)とを比較すると、画素信号取得部C22b及び拡張方式取得部C23bが異なる。しかし、他の構成要素が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略する。
画素信号取得部C22bは、制御情報処理部25から入力された制御値に基づいて、入力されたフレーム映像信号について、各画素の映像信号を取得する。ただし、画素信号取得部C22bは、第1の実施形態に係る画素信号取得部C22とは異なり、画素付加情報の有無、つまり、映像信号が拡張映像信号であるか否かは判定しない。
画素信号取得部C22bは、取得した映像信号を、画素毎に、信号生成部C25へ出力する。
拡張方式取得部C23bは、制御情報処理部25から入力された画素映像方式情報を、選択部C24へ出力する。ここで、拡張方式取得部C23bは、少なくとも1つのフレームの全画素の画素映像方式情報を取得するので、画素毎に、選択部C24へ出力する。
拡張方式取得部C23b又は選択部C24は、画素信号取得部C22bから出力された映像信号と画素映像方式情報を、画素毎に同期させて処理を行う。
なお、映像信号と画素映像方式情報を同期するための情報は、画素付加通知情報に含まれても良い。
このように、本実施形態によれば、拡張信号生成部16bは、第1フォーマット(合成映像信号のフォーマット)に従って合成映像信号を生成する。拡張信号生成部16bは、合成映像の少なくとも1つのフレームについて、当該フレーム内の各画素の映像方式を示すフレーム画素映像方式情報を、第2フォーマット(画素付加通知情報のフォーマット)に従って生成する。送信部17bは、生成した画素付加通知情報(フレーム画素映像方式情報)を通知し、合成映像信号を出力する。
制御情報処理部25bは、第2フォーマットに従って、画素付加通知情報から、合成映像信号の少なくとも1つのフレームについて、当該フレーム内の各画素の映像方式を抽出する。
映像処理部C2bは、第1フォーマットに従って合成映像信号を、合成映像信号の画素毎に抽出する。映像処理部C2bは、対象画素毎に、制御情報処理部25bが抽出した映像方式がHDRを示す場合、HDR用マッピングを選択し、抽出した合成映像信号にHDR用マッピングを用いて駆動信号を生成する。映像処理部C2bは、対象画素毎に、制御情報処理部25bが抽出した映像方式がSDRを示す場合、SDR用マッピングを選択し、抽出した合成映像信号にSDR用マッピングを用いて駆動信号を生成する。
これにより、映像処理システムSは、別々のフォーマットに従って、合成映像信号と画素映像方式信号を別々に通知できる。この場合、画素毎に合成映像信号と画素映像方式信号を送信する場合と比較して、少ない容量(ビット数)で、合成映像信号を送信できる。また、例えば、画素映像方式信号の切り替えが少ない場合には、切り替えのタイミングのみに、画素映像方式信号を送信することで、合成映像信号の伝送効率を高めることができる。
(第4の実施形態)
以下、図面を参照しながら本発明の第4の実施形態について詳しく説明する。
本実施形態では、映像信号がYCbCrの場合、つまり、輝度信号(Y)と2つの色差信号(Cb、Cr)を用いる場合について説明する。なお、映像信号は、YUVであっても良い。なお、Cbは、青色の信号から輝度Yを差し引いた値に、特定の定数を掛けた値である。Crは、赤色の信号から輝度Yを差し引いた値に、特定の定数を掛けた値である。
<拡張映像信号について>
図21は、本発明の第4の実施形態に係る拡張映像信号の構成の一例を表す概略図である。本実施形態に係る拡張映像信号(図21)と第1の実施形態に係る拡張映像信号(図7)とを比較すると、映像信号(合成映像信号)が異なる。具体的には、図21の拡張映像信号は、図7のRGBがYCbCrになっている点で異なる。
この図は、ある画素の拡張映像信号には、当該画素の合成映像信号に当該画素の映像方式を示す画素映像方式情報が付加されていることを示す。この図の例では、サブ画素毎に、画素映像方式情報が付加されている。
例えば、拡張映像信号Sg41は輝度を示す映像信号(Y)、拡張映像信号Sg42は第1色差の映像信号(Cb)、拡張映像信号Sg43は第2色差の映像信号(Cr)を表す。
例えば、拡張映像信号Sg411、Sg421、Sg431は、画素G00に対する映像信号であり、それぞれ、輝度を示す映像信号(Y00)、第1色差の映像信号(Cb00)、第2色差の映像信号(Cr)が配置されている。
なお、画素映像方式情報は、第1の実施形態のものと同じである。
図22は、本発明の第4の実施形態に係る拡張映像信号の構成の別の一例を表す概略図である。本実施形態に係る拡張映像信号(図22)と第1の実施形態に係る拡張映像信号(図8)とを比較すると、映像信号(合成映像信号)が異なる。具体的には、図22の拡張映像信号は、図8のRGBがYCbCrになっている点で異なる。
この図は、ある画素の拡張映像信号は、当該画素の合成映像信号に当該画素の映像方式を示す画素映像方式情報が付加されていることを示す。この図の例では、画素毎に、画素映像方式情報が付加されている。
例えば、拡張映像信号Sg5では、1つの画素に対する拡張映像信号は、全サブ画素の合成映像信号と画素方式情報の組合せで構成されている。
例えば、拡張映像信号Sg511は、画素G00に対する映像信号であり、当該画素の合成映像信号であって、YCbCrの合成映像信号(P’00)が配置されている。この合成映像信号(P’00)には、輝度を示す映像信号(Y00)、第1色差の映像信号(Cb00)、第2色差の映像信号(Cr)が含まれている。
なお、画素映像方式情報は、第1の実施形態のものと同じである。
これにより、映像処理システムSは、輝度と色差の映像信号についても、1つの画面上で部分的にHDRとSDRを変えることができる。
(第5の実施形態)
以下、図面を参照しながら本発明の第5の実施形態について詳しく説明する。
本実施形態では、1つのサブ画素の映像信号(合成映像信号)に対して画素映像方式情報が付加される場合について説明する。なお、少なくとも1つの他のサブ画素の映像信号には、情報が付加されなくても良いし、別の付加情報が付加されても良い。
また、本実施形態では、映像信号がYCbCrの場合について説明するが、本発明はこれに限らず、映像信号がRGBであっても良い。この場合、例えば、赤色(R)のサブ画素の映像信号に対して画素映像方式情報が付加され、他の色(G、B)の映像信号に対して画素映像方式情報が付加されなくても良い。
<拡張映像信号について>
図23は、本発明の第5の実施形態に係る拡張映像信号の構成の一例を表す概略図である。本実施形態に係る拡張映像信号(図23)と第4の実施形態に係る拡張映像信号(図21)とを比較すると、付加情報Sg612及びSg613が異なる。しかし、他の信号は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略する。
付加情報Sg612及びSg613は、画素映像方式情報ではなく、別の情報である。また、付加情報Sg612及びSg613は、情報がない(null値)であっても良い。
これにより、映像処理システムSは、画素映像方式情報に加えて、画素毎に、別の付加情報も送信することができる。
(第6の実施形態)
以下、図面を参照しながら本発明の第6の実施形態について詳しく説明する。
画素付加情報(画素映像方式情報)は、合成映像信号の前についても良いし、合成映像信号と混合させても良い。つまり、画素ビット列において、画素映像ビット列の前に画素付加ビット列を並べても良い。また、画素ビット列において、画素映像ビット列と画素付加ビット列をインターリーブ等により、交互して配置しても良い。
本実施形態では、各画素において、合成映像信号の前に画素付加情報を付加する場合について説明する。
<拡張映像信号について>
図24は、本発明の第5の実施形態に係る拡張映像信号の構成の一例を表す概略図である。本実施形態に係る拡張映像信号(図24)と第1の実施形態に係る拡張映像信号(図7)とを比較すると、画素映像方式情報が付与される位置が異なる。
例えば、拡張映像信号Sg71は赤色の映像信号、拡張映像信号Sg72は緑色の映像信号、拡張映像信号Sg73は青色の映像信号を表す。1つのサブ画素に対する拡張映像信号は、合成映像信号と画素方式情報の組合せで構成されている。図24において、各画素に置いて、画素方式情報Sg712、Sg722、Sg732は、それぞれ、合成映像信号Sg711、Sg721、Sg731の前に付加されている。
同様に、画素毎に画素伝送方式情報を付加する場合、図8の画素映像方式信号Sg212は、合成映像信号Sg211の前に付加されても良い。
これにより、映像処理システムSは、例えば、ある画素について、駆動信号を生成するときに、より先に映像方式を特定できる。これにより、映像処理システムSは、駆動信号の生成を、より効率的に行うことができる。
なお、図7のように、画素ビット列において、画素映像ビット列の後に画素付加ビット列を並べる場合、映像処理システムSは、より相互互換性を保つことができる。つまり、拡張映像信号に対応していない表示装置については、従来の仕様どおり、画素開始ビットから順次、予め定められたビット数を読み込み、合成映像信号を抽出する。つまり、この表示装置は、次の画素開始ビットまでは、信号(画素映像方式信号)を抽出せずに、無視する。これにより、映像処理システムSは、より相互互換性を保つことができる。
なお、上記各実施形態において、映像信号生成装置1は、画素付加通知情報において、全画素の画素映像方式情報に変えて、映像方式とその映像方式を用いる画素の範囲を通知しても良い。例えば、映像信号生成装置1は、マルチ画面設定情報の情報(例えば、表示形状と表示位置、又は、設定)を表示装置2へ通知する。表示装置2は、画素付加通知情報が示す範囲に基づいて、画素毎に、映像方式を決定し、決定した映像方式で合成映像信号を生成する。
なお、上記各実施形態において、選択できる映像方式は、一部の映像方式であっても良い。例えば、映像処理システムSは、拡張映像信号の映像方式(画素映像方式)として、SDRは選択させず、HDRの映像方式(HDR−PQ、又は、HDR−HLG)を選択させても良い。
この場合、信号合成部13及び拡張信号生成部16(信号生成部)は、HDR−PQのHDR−PQ映像を表すHDR−PQ映像信号と、HDR−PQとHDRの方式が異なるHDR−HLGのHDR−HLG映像を表すHDR−HLG映像信号と、を1つのフレーム内に含む合成映像信号を生成する。映像処理部C2、C2a、C2bは、1つのフレーム内の合成映像信号について、HDR−PQ映像信号の部分に、HDR−PQ用マッピングを用いて駆動信号を生成し、HDR−HLG映像信号の部分に、HDR−HLG用マッピングを用いて駆動信号を生成する。
なお、映像処理システムSは、拡張映像信号の映像方式として、HDRの方式は1種類とし、HDRのSDRを選択させても良い。
なお、上記各実施形態において、表示装置2、2a、2b(映像処理部C2、C2a、C2b)は、画素映像方式情報が示す映像方式を読み替えても良い。例えば、HDR−HLGをHDR−PQに読み替えても良いし、HDR−PQをHDR−HLGに読み替えても良い。これにより、映像処理システムSは、例えばHDR−HLGに対応していない場合、又は、設定でHDR−HLGが設定されている場合に、HDR−PQをHDR−HLGに読み替え、HDRのまま映像を出力できる。また、表示装置2、2a、2b(映像処理部C2、C2a、C2b)は、HDR−PQ又はHDR−HLGのいずれか一方或いは両方を、SDRに読み替えても良い。
また、上記各実施形態において、ダイナミックレンジの映像方式について説明をした。ただし、本発明はこれに限らず、高画質技術が採用された映像方式であってもよい。例えば、映像方式は、解像度による映像方式であり、例えば、2K、4K、又は8Kであっても良い。
この場合、信号合成部13及び拡張信号生成部16(信号生成部)は、第1解像度の映像を表す第1解像度映像信号と、第1解像度と解像度が異なる第2解像度の映像を表す第2解像度映像信号と、を1つのフレーム内に含む合成映像信号を生成する。映像処理部C2、C2a、C2bは、1つのフレーム内の合成映像信号について、第1解像度映像信号の部分に、第1解像度(第1の画素数)の駆動信号を生成し、第2解像度映像信号の部分に、第2解像度(第2の画素数)の駆動信号を生成する。ここで、第1解像度と第2解像度は異なる。例えば、8Kの画素(「表示画素」と称する)を有する表示装置2、2a、2bは、8Kの合成映像信号を含む拡張映像信号(映像信号での画画素を「信号画素」とも称する)を受信した場合、各信号画素の合成映像信号から各表示画素の駆動信号を生成する。一方、8Kの表示画素を有する表示装置2、2a、2bは、4Kの合成映像信号を含む拡張映像信号を受信した場合、1個の信号画素の合成映像信号から4個の表示画素の駆動信号を生成する。逆に、4Kの表示画素を有する表示装置2、2a、2bは、8Kの合成映像信号を含む拡張映像信号を受信した場合、4個の信号画素の合成映像信号から1個の表示画素の駆動信号を生成する。
具体的には、解像度を示す画素映像方式情報(2K、4K、又は8K)は、拡張映像信号の画素付加情報として、合成映像信号に付加される。表示装置2、2a、2bは、自装置の表示画素と画素映像方式情報に基づいて、駆動信号を生成する。
また、上記各実施形態において、各部の一部又は全部は、回路で構成されても良い。例えば、映像信号生成装置1、1bは、信号取得回路11、方式取得回路12、信号合成回路13、設定記憶部14、設定回路15、拡張信号生成回路16、16b、及び、送信回路17、17bを含んで構成される。
例えば、信号取得回路11は、HDR映像信号とSDR映像信号とを取得する。信号合成回路13は、HDR映像とSDR映像を同時に表示させる合成映像信号を生成するように制御される。方式取得回路12は、合成映像信号が表わす映像における画素単位で、HDR映像の表示位置とHDRを示す情報、及び、SDR映像の表示位置とSDRを示す情報を取得するように制御される。拡張信号生成回路16は、方式取得回路12が取得した情報に基づいて、合成映像信号が表わす映像における画素単位で映像方式を示す画素映像方式情報と、合成映像信号とを対応付けた拡張映像信号を生成するように制御される。
また、例えば、表示装置2、2a、2bは、入力回路20、記憶部21、通信回路22、復調回路23−1、23−2、分離回路24−1、24−2、24−3、制御情報処理回路25、25a、25b、AP処理回路26、表示制御処理回路27、音声処理回路28、出力回路29(スピーカー291、ディスプレイ292)、及び、映像処理回路C2、C2a、C2bを含んで構成される。
また、例えば、映像処理回路C2は、フレーム信号取得回路C21、画素信号取得回路C22、C22b、拡張方式取得回路C23、C23b、選択回路C24、信号生成回路C25、レイヤ合成回路C26、及び、光調整回路C27を含んで構成される。
例えば、通信回路22は、拡張映像信号を取得する。選択回路C24(選択回路)は、拡張映像信号に基づいて、合成映像信号が表わす映像における画素単位で、HDR用マッピングを用いるか、又は、SDR用マッピングを用いるかを判定するように制御される。信号生成回路C25は、選択回路C24の判定結果に基づいて、合成映像信号が表わす映像における画素単位で、HDR用マッピング、又は、SDR用マッピングを切り替えて、駆動信号を生成するように制御される。ディスプレイ292は、駆動信号に基づいて、合成映像信号が表わす映像において、HDR映像をHDR映像として表示し、SDR映像をSDRの映像として表示する。
なお、上述した実施形態における映像信号生成装置1、1b、及び表示装置2、2a、2bの一部、又は全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、映像信号生成装置1、1b、又は表示装置2、2a、2bに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における映像信号生成装置1、1b、及び表示装置2、2a、2bの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。映像信号生成装置1、1b、及び表示装置2、2a、2bの各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1、1b・・・映像信号生成装置、11、11−1〜11−N・・・信号取得部、12・・・方式取得部、13・・・信号合成部、14・・・設定記憶部、15・・・設定部、16、16b・・・拡張信号生成部、17、17b・・・送信部、M11・・・記憶装置、M12・・・記憶媒体、2、2a、2b・・・表示装置、20・・・入力部、21・・・記憶部、22・・・端子通信部22−1・・・端子通信部、22−2・・・放送受信部、22−3・・・NW通信部、23−1、23−2・・・復調部、24−1〜24−3・・・分離部、25、25a、25b・・・制御情報処理部、26・・・AP処理部、27・・・表示制御処理部、28・・・音声処理部、29・・・出力部、291・・・スピーカー、292・・・表示部、C2、C2a、C2b・・・映像処理部、C21・・・フレーム信号取得部、C22、C22b・・・画素信号取得部、C23、C23b・・・拡張方式取得部、C24・・・選択部、C25・・・信号生成部、C251−1〜C251−M・・・スイッチ、C252−1〜C252−M・・・駆動信号生成部、C26・・・レイヤ合成部、C27・・・光調整部

Claims (15)

  1. 信号生成装置と出力装置を具備する信号処理システムにおいて、
    前記信号生成装置は、
    第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する信号生成部を備え、
    前記出力装置は、
    1つのフレーム内の前記第3映像信号について、前記第1映像信号の部分に、前記第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、前記第2映像信号の部分に、前記第2映像方式の場合の第2マッピングを用いて駆動信号を生成する処理部
    を備える信号処理システム。
  2. 前記信号生成部は、前記第3映像信号の画素単位で前記映像方式を示す画素映像方式情報を生成し、
    前記処理部は、前記画素毎に、
    当該画素の前記画素映像方式情報が第1映像方式を示す場合、前記第1マッピングを選択し、前記第1映像信号に前記第1マッピングを用いて駆動信号を生成し、
    当該画素の前記画素映像方式情報が第2映像方式を示す場合、前記第2マッピングを選択し、前記第2映像信号に前記第2マッピングを用いて駆動信号を生成する
    請求項1に記載の信号処理システム。
  3. 前記信号生成部は、HDR(High Dynamic Range)のHDR映像を表すHDR映像信号と、SDR(Standard Dynamic Range)のSDR映像を表すSDR映像信号と、を1つのフレーム内に含む、前記第3映像信号を生成し、
    前記処理部は、
    前記第3映像信号の画素の前記画素映像方式情報が前記HDRを示す場合、前記HDR映像信号を駆動信号にマッピングする前記第1マッピングを選択し、前記HDR映像信号に前記第1マッピングを用いて駆動信号を生成し、
    前記画素の前記画素映像方式情報が前記SDRを示す場合、前記SDR映像信号を駆動信号にマッピングする前記第2マッピングを選択し、前記SDR映像信号に前記第2マッピングを用いて駆動信号を生成し、
    前記出力装置は、
    前記駆動信号に基づいて、前記第3映像信号が表わす前記第3映像のうち、前記HDR映像の部分を前記HDR映像として表示し、前記SDR映像の部分を前記SDR映像として表示する出力部を備える
    請求項1又は請求項2に記載の信号処理システム。
  4. 前記信号生成部は、HDR(High Dynamic Range)−PQ(Perceptual Quantization)のHDR−PQ映像を表すHDR−PQ映像信号と、HDR−HLG(Hybrid Log−Gamma)のHDR−HLG映像を表すHDR−HLG映像信号と、を1つのフレーム内に含む、前記第3映像信号を生成し、
    前記処理部は、
    前記第3映像信号の画素の前記画素映像方式情報が前記HDR−PQを示す場合、前記HDR−PQ映像信号を駆動信号にマッピングする前記第1マッピングを選択し、前記HDR−PQ映像信号に前記第1マッピングを用いて駆動信号を生成し、
    前記画素の前記画素映像方式情報が前記HDR−HLGを示す場合、前記HDR−HLG映像信号を駆動信号にマッピングする前記第2マッピングを選択し、前記HDR−HLG映像信号に前記第2マッピングを用いて駆動信号を生成し、
    前記出力装置は、
    前記駆動信号に基づいて、前記第3映像信号が表わす前記第3映像のうち、前記HDR−PQ映像の部分を前記HDR−PQ映像として表示し、前記HDR−HLG映像の部分を前記HDR−HLG映像として表示する出力部を備える
    請求項1又は請求項2に記載の信号処理システム。
  5. 前記信号生成部は、前記第3映像信号が表わす第3映像の画素毎に、前記第3映像信号を示す第1ビット列に対して、当該画素の前記映像方式情報を示す第2ビット列を付加することで、前記第1ビット列と前記第2ビット列を含む拡張映像信号を生成し、
    前記処理部は、前記画素毎に、前記拡張映像信号から前記第1ビット列と前記第2ビット列を抽出し、当該第2ビット列が第1映像方式を示す場合に当該第1ビット列に第1マッピングを用いて駆動信号を生成し、当該第2ビット列が第2映像方式を示す場合に当該第1ビット列に第2マッピングを用いて駆動信号を生成する
    請求項2に記載の信号処理システム。
  6. 前記信号生成部は、第1フォーマットに従って前記第3映像信号を生成し、
    前記第3映像の少なくとも1つのフレームについて、当該フレーム内の各画素の前記映像方式を示すフレーム画素映像方式情報を、第2フォーマットに従って生成し、
    前記信号生成装置は、
    前記フレーム画素映像方式情報を通知し、前記第3映像信号を出力する送信部を備え、
    前記第2フォーマットに従って、前記フレーム画素映像方式情報から、前記第3映像の少なくとも1つのフレームについて、当該フレーム内の各画素の前記映像方式を抽出する制御情報処理部と、
    を備え、
    前記処理部は、
    前記第1フォーマットに従って前記第3映像信号を前記画素毎に抽出し、前記画素毎に、前記制御情報処理部が抽出した前記映像方式が第1映像方式を示す場合、前記第1マッピングを選択し、抽出した前記第3映像信号に前記第1マッピングを用いて駆動信号を生成し、
    前記制御情報処理部が抽出した前記映像方式が第2映像方式を示す場合、前記第2マッピングを選択し、抽出した前記第3映像信号に前記第2マッピングを用いて駆動信号を生成する
    請求項2に記載の信号処理システム。
  7. 前記信号生成装置は、
    前記第1映像の表示位置と前記第2映像の表示位置を設定する設定部と、
    第1伝送路で前記第1映像信号を受信し、第2伝送路で前記第2映像信号を受信する映像信号取得部と、
    前記第1伝送路で取得した信号から前記第1映像信号の映像方式を示す第1映像方式情報を取得し、前記第1伝送路又は前記第2伝送路で取得した信号から前記第2映像信号の映像方式を示す第2映像方式情報を取得する方式取得部と、
    を備え、
    前記信号生成部は、前記第1映像の表示位置の画素について前記第1映像方式情報に基づいて画素映像方式情報を生成し、前記第2映像の表示位置の画素について前記第2映像方式情報に基づいて画素映像方式情報を生成する
    請求項2に記載の信号処理システム。
  8. 前記信号生成装置は、
    前記第1映像信号と前記第2映像信号とを取得する映像信号取得回路と、
    前記第1映像と前記第2映像を同時に表示させる第3映像を示す第3映像信号を生成するように制御された信号生成回路と、
    前記第3映像における画素単位で、前記第1映像の表示位置と前記第1映像方式を示す情報、及び、前記第2映像の表示位置と前記第2映像方式を示す情報を取得するように制御された方式取得回路と、
    前記方式取得回路が取得した情報に基づいて、前記第3映像における画素単位で前記映像方式を示す画素映像方式情報と、前記第3映像信号とを対応付けた拡張映像信号を生成するように制御された拡張信号生成回路と、
    を備え、
    前記出力装置は、
    前記拡張映像信号を取得する拡張映像信号取得回路と、
    前記拡張映像信号に基づいて、前記第3映像における画素単位で、前記第1映像方式のマッピングを用いるか、又は、前記第2映像方式のマッピングを用いるかを判定するように制御された選択回路と
    前記選択回路の判定結果に基づいて、前記第3映像における画素単位で、前記第1映像方式のマッピング、又は、前記第2映像方式のマッピングを切り替えて、前記駆動信号を生成するように制御された駆動信号生成回路と、
    前記駆動信号に基づいて、前記第3映像において、前記第1映像を前記第1映像方式の映像として表示し、前記第2映像を前記第2映像方式の映像として表示するディスプレイと、
    を備える
    請求項2に記載の信号処理システム。
  9. 第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する信号生成部
    を備える信号生成装置。
  10. 第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を取得する拡張映像信号取得部と、
    1つのフレーム内の前記第3映像信号について、前記第1映像信号の部分に、前記第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、前記第2映像信号の部分に、前記第2映像方式の場合の第2マッピングを用いて駆動信号を生成する処理部と、
    を備える出力装置。
  11. 第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を取得する拡張映像信号取得部と、
    前記第3映像信号が表わす第3映像について、1つのフレーム内の第3映像を表示するときの光量について、前記第1映像を表示する画素部分の光量を、前記第2映像を表示する画素部分の光量よりも、増大させる処理部と、
    を備える出力装置。
  12. 信号生成装置における信号生成方法において、
    前記信号生成装置が、第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する信号生成過程を有する信号生成方法。
  13. 出力装置における出力方法において、
    前記出力装置が、第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を取得する拡張映像信号取得過程と、
    前記出力装置が、1つのフレーム内の前記第3映像信号について、前記第1映像信号の部分に、前記第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、前記第2映像信号の部分に、前記第2映像方式の場合の第2マッピングを用いて駆動信号を生成する処理過程と、
    を有する出力方法。
  14. 信号生成装置のコンピュータに、
    第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を生成する信号生成手順、
    を実行させるための信号生成プログラム。
  15. 出力装置のコンピュータに、
    第1映像方式の第1映像を表す第1映像信号と、前記第1映像方式とダイナミックレンジの方式が異なる第2映像方式の第2映像を表す第2映像信号と、を1つのフレーム内に含む第3映像信号を取得する拡張映像信号取得手段、
    1つのフレーム内の前記第3映像信号について、前記第1映像信号の部分に、前記第1映像方式の場合の第1マッピングを用いて駆動信号を生成し、前記第2映像信号の部分に、前記第2映像方式の場合の第2マッピングを用いて駆動信号を生成する処理手段、
    を実行させるための出力プログラム。
JP2017021951A 2017-02-09 2017-02-09 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム Pending JP2018129700A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017021951A JP2018129700A (ja) 2017-02-09 2017-02-09 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017021951A JP2018129700A (ja) 2017-02-09 2017-02-09 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム

Publications (1)

Publication Number Publication Date
JP2018129700A true JP2018129700A (ja) 2018-08-16

Family

ID=63173076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017021951A Pending JP2018129700A (ja) 2017-02-09 2017-02-09 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム

Country Status (1)

Country Link
JP (1) JP2018129700A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134747A (ja) * 2019-02-21 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP2020161961A (ja) * 2019-03-26 2020-10-01 キヤノン株式会社 画像出力装置およびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134747A (ja) * 2019-02-21 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP7301551B2 (ja) 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP2020161961A (ja) * 2019-03-26 2020-10-01 キヤノン株式会社 画像出力装置およびその制御方法
JP7256663B2 (ja) 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法

Similar Documents

Publication Publication Date Title
JP6573238B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2022088557A (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
CN107005730B (zh) 发送方法、接收方法、发送装置以及接收装置
US20170228908A1 (en) Image processing apparatus and image processing method
JP7117626B2 (ja) 映像表示装置及び映像表示方法
JP7117664B2 (ja) 映像処理システム及び映像処理方法
US7821577B2 (en) Display device and method of driving the same
JP2017175643A (ja) 表示装置および表示方法
US10504263B2 (en) Adaptive high dynamic range (HDR) tone mapping with overlay indication
JP2022095692A (ja) 受信方法および受信装置
JP2005033741A (ja) テレビジョン用文字情報表示装置およびテレビジョン用文字情報表示方法
JP2018129700A (ja) 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム
EP3439312A1 (en) Content processing device, television reception device, method of processing information in content processing device, and program
JP6868797B2 (ja) 変換方法及び変換装置