JP2024078340A - 信号処理装置 - Google Patents
信号処理装置 Download PDFInfo
- Publication number
- JP2024078340A JP2024078340A JP2022190840A JP2022190840A JP2024078340A JP 2024078340 A JP2024078340 A JP 2024078340A JP 2022190840 A JP2022190840 A JP 2022190840A JP 2022190840 A JP2022190840 A JP 2022190840A JP 2024078340 A JP2024078340 A JP 2024078340A
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- signal
- processing device
- signal processing
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000012937 correction Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 37
- 238000012546 transfer Methods 0.000 claims description 33
- 238000004737 colorimetric analysis Methods 0.000 claims description 23
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】 信号のメタデータのうち、階調特性や色空間を示す情報の誤りを検出し、訂正する技術を提供する。【解決手段】 本発明の信号処理装置は、信号からメタデータを取得する取得手段とメタデータの誤りを検出する検出手段と誤りを検出した際にメタデータの誤りを訂正する訂正手段とを有することを特徴とする。【選択図】 図1
Description
本発明は、映像信号のメタデータの誤りを訂正する技術に関するものである。
映像信号の伝送規格には、映像の画素情報だけでなく、画素情報以外の情報をメタデータとして挿入する方法が規格化されている。メタデータは、例えば、SDI(Serial Digital Interface)で規定されているブランキング部に格納されたANC(Ancillary)データや、HDMI(High-Definition Multimedia Interface)で規定されているInfoFrameに格納されたデータなどである。さらに、SMPTE(Society of Motion Picture and Television Engineers)で規格化されたSMPTE ST 352では、SDI信号のANCデータの1つとして、ペイロードIDが定義されている。ペイロードIDで伝送できるパラメータは、例えば、SDR―TV(Standard Dynamic Range)、HLG(Hybrid Log Gamma)、PQ(Perceptual Quantizer)といったパラメータを設定値とするTransfer Characteristicsや、BT.709、BT.2020といったパラメータを設定値とするColorimetryがある。
映像再生装置などの出力機器の中には、メタデータに正しくないデータを付与して出力する機器がある。例えば、ペイロードIDのColorimetryのBT.2020に非対応の出力機器は、BT.2020の信号を出力する際にはColorimetryのデータに0(BT.709を示すデータ)を付与することがある。
従来技術として、ビデオコンバーターなどの装置には、出力信号のTransfer CharacteristicsとColorimetryをユーザーが手動で指定した値に上書き可能な装置がある。特許文献1の変換装置では、出力した信号を受信する出力先機器が入力信号のメタデータに記載されている階調特性に非対応の場合には、入力信号を出力先機器が対応している階調特性に変換して信号出力する。変換装置は、その際に出力信号のメタデータとして、変換後の階調特性を示すデータをTransfer Characteristicsに付与する。
しかしながら、従来技術では入力信号の階調特性や色空間を示すメタデータに誤りがある場合、信号のメタデータが訂正されないという課題がある。
特許文献1では、入力信号のメタデータが誤っていることが想定されておらず、メタデータが誤ったまま出力先機器に出力されてしまうことがあった。
そこで本発明は、映像信号の階調特性や色空間を示すメタデータの誤りを検出し、訂正することを目的とする。
本発明は
信号からメタデータを取得する取得手段と
メタデータの誤りを検出する検出手段と
誤りを検出した際にメタデータの誤りを訂正する訂正手段と
を有する信号処理装置
である。
信号からメタデータを取得する取得手段と
メタデータの誤りを検出する検出手段と
誤りを検出した際にメタデータの誤りを訂正する訂正手段と
を有する信号処理装置
である。
本発明によれば、映像信号の階調特性や色空間を示すメタデータの誤りを検出し、訂正することができる。
<第1の実施形態>
以下、本発明の実施形態について説明する。表示装置が本実施形態に係る信号処理装置を内蔵する例を説明するが、本実施形態に係る信号処理装置は、表示装置とは別体の情報処理装置(パーソナルコンピュータなど)であってもよい。
以下、本発明の実施形態について説明する。表示装置が本実施形態に係る信号処理装置を内蔵する例を説明するが、本実施形態に係る信号処理装置は、表示装置とは別体の情報処理装置(パーソナルコンピュータなど)であってもよい。
図1は、本実施形態に係る表示装置の構成例を示すブロック図である。図1の表示装置100は、入力部101、信号解析部102、メタ上書き部103、出力部104、制御部105、メタ訂正部106、メモリ部107、画像処理部108、及び、表示部109を有する。
入力部101は、動画データを取得し、動画データを信号解析部102へ出力する。本実施形態では、入力部101は、動画のフレーム毎に、フレーム画像データを外部装置から取得する。そして、入力部101は、取得したフレーム画像データを信号解析部102へ出力する。入力部101は、例えば、SDIや、HDMIなどの規格に準拠した入力端子である。外部装置は、撮像装置や再生装置などである。なお、表示装置100は、動画データを記憶する記憶部を有してもよく、入力部101は、記憶部に記録された動画データを取得してもよい。
信号解析部102は、入力部101から出力された動画データを取得し、動画データをメタ上書き部103へ出力し、動画データを解析し、解析結果を制御部105へ出力する。具体的には、信号解析部102は、動画データからメタデータを取得し、取得したメタデータを解析結果として制御部105へ出力する。メタデータは、例えば、SDIで規定されているANCデータや、ペイロードID、HDMIで規定されているInfoFrameに格納されたデータなどである。
メタ上書き部103は、信号解析部102から出力された動画データに、メタ訂正部106から出力されたメタデータを、元のメタデータに上書きすることにより、メタデータを訂正した動画データ(訂正動画データ)を生成する。そして、メタ上書き部103は、訂正動画データを出力部104へ出力する。メタ訂正部106からメタデータが出力されなかった場合には、メタ上書き部103は、信号解析部102から出力された動画データを出力部104へ出力する。
出力部104は、対象動画データを外部装置へ出力する。出力部104は、例えば、SDIや、HDMIなどの規格に準拠した出力端子である。
制御部105は、表示装置100の各ブロックの処理を制御する。メモリ部110は、プログラムやパラメータなどを記憶する。例えば、制御部105は、メモリ部110に格納されたプログラムを実行して表示装置100の各ブロックの処理を制御する演算処理回路である。なお、制御部105は、表示装置100に設けられた不図示のボタンなどに対してユーザが行った操作(ユーザ操作)に応じて、行われたユーザ操作に対応する操作情報を取得してもよい。そして、制御部105は、操作情報に応じて、制御の切り替えや、制御の詳細設定などを行ってもよい。
本実施形態では、制御部105は、信号解析部102から出力された解析結果や、表示装置100に対するユーザ操作などに基づいて、メタ訂正部106や画像処理部108の処理を制御する。具体的には、制御部105は、出力信号のメタデータの誤り検出・訂正方法の設定をユーザ操作に応じて決定する。そして、決定した設定情報をメタ訂正部106へ出力する。さらに表示画質設定のガンマ/EOTF(Electro Optical Transfer Function)、表示画質設定のカラーガマットなどの設定情報を、ユーザ操作に応じて決定する。そして、決定した設定情報を画像処理部108へ出力する。さらに、制御部105は、決定した設定情報と、信号解析部102から出力された解析結果とを、メタ訂正部106へ出力する。なお、表示装置100の起動直後では、設定情報の初期情報が設定されたり、前回の設定が継続されたりする。
メタ訂正部106は、メタデータの誤り検出、及び、メタデータの訂正を行う。本実施形態では、メタ訂正部106は、制御部105から出力された解析結果(メタデータ)と設定情報(画質情報)に基づいて、メタデータの誤り検出・訂正を行う。メタ訂正部106はメタデータを訂正した場合、訂正したメタデータをメタ上書き部103へ出力する。
メモリ部107は、プログラムやパラメータなどを記憶する。メモリ部107に記憶されているプログラムやパラメータは表示装置100の各ブロックから呼び出される。
画像処理部108は、信号解析部102から出力された動画データに、制御部105から出力された設定情報に基づいて画像処理を施すことにより、処理動画データを生成する。そして、画像処理部108は、処理動画データを表示部109へ出力する。
図2は、本実施形態に係る画質設定項目の一例を示す。画質設定項目としてはガンマ/EOTFとカラーガマットがある。ガンマ/EOTFの設定項目では2.2、HLG、PQが設定可能であり、カラーガマットの設定項目ではBT.709とBT.2020が設定可能である。ガンマ/EOTFとして2.2が設定された場合、動画データは画像処理部108でSDRのガンマ2.2のデータとして処理される。ガンマ/EOTFとしてHLGが設定された場合、動画データは画像処理部108でHDRのHLGのデータとして処理される。ガンマ/EOTFとしてPQが設定された場合、動画データは画像処理部108でHDRのPQのデータとして処理される。カラーガマットとしてBT.709が設定された場合、動画データは画像処理部108でBT.709のデータとして処理される。カラーガマットとしてBT.2020が設定された場合、動画データは画像処理部108でBT.2020のデータとして処理される。画像処理部108は、設定されたガンマ/EOTFやカラーガマットに従って動画データを変換する。
表示部109は、画像処理部108から出力された動画データに基づく動画を表示面に表示する。表示部109は、例えば、液晶パネルとバックライトユニットを有する液晶表示部や、有機EL表示パネルなどである。
図3は、表示装置100の処理フロー例を示すフローチャートである。入力部101によって取得されたフレーム画像データが更新され、信号解析部102の解析結果がメタ訂正部106に通知されると、図3の処理フローが開始する。ガンマ/EOTF、カラーガマットなどの設定情報がユーザー操作によって変更され、変更後の設定情報がメタ訂正部106に通知された場合にも、図3の処理フローが開始する。
ステップS301にて、メタ訂正部106は、ペイロードIDのTransfer Characteristicsが0(SDR-TVを示すデータ)であるかどうかを判定する。Transfer Characteristicsが0の場合、信号の階調特性はHLGやPQであるにも関わらず、Transfer CharacteristicsのHLGやPQに非対応の外部機器が0を付与して出力している可能性がある。すなわち、この場合、Transfer Characteristicsが誤っている可能性がある。Transfer Characteristicsが0である場合はステップS302に処理を進め、0でない場合はステップS304に処理を進める。
ステップS302にて、メタ訂正部106は、ペイロードIDのTransfer Characteristicsが画質設定のガンマ/EOTF設定の対応値であるかどうかを判定する。ガンマ/EOTF設定の対応値とは、例えば、ガンマ/EOTF設定がガンマ2.2である場合は、対応値のTransfer CharacteristicsはSDR―TVである。ガンマ/EOTF設定がHLGである場合は、対応値のTransfer CharacteristicsはHLGである。ガンマ/EOTF設定がPQである場合は、対応値のTransfer CharacteristicsはPQである。Transfer Characteristicsが画質設定のガンマ/EOTF設定の対応値である場合はステップS303に処理を進め、対応値でない場合はステップS304に処理を進める。
ステップS303にて、メタ訂正部106は、ペイロードIDのTransfer Characteristicsを画質設定のガンマ/EOTF設定の対応値に訂正する。
図4は、ペイロードIDのTransfer Characteristics、画質設定のガンマ/EOTF設定、及び、ステップS303での訂正結果の対応関係の一例を示す。図4に示すように、ペイロードIDのTransfer Characteristicsの値が0で、かつ、画質設定のガンマ/EOTF設定がガンマ2.2でない場合に、ステップS303にてペイロードIDの訂正が行われる。Transfer Characteristicsが0でない、HLGやPQを示すデータの場合、本実施形態ではペイロードIDの訂正は行わない。訂正を行わない理由は、Transfer Characteristicsが0でない場合は出力機器がTransfer Characteristicsに対応しており、意図的に0でない値が付与された可能性があるためである。
ステップS304にて、メタ訂正部106は、ペイロードIDのColorimetryが0(BT.709を示すデータ)であるかどうかを判定する。Colorimetryが0の場合、信号の色域はBT.709やBT.2020であるにも関わらず、ColorimetryのBT.709やBT.2020に非対応の外部機器が0を付与して出力している可能性がある。すなわち、この場合、Colorimetryが誤っている可能性がある。Colorimetryが0である場合はステップS305に処理を進め、0でない場合はステップS307に処理を進める。
ステップS305にて、メタ訂正部106は、ペイロードIDのColorimetryが画質設定のカラーガマット設定の対応値であるかどうかを判定する。カラーガマット設定の対応値とは、例えば、カラーガマット設定がBT.709である場合は、対応値のColorimetryはBT.709である。カラーガマット設定がBT.2020である場合は、対応値のColorimetryはBT.2020である。Colorimetryが画質設定のカラーガマット設定の対応値である場合はステップS306に処理を進め、対応値でない場合はステップS307に処理を進める。
ステップS306にて、メタ訂正部106は、ペイロードIDのColorimetryを画質設定のカラーガマット設定の対応値に訂正する。
ステップS307にて、メタ訂正部106は、これまでの処理でステップS303やステップ306の処理を行い、ペイロードIDの訂正を行ったか判定する。ペイロードIDの訂正を行っていた場合はステップS308に進み、訂正を行っていない場合は処理を終了する。
ステップS308にて、メタ訂正部106は、訂正したペイロードIDをメタ上書き部107に出力する。メタ上書き部107はメタ訂正部106から入力されたペイロードIDを信号解析部102から入力された動画データに上書きするように挿入する。
以上述べたように、本実施形態によれば、動画のメタデータが取得される。そして、メタデータと画質設定に基づいて、メタデータの誤りが検出された場合には、訂正されたメタデータが信号に上書き挿入される。これにより、メタデータに誤りがある場合に、メタデータの階調特性や色空間を示す情報をユーザーが手動で設定して訂正する手間を省くことができる。
なお、上記では、自動でメタデータの誤りを検出して訂正する訂正方法を説明したが、他の訂正方法を含めて複数の訂正方法の中からユーザーが設定できるようにしてもよい。
図5は、本実施形態に係る出力設定項目の一例を示す。出力設定項目としてメタ訂正種別があり、メタ訂正種別の項目にオートが設定された場合には、上記の処理が行われ、オート以外の項目が設定された場合には、他の訂正方法の処理が行われる。ここでは、他の訂正方法の処理を行う訂正種別の項目の例として、画質設定連動、手動、オフを示す。画質設定連動はメタデータの誤り検出をせず、メタデータを画質設定で強制的に訂正する設定である。手動は出力設定項目のTransfer Characteristics、及び、Colorimetryの項目に設定した値でメタデータを訂正する設定である。例えば、Transfer Characteristicsの項目にはSDR-TV、HLG、PQを設定でき、Colorimetryの項目にはBT.709、BT.2020を設定できる。オフはメタデータの誤りを訂正する処理を行わないための設定である。
なお、誤り検出・訂正するメタデータとしてTransfer CharacteristicsとColorimetryを使用する例を説明したが、誤り検出・訂正するメタデータはこれらに限られない。例えば、ペイロードIDのBit Depthについて、0でかつビット深度設定やフルレンジ/リミテッドレンジ等のレンジ設定と異なる場合に誤っていると判定し、ビット深度設定やレンジ設定に基づいて訂正してもよい。Bit Depthでは、10bit full range、10bit narrow range、12bit full range、12bit narrow rangeといったパラメータがある。例えば、画質設定が12ビットかつリミテッドレンジに設定されている場合、ペイロードIDのBit Depthを画質設定で訂正すると12bit narrow rangeとなる。
なお、メタデータを訂正する場合には、訂正結果をユーザーに通知してもよい。ユーザーに通知する方法は、例えば、表示部109に通知メッセージを表示することによって実現されてもよい。図6は表示部109に表示する通知メッセージ例である。図6に示すように、表示部109で通知メッセージ601は、ユーザーがメッセージを確認できるように提示される。
なお、メタデータの誤りを検出した場合には、メタデータを訂正するかしないかをユーザーに確認してもよい。ユーザーに確認する方法は、例えば、表示部109に確認メッセージを表示し、訂正したメタデータを使用するかどうかユーザー操作で選択することによって実現されてもよい。図7は表示部109に表示する確認メッセージ例である。図7に示すように、表示部109で確認メッセージ701は、訂正したメタデータを使用する場合には「はい702」、使用しない場合には「いいえ703」を選択することが可能であるように提示される。
なお、本実施形態(図1)の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。1つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つのブロックの2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
なお、本実施形態(後述する変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。
<第2の実施形態>
第2の実施形態では、表示装置は、SDIのANCデータに付与される、カメラメーカ各社により独自に規定されているカメラのメタデータ(以下、カメラメタとも記載する)を検出した場合、カメラメタに基づき、ペイロードIDを訂正する。カメラメタに付与されたデータは意図的に値を付与したことが期待されるため、ペイロードIDよりも信頼性が高いと判定し、カメラメタを用いてペイロードIDを訂正する。
第2の実施形態では、表示装置は、SDIのANCデータに付与される、カメラメーカ各社により独自に規定されているカメラのメタデータ(以下、カメラメタとも記載する)を検出した場合、カメラメタに基づき、ペイロードIDを訂正する。カメラメタに付与されたデータは意図的に値を付与したことが期待されるため、ペイロードIDよりも信頼性が高いと判定し、カメラメタを用いてペイロードIDを訂正する。
なお、実施形態1と同様の処理に関しては同一の符号を付与し、説明を省略する。
図8は、表示装置100の処理フロー例を示すフローチャートである。例えば、入力部101によって取得されたフレーム画像データが更新され、信号解析部102の解析結果がメタ訂正部106に通知されると、図4の処理フローが開始する。
ステップS801にて、メタ訂正部106はカメラメタにTransfer Characteristicsに対応するデータが付与されているか判定する。Transfer Characteristicsに対応するデータとは、動画データがSDR、HLG、PQのどれであるか判定できるようなデータである。カメラメタに相当するデータが付与されている場合はステップS802に進み、付与されていない場合はステップS407に進む。
ステップS802にて、メタ訂正部106はTransfer Characteristicsがカメラメタの対応値と異なっているかどうかを判定する。異なっている場合はステップS803に進み、異なっていない場合はステップS407に進む。
ステップS803にて、メタ訂正部106はTransfer Characteristicsをカメラメタの対応値に訂正する。
以上述べたように、本実施形態によれば、動画のメタデータが取得される。そして、メタデータからカメラメタが検出された場合には、カメラメタに基づき訂正されたメタデータのペイロードIDが信号に上書きするように挿入される。これにより、メタデータのペイロードIDに誤りがある場合に、ユーザーがメタデータの出力設定を行う手間を省くことができる。
なお、訂正するメタデータとしてペイロードIDのTransfer Characteristicsを使用する例を説明したが、訂正するメタデータはこれらに限られない。例えば、第1の実施形態と同様に、ペイロードIDのColorimetryやBit Depthの誤りを検出し、訂正してもよい。
<第3の実施形態>
第3の実施形態では、表示装置は、フレーム画像データを画像解析して信号の階調特性を推定し、推定した階調特性に基づき、メタデータのペイロードIDを訂正し、画質設定を変更する。なお、実施形態1と同様の処理に関しては同一の符号を付与し、説明を省略する。
第3の実施形態では、表示装置は、フレーム画像データを画像解析して信号の階調特性を推定し、推定した階調特性に基づき、メタデータのペイロードIDを訂正し、画質設定を変更する。なお、実施形態1と同様の処理に関しては同一の符号を付与し、説明を省略する。
本実施形態では、入力映像信号における、フレームの輝度値毎の画素数を算出し、フレームの輝度値毎の画素数に基づいて、入力映像信号の階調特性を識別する。
SDR映像信号は、画面全体で輝度値が幅広く使用される。HDR映像信号は、画面全体が高輝度というシーンは少なく、金属の光沢や水面の輝きなど、画面の限定的な部分のみが高輝度であることが多い。HDRの方式にはHLGとPQがあり、HLGの輝度は相対輝度(最大輝度は表示装置の最大輝度と同輝度)、PQの輝度は絶対輝度(最大輝度は10000nits)、という違いがある。現在のHDR表示装置の最大輝度は1000nits程度であり、PQのコンテンツは所定の輝度値以上(例えば1000nits以上)の高輝度値を持つ画素が少なくなるように調整されることがある。
図9は、表示装置100の処理フロー例を示すフローチャートである。例えば、入力部101によって取得されたフレーム画像データが更新され、フレーム画像データが信号解析部102に入力されると、図4の処理フローが開始する。
ステップS901にて、信号解析部102はフレーム画像データを信号解析し、階調特性を判定する。
信号解析部102は、フレーム画像データから輝度ヒストグラムを算出する。標準的なSDR映像信号の輝度ヒストグラム(輝度の出現頻度)は図10(A)のようになる。標準的なHLG映像信号の輝度ヒストグラム(輝度の出現頻度)は図10(B)のようになる。標準的なPQの映像信号の輝度ヒストグラム(輝度の出現頻度)は図10(C)のようになる。
図10(A)に示すように、SDRでは、輝度値が幅広く使用される。また、図10(B)に示すように、HLGでは、SDRの輝度領域が多く、HDRの輝度領域は少ない。また、図10(C)に示すように、PQでは、SDRの輝度領域が多く、HDRの輝度領域は少ない、かつ高輝度領域(例えば1000nits以上)はさらに少ない。
よって、算出した輝度ヒストグラムから、SDRの輝度領域とHDRの輝度領域の画素数を比較して、SDRとHDRの画素数差が閾値未満の場合は階調特性がSDRと判定することができる。SDRとHDRの画素数差が閾値以上の場合、さらに、HDRの輝度領域の中で高輝度領域(例えば1000nits以上の輝度値である画素の領域)と低輝度領域の画素数を比較する。ここで低輝度領域は、所定の輝度値未満の輝度である画素の領域である。HDR領域内の高輝度領域と低輝度領域の画素数差が閾値未満の場合は階調特性がHLGと判定することができ、HDR領域内の高輝度領域と低輝度領域の画素数差が閾値以上の場合は階調特性がPQと判定することができる。
なお、階調特性の判定は1フレーム分の画像データからでも可能だが、階調特性の判定に所定フレーム分(例えば100フレーム)の画像データを用いてもよい。その場合、SDRとHDRの画素数差や、HDR領域内の高輝度領域と低輝度領域の画素数差、を所定フレームで平均化した値で扱ってもよい。
なお、階調特性の判定結果がフレーム毎にすぐ変化してしまうなど、判定結果が安定しない場合は、判定結果を判定不能として扱ってもよい。
信号解析部102は判定結果を制御部105に出力し、制御部105は判定結果をメタ訂正部106に出力する。
ステップS902にて、メタ訂正部106は、信号解析部102から入力された判定結果によって処理を分岐する。判定不能以外の場合はステップS903に進み、判定不能の場合はステップS307に進む。
ステップS903にて、メタ訂正部106は、ペイロードIDのTransfer Characteristicsが階調特性判定結果と一致するかどうかを判定する。一致する場合はステップS904に処理を進め、一致しない場合はステップS307に処理を進める。
ステップS904にて、メタ訂正部106は、ペイロードIDのTransfer Characteristicsを階調特性判定結果に訂正する。
ステップS905にて、画像処理部108は訂正したペイロードIDに基づき画質設定を変更する。例えば、画質設定のガンマ/EOTFが2.2に設定されており、階調特性判定結果がHLGの場合には、画像処理部108は画質設定をガンマ/EOTFを2.2からHLGに変更する。
以上述べたように、本実施形態によれば、フレーム画像データを信号解析し、階調特性が判定される。そして、階調特性が判定不能以外の場合には、階調特性の判定結果に基づきペイロードIDを訂正し、訂正されたペイロードIDが信号に挿入され、訂正されたペイロードIDに基づき画質設定を変更する。これにより、メタデータのペイロードIDに誤りがある場合に、ユーザーがメタデータの出力設定を行う手間を省くことができる。さらに、画質設定のガンマ/EOTFが信号の階調特性と異なった設定である場合に、ユーザーが画質設定のガンマ/EOTFを変更する手間を省くことができる。
なお、解析方法として輝度ヒストグラムを用いる例を説明したが、解析方法はこれに限られない。例えば、フレーム画像データから階調特性を推定する機械学習モデルを用意し、その推定値に基づきメタデータを訂正してもよい。
なお、訂正するメタデータとしてペイロードIDのTransfer Characteristicsを使用する例を説明したが、訂正するメタデータはこれらに限られない。例えば、第1の実施形態と同様に、ペイロードIDのColorimetryやBit Depthを解析し、訂正してもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、上記実施形態において、AとBの少なくとも1つとは、Aのみでもよいし、Bのみでもよいし、AとBでもよい。
本実施形態の開示は、以下の構成および方法を含む。
(構成1)
映像信号からメタデータを取得する取得手段と、
メタデータの誤りを検出する検出手段と、
誤りを検出した際にメタデータの誤りを訂正する訂正手段と、
を有する信号処理装置。
映像信号からメタデータを取得する取得手段と、
メタデータの誤りを検出する検出手段と、
誤りを検出した際にメタデータの誤りを訂正する訂正手段と、
を有する信号処理装置。
(構成2)
前記検出手段は、メタデータの値が0で、かつ画質設定と異なる場合に誤りと判定することを特徴とし、
前記訂正手段は、メタデータを画質設定に基づいた対応値に訂正することを特徴とする構成1に記載の信号処理装置。
前記検出手段は、メタデータの値が0で、かつ画質設定と異なる場合に誤りと判定することを特徴とし、
前記訂正手段は、メタデータを画質設定に基づいた対応値に訂正することを特徴とする構成1に記載の信号処理装置。
(構成3)
前記メタデータはSDIのペイロードIDのTransfer Characteristicsであり、画質設定はガンマ/EOTF設定の階調特性を示す設定であることを特徴とする構成1または2に記載の信号処理装置。
前記メタデータはSDIのペイロードIDのTransfer Characteristicsであり、画質設定はガンマ/EOTF設定の階調特性を示す設定であることを特徴とする構成1または2に記載の信号処理装置。
(構成4)
前記メタデータはSDIのペイロードIDのColorimetryであり、画質設定はカラーガマット設定の色空間を示す設定であることを特徴とする構成1から3のいずれか1項に記載の信号処理装置。
前記メタデータはSDIのペイロードIDのColorimetryであり、画質設定はカラーガマット設定の色空間を示す設定であることを特徴とする構成1から3のいずれか1項に記載の信号処理装置。
(構成5)
前記メタデータはSDIのペイロードIDのBit Depthであり、画質設定はビット深度設定やフルレンジ/リミテッドレンジのレンジ設定であることを特徴とする構成1から4のいずれか1項に記載の信号処理装置。
前記メタデータはSDIのペイロードIDのBit Depthであり、画質設定はビット深度設定やフルレンジ/リミテッドレンジのレンジ設定であることを特徴とする構成1から4のいずれか1項に記載の信号処理装置。
(構成6)
前記メタデータはSDIのペイロードIDを示すデータであり、ペイロードIDを示すデータとカメラのメタデータを示すデータが異なる場合に、ペイロードIDを示すデータが誤りと検出し、
前記訂正手段は、メタデータを、カメラのメタデータを示すデータに基づいた対応値に訂正することを特徴とする構成1から5のいずれか1項に記載の信号処理装置。
前記メタデータはSDIのペイロードIDを示すデータであり、ペイロードIDを示すデータとカメラのメタデータを示すデータが異なる場合に、ペイロードIDを示すデータが誤りと検出し、
前記訂正手段は、メタデータを、カメラのメタデータを示すデータに基づいた対応値に訂正することを特徴とする構成1から5のいずれか1項に記載の信号処理装置。
(構成7)
入力された映像信号のメタデータを解析する信号解析手段をさらに有し、
前記検出手段はメタデータと信号解析手段による解析結果が異なる場合、誤りと判定し、
前記訂正手段は、メタデータを解析結果に基づいた対応値に訂正することを特徴とする構成1にから6のいずれか1項に記載の信号処理装置。
入力された映像信号のメタデータを解析する信号解析手段をさらに有し、
前記検出手段はメタデータと信号解析手段による解析結果が異なる場合、誤りと判定し、
前記訂正手段は、メタデータを解析結果に基づいた対応値に訂正することを特徴とする構成1にから6のいずれか1項に記載の信号処理装置。
(構成8)
前記信号解析手段は、フレームの輝度値毎の画素数に基づいて、映像信号の階調特性が、SDRであるか、HLGであるか、PQであるかを識別することを特徴とする構成7に記載の信号処理装置。
前記信号解析手段は、フレームの輝度値毎の画素数に基づいて、映像信号の階調特性が、SDRであるか、HLGであるか、PQであるかを識別することを特徴とする構成7に記載の信号処理装置。
(構成9)
前記信号解析手段は、前記フレームにおいて、輝度値が所定の輝度値以上の画素数と、所定の輝度値未満の画素数の差が閾値未満の場合、映像信号の階調特性がSDRであると識別することを特徴とする構成8に記載の信号処理装置。
前記信号解析手段は、前記フレームにおいて、輝度値が所定の輝度値以上の画素数と、所定の輝度値未満の画素数の差が閾値未満の場合、映像信号の階調特性がSDRであると識別することを特徴とする構成8に記載の信号処理装置。
(構成10)
前記信号解析手段は、構成9に記載の信号解析手段で映像信号の階調特性がSDRであると識別されなかった際に、前記フレームで前記所定の輝度値以上の画素において、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値未満の場合、信号の階調特性がHLGであると識別し、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値以上の場合、信号の階調特性がPQであると識別することを特徴とする構成9に記載の信号処理装置。
前記信号解析手段は、構成9に記載の信号解析手段で映像信号の階調特性がSDRであると識別されなかった際に、前記フレームで前記所定の輝度値以上の画素において、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値未満の場合、信号の階調特性がHLGであると識別し、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値以上の場合、信号の階調特性がPQであると識別することを特徴とする構成9に記載の信号処理装置。
(構成11)
前記訂正手段がメタデータの誤りを訂正した場合に、訂正結果をユーザーに通知する通知手段をさらに有することを特徴とする構成1から10のいずれか1項に記載の信号処理装置。
前記訂正手段がメタデータの誤りを訂正した場合に、訂正結果をユーザーに通知する通知手段をさらに有することを特徴とする構成1から10のいずれか1項に記載の信号処理装置。
(構成12)
前記検出手段が信号のメタデータの誤りを検出した場合に、メタデータを訂正するかしないかをユーザーに確認する確認手段をさらに有し、
前記訂正手段は、確認手段によりメタデータを訂正すると確認された場合にメタデータを訂正する
ことを特徴とする構成1から11のいずれか1項に記載の信号処理装置。
前記検出手段が信号のメタデータの誤りを検出した場合に、メタデータを訂正するかしないかをユーザーに確認する確認手段をさらに有し、
前記訂正手段は、確認手段によりメタデータを訂正すると確認された場合にメタデータを訂正する
ことを特徴とする構成1から11のいずれか1項に記載の信号処理装置。
(構成13)
映像信号のメタデータを訂正するためのメタデータに書き換える書き換え手段をさらに有し、
メタデータが書き換えられた前記映像信号を出力する信号出力手段を有することを特徴とする構成1から12のいずれか1項に記載の信号処理装置。
映像信号のメタデータを訂正するためのメタデータに書き換える書き換え手段をさらに有し、
メタデータが書き換えられた前記映像信号を出力する信号出力手段を有することを特徴とする構成1から12のいずれか1項に記載の信号処理装置。
(構成14)
訂正されたメタデータに基づき画質設定を変更する変更手段をさらに有することを特徴とする構成1から13のいずれか1項に記載の信号処理装置。
訂正されたメタデータに基づき画質設定を変更する変更手段をさらに有することを特徴とする構成1から13のいずれか1項に記載の信号処理装置。
(方法1)
映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を有する信号処理装置の制御方法。
映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を有する信号処理装置の制御方法。
(プログラム1)
信号処理装置に、
映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を実行させるためのプログラム。
信号処理装置に、
映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を実行させるためのプログラム。
Claims (16)
- 映像信号からメタデータを取得する取得手段と、
メタデータの誤りを検出する検出手段と、
誤りを検出した際にメタデータの誤りを訂正する訂正手段と、
を有する信号処理装置。 - 前記検出手段は、メタデータの値が0で、かつ画質設定と異なる場合に誤りと判定することを特徴とし、
前記訂正手段は、メタデータを画質設定に基づいた対応値に訂正することを特徴とする請求項1に記載の信号処理装置。 - 前記メタデータはSDIのペイロードIDのTransfer Characteristicsであり、画質設定はガンマ/EOTF設定の階調特性を示す設定であることを特徴とする請求項1に記載の信号処理装置。
- 前記メタデータはSDIのペイロードIDのColorimetryであり、画質設定はカラーガマット設定の色空間を示す設定であることを特徴とする請求項1に記載の信号処理装置。
- 前記メタデータはSDIのペイロードIDのBit Depthであり、画質設定はビット深度設定やフルレンジ/リミテッドレンジのレンジ設定であることを特徴とする請求項1に記載の信号処理装置。
- 前記メタデータはSDIのペイロードIDを示すデータであり、ペイロードIDを示すデータとカメラのメタデータを示すデータが異なる場合に、ペイロードIDを示すデータが誤りと検出し、
前記訂正手段は、メタデータを、カメラのメタデータを示すデータに基づいた対応値に訂正することを特徴とする請求項1に記載の信号処理装置。 - 入力された映像信号のメタデータを解析する信号解析手段をさらに有し、
前記検出手段はメタデータと信号解析手段による解析結果が異なる場合、誤りと判定し、
前記訂正手段は、メタデータを解析結果に基づいた対応値に訂正することを特徴とする請求項1に記載の信号処理装置。 - 前記信号解析手段は、フレームの輝度値毎の画素数に基づいて、映像信号の階調特性が、SDRであるか、HLGであるか、PQであるかを識別することを特徴とする請求項7に記載の信号処理装置。
- 前記信号解析手段は、前記フレームにおいて、輝度値が所定の輝度値以上の画素数と、所定の輝度値未満の画素数の差が閾値未満の場合、映像信号の階調特性がSDRであると識別することを特徴とする請求項8に記載の信号処理装置。
- 前記信号解析手段は、請求項9に記載の信号解析手段で映像信号の階調特性がSDRであると識別されなかった際に、前記フレームで前記所定の輝度値以上の画素において、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値未満の場合、信号の階調特性がHLGであると識別し、輝度値が第二の所定の輝度値以上の画素数と、第二の所定の輝度値未満の画素数の差が第二の閾値以上の場合、信号の階調特性がPQであると識別することを特徴とする請求項9に記載の信号処理装置。
- 前記訂正手段がメタデータの誤りを訂正した場合に、訂正結果をユーザーに通知する通知手段をさらに有することを特徴とする請求項1に記載の信号処理装置。
- 前記検出手段が信号のメタデータの誤りを検出した場合に、メタデータを訂正するかしないかをユーザーに確認する確認手段をさらに有し、
前記訂正手段は、確認手段によりメタデータを訂正すると確認された場合にメタデータを訂正する
ことを特徴とする請求項1に記載の信号処理装置。 - 映像信号のメタデータを訂正するためのメタデータに書き換える書き換え手段をさらに有し、
メタデータが書き換えられた前記映像信号を出力する信号出力手段を有することを特徴とする請求項1に記載の信号処理装置。 - 訂正されたメタデータに基づき画質設定を変更する変更手段をさらに有することを特徴とする請求項1に記載の信号処理装置。
- 映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を有する信号処理装置の制御方法。 - 信号処理装置に、
映像信号からメタデータを取得する取得工程と、
メタデータの誤りを検出する検出工程と、
誤りを検出した際にメタデータの誤りを訂正する訂正工程と、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022190840A JP2024078340A (ja) | 2022-11-29 | 2022-11-29 | 信号処理装置 |
US18/516,667 US20240179295A1 (en) | 2022-11-29 | 2023-11-21 | Signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022190840A JP2024078340A (ja) | 2022-11-29 | 2022-11-29 | 信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024078340A true JP2024078340A (ja) | 2024-06-10 |
Family
ID=91191385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022190840A Pending JP2024078340A (ja) | 2022-11-29 | 2022-11-29 | 信号処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240179295A1 (ja) |
JP (1) | JP2024078340A (ja) |
-
2022
- 2022-11-29 JP JP2022190840A patent/JP2024078340A/ja active Pending
-
2023
- 2023-11-21 US US18/516,667 patent/US20240179295A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240179295A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896634B2 (en) | Image signal processing apparatus and control method therefor | |
US11030727B2 (en) | Display apparatus and display method | |
US11410343B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP4617085B2 (ja) | 画像表示装置および画像表示方法 | |
JP2009165036A (ja) | 映像処理装置及びコンピュータプログラム | |
JP2009003011A (ja) | 画像表示装置、撮像装置、画像再生装置、及び画像表示方法 | |
US8290261B2 (en) | Image processing apparatus and image processing method | |
JP2010008739A (ja) | 映像信号制御装置、映像表示システム、及び映像信号制御方法 | |
JP5089783B2 (ja) | 画像処理装置及びその制御方法 | |
US20210195139A1 (en) | Method for converting an image and corresponding device | |
US20080297531A1 (en) | Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program | |
US8165421B2 (en) | Method and apparatus for image processing by using stored image | |
US11189064B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2003174619A (ja) | 電子機器 | |
US11080829B2 (en) | Control apparatus and control method | |
US20110261255A1 (en) | Video display control device, video display device, and recording medium having video display program recorded thereon | |
JP2024078340A (ja) | 信号処理装置 | |
JP2005318499A (ja) | 画像処理装置 | |
JP2010154132A (ja) | ガンマ補正回路およびガンマ補正方法 | |
US20070046788A1 (en) | Image processing apparatus, image display and image processing method | |
JP2010220030A (ja) | 映像補正回路および映像表示装置 | |
JP2007102284A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2008123472A (ja) | 映像信号処理装置 | |
US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium | |
JP2009025701A (ja) | ガンマ切替装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |