JP2020102785A - 画像出力装置 - Google Patents

Abstract

【課題】通信インターフェースを介して映像データを伝送する場合に、表現能力を向上させること。【解決手段】画像データを出力する画像出力手段を有する装置において、前記画像データと関連する付加情報を出力する付加情報出力手段を有し、前記付加情報は、前記画像データの所定画素を単位とする画素領域ごとの画素領域情報と色補正係数、色補正値とを関連づけた画素領域色補正情報を出力する。【選択図】図１

Description

本発明は、画像データをＴＶモニタ等の外部機器に出力する装置に関する。

映像を表示するテレビやモニタなどの表示機器では、いままで自然界に存在する輝度差を表現することが難しかった。しかしながら、液晶テレビのバックライトとして高輝度なＬＥＤを採用できるようになったことで、明暗差が拡大しＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）機能に対応するものが注目されている。

また、表示能力を向上させるために、適切な色合いで表示する表示機器も発案されている（特許文献１）。

このように、表現能力が向上しているテレビやモニタと、チューナーやデジタルレコーダーなどの画像再生機器との間で、映像データを伝送するインターフェースとしてＤＶＩやＨＤＭＩ、ＳＤＩなどの通信インターフェース規格がある。この通信インターフェース規格では、伝送帯域から画像データの色深度が８ビットや１０ビットと規定されており、画像データの色空間においても伝送フォーマットによって規定されている。

特開２００２−１９６７４４号公報

機器間で上述の背景技術にあるような通信インターフェースを使用して映像データを伝送する場合には、色深度や色空間を伝送フォーマットに合わせて色変換、ガンマ補正等の処理を施して伝送する必要がある。伝送された映像データは、表示機器側で伝送フォーマットに合わせた逆ガンマ補正等がほどこされた後に表示される。

コンテンツも表示機器も人間が見た印象に近い映像を表現する性能がありながらも、通信インターフェースを介するために、色変換、ガンマ補正等の処理を行う必要があり、
本来の情報や表現能力が損なわれてしまう問題がある。

本発明は、上述の問題を鑑みてなされたもので、通信インターフェースを介して映像データを伝送する場合に、表現能力を向上させることを目的とする。

上記の目的を達成するために、本発明に係る画像出力装置は、
画像データを出力する画像出力手段を有する装置において、前記画像データと関連する付加情報を出力する付加情報出力手段を有し、前記付加情報は、前記画像データの画素に付随する情報である画素情報マップと色補正係数、色補正値とを関連づけた色補正画素マップ情報を出力することを特徴とする。

本発明に係る画像出力装置によれば、転送する画面内の領域単位に色補正値を付加して送信し、テレビ側で領域単位に色補正をおこなうことで、コンテンツのもつ色空間の再現能力が向上する。

画像出力装置１００のハードウェアブロック図 ｘｙ色度図 通常画像出力動作のイメージ図 色補正画素マップ情報付加画像出力動作のイメージ図 画像出力装置１００から出力されるデータのイメージ図 色補正画素マップ情報付加画像出力動作フローチャート 外部機器能力に応じた色補正画素マップ情報付加画像出力動作のイメージ図 外部機器能力に応じた色補正画素マップ情報付加画像出力動作フローチャート

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施形態）
図１は、本発明の実施形態に係る画像出力装置１００のハードウェアブロック図である。

２００は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。３００は、外部接続機器であるテレビなどの表示装置である。４００は、画像出力装置１００と表示装置３００とを接続するケーブルである。１０１は、画像出力装置１００に装着されている記録媒体２００とのＩ／Ｆであり、ＤＲＡＭ１０１へデータを読み込むことが可能なＭｅｄｉａ Ｉ／Ｆである。１０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、撮像装置１００のメインメモリである。画像データ、付加情報等を一時保持することが可能である。

１０３は、記録媒体２００から読み込んだ画像データから輝度値の分布を表わすヒストグラムを算出する機能と、画像データを所定サイズ領域に分割し、その分割領域単位の輝度平均値を算出することが可能な輝度分布算出手段である。１０４は、記録媒体２００から読み込んだ画像データに対して、ガンマ補正、レンジ変換や色空間変換することが可能な画像処理手段である。また、この画像処理手段１０４は所定サイズへリサイズすることも可能である。１０５は、表示装置３００とケーブル４００を介して、画像データ、付加情報の送信、表示装置３００からの情報を受信するための外部機器Ｉ／Ｆである。

１０６は、ＤＲＡＭ １０２に一時保持されている画像データを外部機器通信Ｉ／Ｆ １０５を介して、出力する画像出力手段である。１０７は、画像出力手段１０６によって出力される画像データに関連した付加情報を、外部機器通信Ｉ／Ｆ １０５を介して出力する付加情報出力手段である。１０８は、外部機器通信Ｉ／Ｆ １０５を介して、外部機器からの情報を取得する外部機器情報取得手段である。１０９は、ＤＲＡＭ１０２に一次保持されている画像データに、文字やアイコンを合成することが可能な画像合成手段である。

１１０は、外部機器通信Ｉ／Ｆ １０５ 〜 外部機器情報取得手段１０８ との間でのデータを受け渡すための外部通信データバスである。１１１は、画像出力装置１００全体の制御をおこなうメインＣＰＵである。１１２は、ＣＰＵ１１１のプログラムが格納されているフラッシュメモリ （Ｆｌａｓｈ Ｍｅｍｏｒｙ、半導体不揮発性メモリ）である。１１３は、ＣＰＵ１１１のワークメモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。１１４は、ユーザが画像出力装置１００の動作指示を行うためのボタン、十字キー、タッチパネル等の操作キーである。

１１５は、ＣＰＵ １１１と、Ｆｌａｓｈ Ｍｅｍｏｒｙ１１２、ＲＡＭ１１３、操作キー１１４を接続するプログラムバスである。１１６は、メインデータバスであり、各ブロックへ制御指示やＤＲＡＭ１０１へのアクセスは、このメインデータバスを経由して行われる。

画像出力装置１００における通常の画像出力動作は、記録媒体２００からＭｅｄｉａ Ｉ／Ｆ １０１を介して、画像データをＤＲＡＭ１０２に読み込み、画像処理手段１０４によって画像処理する。画像処理された画像データを画像出力手段１０６が読み込み、外部機器通信Ｉ／Ｆ、ケーブル４００を介して表示装置４００へ送信される。

図２は、ＣＩＥ（国際照明委員会）で承認された標準表色系「ＸＹＺ表色系（Ｙｘｙ表色系）」のｘｙ色度図であり、表示装置３００が表示可能な色空間が示されている。また、以下のものが図示されている。
・ＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）：ＡＭＰＡＳ（Ａｃａｄｅｍｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ）が定めた色空間。
・ＤＣＩ−Ｐ３：Ｃｉｎｅｍａ Ｉｎｉｔｉａｔｉｖｅｓ（ＤＣＩ）で定められた色空間
・ＩＴＵ−Ｒ ＢＴ．２０２０：ＩＴＵが定めたＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）用の色空間
・ＩＴＵ−Ｒ ＢＴ．７０９：ＩＴＵが定めた（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）標準的な色空間
図３は、本発明に係る画像出力装置１００における通常画像出力動作のイメージ図である。

まず、画像出力装置１００は、表示装置３００とケーブル４００によって接続されている。画像出力装置１００ 内に装着されている記録媒体２００には画像データが記録されている。この画像データはＩＴＵ−Ｒ ＢＴ．２０２０ で記録されているものであり、送信フォーマットで規定されているＩＴＵ−Ｒ ＢＴ．７０９ よりもダイナミックレンジが広い画像である。

この条件下における通常画像出力動作の場合、画像処理手段１０４は送信フォーマットであるＩＴＵ−Ｒ ＢＴ．７０９ へ色空間とレンジ変換を行い、出力画像を生成する。生成された出力画像はケーブル４００ を介して表示装置３００へ送信される。表示装置３００では、送信フォーマットのＩＴＵ−Ｒ ＢＴ．７０９ を正確に表示するための色補正処理が行われたのちに表示される。このとき、表示装置３００によって表示される画像は、画像データが本来もつ色空間に対して再現性が低いものとなる。

図４は、本発明に係る色補正画素マップ情報付加画像出力動作のイメージ図である。接続条件、記録媒体中の画像データ、色空間等は図３と同様であるものとする。

画像出力装置１００における色補正画素マップ情報付加画像出力動作について、説明する。

＜処理１＞
画像データの各画素の輝度値から輝度分布算出手段１０３を用いて、画面内の輝度レベルの分布を示す画素情報マップを生成する。この画素情報マップは、輝度値を正規化して近接する所定領域画素単位（例えば１６ｘ１６ピクセルを１単位とするマクロブロック）にレベル値０〜３としたものである。

＜処理２＞
画像処理手段１０４は、＜処理１＞で生成された画素情報マップから、処理画素単位に対応するレベル値を取得し、レベル値に応じたガンマ補正、色変換係数を用いて出力画像を生成する。

＜処理３＞
＜処理２＞で生成された出力画像を、画像出力手段１０６を用いて出力するとともに、＜処理２＞で適応したレベル値に応じたガンマ補正、色変換係数と、＜処理１＞で生成した画素情報マップを色補正画素マップ情報として、付加情報出力手段１０７を用いて出力する。

＜処理４＞
表示装置３００では、送信された画像の画素単位に、色補正画素マップ情報の画素マップのレベル値を取得し、ガンマ補正、色空間をもとに戻す逆変換の色補正処理が行われたのちに表示される。これにより、画像データが本来もっているダイナミックレンジの広い色空間に対して、再現性の高い画像が表示される。

図４で説明した本発明に係る色補正画素マップ情報を付加する場合について、図５を用いて説明する。

図５は、画像出力装置１００から出力されるデータのイメージ図である。

図５において、出力データは水平サンプル（水平ブランキング＋水平アクティブ）のデータを、垂直ライン数（垂直ブランキング＋垂直アクティブ）分出力されることを示している。画像データは、水平アクティブ期間、且つ垂直アクティブ期間で送信される。水平ブランキング期間、または垂直ブランキング期間は画像データを転送していない。

本発明に係る色補正画素マップ情報は、付加情報出力手段１０７によって画像データを転送していないブランキング期間で送信する。例えば、図５では垂直ブランキング期間で、レベル値０、１、３に応じた色変換係数を送信していることを示している。このとき、レベル値２は送信フォーマットであるＩＴＵ−Ｒ ＢＴ．７０９と同じ色変換係数であるため、色変換係数を付加していない。

次に、水平ブランキング期間では、そのラインに対応する画素情報マップが付加されている。水平ブランキング期間内に画像データのラインサンプル数と同じ画素情報マップのサンプル数を送信することができないため、画素情報マップはリサイズされたものになっている。このように、色補正画素マップ情報は画像データを転送していないブランキング期間で転送される。

図６は、図４および、図５を用いて説明した本発明に係る色補正画素マップ情報付加画像出力動作のフローチャートである。

記録媒体２００から画像データをＭｅｄｉａ Ｉ／Ｆ １０１を介してＤＲＡＭ １０２へ読み込む（Ｓ６０１）。

次に、Ｓ６０１で読み込んだ画像データの各画素の輝度値から輝度分布算出手段１０３を用いて、画面内の輝度レベルの分布を示す画素情報マップを生成する（Ｓ６０２）。この画素情報マップは、輝度値を正規化して近接する所定領域画素単位（例えば１６ｘ１６ピクセルを１単位とするマクロブロック）にレベル値０〜３としたものである。

画像処理手段１０４は、Ｓ６０２で生成された画素情報マップから、処理画素単位に対応するレベル値を取得し、レベル値に応じたガンマ補正、色変換係数を用いて出力画像を生成する（Ｓ６０３）。

Ｓ６０２で生成した画素情報マップのもつレベル値と、Ｓ６０３でそのレベル値に応じて適応したガンマ補正、色変換係数を表す色補正情報を垂直ブランキング期間に送信するように付加情報出力手段１０７へ指示する（Ｓ６０４）。

Ｓ６０１で生成した画素情報マップを水平ブランキング期間に送信するように付加情報出力手段１０７へ指示する（Ｓ６０５）。

最後にＳ６０３で生成した画像を送信するように画像出力手段１０６へ指示することで、外部機器への出力が開始される（Ｓ６０６）。

図１〜図６を用いて述べたように、本発明に係る色補正画素マップ情報付加画像出力動作によって、送信する画面に係る画素情報マップと、そのマップのレベル値に応じた色補正情報を送信することで、表示装置側で画素単位に色補正をおこなうことが可能になり、コンテンツのもつ本来の色空間の再現性が向上する。

また、本実施形態では輝度値を正規化して画素情報マップを生成したが、被写体への距離情報から生成してもよい。

また、本実施形態では出力画像と同じライン数分の画素情報マップとしたが、複数ラインをまとめてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、以下で説明する本実施形態おける装置構成については、第１の実施形態と同様であるため、その説明を省略する。本実施形態として、本発明に係る外部機器能力に応じた色補正画素マップ情報付加画像出力動作について図を用いて説明する。

図７は、外部機器能力に応じた色補正画素マップ情報付加画像出力動作のイメージ図である。

記録媒体中の画像データは図３と同様であり、画像出力装置１００と表示装置３００がケーブル４００を介して接続されると、外部機器通信Ｉ／Ｆ １０５、および外部機器情報取得手段１０８を介して、表示装置３００の性能情報を取得する。このとき取得する性能情報は色補正画素マップ情報対応の有無、色補正可能数、色補正係数精度とする。

まず、表示装置３００から取得した性能情報から、
・色補正画素マップ情報対応：○
・色補正可能数：２
・色補正係数精度：１０ｂｉｔ
であることが検出されたものとする。

この場合、色補正画素マップ情報付加画像出力動作が行われる。このとき輝度分布算出手段が生成する画素情報マップは、取得した色補正可能数となる正規化処理を適応して生成する。例えば、取得した色補正可能数が２の場合は、画素情報マップのレベル値が０〜１となるように正規化処理を行う。

次に、画像処理手段１０４が生成する出力画像は、取得した色補正係数精度に応じた係数を用いて生成する。例えば、取得した色補正係数精度が１０ｂｉｔの場合、画像処理手段１０４の係数も１０ｂｉｔ精度となる係数を用いて出力画像を生成し、付加情報として出力する色変換係数も１０ｂｉｔ係数を付加する。

図８は、図７で説明した外部機器能力に応じた色補正画素マップ情報付加画像出力動作のフローチャートである。

まず、画像出力装置１００と表示装置３００がケーブル４００を介して接続されると、外部機器通信Ｉ／Ｆ １０５、および外部機器情報取得手段１０８を介して、表示装置３００の性能情報を取得する（Ｓ８０１）。

色補正画素マップ情報を受信可能な表示装置かを判断する（Ｓ８０２）。Ｓ８０２でＮｏならば、通常再生へ移行する。Ｓ８０２でＹｅｓならば、記録媒体２００から画像データをＭｅｄｉａ Ｉ／Ｆ １０１を介してＤＲＡＭ １０２へ読み込む（Ｓ８０３）。

次に、Ｓ８０３で読み込んだ画像データの各画素の輝度値から輝度分布算出手段１０３を用いて、Ｓ８０１で取得した性能情報に応じた画素情報マップを生成する（Ｓ８０４）。

画像処理手段１０４は、Ｓ８０１で取得した性能情報から色変換係数を決定し、Ｓ８０４で生成された画素情報マップを用いて出力画像を生成する（Ｓ８０５）。Ｓ８０５で生成した画素情報マップのもつレベル値と、Ｓ８０６でそのレベル値に応じて適応したガンマ補正、色変換係数を表す色補正情報を垂直ブランキング期間に送信するように付加情報出力手段１０７へ指示する（Ｓ８０６）。

Ｓ８０４で生成した画素情報マップを水平ブランキング期間に送信するように付加情報出力手段１０７へ指示する（Ｓ８０７）。

最後にＳ８０５で生成した画像を送信するように画像出力手段１０６へ指示することで、外部機器への出力が開始される（Ｓ８０８）。

このように、表示装置３００から取得した性能情報に最適な色補正画素マップ情報を付加出力することで、表示装置の性能に対して最適な再現性を実現することが可能となる。

１０７ 付加情報出力手段、２００ 記録媒体

Claims (7)

1. 画像データを出力する画像出力手段を有する装置において、
   前記画像データと関連する付加情報を出力する付加情報出力手段を有し、
   前記付加情報は、前記画像データの画素に付随する情報である画素情報マップと色補正係数、色補正値とを関連づけた色補正画素マップ情報を出力することを特徴とする画像出力装置。
2. 前記画素情報マップは、領域単位の輝度分布情報であることを特徴とする請求項１に記載の画像出力装置。
3. 前記画素情報マップは、領域単位の被写体への距離をあらわす距離情報であることを特徴とする請求項１に記載の画像出力装置。
4. 前記付加情報出力手段は、前記画像出力手段における画像データ送信期間ではないブランキング期間を用いて付加情報を出力する機能を有し、前記色補正画素マップ情報は前記ブランキング期間に送信することを特徴とする請求項１に記載の画像出力装置。
5. 色補正画素マップ情報は、前記ブランキング期間における垂直方向ブランキング期間に前記色補正係数と前記色補正値を送信し、水平方向ブランキング期間に前記画素情報マップを送信することを特徴とする請求項４に記載の画像出力装置。
6. 前記画素情報マップは、複数ラインをまとめた情報とすることを特徴とする請求項１に記載の画像出力装置。
7. 前記画像データの出力先である外部機器の色補正能力情報を取得する外部機器色補正能力取得手段を有し、前記色補正能力情報に応じた色補正画素マップ情報を送信することを特徴とする請求項１に記載の画像出力装置。