JP6750594B2 - 撮像システムおよび撮像方法 - Google Patents

Description

本技術は、撮像素子による撮像によって得られた画素信号からダイナミックレンジの異なる２種類のビデオを生成可能な撮像システムおよび撮像方法に関する。

ＨＤＲ（High Dynamic Range）イメージングでは、ダイナミックレンジの広い映像の表現が可能であり、通常のモニターで表示可能な標準的なダイナミックレンジを持つＳＤＲ（Standard Dynamic Range)の映像信号で表現しきれなかった、高輝度の表現や、輝度の高い色の表現が可能である。

特許文献１には、ＨＤＲビデオとＬＤＲビデオとを合わせてエンコードする方法が開示される。

特表２０１５−５０６６２３号公報

本技術は、撮像部により撮像された画素信号からＨＤＲビデオおよびＳＤＲビデオなどのダイナミックレンジが異なる複数のビデオを同時に生成する場合における様々な課題を解決することを目的とするものである。

上記の課題を解決するために、本技術に係る一形態の撮像システムは、被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路を具備する。

この撮像システムによれば、撮像部により得られた画素信号から、処理回路によってＨＤＲビデオとＳＤＲビデオを同時に生成することができる。また、この撮像システムでは、処理回路が、画素信号から第１のビデオ信号の第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成するので、アイリス調整により第１のビデオ信号の見た目の明るさが変更された場合に、第１のビデオ信号と同時に作成される第２のビデオ信号の見た目の明るさにも同等の変更を与えることができる。

前記処理回路は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を設定する情報をもとに、前記第２のダイナミックレンジを前記第１のダイナミックレンジを基準に設定するように構成されたものであってよい。

前記処理回路は、前記第１のビデオ信号を生成するための前記画素信号に対する第１のゲインと前記第２のビデオ信号を生成するための前記画素信号に対する第２のゲインとの比を、相関を設定する情報をもとに設定するように構成されたものであってよい。

前記処理回路は、前記画素信号に対してガンマ信号処理が行われた信号から前記第１のダイナミックレンジの前記第１のビデオ信号を生成するように構成されたものであってよい。

前記第１のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、前記第２のビデオ信号がＨＤＲ（High Dynamic Range）ビデオであってよい。

本技術に係る撮像システムは、前記処理回路により生成された前記第１のビデオ信号を表示するディスプレイをさらに具備するものであってよい。

本技術に係る撮像システムにおいて、前記ディスプレイはビューファインダーであってよい。

前記処理回路は前記相関を設定する情報に基づき、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うものであってよい。

本技術に係る撮像システムは、前記ディスプレイに前記第１のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うものであってよい。

本技術に係る他の側面である撮像方法は、
撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する。

本技術に係る他の側面であるプログラムは、
被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路としてコンピュータを動作させるプログラムである。

本技術に係るさらに他の側面である撮像装置は、
被写体を撮像して画素信号を得る撮像部と、
前記撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路と
を具備する。

以上のように、本技術によれば、撮像部により撮像された画素信号からＨＤＲビデオおよびＳＤＲビデオなどのダイナミックレンジが異なる複数のビデオを同時に生成する場合における様々な課題を解決することができる。

本技術に係る第１の実施形態の撮像システム１の全体的なハードウェア構成を示すブロック図である。 図１の撮像システム１におけるＨＤＲプロセス部２２およびＳＤＲプロセス部２３の機能的な構成を示すブロック図である。 １：１設定時のＳＤＲビデオおよびＨＤＲビデオのダイナミックレンジの関係を示す図である。 ＨＤＲ−コントラスト２倍設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。 ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ３５０％設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。 ＨＤＲコントラスト２倍＆ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ２２０％設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。 本技術に係る撮像システムの変形例１を示すブロック図である。 本技術に係る撮像システムの変形例２を示すブロック図である。 本技術に係る撮像システムの変形例３を示すブロック図である。 本技術に係る撮像システムの変形例４を示すブロック図である。

以下、本技術に係る実施の形態を説明する。
＜第１の実施形態＞
［撮像システムのハードウェア構成］
図１は、本技術に係る第１の実施形態の撮像システムの全体的なハードウェア構成を示すブロック図である。
同図に示すように、この撮像システム１は、撮像装置１０とカメラ制御ユニット２０とを有する。撮像装置１０とカメラ制御ユニット２０とは光ファイバーなどのカメラケーブル３０を通じて接続される。

撮像装置１０は、撮像のためのレンズ群を有する光学系１１と、撮像素子１２と、プリプロセッサ１３と、伝送部１４と、ＣＰＵ１５を有する。

撮像素子１２は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）素子、ＣＣＤ（Charge-Coupled Device）などのイメージセンサであり、図示しない光学系を通じて取り込んだ光を光強度に対応した電気的な画素信号に変換する。

なお、本技術の撮像システムの構成において、「撮像部」は上記の撮像装置１０に相当する。

プリプロセッサ１３は、撮像素子１２にて得られた画素信号に対する欠陥補正、およびレンズ収差補正などの信号補正処理などを行う。

伝送部１４は、プリプロセッサ１３から出力された画素信号をカメラケーブル３０を通じてカメラ制御ユニット２０に伝送する処理を行う。すなわち、伝送部１４によってカメラ制御ユニット２０に伝送される画素信号は、ゲインやダイナミックレンジに関する処理、デベイヤー処理、ガンマ信号処理などが施されていないＲＡＷ画像信号である。

一方、カメラ制御ユニット２０は、伝送部２１と、ＨＤＲプロセス部２２と、ＳＤＲプロセス部２３と、ＣＰＵ２４を備える。

伝送部２１は、撮像装置１０より伝送された画素信号をカメラケーブル３０を通じて受信し、ＨＤＲプロセス部２２およびＳＤＲプロセス部２３に供給する。

ＨＤＲプロセス部２２は、伝送部２１より供給された画素信号からＨＤＲビデオを生成する処理を行う。
ＳＤＲプロセス部２３は、伝送部２１より供給された画素信号からＳＤＲビデオを生成する処理を行う。
ＨＤＲプロセス部２２とＳＤＲプロセス部２３は１つあるいは複数の集積回路などによって構成され、本技術の構成における処理回路に相当する。

ＣＰＵ２４は、カメラ制御ユニット２０における各部の制御を行うコントローラーである。ＣＰＵ２４は、ＬＡＮ（Local Area Network）などの通信路５０を介して接続された操作装置４０との間で通信を行うことが可能である。操作装置４０は、ディスプレイ４１、操作入力部４２および制御部４３を備える。操作装置４０は、例えばパーソナルコンピュータなどの情報処理装置などで構成されてもよいし、カメラ制御用に作られた専用コントロールパネルなどで構成されてもよい。操作入力部４２は例えば操作キー、マウス、トラックボール、ダイヤル、レバー、タッチセンサーパネル、リモートコントローラーなどで構成されてよい。操作装置４０の制御部４３は、ＣＰＵなどの回路により構成され、ＶＥ（Video Engineer）などの制作者から各種の制御命令や設定情報を受け付け、通信路５０を介してカメラ制御ユニット２０のＣＰＵ２４との間で通信をする。

次に、カメラ制御ユニット２０内のＨＤＲプロセス部２２およびＳＤＲプロセス部２３の構成を説明する。

［ＨＤＲプロセス部２２およびＳＤＲプロセス部２３］
図２は、ＨＤＲプロセス部２２およびＳＤＲプロセス部２３の機能的な構成を示すブロック図である。

ＨＤＲプロセス部２２は、ＨＤＲゲイン調整部２２１、マトリクス処理部２２３、ブラックレベル補正部２２５、ディテール処理部２２７、ＯＥＴＦ部２２８、フォーマッター２２９を有する。

ＨＤＲゲイン調整部２２１は、マスターゲインの制御の他、ホワイトバランス調整のためのＲＧＢゲインの制御を行う。
マトリクス処理部２２３は、ＨＤＲゲイン調整部２２１を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。

ブラックレベル補正部２２５は、カラー画像データのブラックレベルの補正を行う。
ディテール処理部２２７は、カラー画像データのディテールの処理を行う。
ＯＥＴＦ部２２８は、カラー画像データに対してＨＤＲ用のＯＥＴＦ（Optical-Electro Transfer Function：光電気伝達関数）により階調圧縮を行い、ガンマ信号処理を行う。
フォーマッター２２９は、ＯＥＴＦ部２２８を通過したカラー画像データをＨＤＲビデオの伝送フォーマットに変換する。

次に、ＳＤＲプロセス部２３の構成を説明する。
ＳＤＲプロセス部２３は、解像度変換部２３０、ＳＤＲゲイン調整部２３１、マトリクス処理部２３３、ブラックレベル補正部２３５、ニー・ディテール処理部２３７、ガンマ処理部２３８、フォーマッター２３９を有する。

解像度変換部２３０は、撮像装置１０より伝送された画素信号の解像度（例えば４Ｋ解像度）をＨＤなどの解像度に変換する。

ＳＤＲゲイン調整部２３１は、リレイティブゲインに基づくマスターゲインの制御、ホワイトバランス調整のためのＲＧＢゲインの制御を行う。ここで、リレイティブゲインとは、ＳＤＲビデオのダイナミックレンジ（第１のダイナミックレンジ）とＨＤＲビデオのダイナミックレンジ（第２のダイナミックレンジ）との相関を設定する情報である。ＳＤＲゲイン調整部２３１は、このリレイティブゲインをもとに、ＳＤＲゲイン調整部２３１のマスターゲインのＨＤＲゲイン調整部２２１のマスターゲインに対する比を調整する。リレイティブゲインはＣＰＵ２４によってＳＤＲゲイン調整部２３１に対して設定される。

マトリクス処理部２３３は、ＳＤＲゲイン調整部２３１を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
ブラックレベル補正部２３５は、カラー画像データのブラックレベルの補正を行う。
ニー・ディテール処理部２３７は、カラー画像データに対するニー（ＫＮＥＥ）補正およびディテールの処理を行う。

ガンマ処理部２３８は、ＳＤＲゲイン調整部２３１に設定されたＳＤＲ用のダイナミックレンジに対するガンマ処理およびディスプレイ用のガンマ処理を行う。
フォーマッター２３９は、カラー画像データをＳＤＲビデオの伝送フォーマットに変換する。

［本実施形態の撮像システム１の解決対象である課題］
ＨＤＲビデオでは、ダイナミックレンジが広いためにオーバーレンジによる映像の破綻が起きにくく、撮影の輝度基準が変ってもそれなりに映像表現として映ってしまう。しかし、その反面、映像が制作者の意図するレベルよりも明るすぎたり、シーン毎に明るさの表現がバラバラになりやすい。

典型的なＨＤＲビデオの作成の場では、撮像装置で得た画素信号を、できるだけリニアに、ワイドなダイナミックで収録し、ポストプロダクションで、視聴に適するように、細かな映像信号調整を行うことによって、制作者の意図する明るさのＨＤＲビデオを得ている。しかし、例えばスポーツ中継などのＨＤＲライブ中継では、ＨＤＲビデオをリアルタイムで作成しなければならない。そこで、ＨＤＲ撮影用に何らかの輝度基準が求められているが、未だそのような基準は存在しない。

また、ＨＤＲイメージングは、将来的に映像撮影の場での主流となることが予想されるものの、今後暫くはＨＤＲビデオとＳＤＲビデオの共存状況が続くと考えられる。このため、ＨＤＲビデオとＳＤＲビデオの共存状況に適した撮像システムが求められている。本実施形態の撮像システムは、少なくとも上記の各課題を解決することのできるものである。

なお、ＨＤＲビデオの持つ輝度ダイナミックレンジはＳＤＲビデオの持つ輝度ダイナミックレンジよりも広い。例として、ＳＤＲビデオの持つ輝度ダイナミックレンジを０〜１００％とすると、ＨＤＲビデオの持つ輝度ダイナミックレンジは例えば１００％〜１３００％あるいは１００％〜１００００％などである。撮像装置１０の出力の輝度レンジは０〜６００％などである。

［本実施形態の撮像システム１の動作］
本実施形態の撮像システム１では、カメラ制御ユニット２０に設けられたＨＤＲプロセス部２２とＳＤＲプロセス部２３において、撮像装置１０より伝送されてきた画素信号からＨＤＲビデオとＳＤＲビデオを同時に生成することができる。すなわち、撮像装置１０からカメラケーブル３０を通じてカメラ制御ユニット２０に伝送されてきた画素信号は、カメラ制御ユニット２０に設けられたＨＤＲプロセス部２２とＳＤＲプロセス部２３に各々供給される。これにより、ＨＤＲプロセス部２２においてＨＤＲビデオが生成されるとともに、ＳＤＲプロセス部２３においてＳＤＲビデオが生成される。

また、カメラ制御ユニット２０のＳＤＲゲイン調整部２３１は、ＨＤＲプロセス側のマスターゲインに対するＳＤＲプロセス側のマスターゲインの比を、ＣＰＵ２４から与えられるリレイティブレンジをもとに可変する機能を有する。リレイティブレンジは、ＳＤＲビデオのダイナミックレンジとＨＤＲビデオのダイナミックレンジとの相関を設定する情報である。例えば、リレイティブレンジは、ＳＤＲビデオのダイナミックレンジに対してＨＤＲビデオのダイナミックレンジを何倍に設定するかを定義する情報である。このリレイティブレンジによって、ＨＤＲプロセス側のマスターゲインに対してＳＤＲプロセス側のマスターゲインの比を例えば１、１／２などのように任意の比に設定することができる。

このようにＨＤＲプロセス側のマスターゲインとＳＤＲプロセス側のマスターゲインとの比が設定されていれば、ＳＤＲビデオのダイナミックレンジと相関を有するＨＤＲビデオのダイナミックレンジが得られる。

より具体的には、ＳＤＲビデオのダイナミックレンジの上限基準は制作者により選定された基準白（Diffuse-White）により与えられる。本実施形態の撮像システム１では、このＳＤＲビデオの基準白（Diffuse-White）が選定されることによって、リレイティブレンジに基づく相関をもとに、ＨＤＲビデオのダイナミックレンジの上限基準（ＨＤＲビデオの基準白（Diffuse-White））も決定される。

リレイティブレンジは、例えば日中、夜間、室内、屋外、スタジオ内、晴天時、雨天時などの撮影環境に応じて適宜選択されるべきである。そのため、様々な撮影環境に対応付けた複数の種類のリレイティブレンジが用意される。撮影環境に対応付けられる複数の種類のリレイティブレンジを用意する方法としては、カメラ制御ユニット２０から同時に出力されるＳＤＲビデオとＨＤＲビデオの見た目の明るさを人間の目で比較する方法が考えられる。リレイティブレンジの値を変えてその都度、ＳＤＲビデオとＨＤＲビデオとを比較し、ＳＤＲビデオとＨＤＲビデオの見た目の明るさが近いリレイティブレンジを撮影環境に最適なレイティブレンジとして決めればよい。

撮影環境に最適なレイティブレンジが設定されれば、アイリス調整によってＳＤＲビデオの明るさが変更されたとき、ＨＤＲビデオの制作者が意図する明るさの変更を、ＨＤＲビデオの見た目にも与えることができる。

次に、リレイティブレンジの設定例について説明する。

［１：１設定］
図３は１：１設定時のＳＤＲビデオおよびＨＤＲビデオのダイナミックレンジの関係を示す図である。
なお、同図を含め、以下リレイティブレンジの設定例として用いられる図では、ＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係が分かりやすいように、ＨＤＲビデオ側のＯＥＴＦガンマおよびＳＤＲビデオ側のディスプレイガンマをかける前の関係が示されている。

撮像装置１０からカメラ制御ユニット２０に４Ｋ解像度の画素信号（Linear Plain Video）が伝送される場合を想定する。撮像素子のダイナミックレンジは、例えば、ＳＤＲビデオのダイナミックレンジを１００％として１３００％とする。

１：１設定時では、ＨＤＲビデオのダイナミックレンジとＳＤＲビデオのダイナミックレンジは同一となる。つまり、ＨＤＲビデオのダイナミックレンジはＳＤＲビデオのダイナミックレンジに合わせ込まれる。

なお、ＳＤＲビデオはニー機能とクリップ機能により、画素信号においてＳＤＲビデオのダイナミックレンジを超える高輝度成分がＳＤＲビデオのダイナミックレンジにおける高域数％部分に押し込められる。

［ＨＤＲ−コントラスト２倍設定］
図４はＨＤＲ−コントラスト２倍設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。
この設定では、リレイティブレンジによってＳＤＲゲイン調整部２３１のマスターゲインがＨＤＲゲイン調整部２２１のマスターゲインに対して１／２に設定される。この結果、ＨＤＲビデオのダイナミックレンジはＳＤＲビデオのダイナミックレンジの２倍となり、ＳＤＲビデオに対するＨＤＲビデオのコントラストは２倍となる。

［ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ３５０％設定］
この撮像システム１では、ＳＤＲプロセス部２３が、画素信号に対してガンマがかけられた信号からＳＤＲビデオを生成することも可能である。この場合、画素信号のダイナミックレンジが部分的にＳＤＲのダイナミックレンジに圧縮されるので、ＨＤＲビデオのダイナミックレンジの上限である基準白（Diffuse-White）をより高く設定することができる。

図５は、その一例として、ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ３５０％設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。

ＳＤＲプロセス部２３に入力された画素信号に対してガンマをかけることによって、画素信号のダイナミックレンジにおいて３５０％までの部分がＳＤＲのダイナミックレンジに圧縮されるので、結果的にＨＤＲのダイナミックレンジはＳＤＲのダイナミックレンジの３５０％に設定される。

［ＨＤＲコントラスト２倍＆ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ２２０％設定］
図６はＨＤＲコントラスト２倍＆ＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ２２０％設定時のＳＤＲビデオおよびＨＤＲビデオ各々のダイナミックレンジの関係を示す図である。
このように、ＨＤＲコントラスト２倍とＳＤＲ−Ｄ−Ｒａｎｇｅ−Ｇａｍｍａ２２０％との組み合わせによって、ＨＤＲのダイナミックレンジはＳＤＲのダイナミックレンジの４４０％に設定される。

［リレイティブレンジの設定方法について］
カメラ制御ユニット２０には、例えば、ＬＡＮ（Local Area Network）などの通信路５０を通じて制作者の操作装置４０と接続される。操作装置４０はディスプレイ４１、操作入力部４２、制御部４３を有する。制御部４３は、ディスプレイ４１にリレイティブレンジの選択用のＧＵＩを表示させることができる。制作者はディスプレイ４１に表示されるＧＵＩを用いて任意のリレイティブレンジを、操作入力部４２の操作入力により選択することができる。操作装置４０の制御部４３は、操作入力部４２を用いて制作者によって選択されたリレイティブレンジの情報を受け取り、通信路５０を通じてカメラ制御ユニット２０のＣＰＵ２４にリレイティブレンジの設定情報を送信する。カメラ制御ユニット２０のＣＰＵ２４は、このリレイティブレンジの設定情報をもとにＳＤＲプロセス部２３のＳＤＲゲイン調整部２３１にリレイティブレンジの設定を行う。

また、操作装置４０のディスプレイ４１には、カメラ制御ユニット２０にて生成されたＳＤＲビデオが表示される。制作者はディスプレイ４１を通してＳＤＲビデオの明るさや色の表現を確認することができる。この際、操作装置４０の制御部４３は、設定されたリレイティブレンジをもとに、ＳＤＲビデオのダイナミックレンジ（またはその上限基準）とＨＤＲビデオのダイナミックレンジ（またはその上限基準）との相関を、例えば、"ＳＤＲ：ＨＤＲ＝１００％：２００％"といったかたちでディスプレイ４１に表示させる。これにより、制作者はＳＤＲビデオの明るさや色の表現とリレイティブレンジとの関係性を確認することができる。
あるいは、ＳＤＲビデオのダイナミックレンジ（またはその上限基準）とＨＤＲビデオのダイナミックレンジ（またはその上限基準）との相関を、図３から図６に示したようなグラフ形式で表示させてもよい。

［アイリス調整について］
この撮像システム１では、ディスプレイ４１に表示されるＧＵＩを用いてアイリス調整のための操作入力を行うことができる。操作装置４０の制御部４３は、操作入力部４２において受け付けたアイリス調整のための操作入力をもとに、カメラ制御ユニット２０のＣＰＵ２４にアイリス調整のための制御情報を通信路５０を通じて送信する。カメラ制御ユニット２０のＣＰＵ２４は撮像装置１０のＣＰＵ１５との間でカメラケーブル３０を通じて相互に通信することができる。カメラ制御ユニット２０のＣＰＵ２４は、操作装置４０よりアイリス調整のための制御情報を受けると、この制御情報をカメラケーブル３０を通じて撮像装置１０のＣＰＵ１５に通知する。撮像装置１０のＣＰＵ１５は、この制御情報に従って、光学系１１のアイリスを制御する。

以上のように、本実施形態の撮像システム１では、撮像装置１０により得られた画素信号からカメラ制御ユニット２０内のＨＤＲプロセス部２２とＳＤＲプロセス部２３にてＨＤＲビデオとＳＤＲビデオを同時に生成することができる。
加えて、本実施形態の撮像システム１では、アイリス調整によりＳＤＲビデオの見た目の明るさが変更された場合に、ＳＤＲビデオと同時に作成されるＨＤＲビデオの見た目の明るさにも同等の変更を与えることができる。これにより、例えばＨＤＲビデオをリアルタイムで作成する場合であっても、視聴に適した明るさのＨＤＲビデオを作成することができる。

＜変形例１＞
図７は、本技術に係る撮像システムの変形例１を示すブロック図である。
この撮像システム１Ａは、撮像装置１０のビューファインダー１６に、カメラ制御ユニット２０にて生成されたＳＤＲビデオを表示させるように構成されたものである。

カメラ制御ユニット２０のＳＤＲプロセス部２３によって生成されたＳＤＲビデオは、伝送部２１によってカメラケーブル３０を通じて撮像装置１０に伝送される。撮像装置１０の伝送部１４は、カメラ制御ユニット２０より伝送されてきたＳＤＲビデオをビューファインダー１６に出力する。ＳＤＲビデオ上で適切な輝度のアイリス調整を行うことで、ビューファインダー１６上に適切な輝度の映像を写すことができ、従来と変わらない映像を見ながら、撮影が可能になる。

＜変形例２＞
図８は、本技術に係る撮像システムの変形例２を示すブロック図である。
この撮像システム１Ｂは、撮像装置１０に、上記のビューファインダー１６に加えて、カメラ制御ユニット２０のＳＤＲプロセス部２３と同様の構成を有するＳＤＲプロセス部１８を設けたものである。

この撮像システム１Ｂでは、撮像装置１０内のＳＤＲプロセス部１８にてＳＤＲビデオを生成し、このＳＤＲビデオがビューファインダー１６に出力されて表示される。このため、カメラ制御ユニット２０からＳＤＲビデオの伝送を受けることなくＳＤＲビデオを撮影者が見ることができる。

この撮像システム１Ｂでは、カメラ制御ユニット２０のＣＰＵ２４と撮像装置１０のＣＰＵ１５とがカメラケーブル３０を通じて通信することにより、カメラ制御ユニット２０のＳＤＲプロセス部２３内の各部に設定されるリレイティブゲインを含む各パラメータの値が、撮像装置１０のＳＤＲプロセス部１８内の各部にも設定される。したがって、変形例１と見た目の変わらないＳＤＲビデオをビューファインダー１６に表示させることができる。

＜変形例３＞
図９は、本技術に係る撮像システムの変形例３を示すブロック図である。
この撮像システム１Ｃは、撮像装置１０内にＨＤＲプロセス部１９を設けたものである。撮像装置１０内にＨＤＲプロセス部１９にて生成されたＨＤＲビデオはカメラ制御ユニット２０に伝送され、そのまま本線系のＨＤＲビデオとして出力される。また、カメラ制御ユニット２０に伝送されたＨＤＲビデオは、カメラ制御ユニット２０内に設けられたＨＤＲ逆変換部２５にも供給される。ＨＤＲ逆変換部２５は、ＨＤＲビデオをもとの画素信号に逆変換して、カメラ制御ユニット２０内のＳＤＲプロセス部２３に出力する。ＳＤＲプロセス部２３にて生成されたＳＤＲビデオは本線系に供給されるとともに、伝送部２１を通じて撮像装置１０に戻され、撮像装置１０のビューファインダー１６に出力されて表示される。

＜変形例４＞
図１０は、本技術に係る撮像システムの変形例４を示すブロック図である。
この撮像システム１Ｄは、上記の変形例３の撮像システム１Ｃの撮像装置１０にＳＤＲプロセス部１８を追加して構成されたものである。すなわち、撮像装置１０内のＳＤＲプロセス部１８にて生成し、ビューファインダー１６に表示させるように構成される。このため、撮像装置１０がカメラ制御ユニット２０からＳＤＲビデオを受ける系が不要である。

＜変形例５＞
以上、撮像装置１０とカメラ制御ユニット２０で構成される撮像システムに本技術を採用した場合について説明したが、本技術は、図１に示した撮像装置１０内にカメラ制御ユニット２０内のＨＤＲプロセス部２２およびＳＤＲプロセス部２３の構成を組み込むことによって、撮像装置単体として構成することも可能である。この場合、撮像装置１０内の撮像素子１１が、本技術の撮像装置の構成における「撮像部」に相当する。

＜変形例６＞
さらに、カメラ制御ユニット２０はコンピュータを用いて構成することも可能である。すなわち、コンピュータをカメラ制御ユニット２０として動作させるプログラムをコンピュータにインストールし、撮像装置１０と接続することによって、上記の第１の実施形態と同等の撮像システムを実現することができる。

＜変形例７＞
上記の変形例において、カメラ制御ユニット２０のＣＰＵ２４あるいは撮像装置１０のＣＰＵ１５は、リレイティブレンジをもとに、ＳＤＲビデオのダイナミックレンジとＨＤＲビデオのダイナミックレンジとの相関を、例えば、"ＳＤＲ：ＨＤＲ＝１００％：２００％"といったかたちで、ビューファインダー１６に表示してもよい。

なお、本技術は以下のような構成もとることができる。
（１）被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路を具備する撮像システム。

（２）上記（１）に記載の撮像システムであって、
前記処理回路は、
前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を設定する情報をもとに、前記第１のダイナミックレンジを基準に前記第２のダイナミックレンジを設定するように構成された
撮像システム。

（３）上記（１）または（２）に記載の撮像システムであって、
前記処理回路は、前記第１のビデオ信号を生成するための前記画素信号に対する第１のゲインと前記第２のビデオ信号を生成するための前記画素信号に対する第２のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像システム。

（４）上記（１）から（３）のいずれかに記載の撮像システムであって、
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第１のダイナミックレンジの前記第１のビデオ信号を生成するように構成された
撮像システム。

（５）上記（１）から（４）のいずれかに記載の撮像システムであって、
前記第１のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、
前記第２のビデオ信号がＨＤＲ（High Dynamic Range）ビデオである
撮像システム。

（６）上記（１）から（５）のいずれかに記載の撮像システムであって、
前記処理回路により生成された前記第１のビデオ信号を表示するディスプレイをさらに具備する
撮像システム。

（７）上記（６）に記載の撮像システムであって、
前記ディスプレイはビューファインダーである
撮像システム。

（８）上記（６）または（７）に記載の撮像システムであって、
前記処理回路は、前記相関を設定する情報に基づき、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像システム。

（９）上記（１）から（８）のいずれかに記載の撮像システムであって、
前記処理回路は、ディスプレイに前記第１のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように構成された
撮像システム。

（１０）撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する
撮像方法。

（１１）上記（１０）に記載の撮像方法であって、
前記処理回路が、
前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を設定する情報をもとに、前記第１のダイナミックレンジを基準に前記第２のダイナミックレンジを設定する
撮像方法。

（１２）上記（１０）または（１１）に記載の撮像方法であって、
前記処理回路が、前記第１のビデオ信号を生成するための前記画素信号に対する第１のゲインと前記第２のビデオ信号を生成するための前記画素信号に対する第２のゲインとの比を、相関を設定する情報をもとに設定する
撮像方法。

（１３）上記（１０）から（１２）のいずれかに記載の撮像方法であって、
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第１のダイナミックレンジの前記第１のビデオ信号を生成する
撮像方法。

（１４）上記（１０）から（１３）のいずれかに記載の撮像方法であって、
前記第１のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、
前記第２のビデオ信号がＨＤＲ（High Dynamic Range）ビデオである
撮像方法。

（１５）上記（１０）から（１４）のいずれかに記載の撮像方法であって、
前記処理回路により生成された前記第１のビデオ信号をディスプレイに表示する
撮像方法。

（１６）上記（１５）に記載の撮像方法であって、
前記ディスプレイはビューファインダーである
撮像方法。

（１７）上記（１５）または（１６）に記載の撮像方法であって、
前記処理回路が、前記相関を設定する情報に基づき、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像方法。

（１８）上記（１０）から（１７）のいずれかに記載の撮像方法であって、
前記処理回路が、前記ディスプレイに前記第１のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像方法。

（１９）被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路として
コンピュータを動作させるプログラム。

（２０）上記（１９）に記載のプログラムであって、
前記処理回路が、
前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を設定する情報をもとに、前記第１のダイナミックレンジを基準に前記第２のダイナミックレンジを設定するように
前記コンピュータを動作させるプログラム。

（２１）上記（１９）または（２０）に記載のプログラムであって、
前記処理回路が、
前記第１のビデオ信号を生成するための前記画素信号に対する第１のゲインと前記第２のビデオ信号を生成するための前記画素信号に対する第２のゲインとの比を、相関を設定する情報をもとに設定するように
前記コンピュータを動作させるプログラム。

（２２）上記（１９）から（２１）のいずれかに記載のプログラムであって、
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第１のダイナミックレンジの前記第１のビデオ信号を生成するように
前記コンピュータを動作させるプログラム。

（２３）上記（１９）から（２２）のいずれかに記載のプログラムであって、
前記第１のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、
前記第２のビデオ信号がＨＤＲ（High Dynamic Range）ビデオである
プログラム。

（２４）上記（１９）から（２３）のいずれかに記載のプログラムであって、
前記処理回路により生成された前記第１のビデオ信号をディスプレイに表示させるように
コンピュータを動作させるプログラム。

（２５）上記（２４）に記載のプログラムであって、
前記ディスプレイはビューファインダーである
プログラム。

（２６）上記（２４）または（２５）に記載のプログラムであって、
前記処理回路が、
前記相関を設定する情報に基づき、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように、
前記コンピュータを動作させるプログラム。

（２７）上記（１９）から（２６）のいずれかに記載のプログラムであって、
前記処理回路が、前記ディスプレイに前記第１のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように
前記コンピュータを動作させるプログラム。

（２８）被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第１のダイナミックレンジの第１のビデオ信号を生成するとともに、前記第１のダイナミックレンジと相関を有する第２のダイナミックレンジの第２のビデオ信号を生成する処理回路と
を具備する撮像装置。

（２９）上記（２８）に記載の撮像装置であって、
前記処理回路は、
前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を設定する情報をもとに、前記第１のダイナミックレンジを基準に前記第２のダイナミックレンジを設定するように構成された
撮像装置。

（３０）上記（２８）または（２９）に記載の撮像装置であって、
前記処理回路は、前記第１のビデオ信号を生成するための前記画素信号に対する第１のゲインと前記第２のビデオ信号を生成するための前記画素信号に対する第２のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像装置。

（３１）上記（２８）から（３０）のいずれかに記載の撮像装置であって、
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第１のダイナミックレンジの前記第１のビデオ信号を生成するように構成された
撮像装置。

（３２）上記（２８）から（３１）のいずれかに記載の撮像装置であって、
前記第１のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、
前記第２のビデオ信号がＨＤＲ（High Dynamic Range）ビデオである
撮像装置。

（３３）上記（２８）から（３２）のいずれかに記載の撮像装置であって、
前記処理回路は、前記第１のビデオ信号をディスプレイに表示するように構成された
撮像装置。

（３４）上記（３３）に記載の撮像装置であって、
前記ディスプレイはビューファインダーである
撮像装置。

（３５）上記（３３）または（３４）に記載の撮像装置であって、
前記処理回路は、前記相関を設定する情報に基づき、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように構成された
撮像装置。

（３６）上記（２６）から（３５）のいずれかに記載の撮像装置であって、
前記ディスプレイに前記第１のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像装置。

１…撮像システム
１０…撮像装置
１２…撮像部
１５…ＣＰＵ
１６…ビューファインダー
２０…カメラ制御ユニット
２２…ＨＤＲプロセス部
２３…ＳＤＲプロセス部
２４…ＣＰＵ
４０…操作装置
４１…ディスプレイ
４２…操作入力部
２２１…ＨＤＲゲイン調整部
２３１…ＳＤＲゲイン調整部

Claims (12)

1. 被写体を撮像して画素信号を得る撮像部により生成された、所定の輝度レンジの画素信号から、前記所定の輝度レンジとは異なる第１のダイナミックレンジの第１のビデオ信号を生成する第１の処理部と、
   前記所定の輝度レンジの画素信号に対して、少なくともディテール処理を含む処理を行うとともに、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジの第２のビデオ信号を生成する第２の処理部と、
   前記第２の処理部により生成された前記第２のビデオ信号を表示するディスプレイと、
   前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を前記ディス
   プレイに表示させる制御部と
   を具備する撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記第１の処理部は、前記画素信号に対して、少なくともディテール処理を含む処理を行う
   撮像システム。
3. 請求項２に記載の撮像システムであって、
   前記第１の処理部および前記第２の処理部は、さらに、前記画素信号に対するゲイン調整処理、マトリクス処理、ブラックレベル補正およびガンマ処理のいずれかを行う
   撮像システム。
4. 請求項１ないし３のいずれか１項に記載の撮像システムであって、
   前記第１のビデオ信号は第１の解像度を有し、前記第２のビデオ信号は前記第１の解像度よりも低い第２の解像度を有する
   撮像システム。
5. 請求項４に記載の撮像システムであって、
   前記第１の解像度は４Ｋ解像度であり、前記第２の解像度はＨＤ解像度である
   撮像システム。
6. 請求項１ないし５のいずれか１項に記載の撮像システムであって、
   前記第２の処理部は、前記第２のビデオ信号に対して調整パラメータに基づく調整処理を行い、
   前記第１の処理部は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を示す情報と前記調整パラメータに基づき前記第１のビデオ信号に対する処理を行う
   撮像システム。
7. 請求項６に記載の撮像システムであって、
   前記第２の処理部は、ユーザの操作入力に応じて、前記第２のビデオ信号に対して前記調整パラメータに基づく調整処理を行う
   撮像システム。
8. 請求項１ないし７のいずれか１つに記載の撮像システムであって、
   前記第２のビデオ信号がＳＤＲ（Standard Dynamic Range)ビデオであり、
   前記第１のビデオ信号がＨＤＲ（High Dynamic Range）ビデオである
   撮像システム。
9. 請求項１ないし８のいずれか１つに記載の撮像システムであって、
   前記ディスプレイはビューファインダーである
   撮像システム。
10. 請求項１ないし９のいずれか１つに記載の撮像システムであって、
    前記制御部は、前記ディスプレイに前記第２のビデオ信号が表示されている時に入力された、前記撮像部におけるアイリス調整のための制御情報を生成する
    撮像システム。
11. 請求項１ないし１０のいずれか１つに記載の撮像システムであって、
    前記第１の処理部が前記第１のビデオ信号を出力するとともに、前記第２の処理部が前記第２のビデオ信号を出力する
    撮像システム。
12. 被写体を撮像して、所定の輝度レンジの画素信号を生成し、
    前記所定の輝度レンジの画素信号から前記所定の輝度レンジとは異なる第１のダイナミックレンジの第１のビデオ信号を生成し、
    前記所定の輝度レンジの画素信号に対して、少なくともディテール処理を含む処理を行うとともに、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジの第２のビデオ信号を生成し、
    前記第２のビデオ信号を表示するディスプレイに、前記第１のダイナミックレンジと前記第２のダイナミックレンジとの相関を表示する
    撮像方法。

Images