JP6789760B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、並びに記憶媒体 Download PDF

Info

Publication number
JP6789760B2
JP6789760B2 JP2016213541A JP2016213541A JP6789760B2 JP 6789760 B2 JP6789760 B2 JP 6789760B2 JP 2016213541 A JP2016213541 A JP 2016213541A JP 2016213541 A JP2016213541 A JP 2016213541A JP 6789760 B2 JP6789760 B2 JP 6789760B2
Authority
JP
Japan
Prior art keywords
image
brightness
gradation
luminance value
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016213541A
Other languages
English (en)
Other versions
JP2018074438A (ja
JP2018074438A5 (ja
Inventor
尊志 小林
尊志 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016213541A priority Critical patent/JP6789760B2/ja
Priority to US15/791,826 priority patent/US20180124305A1/en
Publication of JP2018074438A publication Critical patent/JP2018074438A/ja
Publication of JP2018074438A5 publication Critical patent/JP2018074438A5/ja
Application granted granted Critical
Publication of JP6789760B2 publication Critical patent/JP6789760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮像装置の制御に関する。
近年、表示装置による映像の出力性能が向上し、表示装置で階調表現可能な画像のダイナミックレンジが拡大している。これにより、被写体を見たままの明るさで表示でき、臨場感の向上につながっている。このように表示装置の出力性能向上に伴い、広ダイナミックレンジ画像を表示するための表示装置の変換特性が、非特許文献1として規格化されている。
非特許文献2において、人間の視覚特性は輝度に応じて認識できるJND(Just Noticeable Difference)が異なることが科学的に検証されている。非特許文献1はこれに基づき、画像信号の符号値と表示装置により表示される輝度値とを関連付けて規格化したものである。そのため、表示装置に入力される画像信号としては、この変換特性の逆関数に基づいて光電変換されることが期待される。
非特許文献1に示す規格においては、表示装置への画像出力時は画像の符号値と絶対輝度が関連付けられて表示される。そのため、撮影時には表示装置の出力輝度範囲と撮影時に階調表現可能な輝度範囲を意識しながら撮影する必要がある。
特開2005−191985号公報
「SMPTE ST 2084:2014」 Report ITU−R BT.2246−1(08/2012)/The present state of ultra high definition television
上記特許文献1には、被写体の輝度情報をヒストグラムとして絶対輝度で表示する方法が開示されており、ユーザは被写体の絶対輝度情報を確認しながら露出などのカメラ設定を操ることができる。しかし、絶対輝度とカメラの露出設定を即座に関連付けて考えることには知識と経験が必要であり、一般のユーザにとっては困難である。階調表現可能な輝度を変更するためにカメラ設定をどう変更すればよいかをユーザは直感的に理解しにくいという課題がある。
本発明は、上記課題に鑑みてなされ、その目的は、撮影画像により階調表現可能な輝度範囲と撮像装置の設定を直感的に理解しながら撮像装置を操作できるようにすることである。
上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮影により画像を生成する際の設定情報に基づいて、撮影される画像において階調表現可能な絶対輝度の範囲を示す輝度範囲を特定する特定手段と、前記特定手段により特定された輝度範囲の情報を、絶対輝度値を用いて提示する提示手段と、を有し、前記特定手段は、前記撮影により画像を生成する際の露出に関する情報に基づいて、前記撮影される画像において階調表現可能な最大絶対輝度値を特定し、前記特定手段はさらに、画像信号として階調表現可能な最大の符号値と、前記特定した最大絶対輝度値とに基づき、階調表現可能な最小絶対輝度値を特定する
本発明によれば、撮影画像により階調表現可能な輝度範囲と撮像装置の設定を直感的に理解しながら撮像装置を操作することができる。
本実施形態のデジタルビデオカメラの構成を示すブロック図。 実施形態1のシステム制御部の内部構成を示すブロック図。 実施形態1の処理を示すフローチャート。 実施形態1の光電変換特性を例示する図。 実施形態1の表示例を示す図。 実施形態2のシステム制御部の内部構成を示すブロック図。 実施形態2の処理を示すフローチャート。 実施形態2の操作例を示す図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
<装置構成>まず、図1を参照して、本実施形態のデジタルビデオカメラ100の構成および機能について説明する。
図1において、撮像レンズ103はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り101は、入射光量を調整するために使用される。NDフィルタ104は絞り101とは別に入射光量を調整(減光)するために使用される。撮像部122は、被写体の光学像を電気信号に変換するCCDやCMOS等で構成される撮像素子である。また、撮像部122には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。A/D変換器123は、アナログ信号をデジタル信号に変換する。A/D変換器123は、撮像部122から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、デジタルビデオカメラ(以下、カメラ)100の、撮像レンズ103を含む撮像系を覆うことにより、撮像レンズ103、絞り101、撮像部122を含む撮像系の汚れや破損を防止する。
画像処理部124は、A/D変換器123からのデータ、又は、メモリ制御部115からのデータに対して色変換処理、ガンマ補正、デジタルゲイン付加等の処理を行う。また、画像処理部124では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部150が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等が行われる。画像処理部124の詳細は後述する。
A/D変換器123からの出力データは、画像処理部124及びメモリ制御部115を介して、或いは、メモリ制御部115を介してメモリ132に直接書き込まれる。メモリ132は、撮像部122によって得られ、A/D変換器123によりデジタルデータに変換された画像データや、表示部128に表示するための画像データを格納する。メモリ132は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ132は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器113は、メモリ132に格納されている画像表示用のデータをアナログ信号に変換して表示部128に供給する。こうして、メモリ132に書き込まれた表示用の画像データはD/A変換器113を介して表示部128により表示される。表示部128は、LCD等の表示器上に、D/A変換器113からのアナログ信号に応じた表示を行う。A/D変換器123によって一度A/D変換され、メモリ132に蓄積されたデジタル信号をD/A変換器113においてアナログ変換し、表示部128に逐次転送して表示することで、電子ビューファインダ(EVF)として機能し、ライブビュー画像の表示を行える。
不揮発性メモリ156は、電気的に消去・記録可能なメモリであり、例えばEEPROMが用いられる。不揮発性メモリ156には、システム制御部150の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部150は、カメラ100全体を制御する。前述した不揮発性メモリ156に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。152はシステムメモリであり、RAMが用いられる。システムメモリ152には、システム制御部150の動作用の定数、変数、不揮発性メモリ156から読み出したプログラム等を展開する。また、システム制御部150はメモリ132、D/A変換器113、表示部128等を制御することにより表示制御も行う。
システムタイマー153は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ160、録画スイッチ161、操作部170はシステム制御部150に各種の動作指示を入力するための操作手段である。
モード切替スイッチ160は、システム制御部150の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ160で、動画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ160で動画記録モードに一旦切り替えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ161は撮影待機状態と撮影状態を切り替える。システム制御部150は、録画スイッチ161により、撮像部122からの信号読み出しから記録媒体190への録画データの書き込みまでの一連の動作を開始する。
操作部170の各操作部材は、表示部128に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部128に表示される。ユーザは、表示部128に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンを用いて直感的に各種設定を行うことができる。
電源制御部180は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部180は、その検出結果及びシステム制御部150の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体190を含む各部へ供給する。
電源部130は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる。I/F118は、メモリカードやハードディスク等の記録媒体190、または外部機器とのインターフェースである。図1では記録媒体190との接続状態を示している。記録媒体190は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
<システム制御部の内部構成>次に、図2を参照して、本実施形態のシステム制御部150の内部構成について説明する。
図2はシステム制御部150の周辺部と内部構成を示している。露出設定取得部201は、絞り、シャッター速度、ISO感度、ND情報(NDフィルタ104の濃度などに関する情報)などの少なくともいずれかを含む露出情報を取得し、輝度範囲算出部203に送る。ISO感度については、撮像部122の感度設定とA/D変換器123における感度倍率、さらに画像処理部124における感度増幅率を別々に取得する。画質設定取得部202では、画像処理部124において実施される画像処理に関する階調変換特性やノイズリダクション設定やノイズ付加設定などの少なくともいずれかを含む画質設定情報を取得し、輝度範囲算出部203に送る。輝度範囲算出部203では露出設定取得部201及び画質設定取得部202からの各情報に基づき、撮影された画像により階調表現可能な被写体の輝度範囲を算出する。輝度範囲の算出方法については後述する。輝度範囲算出部203で算出した輝度範囲に応じて、表示内容決定部204は、ユーザに表示する表示内容を決定する。決定された表示内容については、文字情報としてそのまま表示部全体に表示してもよいし、表示部の一部として表示データを生成し画像処理部124に伝達して撮影画像に重畳して表示するための画像を生成してもよい。表示方法については特に制限はないものとする。
<表示データ生成処理>次に、図3を参照して、本実施形態の表示データ生成処理について説明する。
なお、図3の処理は、不揮発性メモリ156に記録されたプログラムを、システムメモリ152に読み出してシステム制御部150が実行することにより実現する。後述する図7でも同様である。
S301では、システム制御部150は、露出設定取得部201により露出情報を取得し、また、画質設定取得部202により画質設定情報を取得する。
S302では、システム制御部150は、輝度範囲算出部203により、S301で取得した情報を用いて画像信号における符号値が表現できる絶対輝度値を最大輝度値として算出する。本例では、絶対輝度値の単位として「cd/m2」を用いるが、「nit」、「lux」など他の数値単位であっても構わない。
階調変換前の画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値を挙げて説明する。なお、階調変換前の画像はRAW画像を想定して被写体輝度を線形に光電変換する特性であるとして進めるが、線形変換以外においても変換特性を考慮した輝度値を算出することにより本実施形態は適用可能である。APEX(Additive System of Photographic Exposure)表現における基準信号のBv値である基準Bv値の求め方は、

基準Bv値=2(Av+Tv-Sv)×(0.32×k)[cd/m2]・・・(式1)
ここで、式1において、Avは絞り値、Tvはシャッター速度、Svは撮影感度をAPEX単位に換算した露出(露出制御値)である。また、kは校正係数であって、入力18%グレーとなるように、APEX単位で表わされた輝度値を絶対輝度の単位であるcd/m2(またはnit)に換算する際に用いられる。本実施形態ではk=12.5としている。なお、APEX単位で表わされた輝度値Zを絶対輝度値Xに換算するには、log2(X/0.32×k)=Zという関係式に基づき、X=2Z×(0.32×k)により求めることができる。例えば、Av=F4.0、Tv=1/128、Sv=ISO感度200である場合、式1から基準Bv値が算出される。

基準Bv値=2(4(Av)+7(Tv)-6(Sv))×(0.32×12.5)
=128[cd/m2]
このとき、カメラ100のダイナミックレンジを1200%、基準輝度値の輝度値の上限値に対する割合を20%、データのbit数を14とすると、
基準信号のコード
=(2bit数)×(基準輝度値[%]/ダイナミックレンジ[%])・・(式2)

基準信号のコードを求める式2に数値を代入して、
基準信号のコード=(214)×(20/1200)
=273
基準信号のコードは273と求められる。
基準信号の符号値が273、基準Bv値が128cd/m2であるから、画像信号の符号値が光量に対して線形に光電変換されていることを想定すると、最大符号値16383のBv値は7681cd/m2となる。7681cd/m2を含むそれ以上の光量は最大符号値16383として表現されて区別できないため、画像信号として階調を区別可能な符号値の最大値は16382であり、これに相当する輝度値は7680cd/m2となる。ただし、ここでは厳密な定義に基づいた算出を行っているが、最大符号値16383に相当する7681cd/m2として用いても問題はない。このようにしてS302において最大輝度値が算出される。
S303では、システム制御部150は、輝度範囲算出部203によりノイズレベルに基づき最低輝度値を算出する。
上記のように16384符号数で7681cd/m2を表現しているので、1符号値は0.47cd/m2である。そのため、入射光量0の完全遮光と区別して階調表現できる最小の輝度値は0.47cd/m2となる。一方、撮像画像にはノイズ成分が含まれるため、符号値としては表現可能でもノイズに埋もれてしまい階調として区別可能とは限らない。つまり、被写体の輝度として表現するには、ノイズレベルと区別して視覚的に認識可能な符号値が好ましい。ノイズレベルと視認可能な信号の関係については様々な指針が提唱されているが、ここでは特定の指針に縛られる必要はない。
本実施形態では指針の1つであるノイズレベルの表現方法の1つとして、分布の1σ内の平均レベルを表現するRMS値を用いて、RMS値を超える最小の符号値を視認可能な最低輝度として算出する。RMS値を含むノイズレベルの算出方法については様々な方法があり、カメラ内の感度設定やノイズリダクション設定によっても変更可能である。本実施形態では一例として、カメラ本体の露出設定とノイズリダクション設定、ノイズ付加設定は、階調変換特性などにより予め用意されたテーブルからRMS値を算出するが、算出方法についてはあくまで一例を示すものであり、これに限定されるものではない。図4にRMS=2.8のノイズを持つ光電変換特性の例を示す。この場合、2.8を超える最小の符号値として、符号値3が視認可能な最小の符号値となり、符号値3に対応する1.41cd/m2が最低輝度として算出される。
上記S301〜S303では、カメラの露出設定や画質設定に応じて、撮影画像における階調表現可能な被写体の輝度範囲を算出する方法を説明し、階調変換特性を考慮していないが、実際には階調変換により符号値が階調表現できなくなる場合がある。例えば14bitの画像信号を10bitに変換する階調変換特性において変換特性の傾きが1を下回る部分の入力信号においては、入力信号として階調が表現できても階調変換後の符号値としては区別できない場合がある。そのような場合は、変換後の符号値として区別されうる符号値の入力輝度を最低輝度値・最大輝度値として算出する必要がある。
S304では、システム制御部150は、表示内容決定部204により決定された表示内容に基づいて表示データを生成する。表示内容としては、図5(a)に示すように、撮影画像に重畳して最大輝度と最低輝度を含む輝度範囲を表示する形態が考えられる。また、表示装置で表現可能な輝度範囲の規格と比較し、規格を満たさない輝度範囲である場合は、図5(b)に示すように輝度範囲を点滅させてユーザに警告を促すような形態としてもよい。また、同様に、表示装置の規格との比較結果に応じて文字の色を変えたり、輝度範囲を表示せず警告アイコンを表示させたり、または規格に関するアイコンを点滅させて警告を促したりしてもよい。輝度範囲に応じて表示内容が決定されるならば、表示内容に関しては特に制限はない。
S305では、システム制御部150は、S304で生成された表示データから表示用の画像データを生成する。例えば、システム制御部150は、撮影画像上に表示データを重畳した画像データを生成し、表示装置に出力する。なお、表示データを撮影画像に重畳せずに表示する場合はS305の処理は不要である。
本実施形態によれば、階調変換前の画像の光電変換特性としては0〜7680cd/m2までの階調を表現可能である。なお、本実施形態では階調変換前の画像は被写体輝度を線形に表現する特性であると仮定したが、光量に対して非線形な光電変換特性についても、最大符号値と最小符号値に相当する輝度値を算出し、同様の演算を行うことで輝度範囲を得ることができる。
上述した処理により生成された画像データを表示装置などに出力し表示することで、階調表現可能な輝度範囲をユーザに提示することができ、ユーザは輝度範囲と関連付けてカメラを直感的に操作することが可能になる。
[実施形態2]次に、実施形態2について説明する。
本実施形態のカメラの構成は、実施形態1の図1と同様である。
図6を参照して、本実施形態のシステム制御部の内部構成について説明する。
図6において、システム制御部150は、操作部170を介してユーザから入力された操作信号を受け、最大輝度取得部601および最低輝度取得部602に通知し、最大輝度および最低輝度に変換する。露出制御部603では、最大輝度取得部601で取得した最大輝度に基づき露出制御を行う。画質制御部604では、露出制御部603による露出制御結果と最低輝度取得部602で取得した最低輝度を用いて、ノイズリダクション制御、ノイズ付加制御、階調制御などの画質制御を行う。
次に、図7を参照して、本実施形態の表示データ生成処理について説明する。
S701では、システム制御部150は、操作部170によりユーザ操作を受け付ける。図8はユーザがカメラの設定画面を操作している様子を例示している。図8(a)の設定画面では、最大輝度と最低輝度が個別のスライダー操作として入力可能となっている。撮影画像を表示する表示装置の輝度範囲に関しては、業界団体や国際規格化団体により複数の規格が存在する。ユーザは撮影画像を表示する表示装置の規格を考慮し、機器の規格を満たす輝度範囲として最大輝度と最低輝度を個別に設定したいと考えられる。このような要求に応えるため、図8(a)の設定画面では、最大輝度と最低輝度が個別で設定可能となってしている。一方、図8(b)では、最大輝度と最低輝度を個別に設定可能とし、最大輝度と最低輝度の組み合わせを1組として複数の組み合わせがプリセットされ、ユーザが所望のプリセットを選択可な設定画面を例示している。本例では表示装置の規格を考慮し、頻度の高い表示装置の輝度範囲をプリセットで用意し、用途に応じてユーザが選択する。また、プリセットの最大輝度と最低輝度はユーザにより予め編集可能とし、露出設定や画質設定の初期値を選択させ、その後、図8(a)に示すような操作入力により微調整を行ってもよい。
本実施形態では、図8の操作入力例を示したが、これらに限定されるものではなく、最大輝度と最低輝度をセットで同時に設定可能にしてもよい。
S702では、システム制御部150は、S701で入力された最大輝度と最低輝度から最大輝度値を取得する。図8(a)の例では、最大輝度値は7000cd/m2となる。
S703では、システム制御部150は、S702で取得した最大輝度に基づき露出制御を行う。最大輝度に基づく露出制御に関しては、実施形態1において露出設定から最大輝度を算出する制御を説明したが、これと反対の処理を行う。具体的には、入力された最大輝度値が7000cd/m2であったならば、最大符号値16382が7000cd/m2となる。
この場合、
基準Bv値=128×(7000/7680)
=117cd/m2
上記のように算出された基準Bv値を露出要素に割り振ると、絞りがF4.0、シャッターが1/117、感度がISO200、NDフィルタなし、となる。基準Bv値から露出要素に振り分ける方法は様々な方法があり、上記の組み合わせに限られない。組み合わせについても、特定の露出要素優先(Av優先、Tv優先、Sv優先など)の組み合わせでもよいし、画質効果を期待した特殊な組み合わせ方法でもよい。算出された制御値に露出要素を制御する。
S704では、システム制御部150は、S701で入力された最大輝度と最低輝度から最低輝度値を取得する。図8(a)の例では、最低輝度値は1.0cd/m2となる。
S705では、システム制御部150は、露出制御部603による露出制御結果と最低輝度取得部602で取得した最低輝度を用いて、ノイズレベルの制御を行う。前述の露出制御により、階調表現可能な最大符号値16382が7000cd/m2に対応するため、1符号値あたり
1符号値=7000÷16382
=0.428cd/m2
となる。そのため、最低符号値1が表す輝度は0.428cd/m2となる。一方、画像信号にはノイズ成分が含まれるため、信号としては表現できてもノイズに埋もれてしまい、撮影画像としては階調表現できない場合がある。これについては実施形態1と同様で、ノイズレベルをRMS値、視認性についてはノイズレベルを超える最小の信号を視認可能な符号として紹介するが、ノイズと視認性の指針に関しては様々な手法が提案されており、この例に限定されるものではない。ノイズレベルの算出方法についても、本実施形態では露出設定と画質設定に基づいて予め用意したテーブルを用いて算出するが、算出方法について何ら制限するものではない。例えばRMS値=2.8の場合、2.8を超える最小の符号値として視認可能な符号値は3となり、符号値3に相当する被写体輝度は1.28cd/m2と算出される。これはユーザが最低輝度1.0cd/m2を入力したにもかかわらず、1.28cd/m2からしか階調表現できないことになる。そこで、ユーザの期待する1.0cd/m2を表現できるように、ノイズリダクション設定を強くする、あるいはノイズ付加制御を弱めるなど、RMS値が2.0以下に抑えるように設定を変更する。これにより、ノイズレベルを超える最小の符号値が2となり、ノイズ成分と区別して視認可能な輝度が0.855cd/m2となり、ユーザの期待する1.0cd/m2を階調表現可能となる。
上述した処理によれば、ユーザ操作により入力された最大輝度値および最低輝度値に応じてカメラの露出及び画質を制御することで、ユーザは、撮影画像により階調表現可能な被写体の輝度範囲と関連付けてカメラを直感的に操作することが可能になる。
なお、本例では階調変換特性を考慮していないが、実際には階調変換により符号値が階調表現できなくなる場合がある。例えば14bitの画像信号を10bitに変換する階調変換特性において変換特性の傾きが1を下回る部分の入力信号においては、入力信号として階調が表現できても階調変換後の符号値としては区別できない場合がある。そのような場合は、変換後の符号値として区別されうる符号値の入力輝度がユーザの期待する最低輝度値、最大輝度値となるように露出及び画質を制御する必要がある。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…デジタルビデオカメラ、124…画像処理部、150…システム制御部、201…露出設定取得部、202…画質設定取得部、203…輝度範囲算出部、204…表示内容決定部

Claims (7)

  1. 撮影により画像を生成する際の設定情報に基づいて、撮影される画像において階調表現可能な絶対輝度の範囲を示す輝度範囲を特定する特定手段と、
    前記特定手段により特定された輝度範囲の情報を、絶対輝度値を用いて提示する提示手段と、を有し、
    前記特定手段は、前記撮影により画像を生成する際の露出に関する情報に基づいて、前記撮影される画像において階調表現可能な最大絶対輝度値を特定し、
    前記特定手段はさらに、画像信号として階調表現可能な最大の符号値と、前記特定した最大絶対輝度値とに基づき、階調表現可能な最小絶対輝度値を特定することを特徴とする撮像装置。
  2. 前記提示手段は、前記輝度範囲の情報を、撮影された画像に重畳して表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記最絶対輝度値は、ノイズレベルを超える最小の符号値に基づいて算出されることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記ノイズレベルは、撮像装置の露出設定、ノイズリダクション設定、階調変換特性、画像信号へのノイズ付加設定の少なくともいずれかに応じて変更可能であることを特徴とする請求項に記載の撮像装置。
  5. 前記絶対輝度の単位は、cd/m、nit、luxのいずれかであることを特徴とする請求項1からのいずれか1項に記載の撮像装置。
  6. 撮像装置が実行する制御方法であって、
    撮影により画像を生成する際の設定情報に基づいて、撮影される画像において階調表現可能な絶対輝度の範囲を示す輝度範囲を特定するステップと、
    前記特定された輝度範囲の情報を、絶対輝度値を用いて提示するステップと、を有し、
    前記特定するステップでは、前記撮影により画像を生成する際の露出に関する情報に基づいて、前記撮影される画像において階調表現可能な最大絶対輝度値を特定し、
    前記特定するステップではさらに、画像信号として階調表現可能な最大の符号値と、前記特定した最大絶対輝度値とに基づき、階調表現可能な最小絶対輝度値を特定することを特徴とする制御方法。
  7. コンピュータを、請求項1からのいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。
JP2016213541A 2016-10-31 2016-10-31 撮像装置及びその制御方法、プログラム、並びに記憶媒体 Active JP6789760B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016213541A JP6789760B2 (ja) 2016-10-31 2016-10-31 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US15/791,826 US20180124305A1 (en) 2016-10-31 2017-10-24 Imaging apparatus, control method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016213541A JP6789760B2 (ja) 2016-10-31 2016-10-31 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2018074438A JP2018074438A (ja) 2018-05-10
JP2018074438A5 JP2018074438A5 (ja) 2019-12-12
JP6789760B2 true JP6789760B2 (ja) 2020-11-25

Family

ID=62021960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016213541A Active JP6789760B2 (ja) 2016-10-31 2016-10-31 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Country Status (2)

Country Link
US (1) US20180124305A1 (ja)
JP (1) JP6789760B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7199158B2 (ja) * 2018-05-23 2023-01-05 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US10791281B1 (en) * 2019-03-26 2020-09-29 Getac Technology Corporation Image processing method and system based on adjustments performed according to environment
US11637998B1 (en) * 2020-12-11 2023-04-25 Nvidia Corporation Determination of luminance values using image signal processing pipeline
US11978181B1 (en) 2020-12-11 2024-05-07 Nvidia Corporation Training a neural network using luminance
JP2023041497A (ja) * 2021-09-13 2023-03-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136434A (ja) * 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
JP4387183B2 (ja) * 2003-12-26 2009-12-16 京セラ株式会社 デジタルカメラ
US8103119B2 (en) * 2005-06-20 2012-01-24 Nikon Corporation Image processing device, image processing method, image processing program product, and image-capturing device
US20070053587A1 (en) * 2005-08-24 2007-03-08 Ali Walid S Techniques to improve contrast enhancement using a luminance histogram
JP2007060493A (ja) * 2005-08-26 2007-03-08 Konica Minolta Holdings Inc 撮像装置
JP2007060492A (ja) * 2005-08-26 2007-03-08 Konica Minolta Holdings Inc 撮像装置
JP4325627B2 (ja) * 2006-02-21 2009-09-02 ソニー株式会社 画像表示方法および画像表示装置並びに撮像装置
JP4402710B2 (ja) * 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
US7999861B2 (en) * 2008-03-14 2011-08-16 Omron Corporation Image processing apparatus for generating composite image with luminance range optimized for a designated area
CN102667899A (zh) * 2009-11-27 2012-09-12 佳能株式会社 图像显示装置
JP2015127680A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 計測装置、システムおよびプログラム
EP3248367B1 (en) * 2015-01-19 2018-08-29 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
KR102584523B1 (ko) * 2016-11-16 2023-10-05 한화비전 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
JP6873688B2 (ja) * 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
JP2018180266A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 表示装置およびその制御方法
JP6764446B2 (ja) * 2018-08-09 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置およびキャリブレーション方法

Also Published As

Publication number Publication date
JP2018074438A (ja) 2018-05-10
US20180124305A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6789760B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US10972674B2 (en) Electronic apparatus
US9826148B2 (en) Image processing apparatus and image processing method for adjusting texture of an image
JP7129813B2 (ja) 画像処理装置およびその制御方法、プログラム並びに記憶媒体
CN107979718B (zh) 图像处理设备、图像处理方法和存储介质
JP2019057794A (ja) 撮像装置およびその制御方法、プログラムならびに記録媒体
JP6765919B2 (ja) 画像処理装置、その制御方法、プログラム
US10325355B2 (en) Video signal processing apparatus, video signal processing method, and program
US10574901B2 (en) Image processing apparatus, control method thereof, and storage medium
US20190007593A1 (en) Image capturing apparatus, control method for the same, and storage medium
US10726523B2 (en) Image processing apparatus, image processing method, and storage medium
JP6670110B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP6573392B2 (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP2020048139A (ja) 画像処理装置
US10362239B2 (en) Image processing apparatus and method, and image capturing apparatus for tone conversion based on luminance values
JP2018148425A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11871124B2 (en) Image capturing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2018078492A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2018082359A (ja) 画像処理装置及び方法、及び撮像装置
JP2020102797A (ja) 画像処理装置
JP2019153971A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2018121298A (ja) 画像処理装置及び方法、及び撮像装置
JP2017092636A (ja) 撮像装置、映像システム、及び画像処理方法
JP2016181798A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R151 Written notification of patent or utility model registration

Ref document number: 6789760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151