JP2021090109A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2021090109A JP2021090109A JP2019218347A JP2019218347A JP2021090109A JP 2021090109 A JP2021090109 A JP 2021090109A JP 2019218347 A JP2019218347 A JP 2019218347A JP 2019218347 A JP2019218347 A JP 2019218347A JP 2021090109 A JP2021090109 A JP 2021090109A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- value
- take
- histogram
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006854 communication Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 101100293885 Mus musculus Ndrg1 gene Proteins 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
ホワイトバランス部402では、光源による色かぶりを補正して白を再現するための処理がなされる。具体的にはホワイトバランス部402は、RAW画像データ401を構成する各画素のRGBデータを、例えばxy色空間等の所定の色空間にプロットする。そして、ホワイトバランス部402は、その色空間において光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのR,G,Bを積分し、その積分値からR及びB成分のホワイトバランス係数G/R及びG/Bを求める。ホワイトバランス部402はホワイトバランス係数を画像データに適用することによりホワイトバランス処理を実施する。
色補間部403ではノイズリダクション処理や、色補間処理により、全ての画素においてR、G、Bの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部404およびガンマ変換部405を経て基本的なカラー画像が生成される。ここでガンマ変換部405は、輝度取得部409が取得したガンマカーブ(コントラスト調整用カーブ407)を用いる。HDR画像を得る場合のガンマカーブは、EOTFの逆特性(Inverse EOTF)であり、例えば図5に示すPQ(Perceptual Quontization)の逆特性である。なお、Inverse EOTFとOOTF(Opto-Optical Transfer Function)特性を組み合わせたOETF(Optical-Electro Transfer Function)を用いてもよい。
カメラ100には、図1(a)に示したような、出力ダイナミックレンジが異なる複数の撮影モードが用意されている。ユーザは例えば撮影するシーンのコントラストや明るさ、撮影した画像を表示するディスプレイが対応する出力輝度などを考慮して、撮影モードを選択することができる。
次に、ヒストグラム表示動作について説明する。本実施形態におけるヒストグラム表示とは、横軸に信号の輝度階調値ないし色階調値の階級を、縦軸に度数を示すヒストグラムを、撮像によって得られた画像データについて表示する機能である。輝度階調値は例えばRGB成分の値を用いて算出した輝度値を用いることができる。また、色階調値のヒストグラムは、色成分ごとに生成、表示することができる。
次に、本発明の第2実施形態について説明する。本実施形態は、S704でヒストグラム表示部601の行うヒストグラムの表示方法以外は第1実施形態と共通である。したがって、以下では、本実施形態におけるヒストグラム表示方法について説明する。
次に、本発明の第3実施形態について説明する。第1および第2実施形態ではHDR画像データについてのヒストグラムを表示したが、本実施形態では、露光量の対数に比例した輝度を有するLOGデータについてのヒストグラムを表示する。なお、カメラ100の構成や信号処理回路25の機能構成については第1実施形態と同様であってよい。
また、本実施形態においても、横軸の「minDRL」、「maxDRL」を含む代表値に対応する近傍に、代表値のラベルを表示してもよい。
次に、本発明の第4実施形態について説明する。第1〜第3実施形態では、maxDRLおよびminDRLが固定値である場合のヒストグラム表示について説明した。本実施形態では、動画記録時など、maxDRLおよびminDRLが時間変動しうる場合におけるヒストグラム表示について説明する。
次に、本発明の第5実施形態について説明する。第1の実施形態では、撮影モードなど、撮影条件で定まるガンマカーブの最大出力目標値(または対応する信号値)をmaxDRLと定義していた。しかしながら、ガンマ変換部405でガンマカーブを用いた輝度補正処理を適用した後に、例えばシャープネス処理や明瞭度補正処理など、局所的にコントラストを強調する処理を適用すると、信号値がmaxDRLよりも大きくなる場合がある。
次に、本発明の第6実施形態について説明する。第5の実施形態では、maxDRLよりも大きな信号値またはminDRLよりも小さな信号値を持つ信号における、第1実施形態の適用方法について説明した。本実施形態では、同様の信号に対する第2実施形態の適用方法について説明する。
ヒストグラム表示部601は、ヒストグラム表示を行う画像データの最大値を検出する。そして、ヒストグラム表示部601は、検出した最大値が、輝度取得部409で取得したmaxDRLよりも大きい場合、ヒストグラムの階級の最大値を、検出した最大値以上の値とする。図10(b)に、ヒストグラムの階級の最大値を、検出した最大値とした場合の例を示している。
方法1を採用した場合、画像データにmaxDRLよりも大きな値が含まれる場合であっても、ヒストグラムの表示領域を効率的に使用しつつ、漏れの無いヒストグラムを表示することができる。
ヒストグラムの階級の最大値はmaxDRLに基づいて決定し(第2実施形態と同様)、ヒストグラム表示を行う画像データ含まれる、maxDRLよりも大きな値については、maxDRLを含む区間の度数に含める。図10(c)に、ヒストグラムの階級の最大値をmaxDRLとした場合の例を示している。
方法2を採用した場合、表示対象の画像データが変わっても、ヒストグラム表示における階級の範囲は変動しない。そのため、複数フレーム分のHDR画像データを手動で切替ながら順次再生させた場合に、画像間の輝度分布の比較が容易であり、かつその比較に基づいて白飛びの発生可能性について把握することができる。
次に、本発明の第7実施形態について説明する。第1〜第6実施形態で述べたヒストグラム表示動作は、撮影に係る機能を必須としてはいない。したがって、上述した実施形態は、カメラで撮影された画像を表示するディスプレイなどの表示装置や、パーソナルコンピュータやスマートフォン等の、カメラと双方向的な通信が可能な電子機器で実施することもできる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 画像データを取得する取得手段と、
前記画像データの輝度または色成分の階調値のヒストグラムを表示装置に表示させる表示手段と、を有し、
前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合と、そうでない場合とで、前記ヒストグラムの表示方法を異ならせる、
ことを特徴とする画像処理装置。 - 前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値より小さい場合には、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させることを特徴とする請求項1に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合には、前記ヒストグラムの階級の範囲の最大値を前記画像データが取り得る最大値に基づいて決定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最小値が前記画像データのビット深度によって定まる最小値より大きい場合には、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最小値が前記画像データのビット深度によって定まる最小値より大きい場合には、前記ヒストグラムの階級の範囲の最小値を前記画像データが取り得る最小値に基づいて決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記画像データが取り得る最大値が、前記画像データを生成する際に用いる規格に応じて定まる値であることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させる場合、前記画像データが取り得る最大値よりも大きな値の範囲と、前記画像データが取り得る値の範囲とで、ビンの表示形態が同じになるようにすることを特徴とする請求項6に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最大値の代わりに、前記画像データの最大値を用いることを特徴とする請求項6に記載の画像処理装置。
- 前記表示手段は、前記画像データに、前記画像データが取り得る最大値よりも大きな値のデータが含まれる場合、該データの度数を前記画像データが取り得る最大値を含む区間の度数に含めることを特徴とする請求項6に記載の画像処理装置。
- 前記画像データが取り得る最小値が、前記画像データを生成する際に用いる規格に応じて定まる値であることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とが視覚的に区別できるように前記ヒストグラムを表示させる場合、前記画像データが取り得る最小値よりも小さな値の範囲と、前記画像データが取り得る値の範囲とで、ビンの表示形態が同じになるようにすることを特徴とする請求項10に記載の画像処理装置。
- 前記表示手段は、前記画像データが取り得る最小値の代わりに、前記画像データの最小値を用いることを特徴とする請求項10に記載の画像処理装置。
- 前記表示手段は、前記画像データに、前記画像データが取り得る最小値よりも小さな値のデータが含まれる場合、該データの度数を前記画像データが取り得る最小値を含む区間の度数に含めることを特徴とする請求項10に記載の画像処理装置。
- 前記画像データが、輝度を絶対値として扱うHDR規格に準拠した画像データ、もしくは露光量の対数に比例した輝度を有する画像データであることを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。
- 撮像素子と、
請求項1から14のいずれか1項に記載の画像処理装置とを有し、
前記画像データが前記撮像素子によって得られることを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
画像データを取得する取得工程と、
前記画像データの輝度または色成分の階調値のヒストグラムを表示装置に表示させる表示工程と、を有し、
前記表示工程では、前記画像データが取り得る最大値が前記画像データのビット深度によって定まる最大値よりも小さい場合と、そうでない場合とで、前記ヒストグラムの表示方法を異ならせる、
ことを特徴とする画像処理方法。 - コンピュータを、請求項1から14のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218347A JP7397640B2 (ja) | 2019-12-02 | 2019-12-02 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218347A JP7397640B2 (ja) | 2019-12-02 | 2019-12-02 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021090109A true JP2021090109A (ja) | 2021-06-10 |
JP7397640B2 JP7397640B2 (ja) | 2023-12-13 |
Family
ID=76220677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218347A Active JP7397640B2 (ja) | 2019-12-02 | 2019-12-02 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7397640B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286314A1 (ja) * | 2021-07-16 | 2023-01-19 | ソニーグループ株式会社 | 撮像装置および撮像方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3752951B2 (ja) | 2000-03-01 | 2006-03-08 | カシオ計算機株式会社 | 撮像装置および輝度分布表示方法 |
JP4733419B2 (ja) | 2005-04-26 | 2011-07-27 | 富士フイルム株式会社 | 合成画像データ生成装置およびその制御方法ならびにその制御プログラム |
JP2015095833A (ja) | 2013-11-13 | 2015-05-18 | 日本電信電話株式会社 | 色情報分配装置、色情報分配方法、及びプログラム |
JP6614799B2 (ja) | 2015-05-20 | 2019-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2019
- 2019-12-02 JP JP2019218347A patent/JP7397640B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286314A1 (ja) * | 2021-07-16 | 2023-01-19 | ソニーグループ株式会社 | 撮像装置および撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7397640B2 (ja) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10194091B2 (en) | Image capturing apparatus, control method therefor, program, and recording medium | |
US7706674B2 (en) | Device and method for controlling flash | |
US9712757B2 (en) | Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
CN106941587B (zh) | 视频处理设备和视频处理方法 | |
JP7157714B2 (ja) | 画像処理装置およびその制御方法 | |
JP6752667B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP2005269373A (ja) | 映像信号処理システムおよび電子映像機器 | |
US11245852B2 (en) | Capturing apparatus for generating two types of images for display from an obtained captured image based on scene luminance and exposure | |
US11798143B2 (en) | Image processing apparatus and control method thereof | |
JP4796007B2 (ja) | 撮像装置 | |
JP2017112462A (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
US10785462B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP7397640B2 (ja) | 画像処理装置および画像処理方法 | |
CN111866399B (zh) | 图像处理设备、其控制方法以及计算机可读介质 | |
JP2020136823A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム | |
JP2006020022A (ja) | モニタ制御装置 | |
JP2008160290A (ja) | 撮像装置および撮像方法 | |
JP2008124793A (ja) | 撮像装置、撮像方法 | |
JP7370762B2 (ja) | 撮像装置およびその制御方法 | |
JP5441656B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012129611A (ja) | 撮像装置 | |
JP5169540B2 (ja) | 撮像装置および撮像方法 | |
JP2009225252A (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231201 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7397640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |