JP6603557B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6603557B2 JP6603557B2 JP2015229904A JP2015229904A JP6603557B2 JP 6603557 B2 JP6603557 B2 JP 6603557B2 JP 2015229904 A JP2015229904 A JP 2015229904A JP 2015229904 A JP2015229904 A JP 2015229904A JP 6603557 B2 JP6603557 B2 JP 6603557B2
- Authority
- JP
- Japan
- Prior art keywords
- exposure image
- image
- short
- motion compensation
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000013598 vector Substances 0.000 claims description 87
- 230000015572 biosynthetic process Effects 0.000 claims description 49
- 238000003786 synthesis reaction Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 18
- 239000002131 composite material Substances 0.000 description 16
- 229920006395 saturated elastomer Polymers 0.000 description 16
- 239000000203 mixture Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000019557 luminance Nutrition 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得る。
合成部は、前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する。
前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更してもよい。
かかる構成によれば、前記使用画像選択情報のうち前記動き補償後の短露光画像が存在しなくなった画面内の領域に対応する情報が長露光画像使用領域に変更される。
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。
合成部は、使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する。
前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値設定後の短露光画像を得てもよい。
かかる構成によれば、前記画面のうち前記動き補償後の短露光画像が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値が設定される。
前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値変更後の短露光画像を得てもよい。
かかる構成によれば、長露光画像の飽和領域であってもホワイトバランスが取れていることになり、後段でホワイトバランス処理を行った時に偽色が発生することがなくなる。
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得ることと、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。
本実施形態は、露出の異なる複数の画像信号を合成することによって広大なダイナミックレンジを持つ画像信号を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動きを補償することを目的とする。
まず、第1の実施形態に係る画像処理装置の機能構成について説明する。図5は、第1の実施形態に係る画像処理装置の機能構成を示す図である。図3に示すように、画像処理装置1Aは、センサ10、フレームメモリ20、グローバル動きベクトル検出部30、グローバル動き補償部50AおよびWDR合成部60Aを備える。以下、画像処理装置1Aが備え各機能ブロックの機能について順次詳細に説明する。なお、適宜に、他の図も参照する。
続いて、第2の実施形態について説明する。第1の実施形態に係る手法では、グローバル動きベクトルをWDR合成部60Aに伝達する必要があり、WDR合成部60Aが使用画像選択情報を生成する際にグローバル動きベクトルを参照するため、一般的なWDR合成部を変更する必要がある。そこで、第2の実施形態には、第1の実施形態と等価な合成結果を得ながら、一般的なWDR合成部を変更する必要がなく、グローバル動き補償時に適用可能な手法について記す。完成されたWDR合成部が既に存在している場合などには、第2の実施形態がより好適である。
ただし、長露光画像92#で飽和している画素値を第2の実施形態に係る手法によって処理すると問題が生じることがある。それは処理対象信号がBayer信号かつホワイトバランス処理がされていない場合であり、飽和した長露光画像92#の画素値はホワイトバランスが崩れている状態であるため、その値を露光比で割って使用すると偽色が発生する。
10 センサ
20 フレームメモリ
22 長露光画像
23 WDR合成画像
30 グローバル動きベクトル検出部
40 飽和クリップ処理部
50A、50B グローバル動き補償部
60A、60B WDR合成部
61# 使用画像選択情報
91 短露光画像
91’(91’−1、91’−2、91’−3) 動き補償後の短露光画像
92(92#) 長露光画像
93(93#) WDR合成画像
Ar 空き領域
Claims (7)
- 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部と、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るグローバル動き補償部と、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する合成部と、
を備える、画像処理装置。 - 前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行い、
前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更する、
請求項1に記載の画像処理装置。 - 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部と、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得るグローバル動き補償部と、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する合成部と、
を備える、画像処理装置。 - 前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値設定後の短露光画像を得る、
請求項3に記載の画像処理装置。 - 前記画像処理装置は、長露光画像の所定の画素要素に対してクリップ処理を行ってクリップ処理後の長露光画像を得るクリップ処理部を備え、
前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値変更後の短露光画像を得る、
請求項4に記載の画像処理装置。 - 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、
を含む、画像処理方法。 - 短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得ることと、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、
を含む、画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015229904A JP6603557B2 (ja) | 2015-11-25 | 2015-11-25 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015229904A JP6603557B2 (ja) | 2015-11-25 | 2015-11-25 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017098784A JP2017098784A (ja) | 2017-06-01 |
JP6603557B2 true JP6603557B2 (ja) | 2019-11-06 |
Family
ID=58817446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015229904A Active JP6603557B2 (ja) | 2015-11-25 | 2015-11-25 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6603557B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112219391B (zh) * | 2018-06-07 | 2022-05-10 | 杜比实验室特许公司 | 生成hdr彩色图像的方法、hdr相机及蜂窝电话 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006197100A (ja) * | 2005-01-12 | 2006-07-27 | Canon Inc | 画像処理装置及び画像処理方法 |
US9083935B2 (en) * | 2012-06-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Combining multiple images in bracketed photography |
JP6025472B2 (ja) * | 2012-09-14 | 2016-11-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2015
- 2015-11-25 JP JP2015229904A patent/JP6603557B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017098784A (ja) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8581992B2 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
JP6184290B2 (ja) | 画像処理装置および画像処理方法 | |
US9883125B2 (en) | Imaging systems and methods for generating motion-compensated high-dynamic-range images | |
CN104980652B (zh) | 图像处理设备和图像处理方法 | |
US9646397B2 (en) | Image processing apparatus and image processing method | |
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
TWI501639B (zh) | 拍攝高動態範圍影片之方法 | |
KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
JP7169388B2 (ja) | 高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP2012234393A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2014039170A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP5882702B2 (ja) | 撮像装置 | |
JP2018207413A (ja) | 撮像装置 | |
JP6227935B2 (ja) | 画像処理装置および画像処理方法 | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP5713643B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP2016111568A (ja) | 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム | |
JP6603557B2 (ja) | 画像処理装置および画像処理方法 | |
JP6173027B2 (ja) | 画像処理装置および画像処理方法 | |
JP2008211674A (ja) | 画像信号処理方法及び装置 | |
JP6700028B2 (ja) | ベクトル算出装置およびベクトル算出方法 | |
JP6494388B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190320 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |