JP2018182376A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2018182376A JP2018182376A JP2017073927A JP2017073927A JP2018182376A JP 2018182376 A JP2018182376 A JP 2018182376A JP 2017073927 A JP2017073927 A JP 2017073927A JP 2017073927 A JP2017073927 A JP 2017073927A JP 2018182376 A JP2018182376 A JP 2018182376A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- unit
- luminance
- image
- combining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 111
- 238000012937 correction Methods 0.000 claims abstract description 71
- 239000002131 composite material Substances 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000000694 effects Effects 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 29
- 125000001475 halogen functional group Chemical group 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 abstract description 13
- 238000003786 synthesis reaction Methods 0.000 abstract description 13
- 239000000203 mixture Substances 0.000 description 85
- 238000011161 development Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 241001637516 Polygonia c-album Species 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 241000887125 Chaptalia nutans Species 0.000 description 1
- 241000269913 Pseudopleuronectes americanus Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 露出の異なる合成フレーム群を撮像し、合成して1フレームを生成する画像処理装置であって、合成フレーム群として4フレームを撮像し、1フレームおきに適フレーム、その間のうちの1フレームにアンダーフレームを、残りの1フレームにオーバーフレームを撮像する撮像部と、前記合成フレーム群をそれぞれ現像する現像部と、前記現像された合成フレーム群に基づいて合成フレーム群の中の少なくとも1フレームを選択して合成する合成部と、前記合成された合成フレームに基づいてエフェクト効果を施す処理部と、を備える。
【選択図】 図2
Description
本実施形態においては、動画撮影を行うデジタルカメラにおいて、時系列順に適フレーム、アンダーフレーム、適フレーム、オーバーフレームの4フレームを撮像して、HDR合成を行い、生成されるHDR画像に対して絵画調のエフェクトをかける構成について説明する。それぞれのフレームに対しては、それぞれのフレームの明るさを合わせるようなガンマを用いて現像する。そのため、動画において必須となる移動体検出が、隣り合うフレーム間での差分値を算出することにより可能となる。
FI1=MI1×(1−fg1)+UI1×fg1 (式1)
但し、
fg1:合成比率
FI1:第1合成フレームの画像データ
UI1:アンダーフレーム102の画像データ
MI1:適フレーム103の画像データ
とする。
FI2=FI1×(1−fg2)+OI1×fg2 (式2)
但し、
fg2:合成比率
FI2:第2合成フレームの画像データ(合成画像データ)
OI1:オーバーフレーム104の画像データ
FI1:第1合成フレーム111の画像データ
とする。
Rout=GainxRin (式3)
Gout=GainxGin (式4)
Bout=GainxBin (式5)
本実施形態においては、第1の実施形態よりも絵画調のエフェクト効果が大きくなるよう、異なる露出間のフレームの明るさを合わせずに現像を行う。第1の実施形態では異なる露出間の明るさをガンマで合わせていたため、異なる露出間の差分を取る事により移動体検出が可能であったが、本実施形態ではそれが不可能である。そのため本実施形態では、移動体検出のために時系列順の適フレーム、アンダーフレーム、適フレーム、オーバーフレームに加えてオーバーフレーム後に撮像される適フレーフレームも含めた5フレームにおける、明るさの合っている適フレーム同士の差分値を算出することで、移動体検出を行う方法を提案する。また、絵画調のエフェクトとして、ガンマでのトーン補正効果に加えて、HDR合成後のトーン補正による効果と濃淡差の大きなエッジ部にハロを生成させる処理を例として説明する。
FI3=MI3×(1−fg3)+UI3×fg3 (式6)
但し、
fg3:合成比率
FI3:第3合成フレームの画像データ
MI3:適フレーム103の画像データ
UI3:アンダーフレーム102の画像データ
とする。
FI4=FI3×(1−fg4)+OI4×fg4 (式7)
但し、
fg4:合成比率
FI4:第4合成フレームの画像データ
OI4:オーバーフレーム104の画像データ
FI3:第3合成フレームの画像データ
とする。
上記第1,第2の実施形態における画像処理装置およびその制御方法を、パーソナルコンピュータなどの汎用の情報処理装置と、その情報処理装置に実行されるコンピュータプログラムで持って実現しても構わない。
3 HDR絵画調処理部
6 出力部
307 現像部
310 合成部
Claims (7)
- 露出の異なる合成フレーム群を撮像し、合成して1フレームを生成する画像処理装置であって、
合成フレーム群として4フレームを撮像し、1フレームおきに適フレーム、その間のうちの1フレームにアンダーフレームを、残りの1フレームにオーバーフレームを撮像する撮像部と、
前記合成フレーム群をそれぞれ現像する現像部と、
前記現像された合成フレーム群に基づいて合成フレーム群の中の少なくとも1フレームを選択して合成する合成部と、
前記合成された合成フレームに基づいてエフェクト効果を施す処理部と、
を備えることを特徴とする画像処理装置。 - 前記合成部は、撮像されたフレームのうち少なくともアンダーフレームとオーバーフレームを用いて合成を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記適フレームは、オートフォーカスやオートエクスポージャー、オートホワイトバランスの少なくとも1つの処理を行うための情報を検出するために用いることを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記現像部において適フレーム、アンダーフレーム、オーバーフレームそれぞれの明るさを合わせない場合、合成部において適フレーム同士で移動被写体検出を行うことを特徴とする請求項1から請求項3までの何れか1項に記載の画像処理装置。
- 前記現像部において適フレーム、アンダーフレーム、オーバーフレームそれぞれの明るさを合わせる場合、合成部において適フレームとアンダーフレーム、または適フレームとオーバーフレームで移動被写体検出を行うことを特徴とする請求項1から請求項3までの何れか1項に記載の画像処理装置。
- 前記合成部は、前記移動被写体検出の結果に基づいて処理を行うことを特徴とする請求項4または請求項5に記載の画像処理装置。
- 前記処理部は、トーン補正とハロの効果を付加するものであり、ハロの効果の強度を制御する領域情報生成部と、ハロの強さを制御するゲイン値算出部からなることを特徴とする請求項1から請求項6までの何れか1項に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017073927A JP6887853B2 (ja) | 2017-04-03 | 2017-04-03 | 撮像装置、その制御方法、プログラム |
US15/937,029 US20180288336A1 (en) | 2017-04-03 | 2018-03-27 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017073927A JP6887853B2 (ja) | 2017-04-03 | 2017-04-03 | 撮像装置、その制御方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018182376A true JP2018182376A (ja) | 2018-11-15 |
JP2018182376A5 JP2018182376A5 (ja) | 2020-05-07 |
JP6887853B2 JP6887853B2 (ja) | 2021-06-16 |
Family
ID=63670249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017073927A Active JP6887853B2 (ja) | 2017-04-03 | 2017-04-03 | 撮像装置、その制御方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180288336A1 (ja) |
JP (1) | JP6887853B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106507080B (zh) * | 2016-11-29 | 2018-07-17 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
WO2020250163A1 (en) * | 2019-06-11 | 2020-12-17 | Nerkar Sarang Dilip | Methods, systems and computer program products for generating high dynamic range image frames |
US11736804B2 (en) * | 2020-09-07 | 2023-08-22 | Mediatek Inc. | Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings |
CN113965699B (zh) * | 2021-10-14 | 2023-08-29 | 爱芯元智半导体(上海)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014060502A (ja) * | 2012-09-14 | 2014-04-03 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2015082675A (ja) * | 2013-10-21 | 2015-04-27 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8228400B2 (en) * | 2009-04-17 | 2012-07-24 | Sony Corporation | Generation of simulated long exposure images in response to multiple short exposures |
JP5445235B2 (ja) * | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8699821B2 (en) * | 2010-07-05 | 2014-04-15 | Apple Inc. | Aligning images |
US8810691B2 (en) * | 2010-09-03 | 2014-08-19 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
US8947555B2 (en) * | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
JP2012249256A (ja) * | 2011-05-31 | 2012-12-13 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
US8965120B2 (en) * | 2012-02-02 | 2015-02-24 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the same |
KR101225482B1 (ko) * | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
JP6082274B2 (ja) * | 2012-06-08 | 2017-02-15 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
KR101805629B1 (ko) * | 2013-05-07 | 2017-12-07 | 삼성전자주식회사 | 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 |
US20150097978A1 (en) * | 2013-10-07 | 2015-04-09 | Qualcomm Incorporated | System and method for high fidelity, high dynamic range scene reconstruction with frame stacking |
US20160037043A1 (en) * | 2014-08-01 | 2016-02-04 | Omnivision Technologies, Inc. | High dynamic range (hdr) images free of motion artifacts |
US9613408B2 (en) * | 2014-09-25 | 2017-04-04 | Intel Corporation | High dynamic range image composition using multiple images |
US9883119B1 (en) * | 2016-09-22 | 2018-01-30 | Qualcomm Incorporated | Method and system for hardware-based motion sensitive HDR image processing |
-
2017
- 2017-04-03 JP JP2017073927A patent/JP6887853B2/ja active Active
-
2018
- 2018-03-27 US US15/937,029 patent/US20180288336A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014060502A (ja) * | 2012-09-14 | 2014-04-03 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2015082675A (ja) * | 2013-10-21 | 2015-04-27 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6887853B2 (ja) | 2021-06-16 |
US20180288336A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
US9646397B2 (en) | Image processing apparatus and image processing method | |
JP6343200B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP5412553B2 (ja) | 視覚処理装置、視覚処理方法 | |
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
US20080259181A1 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
KR20120005966A (ko) | 화상 처리 장치, 화상 처리 방법, 및 프로그램 프로덕트 | |
JP6598479B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6887853B2 (ja) | 撮像装置、その制御方法、プログラム | |
JP2012165213A (ja) | 画像処理装置 | |
JP2017503425A (ja) | ハイダイナミックレンジ画像化方法及びカメラ | |
JP2015186247A (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP2021114696A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015201731A (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
CN106575434B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
US20060115151A1 (en) | Imaging apparatus and method of processing images | |
JP2013192057A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2004229259A (ja) | カラ−画像処理装置および処理方法 | |
JP2013009105A (ja) | 画像処理装置及び画像処理方法 | |
JP2006333113A (ja) | 撮像装置 | |
JP2012235390A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP5952574B2 (ja) | 画像処理装置およびその制御方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6887853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |