JP6991750B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6991750B2 JP6991750B2 JP2017129206A JP2017129206A JP6991750B2 JP 6991750 B2 JP6991750 B2 JP 6991750B2 JP 2017129206 A JP2017129206 A JP 2017129206A JP 2017129206 A JP2017129206 A JP 2017129206A JP 6991750 B2 JP6991750 B2 JP 6991750B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- region
- area
- shiny
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 124
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims description 330
- 238000000034 method Methods 0.000 claims description 55
- 210000000056 organ Anatomy 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
例えば、特許文献1には、被写体の所定部位を検出し、その検出結果に基づいてテカリ領域の補正を行う技術が開示されている。具体的に説明すると、特許文献1には、被写体の人物の顔や目、口などの所定部位を検出し、その所定部位の位置や色などに基づいて各画素の補正の程度を決定する技術が開示されている。これにより、特許文献1に記載の技術によれば、輝度や明度を下げる必要のない部位についてはその高い輝度や明度が維持され、輝度を下げる必要のある肌のテカリが生じている部位のみに対して補正することが可能となる。
図1は、本実施形態の画像処理装置のテカリ補正処理に係る各構成における処理の流れを表した処理フローである。図2は、本実施形態の画像処理装置の一適用例であるデジタルカメラ217の概略構成を示したブロック図である。図1の処理フローにて示された本実施形態の画像処理装置に係るテカリ補正処理は、図2のデジタルカメラ217では例えば画像処理部208により行われるとする。なお、本実施形態の画像処理装置は、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末、パーソナルコンピュータ等の各種情報端末、工業用カメラ、車載カメラ、医療用カメラなどの各種カメラにも適用可能である。
測距センサ212は、カメラから被写体までの距離を検出するセンサであり、検出した距離の情報をシステム制御部216に出力する。システム制御部216は、測距センサ212にて検出された距離情報を測距制御部211に送る。測距制御部211は、その距離情報を基に、レンズ200のフォーカスレンズを駆動することで被写体等へのピント合わせを行う。
操作部215は、表示装置の画面上に配されるタッチパネル、デジタルカメラ217の本体に配されるボタンやスイッチを含み、ユーザによる操作を検知して、その検知した操作情報をシステム制御部216に出力する。
以下、第1の実施形態について説明する。第1の実施形態では、連写のような連続的な撮影により、所定の被写体として人物(人物の顔)が撮影され、その人物の顔の高輝度のテカリ領域に対してテカリ補正処理が行われる場合を例に挙げる。また本実施形態では、連写撮影中に被写体が動いたことで顔や各部位の検出ができずテカリ補正を行えない場合や、口の開閉等により顔内でテカリ補正領域が変化した場合でも、以下の処理により、各撮影画像でテカリ補正にばらつきが生ずるのを防止する。
図3のフローチャートの処理がスタートすると、先ずS301の処理として、図1の顔検出回路101は、撮影画像であるRAW画像100から顔領域を検出する顔検出処理を行う。なお、入力される撮影画像は、ホワイトバランス処理及びRGBベイヤー配列からRGB3プレーン画像に変換する色補間処理がなされているものとする。ホワイトバランス処理や色補間処理は既知の技術を用いて行われるため、それらの詳細な説明は省略する。
具体的には、補正特性決定回路105は、先ず、ブロック積分値を基に顔領域内の平均輝度を算出し、その顔領域内の平均輝度を、図6(a)や図6(b)の補正ゲインが0より大きくなる立ち上がり部の入力輝度Aとして設定する。
(R,G,B)=(230,200,170)
で表すことができ、一方、飽和値は、
(R,G,B)=(255,255,255)
となる。
したがって、その飽和値から顔領域の肌色平均値を減算すると、補正色の値は、
(R,G,B)=(20,55,85)
となる。
Y=R×0.3+G×0.6+B×0.1 式(1)
次に、第2の実施形態について説明する。第2の実施形態におけるテカリ補正処理の処理フローは図1と同様であり、また、デジタルカメラ217の構成は図2と同様であるためそれらの図示と同一の処理の説明は省略する。図8は、第2の実施形態に係るテカリ補正処理のフローチャートを示す。以下、図1、図2、及び図8を参照して、第2の実施形態の画像処理部208におけるテカリ補正処理を説明する。なお、図8のフローチャートにおいて、S801からS806までの処理は、図3のS301からS306までの処理と同じであるため、それらの説明は省略する。図8のフローチャートにおいて、S806におけるテカリ補正色の算出処理の後、画像処理部208は、S807に処理を進める。
また、画像処理部208は、メモリ207に記録されている各撮影画像に対応した各テカリ補正領域の中で、テカリ補正領域の面積が最小(最も狭い)のテカリ補正領域を選択する。
なお、第2の実施形態では、デジタルカメラ217による連写中の動作を例に挙げて説明したが、例えばRAW現像アプリケーションソフト等を用いて、ユーザが選択した複数枚の連続撮影画像に対してテカリ補正処理を施す際に前述同様の手法を用いてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は前述した実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。前述の実施形態では、所定の被写体の画像領域として顔画像の肌色領域に対するテカリ補正処理の例を挙げたが、本発明は顔画像の肌色領域のテカリ補正処理には限定されない。一例として、所定の被写体として自動車等を連写等した画像について、自動車の車体の高輝度領域(テカリ領域)を補正する場合などにも適用可能である。
Claims (12)
- 撮影画像から所定の被写体の画像領域を検出する検出手段と、
前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正手段と、を有し、
前記補正手段は、連続した撮影で得られた撮影画像について生成する前記補正量が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにすることを特徴とする画像処理装置。 - 前記補正手段は、前記テカリ補正の対象となり得る補正領域を決定する決定手段を有し、
前記決定手段は、前記連続した撮影で得られた撮影画像について決定した前記補正領域の面積が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で決定した補正領域の面積より狭められた場合には、前記面積が狭められた撮影画像より以降の撮影画像に対する補正領域の面積を、前記狭められた面積より広くしないようにすることを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、前記面積が狭められた撮影画像より以降の撮影画像に対する補正領域の面積を、前記狭められた面積で固定することを特徴とする請求項2に記載の画像処理装置。
- 前記検出手段は、前記所定の被写体を構成する複数の要素を検出し、
前記決定手段は、前記所定の被写体の画像領域の中に前記補正領域を決定する際、前記要素の検出結果に応じて前記補正領域の面積を決定することを特徴とする請求項2又は3に記載の画像処理装置。 - 撮影画像から所定の被写体の画像領域を検出する検出手段と、
前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正手段と、を有し、
前記補正手段は、連続した撮影で得られた一連の各撮影画像について各々生成された補正量のうち最も小さい補正量を用いて、前記一連の全ての撮影画像に対する前記テカリ補正を行うことを特徴とする画像処理装置。 - 前記補正手段は、前記テカリ補正の対象となり得る補正領域を決定する決定手段を有し、
前記決定手段は、前記一連の各撮影画像について各々決定された前記補正領域の面積のなかで最も面積が狭い補正領域を、前記一連の全ての撮影画像に適用する前記補正領域の面積とすることを特徴とする請求項5に記載の画像処理装置。 - 前記検出手段は、前記所定の被写体の画像領域の特徴量を抽出して、前記抽出した特徴量を基に前記テカリ領域に対する前記補正量を算出することを特徴とする請求項1から6の何れか1項に記載の画像処理装置。
- 前記検出手段は、前記所定の被写体の画像領域として人の顔の領域を検出する顔検出手段と、前記顔を構成している複数の器官を検出する器官検出手段とを有し、
前記決定手段は、前記検出された顔と前記器官を基に、前記補正領域を決定することを特徴とする請求項2又は6に記載の画像処理装置。 - 前記補正手段は、前記検出された顔と器官の信頼度を基に前記補正量を算出することを特徴とする請求項8に記載の画像処理装置。
- 撮影画像から所定の被写体の画像領域を検出する検出工程と、
前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正工程と、を有し、
前記補正工程では、連続した撮影で得られた撮影画像について生成する前記補正量が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにすることを特徴とする画像処理装置の画像処理方法。 - 撮影画像から所定の被写体の画像領域を検出する検出工程と、
前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正工程と、を有し、
前記補正工程では、連続した撮影で得られた一連の各撮影画像について各々生成された補正量のうち最も小さい補正量を用いて、前記一連の全ての撮影画像に対する前記テカリ補正を行うことを特徴とする画像処理装置の画像処理方法。 - コンピュータを、請求項1から9の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129206A JP6991750B2 (ja) | 2017-06-30 | 2017-06-30 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129206A JP6991750B2 (ja) | 2017-06-30 | 2017-06-30 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019012450A JP2019012450A (ja) | 2019-01-24 |
JP6991750B2 true JP6991750B2 (ja) | 2022-01-13 |
Family
ID=65227986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017129206A Active JP6991750B2 (ja) | 2017-06-30 | 2017-06-30 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6991750B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157617A (ja) | 2004-11-30 | 2006-06-15 | Canon Inc | 撮像装置 |
JP2008278354A (ja) | 2007-05-02 | 2008-11-13 | Fujifilm Corp | 撮像装置 |
JP2011044132A (ja) | 2009-07-23 | 2011-03-03 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2013017097A (ja) | 2011-07-05 | 2013-01-24 | Canon Inc | 画像処理装置及び撮像装置 |
-
2017
- 2017-06-30 JP JP2017129206A patent/JP6991750B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157617A (ja) | 2004-11-30 | 2006-06-15 | Canon Inc | 撮像装置 |
JP2008278354A (ja) | 2007-05-02 | 2008-11-13 | Fujifilm Corp | 撮像装置 |
JP2011044132A (ja) | 2009-07-23 | 2011-03-03 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2013017097A (ja) | 2011-07-05 | 2013-01-24 | Canon Inc | 画像処理装置及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019012450A (ja) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111385482B (zh) | 图像处理设备及其控制方法和机器可读介质 | |
TWI425826B (zh) | 影像選擇裝置、影像選擇方法 | |
KR101036858B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램을 기억하는 기억 매체 | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
US8446510B2 (en) | Method and apparatus for improving face image in digital image processor | |
JP7039183B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP6904788B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11019254B2 (en) | Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source | |
US11069031B2 (en) | Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image | |
CN110324529B (zh) | 图像处理设备及其控制方法 | |
JP6718253B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2020102059A (ja) | 画像処理装置 | |
JP5245648B2 (ja) | 画像処理装置、及び、プログラム | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6991750B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017147535A (ja) | ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置 | |
CN116266877A (zh) | 图像处理设备和方法、摄像设备和计算机可读介质 | |
JP5615012B2 (ja) | 白バランス安定調整装置およびその制御方法,白バランス安定調整のためのプログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP6980449B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP2018093359A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017151562A (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP2015119436A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6991750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |